gracejpw1117

2020-07-07   阅读量: 997

大数据

30台机器,跑mr任务的时候发现5个map任务全都分配到了同一台机器上

扫码加入数据分析学习群

集群有30台机器,跑mr任务的时候发现5个map任务全都分配到了同一台机器上,这个可能是由于什么原因导致的吗?

解决方案:yarn.scheduler.fair.assignmultiple 这个参数 默认是开的,需要关掉。

将YARN配置中的yarn.scheduler.fair.assignmultiple参数设为false,或者手动设定yarn.scheduler.fair.max.assign参数的值为一个较小的正数(如3或4)。


添加CDA认证专家【维克多阿涛】,微信号:【cdashijiazhuang】,提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流,共同成长!
19.6162 4 3 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子