扫码加入数据分析学习群

图解Yarn工作流程如下：

MR(MapReduce)程序提交到客户端所在的节点>>YarnRunner向RM(ResourceManager)申请一个Application>>RM返回Application资源提交路径hdfs://…./.staging以及application_id给YarnRunner>>YarnRunner提交job运行所需资源给HDFS>>YarnRunner资源提交完毕后，向RM申请运行MRAppMaster>>RM将用户的请求初始化成一个Task>>Yarn调度队列让一个NM(NodeManager)领取到task任务>>NM创建容器Container并产生MRAppmaster>>Container从HDFS上下载job资源到本地>>MRAppmaster向RM 申请运行maptask的容器>>RM将运行maptask任务分配给另外两个NM>>另两个NM分别领取任务并创建container>>MRAppmaster向两个接收到任务的NM发送程序启动脚本>>这两个NodeManager分别启动MapTask>>MapTask对数据分区排序>>MrAppMaster等待所有maptask运行完毕后，向RM申请container，运行ReduceTask>>ReduceTask向MapTask获取相应分区的数据>>程序运行完毕后，MRAppmaster会向RM申请注销自己。