我是大魔王哈哈

2020-09-14   阅读量: 703

大数据

简述一下MapReduce的Shuffle机制

扫码加入数据分析学习群

MapReduce中,mapper阶段处理的数据如何传递给reduce阶段,是MapReduce框架中最关键的一个流程,这个流程就叫shuffle

具体来说,就是将MapTask输出的处理数据结果,按照Partitioner组件制定的规则分发ReduceTask,并在分发的过程中,对数据按key进行分区和排序

99.2785 1 0 关注作者 收藏

评论(0)


暂无数据

推荐课程

推荐帖子