MapReduce的体系结构
Hadoop MapReduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在上千个商用机器组成的大型集群上,
并以一种可靠容错的方式并行处理上TB的数据集。采用MapReduce架构实现的程序能够在大量的普通配置的计算机构成的集群中实现并行化操作。
MapReduce系统在运行过程中只关心数据如何分割、如何调度,以及集群中计算机如何对错误进行处理,管理着计算机之间的通信。MapReduce框架由一个单独的master JobTracker和集群节点上的slave TaskTracker共同组成。
master负责调度一个作业中的所有任务,把这些任务分布在不同的slave上。master监控slave节点上这些任务的执行情况,并重新执行失败的任务,而slave仅负责执行由master指派的任务。
1、MapReduce是一种编程模式
2、Map/Reduce