博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop的体系结构之MapReduce的体系结构
阅读量:5046 次
发布时间:2019-06-12

本文共 459 字,大约阅读时间需要 1 分钟。

MapReduce的体系结构

Hadoop MapReduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在上千个商用机器组成的大型集群上,

并以一种可靠容错的方式并行处理上TB的数据集。

采用MapReduce架构实现的程序能够在大量的普通配置的计算机构成的集群中实现并行化操作。

MapReduce系统在运行过程中只关心数据如何分割、如何调度,以及集群中计算机如何对错误进行处理,
管理着计算机之间的通信。

MapReduce框架由一个单独的master JobTracker和集群节点上的slave TaskTracker共同组成。

master负责调度一个作业中的所有任务,把这些任务分布在不同的slave上。
master监控slave节点上这些任务的执行情况,并重新执行失败的任务,而slave仅负责执行由master指派的任务。

 

1、MapReduce是一种编程模式

2、Map/Reduce

转载于:https://www.cnblogs.com/tuhooo/p/5480874.html

你可能感兴趣的文章
centos7 配置ftp服务器
查看>>
如何中断JAVA线程
查看>>
ES6内置方法find 和 filter的区别在哪
查看>>
Android入门之文件系统操作(二)文件操作相关指令
查看>>
Android实现 ScrollView + ListView无滚动条滚动
查看>>
Swift 中的指针使用
查看>>
Swift - 使用闭包筛选过滤数据元素
查看>>
alue of type java.lang.String cannot be converted to JSONObject
查看>>
搜索引擎选择: Elasticsearch与Solr
查看>>
JAVA设计模式之简单工厂模式与工厂方法模式
查看>>
③面向对象程序设计——封装
查看>>
【19】AngularJS 应用
查看>>
Spring
查看>>
Linux 系统的/var目录
查看>>
Redis学习---Redis操作之其他操作
查看>>
谈谈网络分层和IP
查看>>
[Objective C] Singleton类的一个模版
查看>>
二叉搜索树
查看>>
软考-01.计算机系统的基础知识
查看>>
C# 复习、笔试全攻略(三、结构、枚举和数组)
查看>>