主机参考:VPS测评参考推荐/专注分享VPS服务器优惠信息!若您是商家可以在本站进行投稿,查看详情!此外我们还提供软文收录、PayPal代付、广告赞助等服务,查看详情! |
我们发布的部分优惠活动文章可能存在时效性,购买时建议在本站搜索商家名称可查看相关文章充分了解该商家!若非中文页面可使用Edge浏览器同步翻译!PayPal代付/收录合作 |
用户通过命令行或API向纱线(以及另一个资源谈判者)提交MapReduce作业。 纱线接收工作并创建应用程序主流程。 2。资源分配 ResourceManager负责在整个集群中分配和管理资源。 ResourceManager根据当前集群的作业要求和资源状态将所需资源(内存,CPU内核等)分配给应用程序主。
3。应用程序 - 主机启动应用程序-Master启动由ResourceManager分配的资源,并开始与ResourceManager进行通信。 应用程序主的主要责任是协调和管理工作执行。
4。任务分解和分配应用程序主将mapReduce作业分解为多个地图任务以减少任务。 ApplicationMaster将这些任务分配给集群中的NodeManager节点。
5。运行任务在收到任务后,NodeManager开始在IT管理的容器中运行任务。
任务正在运行时,NodeManager会监视任务的进度和资源使用情况,并将状态报告给应用程序主。 6。进度监控和灾难恢复应用程序主定期检查任务的进度。如果任务失败或长期未完成,则应用程序主会重新安排任务。 ResourceManager还监视了应用程序主的健康。如果应用程序主崩溃,ResourceManager将恢复新的应用程序主。
7。所有地图和减少的工作完成所有任务成功完成后,ApplicationMaster通知ResourceManager该作业已经完成。 ResourceManager释放分配给ApplicationMaster的资源,并将作业状态更新为“完成”。
8。结果收集 ApplicationMaster负责收集每个任务的输出结果,并将其组合到最终的输出文件中。 用户可以通过命令行或API检索作业的输出结果。
Hadoop支持各种调度策略,包括:容量调度程序:调度程序是根据队列的容量来安排的,并支持多租户环境。 公平的调度程序:确保所有工作都公平地共享集群资源。
可以通过配置文件调整调度程序行为。例如,
yarn.resourcemanager.scheduler.class:指定要使用的调度程序的类型。 MapReduce.job.queuename:指定将发送作业的队列名称。
通过上述过程,Hadoop可以有效地管理和安排分布式计算任务,以确保合理地使用资源并平稳地完成作业。
这几篇文章你可能也喜欢:
- 如何使用Hadoop备份和还原数据
- Hadoop中的MapReduce任务如何执行(Hadoop MapReduce的主要技术功能是什么?)
- Linux系统驱动程序模型(Linux I2C驱动程序)
- Hadoop的纱线(HDFS和Hadoop中的纱线)的功能是什么?
- Linux流程安全性:如何防止恶意过程攻击(Linux Defense)
本文由主机参考刊发,转载请注明:Hadoop工作计划如何工作? (Hadoop调度策略) https://zhujicankao.com/148278.html
评论前必须登录!
注册