Hadoop工作计划如何工作？ （Hadoop调度策略）

用户通过命令行或API向纱线（以及另一个资源谈判者）提交MapReduce作业。 纱线接收工作并创建应用程序主流程。 2。资源分配 ResourceManager负责在整个集群中分配和管理资源。 ResourceManager根据当前集群的作业要求和资源状态将所需资源（内存，CPU内核等）分配给应用程序主。
3。应用程序 - 主机启动应用程序-Master启动由ResourceManager分配的资源，并开始与ResourceManager进行通信。 应用程序主的主要责任是协调和管理工作执行。
4。任务分解和分配应用程序主将mapReduce作业分解为多个地图任务以减少任务。 ApplicationMaster将这些任务分配给集群中的NodeManager节点。
5。运行任务在收到任务后，NodeManager开始在IT管理的容器中运行任务。
任务正在运行时，NodeManager会监视任务的进度和资源使用情况，并将状态报告给应用程序主。 6。进度监控和灾难恢复应用程序主定期检查任务的进度。如果任务失败或长期未完成，则应用程序主会重新安排任务。 ResourceManager还监视了应用程序主的健康。如果应用程序主崩溃，ResourceManager将恢复新的应用程序主。
7。所有地图和减少的工作完成所有任务成功完成后，ApplicationMaster通知ResourceManager该作业已经完成。 ResourceManager释放分配给ApplicationMaster的资源，并将作业状态更新为“完成”。
8。结果收集 ApplicationMaster负责收集每个任务的输出结果，并将其组合到最终的输出文件中。 用户可以通过命令行或API检索作业的输出结果。

Hadoop支持各种调度策略，包括：容量调度程序：调度程序是根据队列的容量来安排的，并支持多租户环境。 公平的调度程序：确保所有工作都公平地共享集群资源。

可以通过配置文件调整调度程序行为。例如，

yarn.resourcemanager.scheduler.class：指定要使用的调度程序的类型。 MapReduce.job.queuename：指定将发送作业的队列名称。

通过上述过程，Hadoop可以有效地管理和安排分布式计算任务，以确保合理地使用资源并平稳地完成作业。

这几篇文章你可能也喜欢：

• 如何在坡道环境中优化数据库（数据库优化方法）
• 如何解决动物园管理器延迟问题
• 如何备份和恢复Zookeeper数据（Zookeeper数据所在）
• 如何优化Zookeeper内存使用率（Zookeeper Zuul）
• 如何管理数据库侦听器（数据库Binlog侦听器）

本文由主机参考刊发，转载请注明：Hadoop工作计划如何工作？ （Hadoop调度策略） https://zhujicankao.com/148278.html