Hadoop任务计划的原则是什么（Hadoop纱线调度策略）

客户端提交任务：用户通过Hadoop客户端（例如Hadoop命令行工具和API）发送MAPREDUCE任务。 任务分解：客户端将任务分解为多个子任务（减少地图任务和任务）。 资源分配：纱线（还有另一个资源谈判者）负责将资源分配给这些子任务。
2。资源管理器全球资源管理：资源管理器负责管理整个集群的资源。 NodeManager：节点管理器在每个节点上运行。它负责监视和管理节点的资源使用情况。 应用程序管理器（ApplicationMaster）：每个MAPREDUCE任务都有一个相应的应用程序主，负责运行任务和协调资源请求。 3。任务调度程序容量调度程序：默认调度程序支持多租户环境，并允许您将不同的资源容量分配给不同的队列。 公平的调度程序：它旨在为所有应用程序提供公平的资源访问机会，并避免随着时间的推移占用资源的某些任务。
FIFO调度程序：按任务提交顺序安排的简单首先第一个调度程序。 4。任务运行地图任务：在数据所在的节点上本地运行，从而减少了发送数据的开销。 洗牌阶段：地图任务的输出被拆分并转移到还原任务所在的节点。 减少任务：从多个地图任务接收，总结和处理输出。
5。监视和容忍度任务监视：ResourceManager和NodeManager实时监视任务的执行状态。 故障恢复：如果节点或任务失败，ResourceManager将将任务重新安排到其他可用节点。
6r）
记录每个作业的详细执行历史记录，包括任务开始时间，结束时间，资源使用情况等。
资源分配：选择ResourceManager应用程序主体并分配初始资源。 任务计划：ApplicationMaster请求从调度程序请求资源，并根据调度策略（例如容量调度程序或公平调度程序）检索特定的节点和容器。
运行任务：应用程序主启动地图任务，并减少检索到的容器中的任务。 进度监视：ApplicationMaster定期向ResourceManager报告任务进度。 任务完成：所有任务完成后，ApplicationMaster通知ResourceManager，该作业已经完成并发布了资源。 调度程序选择会影响集群性能和资源利用率。 合理地配置队列和资源限制使您可以在多元环境中优化资源分配。 监视和记录对于解决问题和优化调度策略至关重要。

通过上述机制，Hadoop可以有效地管理和安排大型数据处理任务，以确保合理使用资源并及时完成任务。

这几篇文章你可能也喜欢：

• 如何设置Linux CHMOD数字模式
• 如何授予Linux CHMOD中的所有权限
• Linux CHMOD可以设置特殊权限
• 如何配置Hadoop资源管理（Hadoop管理工具）
• 如何递归更改Linux CHMOD的权限

本文由主机参考刊发，转载请注明：Hadoop任务计划的原则是什么（Hadoop纱线调度策略） https://zhujicankao.com/147327.html