主机参考:VPS测评参考推荐/专注分享VPS服务器优惠信息!若您是商家可以在本站进行投稿,查看详情!此外我们还提供软文收录、PayPal代付、广告赞助等服务,查看详情! |
我们发布的部分优惠活动文章可能存在时效性,购买时建议在本站搜索商家名称可查看相关文章充分了解该商家!若非中文页面可使用Edge浏览器同步翻译!PayPal代付/收录合作 |
默认的副本数:默认情况下将每个块(块)复制3次,并保存到其他数据节点。
自定义复制号:可以通过DFS。可以调整复制品的数量。配置文件HDFS-SITE.xml中的复制参数。
2。心跳检测数据码心跳:每个datanode会定期将心跳信号发送给Namenode以报告其状态并存储数据块信息。 故障检测:如果Namenode在一段时间内没有从数据台上接收心跳,请考虑节点已过期并且数据恢复机制已触发。
3。块布置机架感知:Hadoop可以尽可能多地从各种机架中分发数据块的副本,以识别群集内的机架结构,提高容错的容忍度并读取性能。 策略配置:您可以使用dfs.replication.policy参数(例如org.apache.hadoop.hdop.hdfs.server.server.nemenode.rackawarreeplicationpolicypolicypolicypolicypolicypolicy)来配置各种复制策略。 4。数据恢复复制:如果数据块丢失或损坏,则Namenode告诉其他数据负载以复制数据块并根据需要维护尽可能多的副本。 管道复制:编写数据时,Hadoop采用管道复制。这意味着数据同时写入多个数据节点,以确保某些节点失败,不会丢失数据。
5。校验和维修校验和修复:Hadoop为每个数据块生成一个校验和,以检测数据在传输和存储期间是否损坏数据。 自动维修:如果发现数据块已被损坏,则Hadoop将自动触发维修过程,从其他健康节点重写数据并编写。
6。名称高可用性(HA)
活动/待机名称节点:通过配置多个名称节点,其中一个用作活动名称节点,另一个用作待机名称节点,用于实时同步活动名称节点的状态。 故障转移:如果活动名称节点失败,则备用名称节点将立即接管,以确保群集的正常操作。
7。辅助名称节点辅助名称节点:辅助名称节点定期从活动名称节点检索编辑日志和文件系统图像,并将它们合并以生成新的检查点。
减少名称节点上的负载:辅助名称节点不是实际名称节点备份,但它们有助于降低活动名称节点的内存压力,并在必要时提供恢复功能。 8。日志聚合集中日志管理:通过配置YARN的日志聚合功能,您可以将所有容器的标准输出和标准误差日志存储在一个位置。这对于故障排除和分析很有用。
通过以全面的方式使用上述机制,Hadoop可以有效地确保面对硬件故障,网络问题或其他异常情况时的数据完整性和可用性。
这几篇文章你可能也喜欢:
- 关于免费软件和开源软件(III)的有趣的有趣:名称的争议应称为Linux或GNU/Linux
- RACKNERD APRIS交易进来:KVM VPS年度付款仅为$ 10.28,无限的美国交通服务器每月仅$ 59
- Hadoop工作计划如何工作? (Hadoop调度策略)
- 如何使用Hadoop备份和还原数据
- Hadoop中的MapReduce任务如何执行(Hadoop MapReduce的主要技术功能是什么?)
本文由主机参考刊发,转载请注明:如何在Hadoop中实现数据容忍度(带有处理数据的过程) https://zhujicankao.com/148306.html
评论前必须登录!
注册