VPS参考测评推荐
专注分享VPS主机优惠信息
衡天云优惠活动
新天域互联优惠活动
wexlayer优惠活动
最新

如何设置Kafka日志清洁策略(KAFKA日志系统)

主机参考:VPS测评参考推荐/专注分享VPS服务器优惠信息!若您是商家可以在本站进行投稿,查看详情!此外我们还提供软文收录、PayPal代付、广告赞助等服务,查看详情!
我们发布的部分优惠活动文章可能存在时效性,购买时建议在本站搜索商家名称可查看相关文章充分了解该商家!若非中文页面可使用Edge浏览器同步翻译!PayPal代付/收录合作

KAFKA提供了两个主要的日志清洁政策:政策和删除紧凑型策略。 以下是这两个策略的详细说明:

删除策略基于时间的保留策略:如果日志段超过指定的保留时间,则KAFKA会删除这些日志段。 保留时间可以通过配置参数log.retention.thours,log.trention.minutes.minutes或log.trention.ms设置。默认值为168小时(7天)。 基于日志大小的保留策略:如果日志段的总大小超过配置的阈值,则KAFKA将删除最早的日志段。 可以使用配置参数log.trention.bytes设置大小限制,默认值是无限值(-1)。 基于对数开始偏移的保留策略:此策略相对罕见。根据日志段的开始偏移来确定可以删除哪些日志段。 紧凑型策略工作原理:压缩策略主要用于仅保留每个密钥的最新消息版本,并且适用于经常更新的方案,例如数据库更改日志。 Kafka定期扫描日志段,标识需要压缩哪些段,并构造每个日志段的地图以记录每个密钥的最新偏移量。 然后,Kafka将这些消息写入新的日志段,以替换旧日志段。 好处:压缩策略可以有效地减少存储空间的使用,同时保留每个密钥的最新值。这对于需要更改数据的应用程序方案非常有用。
log.cleanup.policy:设置删除意味着直接删除不符合标准的日志段,并将其设置为紧凑的含义以启用日志压缩。
log.trention.ms:指定日志中消息的保留时间。默认值为7天。
log.trention.bytes:设置由日志保留的字节数时,默认值为无限(-1)。
log.sement.bytes:设置每个日志段的字节数时,默认值为1GB。
log.segment.ms:以毫秒为单位设置到期日期,默认值为600,000(10分钟)。 修改配置参数后,您必须重新启动CAFKA服务以进行更改才能生效。 根据您的特定业务需求和系统环境来调整相关参数,从而优化KAFKA的性能和存储空间。

设置这些参数可以合理地使您有效地管理Kafka的日志清洁策略,以确保稳定的系统操作和有效的性能。

这几篇文章你可能也喜欢:

本文由主机参考刊发,转载请注明:如何设置Kafka日志清洁策略(KAFKA日志系统) https://zhujicankao.com/146761.html

【腾讯云】领8888元采购礼包,抢爆款云服务器 每月 9元起,个人开发者加享折上折!
打赏
转载请注明原文链接:主机参考 » 如何设置Kafka日志清洁策略(KAFKA日志系统)
主机参考仅做资料收集,不对商家任何信息及交易做信用担保,购买前请注意风险,有交易纠纷请自行解决!请查阅:特别声明

评论 抢沙发

评论前必须登录!