主机参考:VPS测评参考推荐/专注分享VPS服务器优惠信息!若您是商家可以在本站进行投稿,查看详情!此外我们还提供软文收录、PayPal代付、广告赞助等服务,查看详情! |
我们发布的部分优惠活动文章可能存在时效性,购买时建议在本站搜索商家名称可查看相关文章充分了解该商家!若非中文页面可使用Edge浏览器同步翻译!PayPal代付/收录合作 |
随着云原生技术的加速普及,Kubernetes逐渐成为IT技术架构的基石,并推动着各行业技术架构的转型升级。在《InfoQ 编辑部开年聊聊今天,我们就分享下金山云容器引擎在大数据平台的应用实践。
众所周知,Hadoop的出现加速大数据技术的应用推广,随着应用场景的不断丰富,近几年也涌现出多款优秀的计算框架,如Spark、Flink等。此前在大数据分布式调度平台中,大家普遍采用是Yarn,但是随着应用场景丰富和规模扩大,平台逐渐暴露出一些问题,如资源隔离限制较弱、监控信息不完善、弹性扩展能力弱、GPU支持不足等。
随着容器化的快速发展,大数据原有的Hadoop Yarn分布式任务调度模式,正在被基于Kubernetes的技术架构所取代。容器凭借轻量秒级部署、一次构建、处处运行的巨大优势,推动了快捷、自动化的工作流程,同时Kubernetes提供的强大编排能力以及蓬勃发展的社区生态,为大数据容器化提供了便捷的平台。
大数据支持on Kubernetes,例如Spark 从官方2.3版本开始就可以无需任何修改直接运行在 Kubernetes 上,这是一个里程碑式的事件,表明了未来技术架构的发展方向。
容器引擎是金山云推出的Kubernetes服务产品,基于原生的Kubernetes进行开发和适配,无缝融合了金山云生态的其他基础资源和产品服务。
目前,金山云容器引擎覆盖主流应用的多版本Kubernetes,支持一键式创建,多可用区高可用部署,同时提供旧版本的一键升级功能,持续保护用户资产;集成云平台能力,如网络lannel和Canal)、持久化存储(块存储和文件存储)、安全(多租户隔离和镜像仓库支持对Docker hub、gcr.io镜像加速,高速内网下载镜像,11个9的可靠性保证;在控制台支持Kubernetes 的软件包工具Helm,提供金山云官方Helm Chart,支持在线可视化部署Helm应用。
此外,金山云容器引擎大幅降低了Kubernetes的使用门槛和综合成本,让用户开发团队更专注自身业务。
统一由于大数据应用的复杂性,会使用多种类型的机型作为Work节点,如利用云主机应对快速的流量扩容、利用云物理性能损耗能力、利用云GPU线程和高速计算力优势等等,来满足计算的需求。
金山云容器引擎提供混合集群的统一可以实现多种类型节点的统一设置可以实现对整体资源的统一调度部署,避免了多个集群的使用,一方面大幅降低了使用成本,另一方面有效提升大数据业务对计算的需求是动态的,并且波动较大,金山云容器引擎支持Cluster AutoScaler实现集群工作节点的弹性伸缩,节省开支。目前,金山云容器引擎本身免费的企业级容器镜像仓库服务,用户仅需支付所使用资源的费用,工作节点支持预付费包年包月、按日配置付费、按小时配置计费等灵活的计费策略选择。
整体框架图
大数据云平台利用容器引擎集群、云物理机集群、云服务器集群构建大数据控制平台和共享服务资源池,为用户提供租户隔离、安全可靠的大数据托管服务。
大数据平台在容器引擎的部署1、在endpoint容器引擎集群中部署微服务架构,如:数据管理、数据权限、数据质量、数据地图等)、数据服务、数据采集,共享的组件mysql ,redis等基础服务。
2、在online/offline容器引擎集群中部署的大数据组hive、spark、flink、hbase、kafka、zookeeper、ElasticSearch等,目前hive、hbase等用的是HDFS存储,而zookeeper、ElasticSearch、kafka用的是NFS、KS3存储。
目前,金山云大数据平台已使用容器引擎平台部署在线和离线的业务,支持海量数据处理,在整个过程双方团队积累了丰富的大数据使用经验,持续在spark on kubernetes的动态资源、kube-scheduler调度策略等方面进行优化,升级产品功能,并赋能更广泛的大数据相关用户,为用户创造更多价值。
作为CNCF基金会黄金会员之一,金山云致力于推动基于容器技术的云原生产品认证,容器引擎已通过CNCF Kubernetes一致性认证以及容器解决方案认证和可信云Kubernetes认证。此外,金山云拥有CNCF CKA、CKAD认证的高级技术专家团队,为用户提供专业的产品和服务支持。
这几篇文章你可能也喜欢:
- CloudCone,美国Win系统VPS云服务器少量补货,美国洛杉矶MC机房,KVM虚拟架构,3核4G内存1Gbps带宽,17.49美元/月
- 恒创科技,全场3折优惠起,免备案香港VPS云服务器低至28元/月,香港/美国,新增多款特价服务器,1核1G内存5Mbps带宽不限流量,292元/年
- HostSailor,国外VPS云服务器7折,荷兰/罗马尼亚机房,KVM/OVZ虚拟架构,2核512M内存1Gbps带宽,2.79美元/月
- ShockHosting,新加坡VPS云服务器测评报告,ShockHosting免备案VPS主机测评,VPS速度和综合性能测评,ShockHosting好不好?ShockHosting值得购买吗?
- ShockHosting,最新特价优惠,全场VPS云服务器终身3.5折,美国/日本/新加坡/澳大利亚,KVM虚拟架构,1核2G内存1Gbps带宽,低至2.9美元/月
本文由主机参考刊发,转载请注明:金山云容器引擎实践 为更多大数据用户赋能 - 主机参考VPS测评 https://zhujicankao.com/7527.html
主机参考仅做资料收集,不对商家任何信息及交易做信用担保,购买前请注意风险,有交易纠纷请自行解决!请查阅:特别声明 |
相关推荐
-      Alphavps:Big Hard Drive VPS每年15欧元,AMD系列VPS每月为2.99欧元
-      SpinServers,美国高性能高配置大带宽独立服务器特价优惠低至$79/月,美国圣何塞/达拉斯,10Gbps超大带宽
-      phanes.cloud:从每月2欧元开始的较大带宽的VPS/云服务器享受50%的折扣
-      CSTSERVER特别优惠的特殊优惠,用于进入香港VPS $ 9.9/年,裸机仅$ 14.9 g端口大型带宽/站组/站组/单个服务物理机器电台整体活动
-      以太网每月付款1.97美元/年每年VPS套餐支持4个大型计算机房间,折扣为50%
-      Zgocloud American AMD Ryzen9 VPS评论-高性能1核VPS每年支付$ 38.9,CN2 GIA+9929网络优化
-      如果我单击将Win10设置崩溃(打开Win10设置后,单击其他设置)该怎么办)
-      V.PS,国外免备案VPS特价优惠低至€6.95/月,全球多个机房可选/香港VPS/日本VPS/美国VPS等,CN2/CU2高端优化网络
-      Oct Cloud Computing 2025新年服务器发布活动:以大约0.12/1小时的低点玩受欢迎的游戏!
-      模拟韩国家庭广阔的ISP服务器每月$ 199
-      CloudCorn:2025年的特殊情人节促销,低硬盘副总裁每年$ 24.99
-      Rarecloud:美国/德国/荷兰/罗马尼亚VPS 25%折扣€8.3/Year-1g Memory/1 Core/25gnvme/3T流量/1GBPS带宽
评论前必须登录!
注册