首页 业界 > 业界 > 正文

柏睿实时云数仓之「性能优化篇」· 挑兵选将

 

柏睿实时云数仓能优化篇来也!本文来看看如何「挑兵选将」,欢迎阅读~

01根据CPU选云主机

首先,云主机的规格选型,不仅关系到CPU和内存的大小,还关系到CPU是否与其他云主机资源复用和云主机可以使用的最大带宽。

例如华为云主机有如下常见规格:

从上表中得知,对于不同规格的4vCPU、8G内存的云主机,其CPU处理能力是不一样的。因此如果云主机的规格选得不对,将严重影响数据库的运行效果。

柏睿实时云数仓根据节点的业务属,选择不同的规格云主机,如数据库的OPS节点,负责数据库集群的监控与Portal,选用通用计算型主机。计算Leaf节点需要强劲的处理能力,所以选用CPU独享型实例。

02选择内存容量

任选程序不可能控制无限容量的内存,当然也不可能为一个程序提供无限的内存容量。柏睿数据针对自研的分布式内存数据库,建议在云计算环境中CPU与内存的比例为1:4或1:8。

这从上架华为云的柏睿实时云数仓产品,配置最低的体验节点为4vCPU、16G内存,能看到CPU与内存比率为1:4。

03选择网络能力

云厂商针对一些特殊应用场景有定制机型,如对于高带宽互联网业务有网络增强型云主机,对于需要超强磁盘读写的业务有本地NVME磁盘的云主机。

当CPU与内存需求满足时,尽量使用带宽能力有一定扩展能力的。如下图所示华为云中4vCPU 8G内存的机型:

如果选基础带宽在1G以下的主机,就不适合柏睿云数仓的运行环境。在成本可控情况下,基准网络带宽比最大带宽更重要,尽量选用基础带宽高的云主机。

04选择云硬盘

云厂商针对一些特殊应用场景有定制机型,如对于需要超强磁盘读写的业务有本地NVME磁盘的云主机。但这种机型由于数据是存储在物理机本地,不具有数据高可靠,所以我们在华为云上线的柏睿实时云数仓,没有选用此类型的云主机和硬盘。

而云厂商传动提供不同能的云硬盘,例如华为云有如下硬盘类型及报价:

从上图能看到,云硬盘的能直接关系到使用成本

对于“一夫当关”类型的数据库,希望磁盘能越高越好,所以会推荐使用极速型SSD。而针对采用“团队作战” MPP架构的柏睿分布式全内存数据库,已将硬盘的读写分散到每个数据库节点,从我们在华为云上的测试效果来看,通用SSD基本能适合大部分业务场景。

从硬盘使用成本来看,柏睿分布式全内存数据库可以为用户节省60%多的成本。

如果云磁盘的IOPS和磁盘带宽是独立可选参数,那在可接受的成本情况下,IOPS比磁盘带宽更重要。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

关键词:

最近更新

关于本站 管理团队 版权申明 网站地图 联系合作 招聘信息

Copyright © 2005-2018 创投网 - www.xunjk.com All rights reserved
联系我们:33 92 950@qq.com
豫ICP备2020035879号-12