​1.65亿人次扫码登记的背后，是TBase的秒级返回 - 主机参考VPS测评

腾讯云TBase集群架构图

上图是TBase的集群架构图:

多活/多主:每个coordinator提供相同的集群视图,可以从任何一个CN进行写入,业务无需感知集群拓扑;

读/写扩展:数据被分片存储在了不同的DN,集群的读/写能力,随着集群规模的扩大做而得到提升;

集群写一致:业务在一个CN节点发生的写事务会一致性的呈现在其他的CN节点,就像这些事务是本CN节点发生的一样;

集群结构透明:数据位于不同的数据库节点中,当查询数据时,不必关心数据位于具体的节点。

在云南抗疫小程序中,为满足业务高并发的入库和业务分析查询,TBase使用高性能分区表功能,根据数据量的大小将人群流动数据按照天或者间隔几天进行分区存放,解决了业务分库分表的痛点,并且可以进行冷热数据分离,为海量数据的处理提供了高效的方案。同时,利用TBase智能扫描快速定位数据的位置,减少人群范围,实现快速定位。另外,TBase采用分布式架构,可根据业务压力大小灵活扩展计算和存储资源,在节省成本的同时帮助业务高效稳定运行。

要实现亿级数据的秒级返回,最重要的是提高数据节点执行效率,这里就需要提到数据重分布技术。

Part Ⅱ 海量数据智能处理分析与建模

通过抗疫小程序,在疫情病患恢复期间,一旦发现确诊人员就可以快速回溯病患曾经出入过的场所,从而快速找出可能和他有过接触的人员并及时通过短信、电话等方式向可能接触者发出提醒,尽最大可能减少交叉传播的可能性。特别是复工人潮的冲击下,为确保市民安全防止病毒扩散,需要不间断的对人群进行流动和回溯分析。

在TBase的智能分析与建模能力下,仅需30秒即可实现亿级数据量去重。这样的秒级响应是怎么实现的呢?TBase利用两个计算特性对海量数据进行分析和关联:

分布列下推查询

非分布列join

在人流不断进出公共场所时,由于前端在设计表结构并未增加主键,存在业务重复扫码以及误操作等情况,这将导致一部分数据是重复,但是这些数据依然是有参考价值的,将这些数据用在后续计算模型丰富,但这无疑给模型带来了不必要的计算。因此我们需要对业务数据进行数据去重操作。利用TBase独特的node_id和ctid以及业务主键属性进行快速筛选以及去重处理之后,简化了后续数据建模中产生的不必要中间结果。

根据扫码数据以及人群的动态轨迹信息,首先根据业务数据量的一些特征分布列设计。比如一些主属性的唯一特征,利用分布列进行下推查询,提升分布式的join计算能力。一些无法下推的查询,将复杂查询的各部分数据转化成重分布查询,利用CPU内存计算优势提高计算。通过针对业务主属性快速的分析,合理进行相关表结构设计,快速的将分析结果提供给前端设备进行预警。

另外,TBase的多核计算能力也成功将CPU多核并行计算能力、执行SQL能力实现秒级返回,保障了模型的稳定分析能力。

在TBase强悍性能的支持下,“云南防抗疫&;小程序从接入数据库到上线仅用了18个小时,有效运用科技化、信息化、的手段,推动疫情防控工作更加高效和精准,进一步降低疫情防控风险。