企业视频展播,请点击播放视频作者:北京美信时代科技有限公司
时序数据从分表到分库
这里的时序数据泛指一切随时间推移而不断增长的数据,比如、银行交易记录等。对于数据库来讲,时序数据并没有什么特殊性,可以和普通数据一样放在数据表中。不过,因为不断增长,积累时间较长后,这种数据的量常常都会很大。一个物理表的数据量太大时,就会影响查询和计算的性能。
现代数据库一
时间序列数据库案例
企业视频展播,请点击播放
视频作者:北京美信时代科技有限公司
时序数据从分表到分库
这里的时序数据泛指一切随时间推移而不断增长的数据,比如、银行交易记录等。对于数据库来讲,时序数据并没有什么特殊性,可以和普通数据一样放在数据表中。不过,因为不断增长,积累时间较长后,这种数据的量常常都会很大。一个物理表的数据量太大时,就会影响查询和计算的性能。
现代数据库一般都提供有表分区(PARTITION)的机制,就是把一个大表纵向(按行)分成若干区段,分区规则由数据库管理员来设置,对应用程序员来讲是透明的,可以和不分区的表一样访问,数据库会自动根据查询条件决定读取哪些分区的数据,这样的接口体验非常好。
不过,在实战中,分区表的效果在某些场景下并不好,而且使用时也有些约束条件,并不总好用且能用的。结果,在实际业务中,我们常常会看到对于这种大数据采用手工物理分表的方案
存储与计算分离
存储计算分离,一方面利用成熟的分布式存储系统提高系统的可靠性。监控数据一直持续写入,同时还有大量的查询业务,任何系统故障导致业务中断甚至数据丢失都会造成严重的业务影响,而利用经过验证的成熟的分布式存储系统,能够显著的提升系统可靠性,降低数据丢失风险,并明显缩短构建本系统的时间。
另一方面,解除在传统Share Nothing架构下,数据和节点物理绑定的约束,数据只是逻辑上归宿于某个计算节点,使得计算节点无状态化。这样在扩容计算节点时,可以避免在计算节点间迁移大量的数据,只需要逻辑上将部分数据从一个节点移交给另外一个节点即可,可以将集群扩容的耗时从以天为单位缩短为分钟级别。
再一方面,通过将多副本从计算节点卸载到分布式存储节点,可以避免用户以Cloud Hosting形态在云上自建数据库时,分布式数据库和分布式存储分别做3副本导致总共9副本冗余的问题,能够显著降低存储成本。
数据写入的特点
写入平稳、持续、高并发高吞吐:时序数据的写入是比较平稳的,这点与应用数据不同,应用数据通常与应用的访问量成正比,而应用的访问量通常存在波峰波谷。时序数据的产生通常是以一个固定的时间频率产生,不会受其他因素的制约,其数据生成的速度是相对比较平稳的。时序数据是由每个个体独立生成,所以当个体数量众多时,通常写入的并发和吞吐量都是比较高的,特别是在物联网场景下。写入并发和吞吐量,可