企业视频展播,请点击播放视频作者:北京美信时代科技有限公司
时序数据实验结果
文章通过使用微软的系统监控数据和客服团队的数据对算法性能进行验证,数据分别是24个 S(内存、CPU和DISK数据)和52个 E (特定任务的执行),7 个S(HTTP状态码)和57个 E (服务主题),评价标准为F-score。结果表明DTW距离比其他的距离(L1和L2)整体表现更
时间序列化数据库分析报告
企业视频展播,请点击播放
视频作者:北京美信时代科技有限公司
时序数据实验结果
文章通过使用微软的系统监控数据和客服团队的数据对算法性能进行验证,数据分别是24个 S(内存、CPU和DISK数据)和52个 E (特定任务的执行),7 个S(HTTP状态码)和57个 E (服务主题),评价标准为F-score。结果表明DTW距离比其他的距离(L1和L2)整体表现更好,算法整体比两个baseline算法(皮尔森相关和J-Measure)表现要好。
时序数据库
时序数据库是为了处理实体在时间维度状态变化而优化的数据库。这里的实体可以是某部电梯、共享单车、汽车、充电桩、风力发电机等等... 随着5G+IoT 的普及越来越多的智能设备通过互联网连接,这些智能设备无时无刻不在产生数据。因此:我们认为时序数据库将会是未来的新趋势,于是,我们研发并开源了松果时序数据库,定位于以简单、易用、的特点解决中小规模时序数据处理场景。这里中小规模指每天产生的数据量在20亿条以下。时序数据库充分吸收关系数据库、NoSQL、时序数据库的特点完全自主设计、研发。
存储与计算分离
存储计算分离,一方面利用成熟的分布式存储系统提高系统的可靠性。监控数据一直持续写入,同时还有大量的查询业务,任何系统故障导致业务中断甚至数据丢失都会造成严重的业务影响,而利用经过验证的成熟的分布式存储系统,能够显著的提升系统可靠性,降低数据丢失风险,并明显缩短构建本系统的时间。
另一方面,解除在传统Share Nothing架构下,数据和节点物理绑定的约束,数据只是逻辑上归宿于某个计算节点,使得计算节点无状态化。这样在扩容计算节点时,可以避免在计算节点间迁移大量的数据,只需要逻辑上将部分数据从一个节点移交给另外一个节点即可,可以将集群扩容的耗时从以天为单位缩短为分钟级别。
再一方面,通过将多副本从计算节点卸载到分布式存储节点,可以避免用户以Cloud Hosting形态在云上自建数据库时,分布式数据库和分布式存储分别做3副本导致总共9副本冗余的问题,能够显著降低存储成本。