企业视频展播,请点击播放视频作者:北京美信时代科技有限公司
物联网时序数据库
近几年,借助高速移动网络的发展与普及,物联网行业的发展可谓走上了“快车道”,物联网项目遍地开花。
工业物联网云平台产品正是诞生在这样一个物联网蓬勃发展的时代,“物联网工业云”主要为工业现场数据采集、传输以及在云端的数据存储、处理及分析等各个环节提供基础技术支持和解
Big River时间序列化数据库分析报告
企业视频展播,请点击播放
视频作者:北京美信时代科技有限公司
物联网时序数据库
近几年,借助高速移动网络的发展与普及,物联网行业的发展可谓走上了“快车道”,物联网项目遍地开花。
工业物联网云平台产品正是诞生在这样一个物联网蓬勃发展的时代,“物联网工业云”主要为工业现场数据采集、传输以及在云端的数据存储、处理及分析等各个环节提供基础技术支持和解决方案,使用云计算模式为工业企业提供软件服务,使工业企业的社会资源实现共享化。
时序数据库的秘密 —— 检索
码洞是通过 Lucene 的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好,比如年龄在 18 和 30 之间,性别为女性这样的组合查询。倒排索引很多地方都有介绍,但是其比关系型数据库的 b-tree 索引快在哪里?到底为什么快呢?
笼统的来说,b-tree 索引是为写入优化的索引结构。当我们不需要支持的更新的时候,可以用预先排序等方式换取更小的存储空间,更快的检索速度等好处,其代价就是更新慢。要进一步深入的化,还是要看一下 Lucene 的倒排索引是怎么构成的
时间序列化数据库背景
时间序列化数据库引擎在服务于集团内的客户时,根据集团业务特性做了很多针对性的优化。 然而在HiTSDB云产品的打磨过程中逐渐发现,很多针对性的优化很难在公有云上针对特定用户去实施。
于此同时, 在公有云客户使用时间序列化数据库的过程中,发现了越来越多由于聚合查询导致的问题,比如: 返回数据点过多会出现栈溢出等错误,聚合点过多导致OOM, 或者无法完成聚合,实例完全卡死等等问题。这些问题主要由于原始的聚合引擎架构上的缺陷导致。
因此开发团队评估后决定围绕新的聚合引擎架构对时间序列化数据库引擎进行升级,包含: 存储模型的改造,索引方式的升级,实现全新的流式聚合,数据迁移,性能评测。 本文主要围绕这5个方面进行梳理,重点在“全新的流式聚合部分
-->