登录后台
BLUESKY时间序列化数据库分析报告服务「多图」
时间序列化数据库引擎在服务于集团内的客户时，根据集团业务特性做了很多针对性的优化。 然而在hitsdb云产品的打磨过程中逐渐发现，很多针对性的优化很难在公有云上针对特定用户去实施。
于此同时， 在公有云客户使用时间序列化数据库的过程中，发现了越来越多由于聚合查询导致的问题，比如： 返回数据点过多会出现栈溢出等错误，聚合点过多导致oom， 或者无法完成聚合，实例完全卡死等等问题。这些问题主要由于原始的聚合引擎架构上的缺陷导致。
因此开发团队评估后决定围绕新的聚合引擎架构对时间序列化数据库引擎进行升级，包含： 存储模型的改造，索引方式的升级，实现全新的流式聚合，数据迁移，性能评测。 本文主要围绕这5个方面进行梳理，重点在“全新的流式聚合部分
虚拟机/容器/应用监控数据：系统通常会收集不同服务器、容器或应用的度量值，比如 cpu 利用率，可用内存，可用磁盘，网络传输字节总量，每秒请求数等等，每个指标都关联相关的时间戳，服务器 id，和一组描述所收集内容的属性；
传感器数据：每个设备可以在每个时间段报告多个传感器读数；例如对于空气和环境检测，可能包含，温度、湿度、气压、-、颗粒物等等的测量值；每组数据都与时间戳、设备id相关联，并且可能有其他元数据。-行情数据：用时间戳的信息流表示，包含-代码，当前价格，价格变化等等车队/-：数据包含车辆/资产id，时间戳，gps 坐标，及可能的元数据
avro是hadoop生态系统中的序列化及rpc框架，设计之初的意图是为hadoop提供一个、灵活且易演化的序列化及rpc基础库，目前已经发展成一个独立的项目。相比于thrift和protobuf，avro具有以下特点：
1 动态类型：avro不需要生成代码，它将数据和schema存放在一起，这样数据处理过程并不需要生成代码，方便构建通用的数据处理系统和语言
2 未标记的数据：读取avro数据时schema是已知的，这使得编码到数据中的类型信息变少，进而使得序列化后的数据量变少。
3 不需要显式域编号：处理数据时新旧schema都是已知的，因此通过使用字段名称即可解决兼容性问题。
联系时请说明是在云商网上看到的此信息，谢谢！
推荐关键词：监控易一体化运维管理平台,监控易一体化运维管理系统,监控易一体化智能运维管理系统
本页网址：https://www.ynshangji.com/xw/23920853.html
声明提示：
本页信息（文字、图片等资源）由用户自行发布,若侵犯您的权益请及时联系我们，我们将迅速对信息进行核实处理。
