读书笔记-HBase in Action-第三部分应用-(1)OpenTSDB
OpenTSDB是基于HBase的开源监控系统，可以支持上万规模集群监控和上亿数据点采集。其中TSDB代表Time Series Database，OpenTSDB在时间序列数据的存储和查询上都做了相当多的优化工作。
架构Overview
概念上OpenTSDB由三部分组成：tcollector数据采集、tsd数据服务和HBase数据存储。
数据采集流程
如上图，tcollector后台进程运行在每台被监控的服务器上，管理数据收集脚本，定期执行，失败时重启，确保所有的监控数据发送给OpenTSDB。Tcollector将数据写入到tsd，和HBase解耦保持客户端的轻量级。Tsd通过类似telnet的协议收集数据，所以少量的tsd实例能够支持大量的tcollector写入进程。
数据查询流程
图中tsd负责和HBase进行数据交互，给前端提供HTTP查询接口。所有的tsd进程都是无状态的，这样查询模块能做到负载均衡、线性可伸缩和高可用。
HBase Schema设计
OpenTSDB存储的是时间序列metrics，来自于不同的服务器，数据有不同的种类，每个点都包含时间戳和测量值。而且最终来讲，数据对用户可用，OpenTSDB还必须支持在线数据可视化。这些因素都影响着HBase Schema设计。
OpenTSDB包括两张表，tsdb表存储时间序列数据，tsdb-uid表存储ID对应关系，管理数据tags等。
Tsdb-uid表
Tsdb-uid包括id和name两个列族
前两行UID-to-name行的UID用于和tsdb表外键关联；后两行name-to-UID行用于支持tag名称的自动补齐（通过扫描rowkey高效实现）。
注意Column qualifier中的metrics代表数据种类，典型的值还包括tag name和tag value。比如来自ubuntu服务器的mysql.bytes_sent数据，其中mysql.bytes_sent为metrics，host为tag name，ubuntu为tag value。OpenTSDB通过metrics、tag name、tag value组合标记同一监控数据。
Tsdb表
Tsdb表的设计重点考虑支持日期范围查找、tag过滤。Tsdb表只有t一个列族。
首先看rowkey设计：一开始是Metric UID，接着是四个字节的部分时间戳，只到小时粒度，能保证同一指标按照时间顺序存储在一起，又能显著减少行数。最后是所有的tag name和tag value UID，满足查询过滤需求。
接着看column qualifier：首先是时间戳剩余秒部分，后面通过四位掩码做一些额外标记，比如首位标记单元值是整数还是浮点数。
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
