趣店线上监控报警系统设计与实现

本文主要是介绍趣店线上监控报警系统设计与实现，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

理想很丰满，现实很骨感，线上业务系统，绝对不会万事如意，外在因素太多，总会出现这样那样的问题，所以，智能监控和报警，变得尤为重要；线上问题永远都是最重要的问题，必须尽早发现尽早解决。

一、背景

一张网络图，比较形象的描述线上业务系统的状况，虽然有点儿夸张，但这不假：

二、大纲

业务监控系统架构分析
监控模块的设计与优化
监控智能化的一些尝试

三、业务监控系统架构

没有完美的架构，任何架构都是平衡妥协的结果

3.1 设计背景

监控项不完善，需要快速完善监控项(痛点:快速实施)
运营活动频繁，报警收到麻木(痛点:报警太多)
上线调整时无实时直观的参考(痛点:不及时，不直观)

3.2 主流架构

3.2.1 案例

阿里：

蘑菇街：

3.2.2 特点

架构的核心关键字是:海量、实时
侧重于大数据的处理，报警分析偏弱，没有解决当时的痛点问题
公司已有大数据部门在做类似的事情
监控人手紧张且缺乏相关经验，存在一定风险

思考:大数据是否应该属于监控系统的一部分?

3.3 趣店当前监控架构

基于现有业务监控开发，利用已有资源
利用队列将系统拆分成不同模块，方便升级
利用现有的优秀开源软件

四、监控模块设计与优化

各个模块可以随时被更优的方案替换

4.1 采样模块

采集源：
SQL、API、ElasticSea ch (实时日志收集)、其他更多
运行方式：
crontab定时运行，Laravel队列执行采集任务

4.1.1 问题

某个采集变慢，导致整个采集不可用
大数据表性能雪崩
采集需要额外监控

4.2 存储计算模块

4.2.1 时序数据库

时序数据库(Time Series Database，简称TSDB)是用于管理时间序列数据的专业化数据库。区别于传统的关系型数据库，时序数据库针对时间序列数据的存储、查询和展现进行了专门的优化，从而获得极高的数据压缩能力、极优的查询性能，特别适用于物联网应用场景(物联网应用往往需要处理海量的时间序列数据)。

4.2.2 关键特性

针对时间特别优化，以时间为维度的高效查询
很方便的向下采样(downsampling)
海量存储能力
自动简单高效处理过期数据

4.2.3 TSDB排行榜

4.2.4 趣店的选择-InfluxDB

无外部依赖
快速使用
优雅的RESTFUL API
强大的类似SQL的查询语言
水平扩展
纯go编写

1）、InfluxQL具体表现：

# demo 1
SELECT <stuff> FROM <measurement_name> WHERE <some_conditions># demo 2
SELECT * FROM "foodships"# demo 3
SELECT * FROM "foodships" WHERE "planet"='Saturn'# demo 4
SELECT * FROM "foodships" WHERE "planet"='Saturn' AND time > '2015-04-16 12:00:01'# demo 5
SELECT * FROM "foodships" WHERE time > now() - 1h