埋点与侵入式

对于应用程序错误数、应用程序请求量、应用平均响应时间的监控，这里是一个分水岭，因为这里想要做到无侵入的效果，需要做一些额外的工作，否则只能编写大量的“埋点”代码。比如，是不是有一个网关来统一进行流量分发？是不是有一个统一的RPC框架、数据库访问框架等等。如果有这样的统一模块就好办了，直接在这些模块里增加监控功能。

数据存储

关于采集到的数据如何存储，主流的选择是将数据写入到一个时序数据库中。

• Prometheus提供了丰富的数据模型和查询语句，容易上手，很容易集成到现有的环境中，但是Prometheus的集群和HA架构并不成熟，需要额外的开发，并不适合。

• InfluxDB是在Prometheus之后才提出的，并且提供商业的伸缩和集群化服务，相比Prometheus的metrics存储，InfluxDB还能处理事件类型的数据，对于大部分公司而言，商业化基本不会考虑。

• OpenTSDB是一个基于Hadoop和Hbase的分布式事件序列数据库，相比Prometheus和InfluxDB，OpenTSDB的横向扩缩容很容易(需要有丰富的Hadoop/HBase维护经验),同时官方Open-falcon支持OpenTSDB。

在Prometheus中收集所有指标后，你可以使用Grafana可视化这些指标。关于数据展示的选型，在没有自研能力的情况下，Grafana是不二选择。Grafana的告警功能强大方便，同时支持钉钉，Webhook等，满足公司所有的需求。与此同时，我们将Grafana和Docker技术结合，实现了Grafana高可用、自愈和无限扩展能力。