什么是有深度的可观测?
我们可以把它拆为两个方面,即观和测。
其实在传统监控中间有非常多的实践,也有很多工具,但仅仅是监控是不够的。它没有跨域的异常挖掘的能力、全面根因定位的能力等。
真正的观应该能做到以下三点:
从源端来看,首先要能找全问题:从指标、日志、拓补、链路(trace)去充分挖掘异常,而不是单纯的从某一类指标中发现问题;
其次是找准问题:能够充分且智能的结合经验,利用动态阈值、红线规则、日志聚类等从异常中找到真正的问题所在。
到了末端,对于这些问题要准确的过滤掉无关内容,减少问题去除噪音,能够在周期内去重,能够把相似问题合并等等。
当上面的过程全部联动起来后,才能做到测。在这里能够对事件级别分清缓急,把它们的重定级然后准确的分派通知;再次可以理清之间的关联,完成梳理问题时序、影响范围的界定、交易维度的排错等;最后就能直指根因,实现根因告警、根因指标输出、具体错误提示等,这之间将要用到一个个点状的场景和多个算法的结合来实现。