产品数据指标异常波动的分析框架

如题所述

第1个回答  2022-06-19

当APP产品业务线的某个数据指标出现异常的波动时,该如何着手数据异常分析呢?

一般来讲,产品的某些数据指标都会具有固定的波动周期,而且每个周期内数据的变化应该趋于稳定,但在数据监控体系里的日报、周报、月报中某数据指标突然不再符合预期的稳定变化,这就是我们所说的数据出现异常波动。在这种情况下,我们就需要去深挖数据异常产生的原因。
而做数据异常分析核心就是结合以往经验及各种信息,找出最有可能的原因假设,通过将数据指标的进行拆分,再多维度分析来验证假设,定位问题所在。其过程中可能会在原假设基础上建立新的假设或者是调整原来假设,直到定位原因。

使用该框架最重要的一点是在回答问题的开始就告诉面试官你的回答框架!你为什么要提前告诉面试官你的框架呢?
你要知道面试官并不完美,他们有时会问一些不清楚或不正确的问题。所以,如果你能提前给他们提供你的框架,他们就能在问题问得不好的情况下纠正错误。
最重要的是,你需要让面试官知道你是如何看待这个问题的。例如,面试官让你分析一下,为什么我们的产品增加了15%的注册量。
如果你向面试官解释你的框架,面试官可能会说:让我们只关注数据分析——不需要进行竞争对手的研究或客户研究。这样,你可以推断出你应该关注季节性、群体、价格变化等。
类似地,如果你告诉面试官整个框架,但面试官更关心竞争分析,他会告诉你跳过框架的其他部分,这样我们就可以专注于竞争对手的行为。
在面试里你不可能在短时间内阐明每个步骤,因此你需要和面试官进行交流确认你重点关注的内容。现在让我们深入研究框架中的每个步骤。

在这里强调一下: 数据真实性是根基。
实际上因为数据源出问题,导致的指标异常非常非常多。工作中经常会遇到诸如服务器异常、数据后台统计出现错误、在数据报表上出现异常值、数据测量工具有问题等情况。所以在开始着手分析前,必须首先确认数据的真实性。
所以,遇到问题第一顺位先确认数据没有错,找数据统计相关的产品和开发确认下数据的真实性。

现在,我们先来明确一下数据指标出现异常:上升或下跌,通常有以下情况:

以上,这三种情况意味着问题本身不同的严重程度

如果是数据指标下跌的话,周期性下跌一般都不需要做特殊处理;一次性下跌往往来的比较突然,要关注事件持续性;持续性下跌的,特别是不见好转,持续的时间越长问题越严重。

需要注意是:不能单纯的看日周月报表中趋势图的走势,要结合波动的幅度来看——幅度越大,说明出现的异常问题越值得注意。

因此,我们需要明确以下问题:

清楚了数据指标的具体情况,有了轻重缓急的判断,下一步就可以进行指标的拆解,再缩小怀疑范围,建立分析假设。而建立假设,有助于去伪存真的进行验证,进一步逼近真实原因。

如:日活=新增用户+老用户留存+流失用户回流,二级指标拆解如下

通过这种方法,定位到导致哪个区域或者渠道的日活下降的用户群体是谁,以及定位原因有了大致范围。
比如定位是新用户问题,我们需要再把新用户日活按渠道进行拆分:新用户=渠道1+渠道2+渠道3+其他渠道;通过渠道拆分,我们会发现是具体哪个渠道效果发生的问题。那么,继续下一步我们要根据实际业务进一步做假设,具体情况具体分析。

以上是几种常见的初步拆分维度,通过初步拆分,定位原因大致范围。

若拆分后的指标均下降,我们需要找出最显著的哪个,这就引申到
计算影响系数:每一项数据都要和以往正常值做对比,算出影响系数。
影响系数=(今日量-昨日量)/(今日总量-昨日总量)
影响系数越大,说明此处就是主要的下降点,需要对此进一步分析。
案例: 某App某日日活指标异常下降
按照上述套路,我们先拆分新老用户活跃量,如下图(老用户左轴、新用户右轴):

新用户影响系数0.84,说明DAU下降是出在新用户身上,明确范围后进一部细分,新用户由什么构成?

新用户=渠道1+渠道2+渠道3+其他渠道 ,于是我们把新用户日活按渠道进行拆分:

不过,只找到根源问题,我们需要找到导致这个问题发生的原因,才能提出解决方法。

因此,联系渠道3的负责人一起定位具体原因,是渠道线索量降低?是渠道转化率降低?还是渠道平台的问题?这就引申到下一步骤了。

具体分析可以采用“内部-外部”事件因素考虑。

内部 -- 外部事件因素
在一定时间内同时发生可能很多种,主要关注数据指标的起点、拐点、终点。

1. 内部事件因素
分三个维度来做假设,建议针对数据异常问题专门建一个群,拉上相应的产品、技术、运营人员一起,了解数据异常时间点附近做了什么产品、运营、技术侧调整。

2. 外部事件因素

我们遵循 短期变化找内因,长期异动找外因。
查找顺序一般也是按文中提及的顺序来,先内而外,先考虑用户其次对手最后环境。

除了上述,可以细分分析的维度实在太多,逻辑上说核心点在于一个假设得到验证后,在这个假设为真的基础上,进行更细维度的数据拆分。我们需要记住这种分析方式,当猜测是某种原因造成数据异常时,只要找到该原因所代表的细分对立面做对比,就可以证明或证伪我们的猜测,直到最后找到真正原因。

与业务沟通反馈分析结论,探讨后续方案的执行;再针对原因解决问题,制定优化策略。
最后,我们要预测影响到什么时间;并运营、产品沟通反馈分析结论,探讨后续方案的执行。

实际业务中,数据异常的影响原因可能是多方面的(本篇只讲到了一些内部因素,外部环境和竞对其实也会影响核心数据),有的时候也需要建立统计分析模型来做一些定量分析。可能要花几天的时间去不断排查问题。

所以我们需要在平时工作中多留意数据变化,在条件允许范围内,再结合自身业务经验确定几个最可能的原因假设,给这些假设排数据验证的优先级,逐一排查,深入分析,比如本次指标下跌是因为新功能不符合预期不给力、渠道投放力度不够、竞品太厉害、版本更新大bug、流失严重等。

随着对业务的熟悉和数据敏感度的提升,针对数据异常分析我们也会越来越熟练,更快的找到问题所在。

案例: 淘宝店销售额下降,你如何用数据给老板分析原因?