产品思考：上线后的数据分析

编辑导语：数据分析对于产品工作是十分关键的，但是在日常工作过程中常常会出现各种各样的问题，本篇文章作者分享了产品上线后的常见的数据分析等内容，一起来学习一下吧。

数据分析是产品工作中重要的一环，但真实工作场景中，会受到诸多的限制，包括但不限于数据缺失、脏数据极多、数据工程与数据分析的资源缺失、项目时间等等。

很多项目，都是在没有完整数据分析支持的情况下落地的。

这篇文章想聊下常见的数据分析和几类项目的数据分析。

前者多是知识的堆砌，后者多是个人的经验。

一、常见的数据分析

统计课上将各类方法分为描述性统计与推论性统计，但在实际的业务情景中，需要的数据分析结论能明确的指导业务动作。需要了解，面对各类情景，需采用怎样的分析方法。

一个大佬的总结到，常见的、高频的数据分析方法或情景有三类：对比、下钻、分布。这三者能覆盖大多数产品的工作了。其余的数据分析模型，聚类、分类等在实际中应用的较少。

1. 对比

将两组样本进行对比。包括横向的对比，比如A样本组 vs B样本组，以及纵向的对比，比如A样本组在a时段的表现 vs b时段的表现。

假设检验中常用的方法为t检验、f检验，但据我观察除非样本量较小，或者相对值较小的情况，很少用到假设检验的方法去判断差异显著性，更多的是基于两者对比的差值来做判断。

2. 下钻

下钻指的是将1个一级指标拆解为n个二级指标，再拆解为m个三级指标。

包括行为的下钻（漏斗分析、路径分析等），也包括指标的下钻（DAU拆解等）。

下钻分析过程中，常用的分析原则为“MECE原则”，指的是拆解过程中每一级指标间不遗漏、不重叠。

3. 分布

分布指的是看一组样本的某个数据的表现，包括集中趋势（平均值）以及离散趋势（标准差）等。往往通过散点图或箱线图的形式呈现。

同时，基于分布，也可以看未来的数据表现趋势，比如通过不同时间点留存值的分布，看未来时间上留存的表现趋势。

二、几类项目的数据分析

“项目上线后的数据分析”，这个影响的因素太多了，公司、个人、项目等等。

不同方向的项目，能够调用的数据资源，分析的价值，难度都是不一样的。

但对于每一个产品，通过数据结果来证明项目价值与作用，在当今这么卷的背景下，是工作中重要的一环。

1. 低难度——策略试验

策略类产品往往上线前就有完整的数据假设，实验方案与资源，上线后的数据分析并不困难。

能拿到精确的结果。需要注意的是实验分组需规避其他实验组的影响，不过大多有实验平台，或者依靠哈希值分组，能够较好的处理这一点。

2. 中难度——活动向&C端功能向

大多有明确的数据指标导向，比如拉新、拉活、拉营收等等。

这些活动的数据分析，核心需要规避掉其他无关因素对结果的影响。

最常见的影响因素是时间，一个时间段内可能有多个活动进行，需要选取样本时进行一定的筛选，保证样本间的对比是无其余近期上线活动、功能的干扰。

另一个在对比时需要规避的是样本组内其余变量的干扰。

比如，参加活动的有可能天然是那些积极的用户，这些用户本身就比不参加活动的用户有更好的互动、营收，那么结果的信效度就会受到挑战。

常见的方式是通过用户分层，来细化分析，这一方式简单，但比较粗糙。

我更认可的是采用倾向性匹配得分（PSM），通过罗辑回归，选取1-2个对目标变量（活跃）影响最大的核心维度（如历史付费），通过控制样本间1-2个核心维度的指标相同（方差齐性），来保证样本间对比的有效性。

3. 高难度——体验优化&通用能力

这些需求项目在业务中也经常遇到，但立项之初核心解决的问题可能更偏向用户的具体诉求，而非某一个具体的指标。

体验优化的项目是其一。

举个不恰当的例子，原先app中所有的交互都是不一致的，高度不一样，弹窗并发等等，体验很差，设计和产品同学把所有的交互UI都统一了，逻辑也更合理，是一次体验优化。

但这种体验优化，短时间内其实很难表明其价值，或者很难用数据来衡量其价值。这就需要长期的观测，或者是依赖用户研究的支持，通过NPS等指标来辅助分析。

但如果在一个非常卷的公司里，可能产品还没拿到长期或其他的数据分析，就已经因为没有数据能证明项目价值被开除了。

基础能力建设的项目是其二。

一些业务的基础能力（非中台能力），比如美颜能力（不是很恰当的例子），这是一个非常核心但基础的功能，如果是从0建设起来，在用户层面一定是有价值的，但其核心影响的指标是？

后向的观测指标是？这些指标往往非常的多，但每一个可能相关性都不是那么高。那么，剩下的指标可能就是该功能的渗透率了。

对于这类项目，会遇到一个尴尬的点，核心观测指标是功能的渗透率，但功能渗透率并不说明价值，需要其他的后向指标来辅助。

功能向体验优化是提升产品的用户价值的，但这些短期内难以有明显的数据变化趋势，同时效果很难归因。这类项目往往也争取不到数据资源，需要依赖产品本身的数据能力。

还有一类是B端的项目，但我对B端不熟悉，就不再展开了。

上述在数据分析上的难度，往往是由于项目前期没有明确的量化假设所造成的。

需要提前想清楚项目贡献的数据的表现差异，尽可能的通过版本灰度期间的数据对比，通过前端的埋点数据，进行分析，拿到可信的结果。