1. 什么是独立同分布（IID）？
在AB测试的语境下，独立同分布（Independent and Identically Distributed，简称IID）是一个统计学上的基础概念。简单来说，它描述的是实验样本需要满足的两个核心特性：独立性和同分布性。
独立性意味着一个样本的取值不会影响另一个样本的取值。比如在电商平台的用户行为实验中，用户A的购买决策不应该影响用户B的购买决策。如果违反了这一原则，比如用户之间存在社交网络效应，那么实验结果的可靠性就会大打折扣。
同分布性则要求所有样本都来自同一个概率分布。继续以电商为例，这意味着实验组和对照组的用户群体在关键特征（如购买力、活跃度等）上应该具有相同的统计特性。如果实验组意外包含了更多高消费用户，那么即使产品改动没有实际效果，也可能显示出虚假的提升。
注意：在实际业务中，完全理想的IID条件几乎不可能达到，但我们需要尽可能接近这个标准，才能确保实验结论的有效性。
2. 为什么AB测试必须关注IID？
2.1 统计检验有效性的基础
主流的统计检验方法（如t检验、z检验）都建立在IID假设之上。如果样本不满足IID条件，p值的计算就会产生偏差。我曾遇到过这样的情况：一个看似显著的p值（0.03）实际上是由于样本间的相关性导致的假阳性，当采用考虑相关性的混合效应模型重新分析后，p值变成了不显著的0.21。
2.2 避免辛普森悖论
当样本存在分层差异时，可能在每个子群体中都观察到正向效果，但整体却显示负向效果。这种情况在用户画像复杂的平台尤为常见。例如，我们在某内容平台的实验中发现：年轻用户组CTR提升5%，中年用户组提升3%，但整体却下降1%。后来排查发现，实验组意外分配了更多低活跃度的中年用户，扭曲了整体效果。
2.3 业务决策的可信度
违反IID原则的实验可能导致完全错误的业务决策。某金融产品曾因为实验组包含更多风险偏好型用户，误判了风控策略的效果，上线后造成了意料之外的坏账率上升。这个教训让我们在后续所有实验中都会严格检查用户分层的平衡性。
3. 实践中如何确保IID？
3.1 随机化分流的正确实施
真正的随机化不是简单按用户ID哈希分配，而需要考虑：
分层随机化：先按关键维度（如用户等级、地域）分层，再在各层内随机分配。我们在社交产品中通常会按用户活跃度、社交网络密度等维度分层。
时间片轮转：对于存在时间效应的指标（如周末效应），采用实验组/对照组定期轮换的设计。某外卖平台发现，单纯按用户分流会导致实验组总是包含更多周末订单，后来改为按"用户+日期"联合哈希才解决问题。
设备级随机：在移动端要特别注意，同一用户在不同设备上应该保持分组一致性。我们通过持久化设备-用户映射关系解决了这个问题。
3.2 协变量平衡性检验
实验开始前必须检查以下方面的平衡性：
| 维度 | 检查方法 | 可接受偏差 |
|---|---|---|
| 用户画像 | KS检验/卡方检验 | <5% |
| 历史行为 | 均值差异检验 | <0.1σ |
| 时间分布 | 每日用户量比例检验 | <3% |
| 地理分布 | 各地区占比卡方检验 | <2% |
我曾开发过一个自动化检查工具，会在实验启动前72小时持续监控这些指标，发现异常就触发报警。这个做法帮助我们避免了至少3次严重的样本偏差问题。
3.3 处理网络效应的特殊方法
在社交类产品中，用户间的相互影响会破坏独立性假设。我们摸索出几种应对方案：
整群随机化：以社交圈子为单位（如微信群、兴趣小组）进行分配。虽然会降低统计功效，但能保持组内同质性。
边缘随机化：在社交图谱中，随机保留一定比例的"桥接用户"作为缓冲。某社区产品采用这个方法后，实验组间的污染率从35%降到了8%。
因果推断模型：当无法完全避免干扰时，采用SUTVA（稳定单位处理值假设）放宽的模型。我们最近在直播PK功能测试中就成功应用了倾向得分匹配法。
4. 常见IID违规场景与诊断
4.1 分流算法缺陷
早期我们使用简单的取模分流时，曾因为哈希函数特性导致某些用户群体总是被分到同一组。现在的解决方案是：
- 采用加密级哈希（如SHA-256）
- 加盐处理（salt=实验名称）
- 定期更换哈希种子
4.2 实验叠加污染
当用户同时参与多个实验时，不同实验的处理可能会产生交互效应。我们的应对策略包括：
- 建立实验正交层系统
- 对关键指标设置互斥规则
- 开发流量冲突检测工具
一个具体案例：在某购物App中，同时测试搜索算法和推荐算法的改动，结果发现两个实验都显示正效果，但一起上线后却出现负向叠加。后来通过设计正交实验矩阵，才准确评估出每个改动的独立效果。
4.3 样本流失不平衡
特别是在长期实验中，实验组和对照组的用户留存率可能出现差异。我们现在的标准做法是：
- 采用生存分析方法处理流失数据
- 设置动态补流机制
- 对留存率差异设置熔断阈值
5. IID验证的实战方法
5.1 事前诊断技术
AA测试：在正式实验前，运行两组都使用对照方案的测试。我们要求所有关键指标的p值>0.3才允许启动正式实验。
协变量诊断：开发了一个自动化仪表盘，实时监控50+用户特征的分布差异。某次发现实验组iOS用户比例异常偏高（32% vs 28%），及时排查出是新的SDK版本影响了分流逻辑。
随机性检验：应用游程检验、排列检验等方法验证分流序列的随机性。曾发现某次实验的用户序列存在周期性模式，原来是分流服务使用了有缺陷的随机数生成器。
5.2 事后补救措施
当发现IID假设被违反时，我们有以下应急方案：
重加权法：对样本进行逆概率加权。在某次促销实验中，通过给低活跃用户赋予更高权重，修正了样本偏差。
匹配法：使用最近邻匹配、熵平衡等方法重建可比样本。这个技术在评估新用户引导流程时特别有效。
模型调整：在统计模型中引入协变量调整项。我们的数据分析框架现在默认包含核心用户特征作为控制变量。
在实际操作中，我发现最稳妥的做法是：当主要指标的p值在0.01-0.05之间时，如果怀疑IID问题，就同时报告原始结果和调整后结果。这个习惯帮助团队避免了好几次险些做出的错误决策。
