推荐系统实验指标置信度：p值核心原理与工程应用指南

一、推荐系统实验中的置信度困境

在推荐系统AB实验中，经常出现以下矛盾场景：

• 实验组CTR提升1.2%，但次日回退至基线水平
• GMV指标p值0.04（<0.05），但用户留存率显著下降
• 离线AUC提升3%，线上实验却无显著变化

这些现象本质是实验指标置信度问题——如何判断观测到的指标变化是真实效应还是随机波动？统计学中的**p值（P-value）**是解决这一问题的核心工具，本文从原理、计算、应用三方面解析其在推荐系统中的实践方法。

二、p值核心原理：从假设检验到推荐场景适配

2.1 基础概念与数学定义

p值：在原假设（H₀：实验组与对照组无差异）成立的前提下，观测到当前或更极端结果的概率。

• 取值范围：[0,1]，越小表示结果越不可能由随机波动导致
• 显著性水平：常用α=0.05（p<0.05拒绝H₀，认为结果显著）

推荐系统核心假设：

• H₀：实验组与对照组的指标均值/比率无差异（μ₁=μ₂）
• H₁：实验组指标优于对照组（μ₁>μ₂，单尾检验）

2.2 通俗版本

为了更容易理解，我们先抛开公式，用一个生