DataTester 是字节跳动在 2019 年正式通过火山引擎数智平台推出的对外服务的 A/B 实验工具，它基于先进的底层算法，提供科学分流能力，提供智能的统计引擎，实验结果可靠有效，助力业务决策。
让中小企业也能借助字节跳动的技术力量拥抱最新的产品趋势，融入字节跳动的各种方法论，打造更加优秀的产品。DataTester 在字节内每日新增 1500+实验，累计已有 150W+ 的 A/B 实验进行过。
在外部客户的服务上，也已覆盖推荐、广告、搜索、UI、产品功能等业务场景，提供从实验设计、实验创建、指标计算、统计分析到最终评估上线等贯穿整个实验生命周期的服务。来自得到、美的、凯叔讲故事 APP 等企业客户，已经通过火山引擎 DataTeser 开启了用数据驱动科学决策的道路。
一、初阶
1.AB 实验
为了验证一个新策略的效果，准备原策略 A 和新策略 B 两种方案。随后在总体用户中取出一小部分，将这部分用户完全随机地分在两个组中，使两组用户在统计角度无差别。将原策略 A 和新策略 B 分别展示给不同的用户组，一段时间后，结合统计方法分析数据，得到两种策略生效后指标的变化结果，并以此判断新策略 B 是否符合预期。
上述过程即 A/B 实验，亦被称为“对照实验”或“小流量随机实验”。
2.互斥组
