从勇者为王到精益创业，一代又一代的企业在这个瞬息万变的商业世界中追寻着增长的脉动与规律。大到国外的Google、Netflix、亚马逊，国内的字节跳动、BAT，小到十个人的创业公司、一个人的产品思考，所有人都渴望拨开重重迷雾、锚定真正的增长引擎。
在众多的增长方法中，以数据驱动为核心理念的A/B测试是当下最为炙手可热的尝试之一。为了进一步厘清这一增长方法的来龙去脉、可行性与适用范围、真正价值与常见误区，「深响」在充分的国内外案头研究基础上，访谈到多位一线操盘手，沉淀出当下市场对于A/B测试、数据驱动的主流理解与实际落地应用的情况。
今天为您奉上增长实验室系列第3篇，《一年8万次A/B测试，谁是抖音凶猛的幕后英雄》。
?深响原创·作者｜陈文琦
追求极致怎样让用户看视频的体验更好？
作为支持抖音的数据分析师，苏嘉沐的工作总是在尝试解决这个没有尽头的问题。
疯狂生长的抖音已有超过6亿的日活跃用户，庞大的用户量要求团队对每一个微小细节的改动都异常谨慎。在这个出了名的“用数据说话”的公司，A/B测试像是一道关卡，是产品迅速的更新迭代中，必不可少的一环。
今年年初，抖音的UI设计师提出，或许可以优化文字和视频内容之间的蒙层，让视频界面上的文字更突出，用户刷视频的体验会更舒服，从而停留在App上更久一点。
那么蒙层的高度和透明度如何设置，才能达到预期效果呢？这只有通过A/B测试能知道。确定了优化目标之后，苏嘉沐的团队着手开始设计实验方案，调整蒙层的高度、透明度这两个主要参数，后续交给研发团队做实现，最终分流给不同用户。
“这是一个不断趋近它的局部最优解的过程。”苏嘉沐说。围绕两个变量的组合，团队对小小的蒙层进行了为期半个月的实验。每个方案，不同参数的组合，会需要7天左右的观测时间，来收集用户观看时长、留存等指标。
最终，敲定了最佳方案（下图），相较原版本，它让人均App使用时长提升了约0.%，人均App活跃天数提升了约0.%。
仔细对比左右两图，在标题和视频内容中间的蒙层有细微差别
团队通过A/B测试结果，最终选择了右图方案
类似上面蒙层的例子数不胜数，比如抖音原来的界面设计里，为了简洁美观，以偏符号性的按钮设计为主，类似爱心代表点赞，省略号代表评论。但是在评估用户体验时团队发现，这样的设计对不熟悉产品功能的新用户来说并不友好，他们很少主动使用。通过A/B测试，团队添加了更直观的文字提示去引导用户行为。
A/B测试贯穿了抖音的整个生命周期，从产品命名、功能、交互设计到推荐算法策略，这是字节跳动的基因。
0年，公司刚成立，掌舵人张一鸣还在自己一行一行地敲代码时，A/B测试就开始了，通过科学、可量化的方法去协助人做产品决策。
“其实A/B测试在某种程度上，使得信息更透明，大家去对话的时候更公平有据。而且对于我们各种各样的协助方来说，能累计对产品的认知，完整理解业务。”苏嘉沐告诉「深响」。
现在，单抖音一个产品，每年会开6-8万次实验。整个公司内部，目前每天约新增个实验，服务涵盖广告优化和市场活动等多项业务，累计已做了70万次实验。说A/B测试是字节跳动创造增长神话的秘密武器，毫不为过。
若没有一个通用的工具，要完成如此量级的A/B测试，近乎不可能的任务。幕后，是字节很早就开始打磨内部的A/B测试平台Libra。
打磨利器Libra这步棋，字节下的很有前瞻性。
04年，公司已经开始推动A/B测试的平台化，“让它更严谨，以及发现它的问题，在公司中更广泛地使用”，副总裁杨震原在4月的一次技术开放日的演讲上说。到06年，Libra已正式在内部推行。
这是真实需求推动的结果。字节内部数据驱动的价值观深入人心，对于A/B测试这种量化和科学评估的方法，需求越来越高频。
“刚开始产品少，主要围绕今日头条的推荐算法去做A/B测试，但随着业务不断壮大，团队有很多新的idea，（A/B测试工具的）规模化就有诉求了。”LibraPM慧开告诉「深响」，“A/B实验，比较依赖于数据计算分析能力，数据中台化，很早就在字节萌芽，这都为我们做Libra提供了很好的基础。”有了数据建设和工具的基础设施，她用了“水到渠成”这个词来描述Libra的发展。
但字节跳动产品众多，增长飞轮不断加速，在这样的背景下，如何去打造一个通用性的平台？
字节庞大的产品矩阵
图源：
