本次调研的目的在于发现「今日头条」推荐文章模块中未达理想态的case，并从多维度多方面分析背后的原因，以及进一步给出解决方案与优化建议。
策略产品已经是一门体系较为完善的学科，想学习的小伙伴可以通过搜索引擎查找相关课程。本系列文章不讲方法论，只分享亲手分析的案例。着重展示具体思路，希望可以为大家带来启发。
调研时间：2018.11
调研对象：今日头条>推荐文章模块
调研方式：抽样分析
调研目标：发现未达理想态case；分析原因，制定解决方案
一、今日头条推荐系统概述
1. 推荐维度
如果用形式化的方式去描述实际上是拟合一个用户对内容满意度的函数，这个函数需要输入三个维度的变量。
内容：头条是一个综合内容聚合平台，图文、视频、UGC小视频、问答、微头条，每种内容有很多自己的特征，需要考虑怎样提取不同内容类型的特征做好推荐。
用户特征：包括各种兴趣标签，职业、年龄、性别等，还有很多模型刻划出的隐式用户兴趣等。
环境特征：这是移动互联网时代推荐的特点，用户随时随地移动，在工作场合、通勤、旅游等不同的场景，信息偏好有所偏移。
2. 人为干预（无法量化的目标）
广告＆特型内容频控
低俗内容打压＆频控
标题党、低质内容打压
重要新闻置顶＆强插＆加权
低级别帐号内容降权
3. 典型推荐特征
4. 用户标签
用户兴趣特征最直观的是基于点击的内容标签，内容标签有相关的数据处理策略
过滤噪声：通过停留时间短的点击，过滤标题党。
热点惩罚：对用户在一些热门文章上的动作做降权处理。理论上，传播范围较大的内容，置信度会下降。
时间衰减：用户兴趣会发生偏移，因此策略更偏向新的用户行为。因此，随着用户动作的增加，老的特征权重会随时间衰减，新动作贡献的特征权重会更大。
惩罚展现：如果一篇推荐给用户的文章没有被点击，相关特征（类别，关键词，来源）权重会被惩罚。当然同时，也要考虑全局背景，是不是相关内容推送比较多，以及相关的关闭和dislike信号等。
5. 消重＆时效
1）相同文章消重
申明原创，文章会作为主要推荐。
没有勾选原创，或者原创没通过。在时效期内（24小时、72小时、一周，根据新闻热度的不同来定）头条可能选择更权威的号作为来源。
2）相似主题消重
热点事件只需要几篇文章覆盖到整个事件就可以了。
二、需求分析
1. 业务需求分析
内容聚合平台的核心功能是高效地为用户分发内容，促使用户观看更多内容，在平台逗留更长时间，并与内容作者及其他用户进行社交互动。
聚合平台向用户分发内容的方式可以分为平台主动推送和用户主动寻找。
主动推送方式主要是智能推荐引擎。
用户寻找主要是通过以下几点实现：
在搜索栏进行关键词搜索（搜索策略、文章详情页中展示“相关搜索”）
菜单导航（我的频道、频道推荐）
查看关注作者动态（关注用户、关注频道）
平台热门内容模块（热点频道、其他模块人为干预的渗透）
平台推荐内容模块（本次调研对象）
推荐模块的业务需求是通过合理筛选并展示内容或作者信息，方便用户快速找到这些内容。
2. 用户需求分析
今日头条用户画像：
从年龄、城市分布来看，18-30岁人群占到近86%，二线城市及以下占近73%。18-23岁主要是大学阶段，24-30岁则多是职场执行层，同时又处在竞争相对不那么激烈的小城市，他们都有一个共同的特点——闲。
闲就需要娱乐，头条在一定程度上补充了这部分需求，同时又提供大量的新闻资讯，满足用户获得信息的需求。
用户需要一种高效的手段来快速找到自己喜欢看的内容。除了平台智能推荐引擎、菜单导航、搜索栏、关注页以外，用户还可以通过推荐模块快速找到优质内容。
三、定义理想态
1. 理想态定义
在【科技】频道中，用户浏览完一篇文章后，推荐用户在当前最感兴趣的或者与这个内容最相似的一个内容。
2. 核心指标及拆解
“在推荐模块快速高效的找到感兴趣内容”的场景：
用户对当前文章感兴趣，在推荐模块中找到了相似的内容（内容相关性）
用户对当前文章感兴趣，在推荐模块中找到了不相关但是更感兴趣的内容（多样性、协同过滤、用户画像）
用户对当前文章不感兴趣，在推荐模块中找到了不相关但是感兴趣的内容（多样性）
用户没有看到推荐模块（覆盖）
用户点击推荐模块后，在推荐内容详情页的行为，体现出其是真的感兴趣还是被标题迷惑（满意度）
在拆解指标时，只考虑不受其他策略影响的情况，否则没办法准确定位问题。因此在抽样调研过程中，我们都假设用户看完了样本文章并滑动到了推荐文章模块。
3. 核心指标
（1）点击率
推荐模块第一条＞40%、第二条＞20%（基于sense的决策，通过实际数据分析调整）
（2）满意度
通过用户行为指标量化得分
（3）多样性
一级标签相同（相似）数量≤2，
二级、三级标签相同（相似）数量≤3
满意度＆多样性在无数据时的衡量方案：
根据之前调研时得到的数据，内容数据（视频播放量、点赞数、评论数、转发量、相关搜索、是否原创等）、作者数据（发布帐号、简介、是否认证、认证信息、粉丝数、发布数、获赞数）并没有直观的展示出其与推荐内容及排序的关系。本次调研中此类字段，对应上文核心指标中的用户满意度，简化成对应得分。
内容质量：通过可获取的内容信息、作者信息、用户与内容、作者互动的数据，佐证内容质量。
内容＆作者标签/主题：内容标签的层级是相对的，通过系统定义标签与自定义标签对比，层级关系如【体育】>【足球】>【中国足球】。
每个内容都应最少定义出相同或不同层级的3个标签。
暂定推荐模块中，前2条内容主要负责内容相关，内容质量要求适当放低；后3条内容负责内容多样。
内容相关：推荐模块第一条内容相关分＞5，第二条内容相关分＞3；内容质量分＞3
（4）覆盖
推荐模块覆盖率达到80%（基于sense的决策，通过实际数据分析调整）
（5）消重
在推荐模块的5个内容中，没有重复内容（“重复内容”和“相似内容”通过内容识别机制量化定义）
重复内容≤1
相似内容≤2
（6）时效
推荐内容的发布时间与推送时间间隔不超过其对应的时间节点
有时效性的新闻资讯内容：24小时、72小时和7天
无时效性的内容：暂定90天
4. 外部因素
a.用户持续使用时长
根据公开数据，今日头条用户平均使用时长为76分钟左右。在超过用户习惯的浏览时长后，用户的跳出是基于规律和习惯，并不能代表对推荐内容不感兴趣。
理想态中定义的【科技】只是平台内容中的一个频道，通常用户不会每次只浏览一个频道的内容。因此在单一频道中对用户平均使用时长的预估还要减少。暂定30分钟，用户持续使用超过30分钟后，跳出行为不在分析范围内。
b.使用过程中被打断
用户在使用过程中出现断网、网络信号差、锁屏、杀死进程、低电量关机、接入电话等客观情况时，会打断用户的浏览行为，并不代表用户主观上对浏览内容的好恶，因此此类情况同样不在分析范围内。
c.推荐内容为视频
部分推荐文章中包含视频内容
联网状态：在联网状态下，进入详情页时页面会自动播放。如果用户处在不方便发出声音的场合，便会立即关掉。此类情况，停留时长不代表用户对内容的好恶。因此此类情况不在分析范围内。
流量状态：在流量状态下，进入详情页会让用户选择“流量观看”和“我要免流量”，用户选择“流量观看”，则其观看时长给予一定的权重提升。如果用户选择“我要免流量”而跳入其他流程，则不在分析范围内。
四、抽样分析
1. 调研目标
分析平台【科技】频道下，推荐模块的推荐策略，通过调研及分析找到现有推荐策略存在的问题，给出优化方案。
2. 抽样对象＆抽样数量
【科技】频道中的15篇文章，记录各自对应的推荐内容。
3. 抽样方式
模拟用户浏览场景，按FEED流降序抽取样本。
局限性：由流程图可以看出页面跳转逻辑，在推荐内容是文章时，点击返回直接跳转回首页，每次跳转页面都会刷新，推荐模块内容均会产生变化，因此无法获取第一次进入样本详情页中推荐模块的全部内容信息。（搜索无法确认发布账号）
4. 样本分析＆标注
用户标签：深圳、男
用户行为：浏览【健康】【科技】类文章较多，少量【娱乐】【历史】类文章；多次重复浏览相同内容。平均停留时间小于30S。
抽样环境：周日15：00~周一1：00，iPone6SP
5. 整理汇总问题
未达理想态
（1）内容质量低
很多鸡汤文都会挂着马云等科技大佬的旗号吸引用户点击，用户对内容的兴趣不是基于科技相关话题，而是人物的社会标签、财富等因素。标题党、震惊体的标题虽然措辞程度有所收敛，但是如果把内容质量的标准稍微上升一些，但是有很大一部分的内容无法通过审核。
不同用户对内容的感知也是不同，但是如果用户觉得看到的内容质量低，但是又没办法通过浏览过的低质量内容找到高质量内容，用户会选择跳出平台。
【标签缺失】的直观展示效果。标签定义太少，不够聚焦。如果标签是高频词，会导致匹配到大量弱相关的内容；如果标签不是高频词，会导致匹配到很少的内容。
样本文章的标签错误或标签缺失，导致与之匹配的推荐内容出现偏差
推荐引擎排序没有明显规则，把【多样性内容】排到了【相关性内容】的位置
多样性不够多样。在推荐的其他主题内容中：【娱乐】5个，【房产】3个 ，【历史】4个 ，【美食】1个 ，【文化】1个 。推荐主题覆盖率只有10%左右，不利于冷启动。
（3）覆盖率低
部分文章下没有推荐内容，尤其是在FEED流顶部新刷出来的内容。有可能是没有及时为文章定义标签。
（4）消重
某种程度上和【标签缺失】是互斥的问题，在本次抽样中未定位到。完善内容标签后，需要重点关注。
（5）时效
本次抽样未定位到。本次因为浏览行为的影响，抽样中段推荐了大量科技侧重商业方向的内容，该类内容不受时效性影响。理想态的定义是90天，如果缩短到60天则会有部分内容触发时效。
不同的频道、不同层级的标签都要精细化设置对应的时效限制。
6. 其他影响因素
样本文章与频道定位不符，导致推荐的【相关内容】偏离频道定位
b.推荐模型
在抽样时，发现推荐模块中相同的内容刷新后会调整排序
在推荐模块有明确的策略定位时，建议区分出【相关内容】和【多样内容】模块，推荐模型分别推荐，各自的内容在其对应模块中调整排序。推荐模块整体消重。
7. 交互逻辑
推荐文章和推荐视频混合在推荐模块呈现，信息层级上给用户的感知是一致的。但是在推荐文章页点击返回直接跳回了FEED流，在推荐视频页点击返回是按路径返回到当前文章详情页。虽然提升了当前文章的点击量等数据，但是虚涨的数据同样对算法造成了干扰。
交互逻辑如此设计的原因分析：
不需要用户喜欢全部5个推荐内容，只要有一个吸引用户点击即可；浏览结束后返回首页，使最成熟的首页推荐引擎作用最大化。但是这无法解释为何视频和文章的跳转逻辑不同。
（2）实时推荐的颗粒度，不要太敏感，给用户反应的时间
根据用户实时行为（或实时综合其他相似用户行为）丰富用户画像，提升推荐准确性，刷新出推荐权重更高的内容。
但是对于用户来说，如果在点击推荐模块其中一个内容时，已经看到了5个推荐内容的标题，如果用户对多个内容感兴趣，就会打断用户的浏览体验，影响用户的安全感。
五、优化方案
六、优先级判断
1. 完善内容审核制度
项目收益大、项目成本大，优先级高。
属于紧急问题，是建立良好内容生态最关键的一环，要建立完善合理的审核制度，使平台中的内容质量得到保障，维护在用户心中的良好形象，防止被政策打压。
2. 内容分类策略优化
项目短期收益小，长期收益大，项目成本由策略的逐渐完善而从大到小，优先级高。
7个问题中，有4个问题与内容分类有关，而且完善策略是一个长期持续的过程，所以要重视并努力压缩这个过程。
3. 内容分发策略优化
项目短期收益小，长期收益大，项目成本由策略的逐渐完善而从大到小，优先级中。
7个问题中，有5个问题与内容分发有关，而且完善策略是一个长期持续的过程，所以要重视并努力压缩这个过程。但是内容分发不仅仅是内容因素决定，更要考虑用户行为与环境等因素。因此在对内容相关性的调研上，并不能对内容分发策略做出特别准确的评判，因此优先级中。
4. 内容推荐策略优化
项目短期收益大，长期收益大，项目成本由策略的逐渐完善而从大到小，优先级高。
可快速解决覆盖率低的问题，解决这个基础问题后，使推荐模块得到更多的曝光和数据收集，是完善内容推荐模块的重要基础。
5. 内容监控
项目短期收益小，长期收益中，项目成本中，优先级低。
需要【完善内容标签】这个前置条件。
6. 内容运营
无法预估，优先级低。
内容运营会涉及到一些牺牲部分用户体验达成商业目标的行为，需要跨部门协商后确定具体计划。
reference
《今日头条算法原理（全文）》
《短视频聚合平台功能对比分析：热门、推荐功能模块》
