本文为个性化推荐十大挑战最后一部分，主要介绍了推荐系统效果评估，用户界面与用户体验，多维数据的交叉利用，社会推荐。
接上文：个性化推荐十大挑战(中)
挑战七：推荐系统效果评估。
推荐系统的概念提出已经有几十年了，但是怎么评价推荐系统，仍然是一个很大的问题。常见的评估指标可以分为四大类，分别是准确度、多样性、新颖性和覆盖率，每一类下辖很多不同的指标，譬如准确度指标又可以分为四大类，分别是预测评分准确度、预测评分关联、分类准确度、排序准确度四类。以分类准确度为例，又包括准确率、召回率、准确率提高率、召回率提高率、F1指标和AUC值。图5总结了文献中曾经出现过的几乎所有的推荐系统指标。之所以对推荐系统的评价很困难，是因为这些指标之间并不是一致的，一般而言，多样性、新颖性和覆盖率之间一致性较好，但不绝对，而这三者往往都和准确度有冲突。如前所述，解决多样性和精确性之间的矛盾本身就是一个重大的挑战!更不幸的是，即便是同一类指标，其表现也不完全一致。举个例子说，一些基于SVD分解的算法，以降低均方根误差(参考图5)为目标，在预测评分精确性方面表现上佳，但是在推荐前L个商品的准确率和召回率(参考图5)方面则表现得很不如人意，有些情况下甚至还不如直接按照流行度排序的非个性化算法。
图5介绍的那些指标都是基于数据本身的指标，可以认为是第一层次。实际上，在真实应用时，更为重要的是另外两个层次的评价。第二个层次是商业应用上的关键表现指标，譬如受推荐影响的转化率，购买率，客单价，购买品类数等等，第三个层次是用户真实的体验。绝大部分研究只针对第一个层次的评价指标，而业界真正感兴趣的是第二个层次的评价(譬如到底是哪个指标或者哪些指标组合的结果能够提高用户购买的客单价)，而第三个层细最难，没人能知道，只能通过第二层次的效果来估计。如何建立第一层面和第二层面指标之间的关系，就成为了关键，这一步打通了，理论和应用之间的屏障就通了一大半了。
图6：Facebook页面上用户注意力集中的区域的分布，其中红色的区域是用户注意力最集中的区域，黄色次之，绿色再次之，白色最次。
这个问题更多地不是一个学术性质的问题，而是从真实应用中来的问题。十年前就有学者指出，推荐结果的可解释性，对于用户体验有至关重要的影响——用户希望知道这个推荐是怎么来的。基于相似性的推荐(例如协同过滤)在这个问题上具有明显的优势，譬如亚马逊基于商品的协同过滤的推荐[72]在发送推荐的电子邮件时会告诉用户之所以向其推荐某书，是因为用户以前购买过某些书，新浪微博基于局部结构相似性的“关注对象推荐”在推荐的同时会说明哪些你的朋友也关注过他们。相对地，矩阵分解或者集成学习算法就很难向用户解释推荐结果的起源。一般而言，用户更喜欢来自自己朋友的推荐而不是系统的推荐，这一点在后面讲社会推荐的时候还会详细提到。另外，好的界面设计，能够让用户觉得推荐的结果更加多样化，更加可信。
实际应用时，推荐列表往往含有很多项，这些推荐项最好能够区分成很多类别，不同类别往往来自于不同的推荐方法，譬如看过还看过(浏览过本商品的客户还浏览过的商品)、买过还买过(购买过本商品的客户还购买过的商品)、看过最终购买(浏览过本商品的客户最终购买的商品)、个性化热销榜(个性化流行品推荐)、猜你喜欢(个性化冷门商品推荐)等等。当然，每个推荐项呈现的结果往往都来自复杂的算法，绝不仅仅象它们的名字听起来那么简单。另外，推荐栏呈现的位置对于推荐的结果影响也很大，因为同一个网页上不同位置对于用户注意力的吸引程度大不一样。图6给出了EyeTrackShop针对Facebook个人页面不同位置受关注程度的示意，可以看出，不同的位置受到的关注相差很大。
如何更好呈现推荐，是一个很难建立理论模型和进行量化的问题，对于不同被推荐品而言，用户界面设计的准则也可能大不相同。建立一个可以进行A/B测试的系统(随机将用户分为两部分，各自看到不同的推荐页面和推荐结果)，可以积累重要的实验数据，指导进一步地改善。
挑战九：多维数据的交叉利用。
目前网络科学研究一个广受关注的概念是具有相互作用的网络的结构和功能。网络与网络之间的相互作用大体可以分成三类：一类是依存关系，譬如电力网络和Internet，如果发生了大规模停电事故，当地的自主系统和路由器也会受到影响，导致网络局部中断;第二类是合作关系，譬如人的一次出行，可以看作航空网络、铁路网络和公路网络的一次合作;第三类是交叠关系，主要针对社会网络，这也是我们最关注的。我们几乎每一个人，都参与了不止一个大型的社会网络中，譬如你可能既有新浪微博的帐号，又是人人网的注册用户，还是用手机，那么你已经同时在三个巨大的社会网络中了。与此同时，你可能还经常在淘宝、京东、麦包包、1号店、库巴网……这些地方进行网购，因此也是若干张用户-商品二部分图中的成员。
想象如果能够把这些网络数据整合起来，特别是知道每个节点身份的对应关系(不需要知道你真实身份，只需要知道不同网络中存在的若干节点是同一个人)，可以带来的巨大的社会经济价值。举个例子，你可能已经在新浪微博上关注了很多数据挖掘达人的微博，并且分享了很多算法学习的心得和问题，当你第一次上当当网购书的时候，如果主页向你推荐数据挖掘的最新专著并附有折扣，你会心动吗?交叠社会关系中的数据挖掘，或称多维数据挖掘，是真正有望解决系统内部冷启动问题的终极法宝——只要用户在系统外部的其他系统有过活动。单纯从个性化商品推荐来讲，可以利用用户在其他电商的浏览购买历史为提高在目标电商推荐的精确度——当然，每一个电商既是付出者，也是获利者，总体而言，大家能够通过提高用户体验和点击深度实现共赢。与此同时，可以利用微博和其他社会网络的活动提高商品推荐的精度，还可以反过来利用商品浏览历史提高微博关注对象推荐的精度。给一个经常购买专业羽毛球和浏览各种专业羽毛球设备的用户推荐关注羽毛球的专业选手和业余教练的成功率应该很高，而且不会陷入“总在一个圈子里面来回推荐”的毛病中。
从机器学习的角度，杨强等人提出的“迁移学习”算法有望解决这种跨邻域的推荐，因为这种算法最基本的假设就是在一个领域所学习的知识在其他领域也具有一定的普适性。Nori等人最近的分析显示，在某系统中特定的行为(比如说在Delicious上收藏标签)可以被用于预测另外系统中的特定行为(比如说在Twitter上的信息选择)，其核心的思想与杨强等人一致。事实上，这种跨网的学习已经被证明可以提高链路预测的效果。尽管有上面的有利的证据，我们还是需要特别注意，迁移学习在不同领域间的效果差异很大，还依赖于相关系统内部连接产生的机制，并不是普遍都能产生良好地效果，因为有的时候在一个商品品类上表现出高相似性的用户在另外一些商品品类上可能表现出完全不同的偏好。
图7：用户跨多个独立B2C电商网站浏览购物的示意图。
我们分析了百分点科技服务客户的真实数据，发现有相当比例的用户都具有交叉购物的习惯，即在多个独立B2C电商有浏览和购买行为，如图7所示。即便只考虑两个点上，例如利用麦包包的浏览购买数据为名鞋库的用户进行个性化推荐(这些用户在名鞋库上是没有任何历史记录的新用户，但是在麦包包上有浏览购买行为)，就可以明显提高推荐的准确度(比完全冷启动的随机推荐高数十倍)，而如果利用3家或以上的外部电商的数据，其推荐的精确度可以明显高于热销榜(注意，热销榜一点个性化都没有)，特别在团购类网站上表现非常好。拥有交叉用户使得不同系统之间的“迁移”更加容易(注意，“迁移学习”原始的方法不要求系统之间具有相同的用户和商品)，Sahebi和Cohen最近测试同时评价了书和电影的用户，也发现利用对书的评分信息可以相当程度上预测对电影的评分。虽然针对多维数据挖掘的研究刚刚起步，但我相信其必将成为学术研究和商业应用上的双料热点和双料难点。
