违反Robots协议被索赔一亿的案例（上）

　　2013年1月28日，北京一中院受理某度诉某虎不正当竞争纠纷案并在2014年8月7日作出2668号判决。 昨天介绍了诉讼爆发的背景，今天直接看判决内容。
　　争议行为  2012年8月16日某虎推出搜索引擎服务后，和某度搜索引擎业务形成直接竞争。某度认为某虎的以下行为侵害了其对19个网站栏目享有的合法权益：某度Robots协议不允许360爬虫机器人抓取产品内容； 360爬虫机器人抓取了某度网站的内容，并作为搜索结果向网络用户提供； 360在强行抓取某度内容后，某度进行了强制跳转到某度首页的技术措施，360也进行了向网络用户直接提供网页快照的反制技术措施。
　　双方观点  某度认为自己有权设置robots协议，某虎拒绝遵守其协议的行为，违反了《自律公约》第七条和第九条的规定。
　　第七条第一款的规定是，签约各方应＂遵循国际通行的行业惯例与商业规则，遵守机器人协议（robots协议）＂。言下之意是，某虎应当遵守某度的Robots协议，某度采取＂白名单＂方式，且未将360搜索引擎列入许可范围，某虎就不应该对某度网站内容进行抓取。
　　第九条的规定主要是＂……对于本公约公布前违反robots协议抓取的内容，在收到权利人符合法律规定的通知后，及时删除、断开侵权链接……＂。也就是说，某度在2012年11月1日公约签订当日，已经向某虎发出通知，要求其停止侵权行为，但某虎没有响应其要求，行为不当。某虎认为某度违反了《自律公约》第八条的规定，利用Robots协议打击同行，属于不正当竞争。
　　第八条的规定是＂……设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为……＂。某虎的答辩理由具体包括：某度滥用Robots协议，以案涉robots.txt文件为手段排斥同业竞争者，以达到限制同业竞争者正当竞争的目的； 某度滥用Robots协议的行为 如果被司法判决确认保护，将给中国互联网搜索引擎服务行业的发展带来极为不利的影响 ，并将严重损害互联网用户利益； 360搜索以网页快照而非原始网页链接方式显示某度内容网站的内容，是由于某度恶意技术干扰所致，且360搜索早已不再通过网页快照方式显示某度内容网站搜索结果，某度在本案中控诉的所谓相关不正当竞争行为已不存在； 某度在本案中控诉的360搜索违反某度设置的robots.txt文件、抓取某度网站内容的行为不属于不正当竞争行为。 这些答辩理由后来被某虎用于起诉某度不正当竞争（北高4亿案）。
　　对《自律公约》的评价
　　本案原被告双方都援引《自律公约》，主张对方行为不当。法院认为《自律公约》属于行业自律声明，不是法院可以直接适用或参照适用的法律、行政法规或部门规章。
　　但作为在互联网协会的牵头组织下，由搜索引擎行业内具有较高代表性且占有绝大部分市场份额的企业共同达成的行业共识，《自律公约》可以反映和体现了行业内的公认商业道德和行为标准。 法院尊重其所反映的企业意愿和行业导向，在没有明确法律规定作为判定双方当事人权利义务边界的情况下，将对公约体现的精神予以充分的考虑。
　　背景信息：2012年11月1日《自律公约》签订时的互联网企业包括百度、即刻搜索、盘古搜索、奇虎360、盛大文学、搜狗、腾讯、网易、新浪、宜搜、易查无限、中搜等。百度搜索引擎白名单中不包括360搜索、盛大文学、新浪、易查无限。
　　争议焦点  法院认为本案争议焦点是＂某虎不遵守某度Robots协议的行为是否构成不正当竞争＂。判断这个问题，首先需要先对＂搜索引擎的运行原理＂和＂Robots协议＂进行分析。法院首先通过对＂搜索引擎工作原理＂的分析，肯定了网络爬虫技术应用的合理性。
　　搜索引擎的工作原理简单说就是用户发出搜索要求后，搜索引擎按照事先确定的计算方法，从海量的网上信息中，将符合用户要求的网页挑出，按照特定的排序提供给用户。
　　这种＂挑出＂不是收到用户搜索要求后才进行的，而是事先采用网络爬虫技术对信息作出收集、处理，并存储在搜索引擎服务器上，用以提升处理效率。 为了避免＂访问遍浩瀚的网络世界所需的海量时间＂，搜索引擎釆用爬虫技术，即——事先逐一访问互联网上的每一个网页，将每一个网页上的信息进行分析后，提炼出最能够概括这个网页上刊载信息的关键字，将每一个网页的网络地址和关键字一并存储在搜索引擎服务器上。 当收到搜索要求后，搜索引擎立即在自己的服务器上，对用户希望搜索的信息和事先存储的关键字进行逐一比对。 因为这个步骤是在自己的服务器上完成，＂网页关键字的信息量＂和＂浩瀚的网络信息＂相比，微乎其微，搜索引擎可以在极短的时间内就找到关键字，并将与之对应的网络地址等信息找出，然后按照＂匹配度＂的高低，将结果列出。（判决书中写的是＂匹配度＂。） 法院进一步分析了Robots协议出现的背景及其法律属性。
　　判决提及，搜索引擎的出现提升了用户获取信息的效率，但也因为搜索方会千方百计增加网络爬虫访问网页的效率，对当时薄弱的互联网基础设施（网站的服务器容量、网络带宽等）产生冲击，引发网站服务商或所有者的不满。
　　为了解决这个问题，行业中有人发起和制定Robots协议，通过在网站程序写入robots.txt文件，标示限制搜索引擎爬虫机器人访问的信息。
　　法院认为，Robots协议具有技术规范、单方宣示、普遍遵守、非技术措施四个属性，并非法律意义上的协议或合同，也不会起到强制禁止访问的「技术措施」作用。但是， Robots协议已经成为了一种国内外互联网行业内普遍通行、普遍遵守的技术规范 。从国内外因搜索引擎拒绝遵守Robots协议而引起的纠纷甚为少见，也可以侧面看出这一点。 具体到本案，法院认为，某虎搜索引擎创建伊始至自律公约签订前，违反某度Robots协议的行为构成不正当竞争。互联网的高速发展依赖于＂自由竞争＂的良好环境，但这种＂自由＂并非毫无约束。如果采用＂丛林法则＂，＂即在没有规则的前提下，为了自身发展可以釆用违背诚实信用及商业道德的方式攻击竞争者＂，那么任何创新都会被不择手段的竞争者所扼杀，＂必须重视和强调规则在自由竞争中的作用＂。 本案中，某虎推出搜索引擎时也刊载了自己的Robots协议和设置方法，这说明，某虎本身也认可和遵守Robots协议这种搜索引擎行业内公认的、应当被遵守的商业道德。 某虎在推出搜索引擎服务之初（包括上线筹备期）未遵守某度Robots协议的行为明显不当，应当承担相应的不利后果。 法院进一步指出，某度在不知道某虎提供搜索引擎服务的前提下，没把某虎纳入Robots协议白名单，并无不当。但是，某度在《自律公约》签订之后，在合理的期限内未明确提出其拒绝修改robots协议的合理理由并书面告知某虎，故在《自律公约》签订之后，某度关于某虎行为不当的主张不能成立。
　　法院曾明确问过双方，某度没把360写入robots协议白名单，是否有说明过合理理由。 某虎说某度没说过。某度则不直接回答，只是说本案争议发生时《自律公约》还没签订，而且某虎没明确要求加入白名单；就算提出这个要求，也应该先停止侵权行为，然后某度才会考虑要不要把它加入白名单。
　　-未完待续-