法院判百度必须修改ROBOTS协议：互联网精神的胜利

8月7日，百度与360公司爬虫机器人不正当竞争案，在北京市第一中级人民法院尘埃落定。对于百度滥用robots协议，以白名单机制限制360搜索发展的做法，法院持不支持态度，同时在判决书的第五条，法院判百度必须修改Robots协议，而百度要求法院禁止360抓取百度内容的要求被否决。业界评论认为，这是互联网精神的胜利。

经过一年多的激辩，当事双方及公众都明白，此案的焦点并不在于Robots协议本身是否是行业规范，而在于百度网站所设置robots.txt文件限制360搜索引擎爬虫是不具有行业公认的合理正当理由，而没有被行业公认合理、或有着双重准则的游戏规则是不需要被遵循的。

其实，360公司一直尊重Robots协议，即便《Robot排除标准》（A Standard for Robot Exclusion）并非强制性法律文件，但360公司仍尊重Robots协议并基于此发起并签署了《互联网搜索引擎服务自律公约》（以下简称“《公约》”）。包括奇虎360、百度、腾讯、搜狗、新浪、阿里巴巴、即刻搜索、盘古搜索等在内的13家互联网企业都参与签署。

据《公约》第八条明确规定：“互联网站所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。”

关于“限制360搜索的正当理由是什么”这一问题，百度方代表律师在整个案件审理期间，也没有说明白。他们只是抛出了两个牵强的答复，以作搪塞：1、由于360搜索未事先与百度沟通且建立协议关系，百度未将360搜索列入其白名单。2、因百度公司与奇虎公司另有一系列的纠纷，因此百度未将360搜索列入其白名单。

对此，360代表律师当庭给予了驳斥。“作为中国最大的搜索引擎服务商，百度在抓取海量网站网页信息之前难道均与该等网站逐一进行沟通，均与该等网站逐一建立协议关系？百度公司根本拿不出这些证据，而且在客观上亦是根本无法实现的。”360代表律师说，尤其是，百度公司在本案中所主张的百度知道、百度文库、百度贴吧等网站内容均是网民上传的内容，百度公司对该等网页并不享有著作权等权利。如果按照百度所公司所述，百度公司仅将该等网站开放给与百度公司建立协议关系的搜索引擎，无异于百度公司将网民上传的内容据为己有，并将其作为利益交换的筹码，以开放该等内容为条件与其他搜索引擎达成协议。

就第二点，360代表律师表示，相关的纠纷与两家公司在搜索引擎服务领域的正当竞争无关。百度公司无权滥用其在中国搜索引擎服务市场的支配地位，以双方存在纠纷为由限制360公司在搜索引擎市场的发展乃至生存。

正是以上种种证据，8月7日，北京市第一中级人民法院判决，对于百度滥用robots协议，以白名单机制限制360搜索发展的做法，院方持不支持态度，并认为360爬虫机器人抓取百度旗下各网站内容的行为不构成不正当竞争。 这意味着，360公司自《公约》以来，其抓取百度内容的做法并无不当，而且今后还可以继续收录并索引。

实际上，对于百度网站设置的该等不合理的robots.txt文件，并非只有360搜索认为无需遵守。在百度设置的白名单中，雅虎搜索以及微软公司的必应搜索也并未列入其中。雅虎、必应搜索在中国搜索引擎服务市场中所占份额均不足1%，并非中国搜索引擎服务市场中的主流搜索引擎。但作为国际知名公司，雅虎搜索和必应搜索同样收录并索引百度知道、百度贴吧、百度文库等百度内容网站，与360搜索收录并索引该等内容网站的行为并无区别。可见，诸如雅虎、微软等国际知名互联网企业亦认为百度相关网站所设置的是歧视性robots.txt文件，无需遵循其双重标准。

责任编辑：wb001

文章来源：http://tech.72177.com/2014/0807/1867249.shtml