杨华权博士：设置robots.txt文件不能违背市场自由竞争

本案一审判决的要点在于第四和第五部分的结论，这是司法判决第一次详细论证了Robots协议的法律性质，并且对违反Robots协议的行为作出了司法认定，同时第一次对搜索引擎服务商与网站服务商或所有者关于Robots协议产生纠纷时设定了“协商—通知”程序，这对规范搜索引擎行业的发展具有重要的司法引导意义。

在判决中，法院认定Robots协议是一种得到了“普遍遵守”的“技术规范”、“单方宣示”和“非技术措施”。同时，法院也指出“根据Robots协议，网站服务商或者所有者可以在网站程序的最开头部分写入一段网络程序，即robots.txt文件，以此标示限制搜索引擎爬虫机器人访问的信息。”从以上认定来看，法院已经认识到Robots协议与robots.txt文件是不同的，二者不是同一层次的概念。但是，稍有一点遗憾的是，在判决书中，这种认识不是特别彻底，有意或者无意地将“robots.txt文件”等同于“Robots协议”，将“robots.txt文件”等同于商业道德，从而隐含了遵守Robots协议就必须遵守某一个具体robots.txt文件， 如果不遵守该具体的robots.txt文件就意味着“没有遵守行业内公认的、应当被遵守的商业道德”的结论。事实上，某些占据大量市场份额甚至具有垄断地位的网站服务商或者所有者，利用robots.txt文件设置了违背市场自由竞争，违背互联网自由发展的“黑名单”。这样的robots.txt文件应该不被遵守。法院不应单纯地认为被告360公司在自身网站设置了robots.txt文件，就简单推断出原告百度公司的robots.txt文件就必须全部被遵守，因为二者的内容具有完全不同的设定。因此，法院在认定被告推出搜索引擎伊始未遵守Robots协议的行为不当具有逻辑上的矛盾之处。

责任编辑：wb001

文章来源：http://tech.72177.com/2014/0808/1867597.shtml