黄武双：robots协议不应有歧视性

自由和公平是竞争法追求的两个宗旨，在robots案中则体现出保障自由对竞争的重要性。互联网发展到今天，大家都已经认识互联互通是互联网最本质的内涵，北京市一中院关于robots案的判决以开放和进步的观念，促进了互联网行业的自由竞争。互联网行业自由竞争的终极目标是网络用户的福利，也就是公共利益，公共利益最大化是《竞争法》通过保障公平和自由竞争想要实现的社会目标之一，本案法官深刻理解了自由竞争与公共利益的关系，通过鼓励自由竞争实现了对网络用户福利、公共利益的保护。

百度在robots.txt中设置白名单，仅允许在白名单上的公司抓取，这种做法在国内和国外都很罕见。国内的大众点评、京东、腾讯等，国外的亚马逊、美国在线、谷歌和雅虎等，不仅不设置白名单，黑名单也几乎没有，因为互联互通本质上就决定了网页应该是允许抓取的，即使有些网页因为隐私等原因不允许抓取，也不能有歧视性。

Robots协议作为行业公认的商业道德和标准，不能直接作为法律适用，因为即使是行业认可的标准也有可能违反公共利益，所以必须经过司法审查。这个判决书没有中对robots协议本身做明确的认定，这需要等360诉百度歧视性robots不正当竞争案的判决结果才能看到法院对robots协议的最终态度。

责任编辑：wb001

文章来源：http://tech.72177.com/2014/0813/1869047.shtml