姚克枫律师:歧视性设置Robots协议本身就是不正当竞争

Robots协议并非国际上的通用惯例，在中国，自2012年11月《互联网搜索引擎服务自律公约》签订后，Robots协议成为行业上的协议，但这只能解释为是一种技术标准，但这个协议本身的具体内容以及如何设置robots协议中的黑白名单等问题，并非通过自律公约就能明晰。

企业如果利用robots协议设置门槛，故意以此来打压其他企业，则构成不正当竞争行为，例如3B大战中，百度利用robots协议，可以让其他搜索引擎抓取，但是却唯独不让360搜索进行链接，这明显是利用robots协议设置障碍，阻碍合法竞争。百度反而称360未遵守其robots协议，如果百度的robots协议就是阻碍360搜索的爬虫进行抓取，阻碍360去链接，那么百度的robots协议并非是行业惯例，360有权不遵守。

Robots协议并不是有些人理解的是一种保护隐私的协议，这个协议本身约束的是搜索引擎和被链网站之间关系的协议。协议本身就是处理搜索引擎和被抓取网站之间的关系而存在。不能想当然的认为，只要违反了robots协议就是违法行为，这要看robots协议设置的内容，如果利用robots协议将其他网站排除在外，那么其他网站有权要求修改robots协议，可见，在修改前，这个单方设定的robots协议就不能成为一种有约束力的规范。在开放互联的时代，Robots协议不应作为不正竞争的工具

百度在其白名单机制的Robots协议中允许其他搜索抓取百度的内容，但却有针对性的，阻碍360搜索进入白名单，不允许360搜索进行抓取，这明显是利用自己建立的robots协议规则，阻碍在后进入市场的一方进行竞争。既然建立了规则，既然标榜robots协议是一个规则，那么就不能利用这个规则制造障碍，阻碍其他方进行抓取。即便在后进入同一相关市场进行竞争的网站需要遵守在前规则，但是在前的网站利用规则直接排斥在后者，那么这个自行设立的规则本身也是有问题的。

对于百度网站的很多内容，包括百度知道、贴吧、文库、百科等内容，内容都是网友上传，并非百度自己享有版权，这一点都容易理解，否则百度在起诉360的案件中也不会放弃著作权主张。而这些内容如果禁止他人链接，先不管如何设置的robots名单问题，这种禁止他人链接的行为本身就是不正当竞争行为。再具体到利用robots协议黑白名单机制来阻碍360对百度这些内容的链接，这就是明显的滥用robots协议，那么这个被滥用的robots协议是百度单方制定的规则，这个规则如果得到遵守，反而是一种阻碍竞争的垄断行为。

责任编辑：wb001

文章来源：http://tech.72177.com/2014/0812/1868623.shtml