3B大战需评判标准 Robots协议难成一把尺

　　我们知道，8月16日，360 推出 360 搜索，剑指被百度一枝独大的搜索领域。随后，百度通过强行跳转页面的手段反制 360 ，并摆出了 Robots 协议，指责 360 违反了 Robots 协议，而 360 反击没有违背该协议。“ 3B 大战”爆发一直持续到现在。

　　Robots 协议称为爬虫协议、爬虫规则、机器人协议等，源起谷歌。为了让网站能够正常运行的同时，又可以引导搜索引擎的漫游器(又称网络蜘蛛)抓取到有用的内容，告知此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被抓取的。Robots 协议是由荷兰籍网络工程师 Martijn Koster 于 1994 年首次提出( Martijn Koster 被誉为“ Robots 之父”)。

　　并于 1997 年向 IETF 提交申请试图把 Robots 协议作为该组织规范，但被 IETF 拒绝。之后，国际电信联盟( ITU )、 W3C 的规范也同样拒绝采纳 Robots 协议。原因是欧美电信专家担心，由于 Robots 协议包含排斥性条款，搜索巨鳄可能会利用 Robots 协议的条款，迫使某些热门网站与其签署排他性协议，从而将后起竞争者挡在门外，维护垄断。

　　原生 Robots 协议是网站指导爬虫的善意性提示文件， Robots 协议作为一个 .TXT 文件，为爬虫做出提示，只用“允许”和“不允许”两种语句表示建议抓哪些内容，不建议抓哪些内容，而不是允许哪些搜索引擎抓取，不允许哪些搜索引擎抓取。而且所有的提示性建议都是善意的，对爬虫一视同仁，这种善意的提示一般会被爬虫接受。

　　此外，目前 Robots 协议是所有搜索引擎遵守的君子协议。不过根据 Robots 协议创始人的声明：“迄今，没有任何法律规定 robots 协议必须遵守，也没有表明其构成一份网站与用户间的约束协议。”因此， Robots 协议并不是一个规范，而只是倡议性的非官方的文件。据悉至今 Robots 协议仍不属于任何一个标准体，在美国和欧洲也没有法律方面的明确规定，不具有法律约束力。

　　所以，对 3B 大战来说， Robots 协议是被单方面的曲解和利用了， Robots 协议其实很“无辜”。