百度诉奇虎360违反“Robots协议”侵权案

百度诉奇虎360违反“Robots协议”抓取、复制其网站内容侵权一案， 2013年10月16日上午在北京市第一中级人民法院开庭审理。

百度方面认为，360搜索在未获得百度公司允许的情况下，违反业内公认的Robots协议，抓取百度旗下百度知道、百度百科、百度贴吧等网站的内容，已经构成了不正当竞争，并向奇虎索赔1亿元。

百度公关部郭彪向媒体表示，Robots协议是网站信息和网民隐私保护的国际通行规范之一，理应得到全球互联网公司的共同遵守。不尊重Robots协议将可能导致网民隐私大规模泄露。
郭彪表示，更严重的是，奇虎360还利用360浏览器等客户端，强行抓取网民的浏览数据和信息到搜索服务器，完全无视Robots协议。这一做法目前已经导致大量企业内网信息被泄露。去年底，百度工程师通过一个名为“鬼节捉鬼”的测试，证明了360浏览器存在私自上传“孤岛页面”等隐私内容到360搜索的行为。
360方面则认为，百度公司滥用Robots协议，设置歧视性条款以达到限制正当竞争的目的。360抓取的内容页面实际上是由网友提供的，根据互联网的通行规则，这些页面的相关权利属于网友，360搜索索引这些内容页面并不涉嫌侵犯百度的权益，实际上还为百度带来了大量的用户和流量。
百度：Robots协议是行业规范
据中国之声《央广新闻》报道，由于360搜索并不遵守搜索引擎通用的Robots协议，导致很多网站出于安全和隐私的考虑、不允许搜索引擎抓取的一些内网信息，也被泄漏在了360搜索上，这些隐私甚至可能包括银行帐号、密码、内部邮件等一些信息。
百度公关部郭彪对此表示，此前媒体报道的宝钢、 AMD、台湾长庚大学等知名机构内部要求卸载360全部产品，正是因为担心内部商业信息和个人隐私可能被上传泄露。Robots协议的目的，也是为保护网站数据和敏感信息以及用户个人信息和隐私不被侵犯。作为隐私保护的国际通行规范，Robots协议应该得到业内的共同遵守，这也是最大程度保护网民隐私和利益的前提。
“如果百度都无法以Robots协议保护自己，那么淘宝、京东等商业数据网站，国内大量中小网站，甚至企业内网，就更没有保护自己的能力了。”百度公关部郭彪认为。
据百度介绍，早在2008年，淘宝通过Robots协议以保护商业信息为由不同程度禁止百度、谷歌等搜索爬虫对其商品信息的抓取。尽管淘宝数据存在巨大商业利益，百度在技术上也完全具备抓取能力，但百度严格遵守了Robots协议，立即停止了抓取淘宝网内容。
2012年11月，中国《互联网搜索引擎服务自律公约》首次将遵守Robots协议(爬虫协议)的规定纳入实质性条款，确定了Robots协议作为行业规范的地位。《自律公约》第七条明确指出，搜索引擎服务应当“遵循国际通行的行业惯例与商业规则，遵守机器人协议(Robots协议)”，第九条则规定了违反Robots协议抓取内容的企业，应在收到权利人符合法律规定的通知后，及时删除、断开侵权链接，努力维护健康有序的网络环境。
违规抓取相当于“对不动产的非法侵入”？
2008年，大众点评曾状告爱帮网，以“垂直搜索”之名，无视Robots协议，将大众点评花费心血组织用户发布的点评内容抓到自己的平台上。最终，法院判决爱帮网败诉，除了赔偿最高限额外，也要立即停止这一侵权行为。法院认为，这些信息内容被爱帮网未付出劳动、未支出成本、未做出贡献，却直接利用技术手段在爱帮网上展示，并以此获取商业利益，属于反不正当竞争法理论中典型的“不劳而获”和“搭便车”的行为。中新网10月16日电
相关解读：Robots协议
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol）。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，而不是作为搜索引擎之间互相限制和不正当竞争的工具。
Robots协议也就是robots.txt文本文件，当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt。如果存在，搜索爬虫就会按照该文件中的内容来确定访问的范围；如果robots.txt文件不存在，搜索爬虫将会抓取网站上所有没有被口令保护的页面。
商业网站大多会在robots.txt中提供SiteMap文件链接地址，为搜素引擎指路，方便爬虫更好地抓取网站内容。此外，网站也可以使用robots.txt屏蔽网站中一些比较大的文件，如：视频、图片等，节省服务器带宽，也可以屏蔽网站的一些死链接。
Robots协议是国际互联网界通行的道德规范，基于以下原则建立：
1、搜索技术应服务于人类，尊重信息提供者的意愿，并维护其隐私权；
2、网站有义务保护其使用者的个人信息和隐私不被侵犯。
Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，视频等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓去网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。
360称：
百度公司恶意阻断360搜索引擎用户的访问，拦截360用户，强迫其到百度首页进行搜索，且该等技术手段仅歧视性地对待360搜索引擎用户，这些行为不仅严重影响了用户体验，且已经构成了不正当竞争，给360造成重大损失，因此向百度公司索赔4亿元。
从2012年8月以来，360公司进军搜索业务，倡导干净、安全的搜索结果，拒绝虚假医疗医药广告，触动了百度公司的垄断利益。百度公司持续地针对360实施了多项不正当竞争行为。首先，百度恶意阻断了360搜索引擎用户的访问，强迫用户到百度首页进行二次搜索，使用户不能直接获得搜索的结果内容；其次，百度强行引导来自360搜索引擎的用户访问百度搜索，以增加其网站访问量；再次，百度这些技术歧视措施针对性地对待360搜索引擎用户。
此外，有业内人士分析称，百度滥用ROBOTS协议与本案都是百度遏制360搜索而采取的极端手段。在滥用ROBOTS协议的过程中，百度公司作为占据搜索行业垄断地位的巨头，对旗下百度知道、百度贴吧、百度文库以及百度百科等内容页，违反国际上使用Robots协议的通行惯例而单独设置区别对待的歧视性名单，允许市场份额排名靠后的谷歌、微软必应、雅虎、搜狗、SOSO等搜索引擎可以抓取这些内容，而唯独不允许市场排名第二的360搜索索引这些内容，设置歧视性条款，以达到限制正当竞争的目的。
据了解，360搜索引擎的推出，由于其独特的技术和干净的搜索结果，很快赢得了相当的市场份额和用户，为广大用户提供了选择搜索产品的可能。对此，搜索专家、中搜CEO陈沛表示，Robots协议应成为保护行业约定，而不应成为利益集团的竞争武器；滥用Robots协议或者利用这一协议排斥竞争对手，甚至披上法律的外衣打击竞争对手的做法，更将严重违背互联网行业开放、自由、创新的原则。而采取“强行跳转”等极端手段，更是严重伤害了用户体验，阻碍了互联网信息的自由、高效流动。