网络爬虫，是一种“自动化浏览网络”的程序，即按照一定的规则，模拟人工点击，自动地抓取互联网信息，比如网页、文档、图片、音频、视频等。简单说，这种程序的运行可以实现自动的、高效的读取、收集网络数据。

     网络爬虫的应用场景具有多样性，最为普遍的是利用爬虫程序读取数据的搜索引擎，以及电商系统中的价格比较工具。总体上来说，网络爬虫都是根据爬虫编写者的意志行事，目的在于获取某项网络数据。如此来看，网络爬虫作为获取数据的一种技术手段，本身具有中立性，不存在违法违规之处。需要强调的是，由于数据本身的属性存在不同，所以利用网络爬虫获取数据也就存在罪与非罪之分。

一、是否有权获取数据

     非法获取计算机信息系统数据罪是第十一届全国人民代表大会常务委员会第七次会议于2009年2月28日通过，根据刑法修正案（七）对刑法第285条进行修正补充的罪名。

     非法获取计算机信息系统数据罪的设置，目的在于规制以“侵入”或者“采用其他技术手段”获取计算机信息系统中存储、处理或者传输的数据。因此，从本质上来说，“侵入” 或者“采用其他技术手段”即是指“未经许可”获取数据，换言之行为人获取数据系“未经授权”或者“超越授权”。

     正如《最高人民法院、最高人民检察院关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》第二条所规定“专门用于侵入计算机信息系统的程序、工具”，是指具有避开或者突破计算机信息系统安全保护措施，未经授权或者超越授权获取计算机信息系统数据的功能的程序、工具。司法实践中，构成非法获取计算机信息系统数据罪的，往往是利用技术手段突破权限许可获取本不应获得的数据。

     (2017）京0108刑初2384号上海晟品网络科技有限公司、侯明强等非法获取计算机信息系统数据罪一案中，行为人在没有获得授权的情况下，通过破解App的加密算法或API交互规则，使用伪造的设备ID绕过服务器的身份校验，使用伪造的UA、IP绕过服务器的访问频率设置等规避或突破系统技术保护措施的手段，突破权限许可获取数据，因而构成非法获取计算机信息系统数据罪。

     卫梦龙、龚旭、薛东东非法获取计算机信息系统数据案（检例第36号）也是如此，龚旭因工作需要，拥有登录某大型网络公司内部管理开发系统的账号、密码、Token令牌（计算机身份认证令牌），具有查看工作范围内相关数据信息的权限。

     龚旭、卫梦龙经事先合谋，龚旭向卫梦龙提供自己所掌握的某大型网络公司内部管理开发系统账号、密码、Token令牌。卫梦龙利用龚旭提供的账号、密码、Token令牌，违反规定多次在异地登录该大型网络公司内部管理开发系统，查询、下载该计算机信息系统中储存的电子数据。该起案件表明，行为人超出授权范围使用账号、密码、Token令牌登录系统或许无权下载的数据，同样构成非法获取计算机信息系统数据罪。

     需要注意的是，行为人在权限许可范围内获取数据，由于没有突破许可权限，即便采用网络爬虫的方式获取数据，也不构成非法获取计算机信息系统数据罪。因为取得权限的情况下，网络爬虫模拟人工点击，不断向访问接口发出访问请求，批量获取数据，只是提高了人工获取数据的效率，却没有突破权限许可。

     北京市海淀区人民检察院办理的一起不予批准逮捕的案件就是如此，犯罪嫌疑人原系某互联网公司网络工程师，该公司内部使用一款企业即时聊天APP作为办公软件，员工通过其个人账号、密码使用手机登陆后，如有工作需要，可点击查看公司员工备注的姓名、员工号、手机号码、职位职级以及公司组织架构等信息。

     该犯罪嫌疑人对APP软件源代码进行反向编译，查找到该聊天工具传送员工信息数据的服务器接口，并通过账号密码登录APP后，利用专门的爬虫程序，向该接口循环发送访问请求，爬取到员工的姓名、员工号、手机号码、职位职级以及公司组织架构等信息。从该起案件来看，员工自有账号密码登录APP，根据公司赋予的数据权限，利用网络爬虫批量下载数据。

     虽然其利用反向编译的方法破解源代码，找到获取数据的接口，但是其仍然在权限许可的范围之内予以获取信息，没有超越权限，更未突破权限，相较于人工逐次点击查看下载而言，只是更快而已，因而不涉及非法获取计算机信息系统数据罪。

     二、是否获取公开数据

     网络信息或者网络数据的公开性，直接影响利用网络爬虫获取数据的评价。众所周知，百度与大众点评不正当竞争案件中，百度公司通过搜索技术从大众点评网等网站获取信息，并将搜索引擎抓取的信息直接提供给网络用户，最终被上海知识产权法院认定为不正当竞争行为。

     判决书主文指出，“百度公司的搜索引擎抓取涉案信息并不违反Robots协议，但这并不意味着百度公司可以任意使用上述信息，百度公司应当本着诚实信用的原则和公认的商业道德，合理控制来源于其他网站信息的使用范围和方式”。

     据此来看，法院评判百度与大众点评构成不正当竞争的逻辑，根本不在于百度利用网络爬虫获取大众点评的数据，而是百度违反公认的商业道德，任意使用其获取的数据。此外，还需注意的是，百度获取数据信息并未违反Robots协议。《互联网搜索引擎服务自律公约》第七条规定，机器人协议（robots协议）是指互联网站所有者使用robots.txt文件，向网络机器人（Web robots）给出网站指令的协议。

     具体而言，Robots协议是网站所有者通过位于置于网站根目录下的文本文件robots.txt，提示网络机器人哪些网页不应被抓取，哪些网页可以抓取。因此，这起案件之所以成为反不正当竞争案件的经典案例，主因在于大众点评网站数据信息的公开性。行为人利用网络爬虫获取公开信息便只能处于民事纠纷的范畴之中，或不正当竞争或侵犯知识产权等。

     与之不同的是，网络数据一旦不具有公开性，利用网络爬虫获取数据的行为性质便截然不同，深圳市南山区人民法院判决的一起案件就是如此。邵某、陈某为了提高智能公交APP“车来了”在中国市场的用户量及信息查询的准确度，保证公司更好的经营，伙同他人编写爬虫程序，并不断更换爬虫软件程序内的 IP 地址，防止被察觉，进而利用所设置的不同IP地址及爬虫程序向酷米客发出数据请求，最终获取包括谷米公司在内的竞争对手公司服务器里的公交车行驶信息、到站时间等实时数据。

     邵某、陈某等人通过技术手段，破解竞争对手的加密信息，利用网络爬虫获取的数据显然不同于上述案件。百度获取的信息是大众点评网站上发布的点评信息，本案被告人获取的则是存储于竞争对手服务器中的公交车行驶信息、到站时间等实时数据。由于这些竞品数据，对于获取者来说，并未公开，当然无权获取，因而终被认定为非法获取计算机信息系统数据罪。

     综上所述，利用网络爬虫获取数据的定性问题，关键在于获取数据的性质，而不在于网络爬虫的技术方法，具体还要以个案证据为准。此外，还需强调的是，获取数据的结果同样影响罪与非罪，利用网络爬虫频繁访问目标数据服务器，导致服务器不能正常运行的，或还会涉及破坏计算机信息系统罪。