2019年多家大数据风控服务商被查，而且这类机构面向金融行业的输出产品都包括了爬虫服务或者基于爬虫技术而形成的标准化产品。
一、我们先认识一下爬虫
1. 爬虫是：通过爬虫代码，下载互联网上的数据到本地，并且提取出我们需要的信息的过程。
网络爬虫的应用场景很多，例如
（1）搜索引擎都会使用爬虫程序；
（2）抓取网络公开数据，建立某种专业数据库，例如股票交易数据库、外汇数据库、商户信息数据库等；
（3）用于自身分析及经营行为，如各电商行业之间的比价；
（4）其它可以进行数据利用的无限想象空间。
网络爬虫的工作目的
二、网络爬虫的行为举止
现在爬虫已经成为一项互联网时代下较为普遍运用的网络信息搜集技术。行为流程可以分解为几个步骤：确定需求、寻找需求、发送请求、 解析数据、 存储数据
如同人类一样，爬虫根据其设计者的意志，通过不同的算法设定，有的爬虫是爬得宽但是不深，或者反之，甚至有效抓取暗网；有的是主题爬虫，只关注某些内容；有的擅长爬取文字，有的擅长爬取视频或图片；有的长于爬取速度，有的长于准确，等等。爬虫技术的出现能够帮助人们处理大量的数据，从无序的数据中得到有序的结论，极大程度上地节约收集、处理、统计数据的人力、物力。
基本工作流程
三、爬虫的合规性规定
使用爬虫技术可能的法律风险主要来自几方面：
（1）爬取行为是否经过授权，获得对方的许可，Robots协议已经被认定构成互联网行业搜索领域内工人的商业道德，无视网站设置的robots协议而随意抓取网站内容的行为将涉嫌构成对违反诚实信用原则和商业道德的不正当竞争行为。
（2）违反被爬取方的意愿，例如规避网站设置的反爬虫措施、强行突破其反爬措施；
（3）爬虫抓取到受法律保护的特定类型的信息。是否涉及到公民个人信息或者对方公司的商业秘密等保密信息。
（4）爬虫的使用造成了干扰了被访问网站正常运行的实际后果；
爬虫作为一种计算机技术，具有技术中立性，爬虫技术在法律上从来没有被禁止。由于部分数据存在敏感性，如果不能甄别哪些数据是可以爬取，哪些会触及红线，就会涉及刑事处罚的风险。根据在裁判文书网的搜索，利用爬虫技术涉嫌刑事犯罪主要包括以下几个罪名
侵犯公民个人信息罪
侵犯著作权罪
非法侵入计算机信息系统罪
非法获取计算机信息系统数据罪
破坏计算机信息系统罪
