微信扫码
与创始人交个朋友
我要投稿
“ 爬虫写的好,牢饭少不了”
爬虫作为数据收集和分析的一种重要手段,其重要性不言而喻。但爬虫入门简单,想做好却并不那么简单。
最重要的是,爬虫属于一个灰色地带的技术应用场景;有句话叫:“爬虫写的好,牢饭少不了”。
对一些企业来说,爬虫是一个非常好的数据收集工具;比如百度,微信,淘宝等。而对某些别有用心的人来说,它就是一种犯罪的工具。
因此,各位学习爬虫的朋友,在使用这项技术时,一定要慎重。
01
—
什么是爬虫,以及技术原理?
所谓的爬虫,也叫做网络蜘蛛,是一种从互联网中搜集数据的一种技术。
从本质上来说,爬虫是一种通过技术模拟用户端,从网络中批量获取数据的一种方式。
最典型的就是通过http客户端,模拟浏览器请求,然后从服务端获取数据。
在正常的网络访问中,用户通过客户端,比如浏览器访问不同企业的网站或应用。
但从技术的角度来说,不过是浏览器发起一次网络请求,然后服务端根据网络请求的参数返回特定的资源。
因此,技术人员只需要通过编程,按照服务器要求的方式(比如http),以及需要的参数(比如订单号),就可以获取服务器的数据。
这就是爬虫的实现原理,模拟用户端,服务端需要什么我就给你什么。
在以前的静态网站时代,所有的数据都是静态的,这里的静态并不是说网站的数据都是固定不变的;而是指,服务端会一次性把你需要的数据返回给你。
比较典型的技术就是jsp/asp等技术,页面数据在服务端生成之后,直接返回给浏览器。
比如新闻网站,你访问一个新闻网站时,它里面的内容是一次性给到客户端浏览器,你可以直接解析网页结构获取到新闻的标题,内容,编辑等。
而现今是动态网站时代,也就是说网站的数据是动态加载的,比如说同一个页面,不同的用户看到的数据是不一样的。
这就是动态加载技术,典型的就是ajax,可以根据不同的用户加载不同的数据。
之所以要区分静态网站和动态网站,是因为爬取这两种网站的技术是不一样的。
在爬取静态网站的过程中,由于所有数据是一次性返回的,因此只需要使用http请求,获取到网页之后,通过网页解析的技术,即可从网页中获取到你所需要的数据。
但在爬取动态网站的过程中,由于数据是异步加载的,你从网页中无法获取到有效的数据。因为数据都是用ajax从服务器接口中获取到的,因此这种方式叫爬接口更准确。
02
—
反爬技术和反反爬技术
在前面讲了爬虫的基本原理,但有些网站的数据可以随便爬,但有些网站的数据别人不会让你随便爬。
因此就有了反爬虫技术和反反爬虫技术的出现,所谓的反爬虫技术就是怎么让爬虫无法爬到网站的数据,而反反爬虫技术是怎么绕过反爬虫技术爬到数据,这就是一场魔道之争。
常见的反爬技术有哪些?以及解决反反爬技术?
常见的反爬技术有如下几种:
IP限制
IP限制的原理就是爬虫毕竟不是人正常操作访问,爬虫由于是计算机自动执行,因此其对一个网站每秒钟可能会爬取几十次,上百次。
因此就可以通过监测某些高频访问的IP,然后进行封禁。
解决办法:IP限制这种方式有两种解决方式,第一种是降低爬虫的访问频率比如每间隔几秒钟访问一次等。或者第二种使用动态IP代理,每次访问都使用不同的IP。
用户代理
所谓的用户代理就是在浏览器的请求头中会有一个user-agent字段,里面包含了当前访问的客户端浏览器信息。而爬虫的默认user-agent根据不同的语言实现会有特定的标志。
比如scrapy爬虫框架的user-agent会携带scrapy的标识。
解决办法:用户代理的解决办法就是给爬虫设置浏览器的请求头:
{
"headers": {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
"Accept-Encoding": "gzip, deflate, br",
"Accept-Language": "zh-CN,zh;q=0.9,zh-HK;q=0.8",
"Host": "httpbin.org",
"Sec-Fetch-Dest": "document",
"Sec-Fetch-Mode": "navigate",
"Sec-Fetch-Site": "none",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",
"X-Amzn-Trace-Id": "Root=1-5fe2b4fe-6e4edc1c4dbbe85a3c25492b"
}
}
验证码
我们在访问网站的过程中,很多时候不但要输入用户名和密码,还要输入验证码。比如填写数字,看图填字等等。
验证码也是一种常见的反爬技术,因为爬虫本身无法识别验证码,这样就可以屏蔽掉部分爬虫。
解决办法:验证码的解决办法最简单的就是人工处理,但这种方式效率太低;而随着大模型的发展,已经有了第三方的验证码识别模型。
用户行为分析
用户行为分析的原理也比较简单,比如我们正常访问一个网站,需要使用鼠标进行点击,还有键盘进行输入;而爬虫并没用鼠标移动的操作,因此可以根据这些特征进行判断。
解决办法:用户行为分析的解决办法可以用一些浏览器自动测试框架,比如selenium等进行模拟正常的人类行为。
内容混淆与加密
在正常的前端代码中,所有的业务逻辑一览无余;因此就出现了代码混淆的技术,也就是通过一些技术,把业务的js逻辑代码转换成一些人类无法看懂的乱码等。
但又不会修改js的功能逻辑,而浏览器的js引擎却可以正常执行。
还有就是对js代码进行加密,然后在解析执行的时候进行解密,这样别人就无法看到加密之后的js代码。
混淆与加密的区别是,代码混淆很容易被一些逆向技术破解;而代码加密如果加密算法比较强,并且安全设计合理,那么破解的难度就会非常大,甚至无法破解。
聊天机器人小程序,感兴趣的可以点击查看:
解决办法:代码混淆可以通过逆向或者一些第三方工具进行反编译,而代码加密只能靠技术强力破解,比如通过黑客技术拿到密钥等。还有一种比较简单的方式,就是用selenium + PhantomJS这种工具组合,模拟正常的浏览器访问,然后绕过混淆和加密的技术。
其它方式还有做假数据或蜜罐系统,这样就可以让爬虫爬取到一些没用的数据。
总之,说到底爬虫的技术手段无法是以下两种:
第一种,就是模拟正常的用户请求行为,然后解析响应的网页结构;这种方式的缺点只能爬取静态网页数据。
爬取动态网页数据就需要用一些工具,如selenimu + PhantloJS去模拟真正的浏览器访问,这样就可以获取到动态数据。
第二种方式就是直接爬取接口,比如抛弃浏览器,直接通过http客户端构建请求头和请求体,模拟用户的登录和访问过程。
但这种方式对技术要求较高,不但要了解各种协议,以及加解密等手段,还要了解业务的执行流程。比如先调用用户的登录接口获取token,然后再携带token请求订单查询接口等等。
还有其它方式就不一一例举了,比如直接通过黑客手段爆破人家的数据库密码,或者通过提权的方式,拿到人家的服务器权限。
最后,爬虫是一种数据收集的手段,在一些正规的业务中爬虫可以作为良好的数据采集手段;但用一些技术手段去爬取人家的企业内部数据或机密数据,这种就属于违法犯罪了。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-12-05
AGI:呼唤更好的检索技术,而非仅仅依赖于LLMs
2024-12-05
AI Agent智能体: 企业知识自动化的新架构 - MenloVC
2024-12-04
如何为RAG应用选择最佳Embedding模型
2024-12-04
Neo4j×Milvus:手把手教你搭建GraphRAG Agent
2024-12-04
别再用PostgreSQL了,Milvus才是多语言RAG的最佳搭档
2024-12-03
RAG系统中的困境:上下文不是想加就能加的
2024-12-03
FastRAG:高效半结构化数据处理新范式,轻松提升检索生成效率
2024-12-03
Gitee AI+Dify 双剑合璧,打造另类 RAG 知识库
2024-07-18
2024-05-05
2024-05-19
2024-06-20
2024-07-09
2024-07-09
2024-07-07
2024-07-07
2024-07-08
2024-07-09
2024-12-01
2024-11-27
2024-11-25
2024-11-06
2024-11-06
2024-11-05
2024-11-04
2024-10-27