AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


大模型时代数据是重中之重,而怎么收集数据是一个需要解决的问题,而爬虫技术就是收集数学的主要方式之一
发布日期:2024-07-10 22:33:36 浏览次数: 1537

 爬虫写的好,牢饭少不了



爬虫作为数据收集和分析的一种重要手段,其重要性不言而喻。但爬虫入门简单,想做好却并不那么简单。


最重要的是,爬虫属于一个灰色地带的技术应用场景;有句话叫:“爬虫写的好,牢饭少不了”。


对一些企业来说,爬虫是一个非常好的数据收集工具;比如百度,微信,淘宝等。而对某些别有用心的人来说,它就是一种犯罪的工具。


因此,各位学习爬虫的朋友,在使用这项技术时,一定要慎重。






01



什么是爬虫,以及技术原理?




所谓的爬虫,也叫做网络蜘蛛,是一种从互联网中搜集数据的一种技术。


从本质上来说,爬虫是一种通过技术模拟用户端,从网络中批量获取数据的一种方式。


最典型的就是通过http客户端,模拟浏览器请求,然后从服务端获取数据


在正常的网络访问中,用户通过客户端,比如浏览器访问不同企业的网站或应用。


但从技术的角度来说,不过是浏览器发起一次网络请求,然后服务端根据网络请求的参数返回特定的资源。



因此,技术人员只需要通过编程,按照服务器要求的方式(比如http),以及需要的参数(比如订单号),就可以获取服务器的数据。


这就是爬虫的实现原理,模拟用户端,服务端需要什么我就给你什么。


在以前的静态网站时代,所有的数据都是静态的,这里的静态并不是说网站的数据都是固定不变的;而是指,服务端会一次性把你需要的数据返回给你。


比较典型的技术就是jsp/asp等技术,页面数据在服务端生成之后,直接返回给浏览器。


比如新闻网站,你访问一个新闻网站时,它里面的内容是一次性给到客户端浏览器,你可以直接解析网页结构获取到新闻的标题,内容,编辑等。


而现今是动态网站时代,也就是说网站的数据是动态加载的,比如说同一个页面,不同的用户看到的数据是不一样的。



这就是动态加载技术,典型的就是ajax,可以根据不同的用户加载不同的数据。


之所以要区分静态网站和动态网站,是因为爬取这两种网站的技术是不一样的。


在爬取静态网站的过程中,由于所有数据是一次性返回的,因此只需要使用http请求,获取到网页之后,通过网页解析的技术,即可从网页中获取到你所需要的数据。


但在爬取动态网站的过程中,由于数据是异步加载的,你从网页中无法获取到有效的数据。因为数据都是用ajax从服务器接口中获取到的,因此这种方式叫爬接口更准确。




02



反爬技术和反反爬技术



在前面讲了爬虫的基本原理,但有些网站的数据可以随便爬,但有些网站的数据别人不会让你随便爬。


因此就有了反爬虫技术和反反爬虫技术的出现,所谓的反爬虫技术就是怎么让爬虫无法爬到网站的数据,而反反爬虫技术是怎么绕过反爬虫技术爬到数据,这就是一场魔道之争。


常见的反爬技术有哪些?以及解决反反爬技术?


常见的反爬技术有如下几种:


IP限制


IP限制的原理就是爬虫毕竟不是人正常操作访问,爬虫由于是计算机自动执行,因此其对一个网站每秒钟可能会爬取几十次,上百次。


因此就可以通过监测某些高频访问的IP,然后进行封禁。


解决办法:IP限制这种方式有两种解决方式,第一种是降低爬虫的访问频率比如每间隔几秒钟访问一次等。或者第二种使用动态IP代理,每次访问都使用不同的IP。


用户代理


所谓的用户代理就是在浏览器的请求头中会有一个user-agent字段,里面包含了当前访问的客户端浏览器信息。而爬虫的默认user-agent根据不同的语言实现会有特定的标志。


比如scrapy爬虫框架的user-agent会携带scrapy的标识。


解决办法:用户代理的解决办法就是给爬虫设置浏览器的请求头:


{  "headers": {    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",     "Accept-Encoding": "gzip, deflate, br",     "Accept-Language": "zh-CN,zh;q=0.9,zh-HK;q=0.8",     "Host": "httpbin.org",     "Sec-Fetch-Dest": "document",     "Sec-Fetch-Mode": "navigate",     "Sec-Fetch-Site": "none",     "Upgrade-Insecure-Requests": "1",     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36",     "X-Amzn-Trace-Id": "Root=1-5fe2b4fe-6e4edc1c4dbbe85a3c25492b"  }}
# "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36"


验证码


我们在访问网站的过程中,很多时候不但要输入用户名和密码,还输入验证码。比如填写数字,看图填字等等。


验证码也是一种常见的反爬技术,因为爬虫本身无法识别验证码,这样就可以屏蔽掉部分爬虫。



解决办法:验证码的解决办法最简单的就是人工处理,但这种方式效率太低;而随着大模型的发展,已经有了第三方的验证码识别模型。


用户行为分析


用户行为分析的原理也比较简单,比如我们正常访问一个网站,需要使用鼠标进行点击,还有键盘进行输入;而爬虫并没用鼠标移动的操作,因此可以根据这些特征进行判断。


解决办法:用户行为分析的解决办法可以用一些浏览器自动测试框架,比如selenium等进行模拟正常的人类行为。


内容混淆与加密


在正常的前端代码中,所有的业务逻辑一览无余;因此就出现了代码混淆的技术,也就是通过一些技术,把业务的js逻辑代码转换成一些人类无法看懂的乱码等。


但又不会修改js的功能逻辑,而浏览器的js引擎却可以正常执行。


还有就是对js代码进行加密,然后在解析执行的时候进行解密,这样别人就无法看到加密之后的js代码。


混淆与加密的区别是,代码混淆很容易被一些逆向技术破解;而代码加密如果加密算法比较强,并且安全设计合理,那么破解的难度就会非常大,甚至无法破解。


聊天机器人小程序,感兴趣的可以点击查看:



解决办法:代码混淆可以通过逆向或者一些第三方工具进行反编译,而代码加密只能靠技术强力破解,比如通过黑客技术拿到密钥等。还有一种比较简单的方式,就是用selenium + PhantomJS这种工具组合,模拟正常的浏览器访问,然后绕过混淆和加密的技术。


其它方式还有做假数据或蜜罐系统,这样就可以让爬虫爬取到一些没用的数据。


总之,说到底爬虫的技术手段无法是以下两种:


第一种,就是模拟正常的用户请求行为,然后解析响应的网页结构;这种方式的缺点只能爬取静态网页数据。


爬取动态网页数据就需要用一些工具,如selenimu + PhantloJS去模拟真正的浏览器访问,这样就可以获取到动态数据。



第二种方式就是直接爬取接口,比如抛弃浏览器,直接通过http客户端构建请求头和请求体,模拟用户的登录和访问过程。


但这种方式对技术要求较高,不但要了解各种协议,以及加解密等手段,还要了解业务的执行流程。比如先调用用户的登录接口获取token,然后再携带token请求订单查询接口等等。


还有其它方式就不一一例举了,比如直接通过黑客手段爆破人家的数据库密码,或者通过提权的方式,拿到人家的服务器权限。


最后,爬虫是一种数据收集的手段,在一些正规的业务中爬虫可以作为良好的数据采集手段;但用一些技术手段去爬取人家的企业内部数据或机密数据,这种就属于违法犯罪了。






53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

年轻人!来一起搞AI吗?

如果你看见AI对商业世界的变革,欢迎来和我们一起探索~

岗位:销售经理

查看详情

岗位:项目经理

查看详情

岗位:产品经理

查看详情

岗位:测试工程师

查看详情

联系我们

售前咨询
186 6662 7370
产品演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询