网站地图 | RSS订阅 老铁博客 - 上海SEO优化|上海网站建设|蜘蛛池出租|站群代搭建
你的位置:首页 » 网站优化 » 正文

网络爬虫简单介绍

2019-8-5 13:51:58 | 作者:老铁SEO | 0个评论 | 人浏览

  网络爬虫,通过一定的规则策略,自动抓取、下载互联网上网页,在按照某些规则算法对这些网页进行数据抽取,形成所需要的数据集。

  通用爬虫:类似百度、谷歌这样的爬虫,抓取对象是整个互联网,对于网页没有固定的抽取规则。 对于所有网页都是一套通用的处理方法。

  垂直爬虫:这类爬虫主要针对一些特定对象、网站,有一台指定的爬取路径、数据抽取规则。比如今日头条,它的目标网站就是所有的新闻类网站。 比如Etao比价、网易的慧慧购物助手,他们的目标网站就是 淘宝、京东、天猫等等电商网站。

  抓取范围,通用爬虫的抓取范围要比垂直爬虫大得多,一个是整个互联网,一个是指定的网站。

  爬取路线,通用爬虫要不按照深度爬取、要不是按广度爬取。 而垂直爬虫则可能是按照指定路线爬取。

  数据处理,通用爬虫一般就是分词、索引到数据库。 而垂直爬虫则通过特定的规则来抽取更加精细的数据 。

  关于行业内的网络爬虫,经过除部分分析,基本以垂直爬虫需求为主,比如通过垂直电商平台获取国内和国际的商品价格等场景。

  HTTP下载器:负责HTTP下载,别小瞧它,要做好还挺不容易,因为你面对的复杂而无序、甚至包含错误的互联网。

  抓取队列:存储新产生的URL队列(queue),队列可以是多种形式的,他可以是redis的队列、数据库中的表、内存中的队列。根据场景,你可以自行选择。

  调度器:负责管理工作的,它通过制定策略,规定哪些URL优先执行、哪些URL靠后。

  排重集合:这是一个爬虫必不可少的部分,你必须记录下哪些URL已经采集过、哪些是未采集过的,哪些信息已经采集过了,哪些还没有采集,需要记录上次抓取时间。

  页面解析器:定义如何解析抓取到的页面,对于通用爬虫,它可能对于所有页面都是一套逻辑,就是分词、索引。 但对于垂直爬虫,则需要指定规则,手段包括正则、XPath、正文识别、ORC图片识别等多种方式。

  数据存储:将爬虫按照解析规则解析的结果写入数据库中, 一般情况下都是存储到数据库啦,一般的关系数据库,也有写到NoSQL中。

  结果提供服务:将爬虫的结果以批量数据的方式对外提供同步数据文件,或者提供WebSevice查询服务,按照实际需求情况。

  通用爬虫和垂直爬虫他们的流程都是相似的,爬虫的具体流程如下图的流程结构图所示:

  指定起始URLs。 也就是指定一个入口,不管是通用爬虫还是垂直爬虫,都需要一个入口。

  下载、解析URL。 这里分为2个操作,分别是:抽取数据,存储到数据库以及解析出页面中包含的URL。

  调度器从URL队列中,按照一定策略,取出要下载的URL,添加到HTTP下载中。

  爬虫面临的最大挑战就反爬虫。在爬网站的内容的时候并不是一爬就可以了,有时候就会遇到一些网站的反爬虫,会经常遇到返回一些404,403或者500的状态码,或者直接返回的是混淆后的密文,根本无法提取出其中的有效信息。下面列举常见的反爬虫方式以及解决方案。

  Headers反爬虫是最常见的反爬虫策略。由于正常用户访问网站时是通过浏览器访问的,所以目标网站通常会在收到请求时校验Headers中的User-Agent字段,如果不是携带正常的User-Agent信息的请求便无法通过请求。还有一部分网站为了防盗链,还会校验请求Headers中的Referer、COOKIE信息。

  遇到了这类反爬虫机制,需要根据实际爬取的网站进行定制化的模拟来符合正常访问,需要工程师去分析判断网站Http-header的验证方式,并针对性地进行调整。

  验证码几乎是现在所有站点对付爬虫的手段,验证码包括图像验证码、短信动态密码、语音密码、USB加密狗等方式。简单的验证码可以通过OCR技术实现验证码识别,而遇到复杂的验证机制,依托现有技术很难解决,往往需要人工来进行辅助验证。只有通过平台的验证码后,才能访问到所需要的信息。

  如果一个固定的IP在短暂的时间内快速大量的访问一个网站,应用后台往往会自动判断是机器爬虫。带来的结果就是直接将这个IP给封了,爬虫程序自然也就做不了什么了。

  解决方法主要就是通过购买IP代理池,然后通过代理的方式实现不同的IP地址、间隔性地进行访问。

  对于一些动态网页,利用JS动态填充技术,实现内容的动态填充。如果简单解析Http会发现返回的信息为空,而真正有用的信息则影藏在JS文件中,或者通过ajax请求得到。这种情况需要进行完全模拟终端用户的正常访问请求,以及浏览动作,在浏览器端重现用户行为,才能够获取到所需要的信息。

  数据加密混淆的方式有很多种,国内主流的网站(淘宝、天猫、微博、新浪等)基本都采用了特殊的数据混淆加密的收到,本地数据均为混淆后的数据无法直接采集使用,需要开发人员进行分析,找出混淆的规律,再利用解析器来提取出有效信息。

  还有一种加密是服务器端加密,在客户端或者前端解密,比如想抓app端的一些数据,发现接口返回的结果都是加密后的密文,需要反编译apk文件获得源码读源码,找到加密算法、密匙进行反向工程。

  针对一些长期的爬取需求,会定时进行爬取,而如何有效的爬取出其中新增和更新的内容,以及如何将爬取下来的增量内容与存量的内容进行对比分析、整合形成一个完整数据集。

  爬虫和反爬虫作为相生相克的死对头,无论爬虫多厉害,都是能被复杂的反爬虫机制发现,从而采用更为先进、难以破解的反爬虫措施。国内主流的网站(淘宝、天猫、微博、京东等)为了防止被爬虫,会不定期地对反爬虫措施进行变更,使得原有的爬虫程序完全失效,开发者也将不得不重新开发一套新的爬虫程序,以适应爬取数据需求。

  • 本文来自: 老铁博客,转载请保留出处!欢迎发表您的评论
  • 相关标签:网站爬虫  
  • 已有0位网友发表了一针见血的评论,你还等什么?

    必填

    选填

    记住我,下次回复时不用重新输入个人信息

    必填,不填不让过哦,嘻嘻。

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。