网站地图 | RSS订阅 老铁博客 - 上海SEO优化|上海网站建设|蜘蛛池出租|站群代搭建
你的位置:首页 » 网站建设 » 正文

爬虫进阶之动态网页(Ajax)数据抓取

2019-8-9 16:17:46 | 作者:老铁SEO | 0个评论 | 人浏览

  )异步JavaScript和XML。过在后台与服务器进行少量数据交换,Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。传统的网页(不使用Ajax)如果需要更新内容,必须重载整个网页页面。因为传统的在传输数据格式方面,使用的是还是不能看到通过ajax加载的数据,只能看到使用这个url加载的html代码。

  Selenium相当于是一个机器人。可以模拟人类在浏览器上的一些行为,自动处理浏览器上的一些行为,比如点击,填充数据,删除cookie等。chromedriver是一个驱动Chrome浏览器的驱动程序,使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver:

  安装chromedriver:下载完成后,放到不需要权限的纯英文目录下就可以了。

  现在以一个简单的获取百度首页的例子来讲下Selenium和chromedriver如何快速入门:

  要注意,find_element是获取第一个满足条件的元素。find_elements是获取所有满足条件的元素。

  操作输入框:分为两步。第一步:找到这个元素。第二步:使用send_keys(value),将数据填充进去。示例代码如下:

  操作checkbox:因为要选中checkbox标签,在网页中是通过鼠标点击的。因此想要选中checkbox标签,那么先选中这个标签,然后执行click事件。示例代码如下:

  选择select:select元素不能直接点击。因为点击后还需要选中元素。这时候selenium就专门为select标签提供了一个类selenium.webdriver.support.ui.Select。将获取到的元素当成参数传到这个类中,创建这个对象。以后就可以使用这个对象进行选择了。示例代码如下:

  操作按钮:操作按钮有很多种方式。比如单击、右击、双击等。这里讲一个最常用的。就是点击。直接调用click函数就可以了。示例代码如下:

  有时候在页面中的操作可能要有很多步,那么这时候可以使用鼠标行为链类ActionChains来完成。比如现在要将鼠标移动到某个元素上并执行点击事件。那么示例代码如下:

  现在的网页越来越多采用了 Ajax 技术,这样程序便不能确定何时某个元素完全加载出来了。如果实际页面等待时间过长导致某个dom元素还没出来,但是你的代码直接使用了这个WebElement,那么就会抛出NullPointer的异常。为了解决这个问题。所以 Selenium 提供了两种等待方式:一种是隐式等待、一种是显式等待。

  隐式等待:调用driver.implicitly_wait。那么在获取不可用的元素之前,会先等待10秒中的时间。示例代码如下:

  显示等待:显示等待是表明某个条件成立后才执行获取元素的操作。也可以在等待的时候指定一个最大的时间,如果超过这个时间那么就抛出一个异常。显示等待应该使用selenium.webdriver.support.excepted_conditions期望的条件和selenium.webdriver.support.ui.WebDriverWait来配合完成。示例代码如下:

  有时候窗口中有很多子tab页面。这时候肯定是需要进行切换的。selenium提供了一个叫做switch_to_window来进行切换,具体切换到哪个页面,可以从driver.window_handles中找到。示例代码如下:

  有时候频繁爬取一些网页。服务器发现你是爬虫后会封掉你的ip地址。这时候我们可以更改代理ip。更改代理ip,不同的浏览器有不同的实现方式。这里以Chrome浏览器为例来讲解:

  什么是AJAX: AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML。过在后台与服务器进行少量数据交换,Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行更新。传统的网页(...

  动态网页数据抓取 什么是AJAX: AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML。过在后台与服务器进行少量数据交换,Ajax 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下,对网页的某部分进行...

  这篇文章在介绍官网的同时使用了比较多的脚本示例,示例里遇到的问题有部分在本篇文章进行了解释,还有一篇文章专门记录了问题。希望可以给予初学者更多的帮助。 1. Installation 1.1. Introduction Selenium Python提供了一个简单的API,...

  摘要: 之前用Selenium做UI自动化测试从初学到熟练碰到过很多问题,这里就不一一细说了,所以把最基本的操作都写在了一起,包括:控制浏览器,操作元素,鼠标事件,键盘事件,设置元素等待,多表单/窗口切换,警告框处理,上传文件,操作Cookie,调用JavaScript控制...

  一、什么是AJAX AJAX[1],全称Asynchronous JavaScript And XML,即异步的JavaScript和XML。通过在后台与服务器进行少量的数据交换,AJAX可以使网页实现异步更新,实现网页的动态渲染。 这意味着可以在不加载整个网页的情况下,对...

  今天是什么日子 起床:5:50 就寝:12:10 天气:️雨 心情:糟 明天要早起。 今天心情糟透了,吐槽一下负能量。 早上出门下雨,摩托车踩不响,电动车载着我们慢行在打滑的被划出一条条棱的马路上,心情遭到透,雨水混合着对面的车灯完美让我变成了睁眼瞎,好在只有一小段,然而走...

  Cfa一级考试是cfa测试的最基础环节,参加cfa考试必须是一级一级的通过,到最后才能拿到证书,那么身为一个菜鸟,你在报名参加cfa考试后,应该有哪些基本的情况是必须了解的? 1、CFA一级考试有多少科目?分别是哪些 CFA一级一共有10个科目,分别是经济学、数量分...

  【Reading105】海底两万里 《海底两万里》(Vingt mille lieues sous les mers)是法国作家儒勒·凡尔纳创作的长篇小说,是“凡尔纳三部曲”(另两部为《格兰特船长的儿女》和《神秘岛》)的第二部。全书共2卷47章。 小说主要讲述了博物学家阿龙...

  Dropbox是什么? 请参考官网或者简书搜索关键词Dropbox Dropbox可以给我带来什么? 下班前编辑了一半的代码、文档,到家后可以继续 上班时修改了IDEA的一个快捷键,回家发现已经生效了 甚至连git的工作目录的状态都一模一样,完全不需要和remote交互 在...

  • 本文来自: 老铁博客,转载请保留出处!欢迎发表您的评论
  • 相关标签:动态网页  
  • 已有0位网友发表了一针见血的评论,你还等什么?

    必填

    选填

    记住我,下次回复时不用重新输入个人信息

    必填,不填不让过哦,嘻嘻。

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。