网站地图 | RSS订阅 老铁博客 - 上海SEO优化|上海网站建设|蜘蛛池出租|站群代搭建
你的位置:首页 » 推广营销 » 正文

现在大家爬虫爬淘宝都是用什么办法能全站大量爬取啊?给个思路吧?能用手机 app 端爬取吗?

2019-8-4 12:51:16 | 作者:老铁SEO | 0个评论 | 人浏览

  京东还行,还是能爬取的,一台机使用 scrapy 开个四个假的分布式窗口(配置差,不敢开太多,怕一觉起来电脑卡死),ip 被 ban 也不是很严重,除了一些页面需要使用 selenium 抓取之外(图书页面要下滑加载 js),其他的页面都可以直接抓取,不过如果中间掺杂需要 selenium 的页面会很慢,12 小时总共能爬 8w 页面(因为 scrapy 回调函数),一台机器能爬 3w 数据算多的了..

  @VDimos我也知道啊,但是学习不商用,而且也不是要全部爬取,只要能运行成功一天就好了

  @o00oapp 端有没有试过?,我这边弄不了,机器开虚拟机配置不行,淘宝都打不开...

  而且我不一定全站爬取,只要热门商品前面的就行,大概是每个商品爬个 5 60 页就爬下一个

  @shanlan#2 敞开大门做生意,换个姿势就不让插了? 真的是搞笑,哪天说不定我浏览器打开一下淘宝,就被定义为爬虫把我给抓走了,口袋罪何患无辞

  @daquandiao2都算是构想,第一种我机器配置不行,在模拟器中开淘宝直接卡死,第二种还在想怎么弄,这不来 v2 上看看大家有什么思路不?

  讨厌这些害的我正常浏览都要登录的 爬虫,但同时觉得,电商网站就应该明码实价,提供 API 给出价格都是应该的

  @q397064399根子就是不想公开竞争,弄羊毛忽悠用户,不好忽悠的用户都去死

  @shanlan相当于规定销售商品应当明码标价的情况下,未按商场指定方式看价格违法

  mitm 可以试试吧,用大量客户端+自动操作脚本。我就是用这玩意配合自动操作脚本爬取一些 flash 内容(逆向 ActionScript 太痛苦)

  以前公司有个店铺卖书的,买个工具需要花钱,为了省钱,就爬过自己店铺的数据,然后再整理和分析。。vzev42 天前但是淘宝就恶心到我了 淘宝肯定也在想你恶心到它了,哈哈!kppwp42 天前是通过用户行为分析的,一般还是用大量 ip 代理去解决问题。mrcn42 天前淘宝天猫…我正常用户都用不了…第 1 页 / 共 3 页下一页

  这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到V2EX上打开本讨论主题的完整版本。

  V2EX是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

  • 本文来自: 老铁博客,转载请保留出处!欢迎发表您的评论
  • 相关标签:什么是爬虫  
  • 已有0位网友发表了一针见血的评论,你还等什么?

    必填

    选填

    记住我,下次回复时不用重新输入个人信息

    必填,不填不让过哦,嘻嘻。

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。