pyspider怎样爬取分页数据呢?


pyspider系列文章的第三篇讲解了如何模拟【加载更多】按钮的点击事件来获得当前页面上的更多数据。

那我模拟【下一页】按钮的点击事件,会刷新当前页面上的数据,而不是增加当前页面的数据。这样的话怎么实现爬取所有数据呢?

因为我是要不停的模拟下一页按钮的点击事件,所以回调函数需要嵌套很多很多个?

或者是这样递归求解?

self.crawl('shouye.com', call_back=self.handler)

def handler():
    // response.content当前页面数据存入数据库
    url = getNextBtn(...)
    self.crawl(url, callback=handler)



相关阅读:
关于Flask分页渲染的问题
在项目中就单纯的运行react,我还缺什么?
如何取消JS调用,而是直接输出结果
这种文件类型是怎么制作的呢?在vue-router和webpack制作的页面切换里
git和github,svn的区别。
科大讯飞的com.iflytek.speech包 和com.iflytek.cloud包有什么区别
es6 generator 的问题
鼠标右键弹出一个菜单,有哪些好用的JS库?
pgsql 如何修改json字段的键名?
php 上传视频如何获取视频里的一张图片做页面?
vue如何侦听路由参数的变化呢
mysql如果查看sql语句的加锁顺序?
使用vue-cli开发的网站,源码全都暴露在浏览器中?
android 中ListView嵌套ListView出现的问题
使用iscroll 底部被遮住(异步加载DOM造成的高度问题造成iScroll不能滚动)怎么解决
sublime的光标变成这样的了咋办?
关于python中的Queue与daemon进程?
移动端使用webp格式图片效果怎么样?
SQL like语句问题和PATINDEX
java关于文件目录操作



快速导航

Copyright © 2016 phpStudy | 皖ICP备18014864号-4