发新话题 回复该主题

更多信息加载翻页,只翻页不抓取数据 [复制链接]

1#
如题,在进行列表及详情抓取时,通过XPath设置翻页之后,只能进行翻页,却不抓取数据。
最后编辑吉*菲 最后编辑于 2016-12-27 18:11:16
本主题由 版主 海**情 于 2016/12/28 9:23:33 执行 移动主题 操作
分享 转发
TOP
2#

回复 1楼吉*菲的帖子

你手动执行一下,看翻页后能否进入循环。以及调试在点击翻页处勾选ajax,2秒试试,新标签中打开去掉。

什么是AJAX/何时要设置AJAX/如何设置AJAX
AJAX:是一种网页刷新局部数据技术,特征是网页URL不会有任何变化,如果网页只有局部数据更新,网址URL没有变化,八爪鱼受不到网页变化信号,导致采集停止或者采集不到数据
何时要设置AJAX:
1)异步加载网页
2)打开网页过慢,采集器上方网页一直显示“正在打开”
AJAX视频教程地址:http://www.bazhuayu.com/tutorial/rm7.aspx?t=0
AJAX图文教程地址:http://www.bazhuayu.com/tutorial/ajaxxljz.aspx?t=1
AJAX加载实战视频: http://www.bazhuayu.com/tutorial/ajax-2.aspx?t=0
TOP
3#

回复 2楼海**情的帖子

您好,这些操作我都尝试过了,可仍然无法抓取数据,整个程序运行到翻页截止就不再继续了,但是手动执行时完全是可行的,请问这种情况是什么问题?
TOP
4#

回复 3楼吉*菲的帖子

你采集的是什么网站?群中联系一下,官方客服-维维
TOP
5#

回复 4楼海**情的帖子

淘票票和百度糯米,客服维维回复了和您一样的答案,后面我找了代写规则的,别人回复说是网站有防采集措施,所以出现了规则对却无法采集的现象。请问对于这种防采集该怎么办?
TOP
6#

回复 5楼吉*菲的帖子

需要先知道是何种防采集措施,然后再想解决办法。是何种防采集措施?在群里并没有找你有提相关消息。
TOP
发新话题 回复该主题