发新话题 回复该主题

即使填写Xpath也不执行翻页 [复制链接]

1#
要采集的目标网址
想要执行翻页循环,也就是循环点击‘>’,不执行,我手动点击网页上的下一页,发现网页地址是完全不变的,也就是说第一页和最后一页都是同一个地址。
即使用了Xpath也没有跳转到下一页。
一直都是第一页,采集的数据也一直都是第一页的。


这个该怎么解决啊?

再加一张图,Xpath定位的,说有13个>元素,但我只看到一个啊(下一页)

最后编辑186*****281 最后编辑于 2017-08-09 15:32:09
分享 转发
TOP
2#

回复 1楼186*****281的帖子

这是个AJAX网页,要设置AJAX,你可以看下~

8.2什么是AJAX/何时要设置AJAX/如何设置AJAX
AJAX:是一种网页刷新局部数据技术,特征是网页URL不会有任何变化,如果网页只有局部数据更新,网址URL没有变化,八爪鱼受不到网页变化信号,导致采集停止或者采集不到数据
何时要设置AJAX:
1)异步加载网页
2)打开网页过慢,采集器上方网页一直显示“正在打开”
AJAX视频教程地址:http://www.bazhuayu.com/tutorial/rm7.aspx?t=0
AJAX图文教程地址:http://www.bazhuayu.com/tutorial/ajaxxljz.aspx?t=1
AJAX加载实战视频: http://www.bazhuayu.com/tutorial/ajax-2.aspx?t=0
如果论坛发帖后未得到及时响应,请点击论坛帮助板块寻求解决方案:http://bbs.bazhuayu.com/showtopic.aspx?topicid=2934
TOP
3#

回复 2楼dann*****2016的帖子


设置AJAX也不行,还是只能提取到第一页的10个数据,不跳转下一页。
TOP
4#

回复 3楼186*****281的帖子

你这个截图明显还在打开下一页,而且一直处于这种状态的话 说明AJAX没有设置  让你设置的是翻页的AJAX~不是详情页的AJAX~
如果论坛发帖后未得到及时响应,请点击论坛帮助板块寻求解决方案:http://bbs.bazhuayu.com/showtopic.aspx?topicid=2934
TOP
5#

回复 4楼dann*****2016的帖子

我翻页和进入详情页都设置了AJAX,上面我没截图出来。
后来我发现,手动点击到第二页,第三页,时。它的网页源码有变动。




TOP
6#

回复 5楼186*****281的帖子

那就用following-sibling
看下这个教程~
4.3没有下一页的特殊翻页如何进行采集
这里需要用到一些XPATH相关知识,用following-sibling来翻页
具体视频教程地址:http://www.bazhuayu.com/tutorial/szfy.aspx?t=0
如果论坛发帖后未得到及时响应,请点击论坛帮助板块寻求解决方案:http://bbs.bazhuayu.com/showtopic.aspx?topicid=2934
TOP
发新话题 回复该主题