发新话题 回复该主题

翻页循环常见问题汇总及发帖须知 [复制链接]

1#

翻页循环常见问题汇总及发帖须知




一、翻页循环相关教程


1、该版块针对编辑规则中翻页循环出现问题的用户。


2、首先你应知道何为翻页循环以及如何建立最基本的翻页循环,初学者请务必先学习新手入门1-7(可切换至视频教程):http://www.bazhuayu.com/tutorial?type=1&page=0&tag=%E6%96%B0%E6%89%8B%E5%85%A5%E9%97%A8


3、如何处理翻页循环?http://www.bazhuayu.com/tutorial/fanye.aspx?t=0


4、点击翻页无循环点击选项:http://www.bazhuayu.com/tutorial/wxhdjxx.aspx?t=0


5、一二页重复循环:http://www.bazhuayu.com/tutorial/yeycf.aspx?t=0


6、“再显示20条”等按钮解决方法:http://www.bazhuayu.com/tutorial/zxs.aspx?t=0


7、无下一页,数字翻页解决方法【5.0版本录制】:http://www.bazhuayu.com/tutorial/szfy.aspx?t=0


8、手动创建翻页循环及下一页死循环解决方法【4.6版本录制】:http://www.bazhuayu.com/tutorial/create_paging_manully.aspx?t=0


9、特殊的翻页循环如何处理:http://www.bazhuayu.com/tutorial/tsfy.aspx?t=0


10、八爪鱼实战(6):京东评论采集(AJAX翻页)(由八爪鱼用户二瘦子提供):http://www.bazhuayu.com/tutorial/yhtg12.aspx?t=0


二、翻页循环相关问题汇总(发帖前诚请先阅读该汇总,80%的可能您的问题就能在下方找到解答。这将大大的节约双方的宝贵时间与精力)


1、常见问题


1)、进行翻页时,网页网址没有发生改变,但网页中部分(或全部)内容发生改变。采集时无数据或只有一页数据。此时应考虑是ajax问题。在点击翻页的高级选项中勾选上ajax加载,时间根据网站确定,一般两秒。


参考教程:http://www.bazhuayu.com/tutorial/rm7.aspx?t=0   ajax:http://www.bazhuayu.com/tutorial/ajax.aspx?t=0


2)、点击下一页时(翻页)不出现循环点击下一页怎么办?


先参考第一个链接的教程。如果还是不能解决则参考第二个链接的教程,手写xpath定位;使用该教程最好有一定的xpath知识储备,可先点击最后的那个链接进行学习。


http://www.bazhuayu.com/tutorial/wxhdjxx.aspx?t=0             http://www.bazhuayu.com/tutorial/create_paging_manully.aspx?t=0


http://www.bazhuayu.com/tutorial/xpath1.aspx?t=0                http://www.bazhuayu.com/tutorial/xpath2.aspx?t=0


3)、对于没有翻页按钮,通过选择日期、地址等方式进行翻页如何处理?


A.若可以输入,则考虑使用文本循环进行循环输入。http://www.bazhuayu.com/tutorial/wbxhsr.aspx?t=0


B.若不能,则使用循环下拉框或创建点击元素以及循环点击。


4)、网站无翻页按钮,采用“拖动、滚动、下拉”等方式加载数据如何处理?


该现象可采用ajax加载数据,参考教程:ajax加载——下拉加载 http://www.bazhuayu.com/tutorial/ajaxxljz.aspx?t=0  ajax拖到底部加载数据处理 http://www.bazhuayu.com/tutorial/ajax-3.aspx?t=0


5)、网站总数据300页,但只显示50页如何处理?


该现象在58同城中较为常见,是网站处于防采集而设置的。对于该类现象,在做规则时将限定条件不断细分,以出现的数据能在限定范围能全部展示。此方法可导致需做多个规则或多条URL循环,但可以采得更多数据。


2、问题帖汇总


1)、翻页问题汇总帖:http://bbs.bazhuayu.com/showtopic.aspx?topicid=1478


2)、第一页采集很快,翻页后要等很久才采集下一页内容?http://bbs.bazhuayu.com/showtopic.aspx?topicid=1320


3)、翻页后不能采集:http://bbs.bazhuayu.com/showtopic.aspx?topicid=1283


4)、类似头条这种不能翻页、无限加载的怎么采集? http://bbs.bazhuayu.com/showtopic.aspx?topicid=2066


5)、每个下一页的名字都改变:http://bbs.bazhuayu.com/showtopic.aspx?topicid=1359


6)、如果是非英语的外文站,点下一页不会出现翻页循环的选项,那怎么建立翻页循环?http://bbs.bazhuayu.com/showtopic.aspx?topicid=112


7)、采集完第一页后,只是循环翻页,却不采集数据了是怎么回事。http://bbs.bazhuayu.com/showtopic.aspx?topicid=1242


8)、“下一页”xpath不同,怎样设置自动翻页?http://bbs.bazhuayu.com/showtopic.aspx?topicid=1354


9)、翻页死循环:http://bbs.bazhuayu.com/showtopic.aspx?topicid=769


10)、提取百度搜索结果,翻页很慢:http://bbs.bazhuayu.com/showtopic.aspx?topicid=1422


11)、没有翻页选项如何设置规则?http://bbs.bazhuayu.com/showtopic.aspx?topicid=1392


12)、没有下一页或next的多网页如何采集?http://bbs.bazhuayu.com/showtopic.aspx?topicid=1082


13)、最后一个跟其他页面很相似,简单XPath很难区别是否翻到最后一些,最后用一个很复杂的XPath完美解决:http://bbs.bazhuayu.com/showtopic.aspx?topicid=1824


14)、循环翻页时下一页有跳跃:http://bbs.bazhuayu.com/showtopic.aspx?topicid=2104


15)、无下一页,数字翻页解决方法:http://bbs.bazhuayu.com/showtopic.aspx?topicid=348


...



更多问题将持续更新...



三、若以上内容仍未能解决问题,为了便于尽快解决问题,按规定发帖。请在帖内提供翻页循环流程图,点击翻页的高级选项(配图),预期结果和实际结果,已尝试的解决操作等。总之,尽量详细描述操作过程和异常现象。


四、回帖者诚请尽可能的详细准确回复发帖者咨询。回答标准,解释完整,帖子鉴定为精华帖后将给予标准回复者100-1000积分奖励。在此,诚请各位用户积极交流,积极帮助大家解决问题!


五、积极解决大家问题,经常发优质经验帖的用户;官方将给予积分,勋章等奖励,等级达到六爪时可进入规则悬赏区接单,积分则可兑换八爪鱼优惠券和兑换券。详细奖励制度请参考积分规则帖。链接http://bbs.bazhuayu.com/showtopic.aspx?topicid=2485


六、如需定制规则请去规则悬赏区发布需求,建议选择六爪以上用户及有八爪鱼技术大神勋章用户定制规则。


七、发广告、其它不良信息及非规则悬赏区回复加我QQ帮你看下,留个联系方式等“水帖”(未帮用户解决问题无意义回复),删帖处理,发现三次以上封号。


八、如在论坛内遇到有偿规则、接单投诉,请提供聊天记录、转账记录等,证据确凿者将做封号处理。

最后编辑海**情 最后编辑于 2016-09-18 20:40:22
本主题由 版主 海**情 于 2017/2/6 18:27:55 执行 设置高亮 操作
分享 转发
TOP
发新话题 回复该主题