发新话题 回复该主题

提取数据教程及常见问题汇总帖 [复制链接]

1#
提取数据教程及常见问题汇总帖

一、提取数据相关教程


1、该版块针对在使用八爪鱼过程中提取数据发生异常问题的用户,八爪鱼可以采集网页能见文本数据(具体参见:八爪鱼可以采集哪些数据


2、阅读者需具有八爪鱼基础知识,如未具备,建议从视频教程新手入门1-7开始学习(具体参见:八爪鱼采集器新手入门1-7


3、遇到问题后,请先阅读下方“提取数据”常见问题汇总,如果未能解决请按发帖须知要求进行发帖咨询。


二、“提取数据异常”常见问题汇总


1、常见问题


     1)图片内的信息数据能否采集?

        网页中图片内的信息数据是无法采集的,八爪鱼只能采集文本信息,如果直接提取文本信息失败,则考虑用XPath特殊定位(具体请转到XPath版块下学习:XPath定位教程版块)。


     2)如何采集58、赶集网、百姓网等网页中带有****号的电话号码?

       (具体参见:AJAX点击网页采集带****号电话号码视频教程

        带有****号的电话号码需要设置AJAX点击网页采集,八爪鱼具体操作简述如下:

        1.设置点击元素点击“查看完整号码“

        2.设置AJAX加载时间,一般推荐1~2s

        3.点击元素后,数据完整出现,设置提取数据正常采集即可

        具体操作参见:赶集网、百姓网、58电话号码、详情页信息采集实战教程

        

     3)八爪鱼如何采集图片?

       (具体参见:图片采集及图片下载视频教程

        URL地址的图片是可以采集,不是URL地址的图片是无法采集的。

        图片采集FAQ:怎么采集图片中的信息

    
     4)为什么我的采集数据全部/大量重复?
        首先请先查看网页数据是否重复,如果不是请参考以下三种解决方案:
        1)重复第一条数据,字段抓取时定位错误,可以采用Xpath方法进行精准定位(具体请转到Xpath版块下学习:Xpath定位教程版块
        2)重复第一页数据内容,网页翻页异常,需要修改循环翻页(
具体参见:特殊翻页——1、2页重复循环视频教程        
        3)重复最后一页数据内容,最后一页死循环,需要修改循环翻页(具体参见:
下一页死循环解决方法视频教程
        如果存在更多翻页循环问题请
转到:翻页循环版块 下学习

     5)采集过程中漏数据?
        首先请先查看所漏数据在网页是否存在,如果网页有存在该数据参考以为两种情况:
        1)数据没有加载出来,就进行了采集,解决方法如下:
           A.设置执行前等待,一般推荐1~2s
           B.设置等待元素出现,在执行前等待设置AJAX加载元素的Xpath
           具体参照排错教程中云服务器带宽较小原因:排错教程视频版排错教程图文版
        2)循环列表未将所有数据涵盖进来,请手动执行下规则核对数据是否全部加载进入列表循环(具体参见:此处应有链接,请期待)

2、问题帖汇总


     1)重复采集第一条数据,循环设置网页出现固定值问题


更多问题将持续更新...


三、若以上内容仍未能解决问题,为了便于尽快解决问题,请按规定发帖提供此三项内容:采集网页URL、所提取数据异常截图、问题详情描述。


四、回帖者请尽可能的详细准确回复发帖者所咨询问题。如果回答标准、解释完整,帖子可申请加精,加精后将给予标准回复者100-1000积分奖励。在此,诚请各位用户积极交流,积极帮助大家解决问题!


五、积极解决大家问题,经常发优质经验帖的用户,官方将给予积分、勋章等奖励,等级达到六爪时可进入规则悬赏区接单,积分则可兑换八爪鱼优惠券和兑换券。详细奖励制度请参考积分规则帖(论坛积分奖罚规则)。


六、如需定制规则请去规则悬赏区发布需求,建议选择六爪以上用户及有八爪鱼技术大神勋章用户定制规则。


七、水帖、发布广告及在非规则悬赏区回复类似于“加我QQ”、“留个联系方式”等未帮用户解决实际问题的,我们会进行删帖操作,发现三次以上封号处理。


八、如果用户在规则悬赏区内遇到有偿规则无效、所采数据未达到要求,双方协商无果后,可进行投诉,请提供聊天记录、转账记录等,证据确凿者将做封号处理(声明:官方人员不进行接单定制规则,线下交易有风险,我们不担保任何交易)。
最后编辑dann*****2016 最后编辑于 2017-03-06 18:19:45
本主题由 管理员 pe***23 于 2017/6/8 16:30:42 执行 批量删帖 操作
分享 转发
如果论坛发帖后未得到及时响应,请点击论坛帮助板块寻求解决方案:http://bbs.bazhuayu.com/showtopic.aspx?topicid=2934
TOP
发新话题 回复该主题