发新话题 回复该主题

云采集教程及常见问题汇总帖 [复制链接]

1#

云采集教常见问题汇总帖发帖须知



一、云采集相关教程


1、该版块针对八爪鱼旗舰版用户在使用云采集时碰到的相关问题(云采集简介云采集使用方法


2、阅读该区前,用户须保证规则的有效性,单机采集可以正常提取数据(如果单机采集提取数据失败,请看:规则排错教程


3、咨询前先阅读下方“云采集”常见问题汇总,如果问题未能得到解决请发帖询问



二、”云采集“常见问题汇总


1、常见问题


     1.云采集为什么比单机采集还慢

        因为云采集是靠拆分任务加速的,一个任务拆分成多个子任务,云采集比单机采集慢原因有以下几点:

        1)任务没有被拆分:云采集拆分任务的优势就无法体现,规则就相当于单机采集,所以速度不够快,具体优化可参考:云采集优化案例

        2)同时运行了多个任务:如果一个任务占用过多的云节点,其他任务的采集速度就会受到影响

        3)规则本身的设置:例如:没有设置超时加载或设置了很长的执行前等待,将执行前等待时间缩短

        该问题FAQ地址:http://www.bazhuayu.com/faq/%E4%BA%91%E9%87%87%E9%9B%866.aspx

        云采集优化案例:http://bbs.bazhuayu.com/showtopic.aspx?topicid=1868


     2.云采集设置了数据库自动入库,数据库内容却没有更新

        数据库自动导入计划在重启八爪鱼后需要重新启动执行计划,另外导入数据库时八爪鱼需要保持开启,不能关闭

        教程链接:http://www.bazhuayu.com/tutorial/export_database_auto.aspx?t=1

     3.云采集漏数据
        1)规则本身单机采集就会漏数据(具体请单击采集核对规则的正确性,具体参考:规则排错教程视频版规则排错教程图文版)
        2)网站存在防采集措施(验证码、登录、封IP),导致云采集无法顺利采集所有数据,单机采集代理IP教程 (云采集不可使用代理IP)
        3)字段不存在:如果最后一个字段数据不存在导致字段抓空,则整条数据会被删除,这样就会存在漏该数据,可将最后一个字段设置成固定字段(例如:当前时间、当前页面网址等一定能提取的数据信息)

2、问题帖汇总

...


更多问题将持续更新...


三、若以上内容仍未能解决问题,为了便于尽快解决问题,请按规定发帖提供此三项内容:采集网页URL、所提取字段截图、问题详情描述。


四、回帖者请尽可能的详细准确回复发帖者所咨询问题。如果回答标准、解释完整,帖子可申请加精,加精后将给予标准回复者100-1000积分奖励。在此,诚请各位用户积极交流,积极帮助大家解决问题!


五、积极解决大家问题,经常发优质经验帖的用户,官方将给予积分、勋章等奖励,等级达到六爪时可进入规则悬赏区接单,积分则可兑换八爪鱼优惠券和兑换券。详细奖励制度请参考积分规则帖(链接:http://bbs.bazhuayu.com/showtopic.aspx?topicid=2485)。


六、如不会采集,需定制规则请前往数多多平台提交需求或直接购买数据包。数多多:http://www.dataduoduo.com/Demand/c0/d0/u/010/f0/t0


七、水帖、发布广告及回复类似于“加我QQ”、“留个联系方式”等未帮用户解决实际问题的,我们会进行删帖操作,发现三次以上封号处理。


八、如果用户在规则悬赏区内遇到有偿规则无效、所采数据未达到要求,双方协商无果后,可进行投诉,请提供聊天记录、转账记录等,证据确凿者将做封号处理(声明:官方人员不进行接单定制规则,线下交易有风险,我们不担保任何交易)。

最后编辑海**情 最后编辑于 2017-03-14 11:33:50
本主题由 版主 海**情 于 2017/2/13 21:12:54 执行 设置高亮 操作
分享 转发
如果论坛发帖后未得到及时响应,请点击论坛帮助板块寻求解决方案:http://bbs.bazhuayu.com/showtopic.aspx?topicid=2934
TOP
发新话题 回复该主题