发新话题 回复该主题

【建议搜集】八爪鱼新功能预览-采集JSON数据,希望得到您的建议 [复制链接]

1#

我们即将在8月份发布JSON采集功能,在此之前,希望得到您的意见与建议,以满足更多用户的需求。


JSON采集功能有以下特点:


  • 批量的从URL中请求JSON原始数据


  • 简洁的可视化JSON展示


  • 更高效的数据JSON提取



使用JSON采集功能,只需简单3步,30秒后即可从JSON中提取到您需要的信息:


1、输入JSON网址

可以一次批量输入JSON网址,就像输入其它网页的网址一样,八爪鱼会依次从各网址中请求到JSON原始数据。

您可以为这些请求设置请求头(Header), 还支持通过POST方式请求JSON数据,可以为POST请求设置请求参数。



提醒:如何知道JSON网址?

这需要具体分析不同网站页面的访问请求来获得;如果您知道的API接口返回的是JSON格式数据,也能够通过本功能来提取需要的信息。

关于JSON的更多信息,可以访问:

http://www.w3school.com.cn/json/

http://www.json.org/json-zh.html


2、选择提取字段

请求网址返回的JSON原始数据中有很多信息是我们不需要的,如何提取到需要的信息呢?

我们会将JSON原始数据进行解析(除了标准的JSON格式,JSONP格式也能够正常解析),以树状结构进行展示,您只需要选择您要提取的信息即可。






3、运行JSON采集任务

配置好要提取的字段信息后运行任务,任务运行时,会逐个请求网址,并从返回的JSON数据中提取需要的字段;运行过程中界面会显示每个请求返回的原始数据信息(原始的JSON、JSONP或网址返回的其它错误信息),便于采集测试。





本功能还处于内测阶段,我们非常希望得到您关于JSON采集方面的意见或建议,以满足更多用户的需求。


点击以下链接,填写关于JSON采集功能的调查问卷:http://octoparse.mikecrm.com/0vM8tby


您也可以直接在本帖下留言!

最后编辑Se**ie 最后编辑于 2018-07-18 18:35:08
本主题由 超级版主 Se**ie 于 2018/7/18 18:33:29 执行 设置高亮 操作
分享 转发
TOP
2#

回复 1楼Se**ie的帖子

来自微信公众号一位用户的建议:

1. jsonp和其他非格式化json可以容错吗?是否可以支持返回文本处理功能

2.有些站下页数据是根据本页返回的数据来采下一页的,是否可以支持链接提取处理拼接,并可以携带定义header

3.自定义header是否可以自定义计算,比如一些站请求是加密的,逆向出了sign算法,是否可以支持动态计算提交
TOP
3#

很需要这个功能,请问什么时候能够正式上线?
TOP
4#

很需要这个功能,请问什么时候能够正式上线?   一年多了啊.  哥哥.  等你们上线. 我都想自己写代码实现了.
TOP
5#

已经上线啦~亲
扫头像二维码关注「八爪鱼采集研究院」,关注后在后台回复“8G”可获得八爪鱼史上最全教程资料!
TOP
6#
扫头像二维码关注「八爪鱼采集研究院」,关注后在后台回复“8G”可获得八爪鱼史上最全教程资料!
TOP
7#

为什么八爪鱼一直不出暂停功能啊?(不是停止从头的那种),暂停后可以接着继续采集的那种,还有就是遇到验证码后能暂停,等手动输入验证码后再继续,这里说的是不人工操作就永久暂停的那种,不是设置暂停十几秒又继续,因为我们采集数据的时候大部分时间是不会一直盯着电脑看的,一般都是会过段时间才会查看一下,或者根据验证码出现的频率来查看电脑的。提取数据本身是个漫长的过程,眼睛盯着任务不动是不太实际
TOP
8#

回复 7楼139*****713的帖子

1、暂停功能,八爪鱼现在暂时没有

2、您要采集的网页是什么类型的验证码呢?部分验证码,在购买验证码套餐后,是可以实现自动识别的,就不用值守在电脑前了。
验证码套餐简介:http://www.bazhuayu.com/faq/captcha
TOP
9#

高德地图里面的验证码
TOP
10#

回复 8楼Se**ie的帖子

高德地图滑动验证码,这个支持不?
TOP
发新话题 回复该主题