发新话题 回复该主题

请问类似于“知网”网站如何采集数据? [复制链接]

1#
银光图片
遇到的问题很奇葩。①在知网的网页搜索引擎里输入关键词“短视频”,出现的网址是:https://kns.cnki.net/kns/brief/default_result.aspx


②在知网的网页搜索引擎里输入关键词“网络短视频”,出现的网址依旧是:https://kns.cnki.net/kns/brief/default_result.aspx


这就导致自定义采集网页的时候,输入网址却不显示我想要出现的输入关键词“短视频”后可以显示的页面。


所以每次采集都是被告知没有采集到相关的信息。
请问大神们这个怎么破?
分享 转发
TOP
2#

知网采集需要设置输入关键词后点击检索步骤,想得到输入关键词检索后的真实网址,需要用抓包工具抓包获取链接和cookie(里包含搜索的关键词);
桔子数据(企业法人)
专业定制采集规则代爬数据,App端数据采集脚本定制,手机自动化辅助工具开发,机器人流程自动化软件开发,大数据软件推广&培训
咨询QQ:2661192109
TOP
3#

用'短视频'检索时,用Fiddler抓包获取的链接地址:
  1. https://kns.cnki.net/kns/brief/brief.aspx?pagename=ASP.brief_default_result_aspx&isinEn=1&dbPrefix=SCDB&dbCatalog=%E4%B8%AD%E5%9B%BD%E5%AD%A6%E6%9C%AF%E6%96%87%E7%8C%AE%E7%BD%91%E7%BB%9C%E5%87%BA%E7%89%88%E6%80%BB%E5%BA%93&ConfigFile=SCDBINDEX.xml&research=off&t=1577859112668&keyValue=%E7%9F%AD%E8%A7%86%E9%A2%91&S=1&sorttype=
复制代码
桔子数据(企业法人)
专业定制采集规则代爬数据,App端数据采集脚本定制,手机自动化辅助工具开发,机器人流程自动化软件开发,大数据软件推广&培训
咨询QQ:2661192109
TOP
发新话题 回复该主题