八爪鱼批量采集图片URL.docx
- 文档编号:23224345
- 上传时间:2023-05-15
- 格式:DOCX
- 页数:11
- 大小:6.56MB
八爪鱼批量采集图片URL.docx
《八爪鱼批量采集图片URL.docx》由会员分享,可在线阅读,更多相关《八爪鱼批量采集图片URL.docx(11页珍藏版)》请在冰豆网上搜索。
八爪鱼批量采集图片URL
八爪鱼批量采集图片URL
随着瀑布流网站、AJAX网页等技术和网站表现形式大行其道,技术架构和网页结构都与以往传统的网站有所区别,图片展现形式表现的更加的灵活,有些企业或个人出于营销研究或者收藏的需求,需要对这类型网站进行网页数据采集,今天我就来介绍下,遇到这类型网站时我们要如何使用八爪鱼采集器来快速收集数据。
工具/原料
八爪鱼采集器、
我们以选取的这个网站为例,来说明下图片采集要如何实现。
先来看下这个网站的特殊之处,首先,页面上的图片不是一次加载完成,而需要滚动多次才会滚动到底部,这类型的网站像新浪微博也是类似情况,当然也有的瀑布流网站是一直加载无法见底的,这种情况在此不赘述。
其次,产品详情页不能通过点击标题进入,而需要点击图片才能进入。
建采集任务
1.打开数据采集器,点击开始采集
2.输入任务名,点击下一步
建立采集规则
1.复制要采集页面的URL,将红色方框内的打开网页拉至流程线,将复制的URL粘贴好,点击保存,如图片所示
2. 打开网页的时候,需要设置AJAX网页加载,以便确保数据采集的时候不会遗漏,像这个示范站,我们实际滚动大约需要4次,所以我们在AJAX加载到底部,滚动次数可以设置为4次或5次均可,次数可以适当的比实际的滚动次数稍微多一两次,如图片所示
3.接下来将要采集的页面拉至底部,找到下一页,鼠标右键点击,选择执行循环下一页操作,如图片所示
4.完成翻页的循环后,点击自定义
5.点击元素列表,再点击确定进行保存
6.点击翻页循环的翻页,选择高级选项,勾选页面加载,根据网站的不同去设置滚动次数和滚动方式,点击保存(这个网站我们滚动4次就差不多了)
7.由于我们采集时需要点击图片才能进入到产品详情页,在建立元素循环列表的时候,需要将图片链接设置为列表项,如下图所示,我们需要点击A标签取到图片的链接地址,并以此链接为循环列表,添加元素到列表的时候,每次都需要点击A标签,2-3次添加之后系统会将所有选中的图片链接自动读取出来。
如图所示
8.完成循环列表后,把流程图里提取数据的循环拉进翻页循环里,如下图
完成后如红色方框所示,点击保存
9. 采集图片的URL,按上面的操作进入到详情页后,就是提取数据了,对于产品名称和价格,都是文本形式,提取非常简单,而对于图片,会需要先采集到图片本身的URL,再进行转换,采集办法如下图所示,选中图片后,在弹出的对话框中可选中IMG标签,选择图片的超链接进行采集。
开始采集,导出数据
设置完成后,保存,来看下采集的成果。
URL、产品名称、价格均已采集下来,我们导出为EXCEL格式的文件。
将图片的URL转换为图片批量下载下来,相关的工具在八爪鱼免费下载。
将URL地址导入工具即可将图片转换下来。
经过以上简单的步骤,AJAX网页上的瀑布流图片就可以轻松采集出来了
注意事项
采集不同的数据需要的规则略有不同,不懂怎么编辑规则的可以去规则市场寻找完成的规则
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 八爪鱼 批量 采集 图片 URL