网络爬虫调研报告Word下载.docx
- 文档编号:13541992
- 上传时间:2022-10-11
- 格式:DOCX
- 页数:12
- 大小:28.28KB
网络爬虫调研报告Word下载.docx
《网络爬虫调研报告Word下载.docx》由会员分享,可在线阅读,更多相关《网络爬虫调研报告Word下载.docx(12页珍藏版)》请在冰豆网上搜索。
要被处理的URL被传送到这个队列。
为了避免同一个URL被多次处理,当一个URL被处理过后,它将被转移到完成队列或者错误队列(如果发生错误)。
(3)错误队列:
如果在下载网页是发生错误,该URL将被加入到错误队列。
(4)完成队列:
如果在处理网页没有发生错误,该URL将被加入到完成队列。
网络爬虫搜索策略
在抓取网页的时候,目前网络爬虫一般有两种策略:
无主题搜索与基于某特定主体的专业智能搜索。
其中前者主要包括:
广度优先和深度优先。
广度优先是指网络爬虫会先抓取起始网页中的所有网页,然后再选择其中的一个网页,继续抓取在此网页中的所有网页。
这是最常用的方式,因为这个方法可以让网络爬虫并行处理,提高其抓取速度。
深度优先是指网络爬虫会从起始页开始,一个一个跟踪下去,处理完这条线路之后再转入下一个起始页,继续跟踪。
这个方法有个优点是网络爬虫在设计的时候比较容易。
大多数网页爬行器采用宽度优先搜索策略或者是对这种策略的某些改进。
在专业搜索引擎中,网络爬虫的任务是获取Web页面和决定的访问顺序,它通常从一个“种子集”(如用户查询、种子或种子页面)发,以迭代的方式访问页面和提取。
搜索过程中,未访问的被暂存在一个称为“搜索前沿”(SpiderFrontier)的队列中,网络爬虫根据搜索前沿中的“重要程度”决定下一个要访问的。
如何评价和预测的“重要程度”(或称价值)是决定网络爬虫搜索策略的关键。
众多的网络爬虫设计各不相同,但归根结底是采用不同的价值评价标准。
常用开源网络爬虫介绍及其比较
Nutch
开发语言:
Java
lucene.apache.org/nutch/
简介:
Apache的子项目之一,属于Lucene项目下的子项目。
Nutch是一个基于Lucene,类似Google的完整网络搜索引擎解决方案,基于Hadoop的分布式处理模型保证了系统的性能,类似Eclipse的插件机制保证了系统的可客户化,而且很容易集成到自己的应用之中。
Larbin
C++
简介
larbin是一种开源的网络爬虫/网络蜘蛛,由法国的年轻人Sé
bastienAilleret独立开发。
larbin目的是能够跟踪页面的url进行扩展的抓取,最后为搜索引擎提供广泛的数据来源。
Larbin只是一个爬虫,也就是说larbin只抓取网页,至于如何parse的事情则由用户自己完成。
另外,如何存储到数据库以及建立索引的事情larbin也不提供。
latbin最初的设计也是依据设计简单但是高度可配置性的原则,因此我们可以看到,一个简单的larbin的爬虫可以每天获取500万的网页,非常高效。
Heritrix
crawler.archive.org/
与Nutch比较
Heritrix和Nutch。
二者均为Java开源框架,Heritrix是SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫/蜘蛛(WebCrawler),它们实现的原理基本一致:
深度遍历的资源,将这些资源抓取到本地,使用的方法都是分析每一个有效的URI,并提交Http请求,从而获得相应结果,生成本地文件及相应的日志信息等。
Heritrix是个"
archivalcrawler"
--用来获取完整的、精确的、站点内容的深度复制。
包括获取图像以及其他非文本内容。
抓取并存储相关的内容。
对内容来者不拒,不对页面进行内容上的修改。
重新爬行对相同的URL不针对先前的进行替换。
爬虫通过Web用户界面启动、监控、调整,允许弹性的定义要获取的URL。
二者的差异:
Nutch只获取并保存可索引的内容。
Heritrix则是照单全收。
力求保存页面原貌
Nutch可以修剪内容,或者对内容格式进行转换。
Nutch保存内容为数据库优化格式便于以后索引;
刷新替换旧的内容。
而Heritrix是添加(追加)新的内容。
Nutch从命令行运行、控制。
Heritrix有Web控制管理界面。
Nutch的定制能力不够强,不过现在已经有了一定改进。
Heritrix可控制的参数更多。
Heritrix提供的功能没有nutch多,有点整站下载的味道。
既没有索引又没有解析,甚至对于重复爬取URL都处理不是很好。
Heritrix的功能强大但是配置起来却有点麻烦。
三者的比较
一、从功能方面来说,Heritrix与Larbin的功能类似。
都是一个纯粹的网络爬虫,提供的镜像下载。
而Nutch是一个网络搜索引擎框架,爬取网页只是其功能的一部分。
二、从分布式处理来说,Nutch支持分布式处理,而另外两个好像尚且还没有支持。
三、从爬取的网页存储方式来说,Heritrix和Larbin都是将爬取下来的内容保存为原始类型的内容。
而Nutch是将内容保存到其特定格式的segment中去。
四,对于爬取下来的内容的处理来说,Heritrix和Larbin都是将爬取下来的内容不经处理直接保存为原始内容。
而Nutch对文本进行了包括分析、正文提取、建立索引(Lucene索引)等处理。
五,从爬取的效率来说,Larbin效率较高,因为其是使用c++实现的并且功能单一。
表3种爬虫的比较
crawler
开发语言
功能单一
支持分布式爬取
效率
镜像保存
×
√
低
高
中
其他网络爬虫介绍:
HeritrixHeritrix是一个开源,可扩展的web爬虫项目。
Heritrix设计成严格按照robots.txt文件的排除指示和METArobots标签。
crawler.archive.org/WebSPHINX
WebSPHINX是一个Java类包和Web爬虫的交互式开发环境。
Web爬虫(也叫作机器人或蜘蛛)是可以自动浏览与处理Web页面的程序。
WebSPHINX由两部分组成:
爬虫工作平台和WebSPHINX类包。
.cs.cmu.edu/~rcm/websphinx/WebLech
WebLech是一个功能强大的Web站点下载与镜像工具。
它支持按功能需求来下载web站点并能够尽可能模仿标准Web浏览器的行为。
WebLech有一个功能控制台并采用多线程操作。
Arale主要为个人使用而设计,而没有像其它爬虫一样是关注于页面索引。
Arale能够下载整个web站点或来自web站点的某些资源。
Arale还能够把动态页面映射成静态页面。
web.tiscali.it/_flat/arale.jsp.htmlJ-Spider
J-Spider:
是一个完全可配置和定制的WebSpider引擎.你可以利用它来检查的错误(内在的服务器错误等),内外部检查,分析的结构(可创建一个地图),下载整个Web站点,你还可以写一个JSpider插件来扩展你所需要的功能。
j-
spindle是一个构建在Lucene工具包之上的Web索引/搜索工具.它包括一个用于创建索引的HTTPspider和一个用于搜索这些索引的搜索类。
spindle项目提供了一组JSP标签库使得那些基于JSP的站点不需要开发任何Java类就能够增加搜索功能。
.bitmechanic./projects/spindle/Arachnid
Arachnid:
是一个基于Java的webspider框架.它包含一个简单的HTML剖析器能够分析包含HTML内容的输入流.通过实现Arachnid的子类就能够开发一个简单的Webspiders并能够在Web站上的每个页面被解析之后增加几行代码调用。
Arachnid的下载包中包含两个spider应用程序例子用于演示如何使用该框架。
LARM能够为JakartaLucene搜索引擎框架的用户提供一个纯Java的搜索解决方案。
它包含能够为文件,数据库表格建立索引的方法和为Web站点建索引的爬虫。
JoBo是一个用于下载整个Web站点的简单工具。
它本质是一个WebSpider。
与其它下载工具相比较它的主要优势是能够自动填充form(如:
自动登录)和使用cookies来处理session。
JoBo还有灵活的下载规则(如:
通过网页的URL,大小,MIME类型等)来限制下载。
snoics-reptile是用纯Java开发的,用来进行镜像抓取的工具,可以使用配制文件中提供的URL入口,把这个所有的能用浏览器通过GET的方式获取到的资源全部抓取到本地,包括网页和各种类型的文件,如:
图片、flash、mp3、zip、rar、exe等文件。
可以将整个完整地下传至硬盘内,并能保持原有的结构精确不变。
只需要把抓取下来的放到web服务器(如:
Apache)中,就可以实现完整的镜像。
Web-Harvest
Web-Harvest是一个Java开源Web数据抽取工具。
它能够收集指定的Web页面并从这些页面中提取有用的数据。
Web-Harvest主要是运用了像XSLT,XQuery,正则表达式等这些技术来实现对text/xml的操作。
web-spiderpy
spiderpy是一个基于Python编码的一个开源web爬虫工具,允许用户收集文件和搜索,并有一个可配置的界面。
SpiderWebNetworkXoopsModTeam
piderWebNetworkXoopsMod是一个Xoops下的模块,完全由PHP语言实现。
.tswn./larbin
larbin是个基于C++的web爬虫工具,拥有易于操作的界面,不过只能跑在LINUX下,在一台普通PC下larbin每天可以爬5百万个页面(当然啦,需要拥有良好的网络)
爬虫存在的问题
1.
robots.txt
robots.txt是一个纯文本文件,在这个文件中管理者可以声明该中不想被robots访问的部分,或者指定搜索引擎只
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 网络 爬虫 调研 报告