山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》.docx
- 文档编号:29709421
- 上传时间:2023-07-26
- 格式:DOCX
- 页数:14
- 大小:253.42KB
山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》.docx
《山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》.docx》由会员分享,可在线阅读,更多相关《山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》.docx(14页珍藏版)》请在冰豆网上搜索。
山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》
山东建筑大学
课程设计成果报告
题目:
基于Python的网络爬虫设计
课程:
计算机网络A
院(部):
管理工程学院
专业:
信息管理与信息系统
班级:
学生姓名:
学号:
指导教师:
完成日期:
1设计目的
本课程设计是信息管理与信息系统专业重要的实践性环节之一,是在学生学习完《计算机网络》课程后进行的一次全面的综合练习。
本课程设计的目的和任务:
1.巩固和加深学生对计算机网络基本知识的理解和掌握;
2.培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力;
3.提高学生进行技术总结和撰写说明书的能力。
2设计任务内容
网络爬虫是从web中发现,下载以及存储内容,是搜索引擎的核心部分。
传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。
参照开放源码分析网络爬虫实现方法,给出设计方案,画出设计流程图。
选择自己熟悉的开发环境,实现网络爬虫抓取页面、从而形成结构化数据的基本功能,界面适当美化。
给出软件测试结果。
3网络爬虫程序总体设计
在本爬虫程序中共有三个模块:
1、爬虫调度端:
启动爬虫,停止爬虫,监视爬虫的运行情况
2、爬虫模块:
包含三个小模块,URL管理器、网页下载器、网页解析器。
(1)URL管理器:
对需要爬取的URL和已经爬取过的URL进行管理,可以从URL管理器中取出一个待爬取的URL,传递给网页下载器。
(2)网页下载器:
网页下载器将URL指定的网页下载下来,存储成一个字符串,传递给网页解析器。
(3)网页解析器:
网页解析器解析传递的字符串,解析器不仅可以解析出需要爬取的数据,而且还可以解析出每一个网页指向其他网页的URL,这些URL被解析出来会补充进URL管理器
3、数据输出模块:
存储爬取的数据
4网络爬虫程序详细设计
4.1设计环境和目标分析
4.1.1设计环境
IDE:
pycharm
4.1.2目标分析
目标:
从XX词条Python开始,以广度优先的方式,爬取相关联的若干词条网页的标题和简介
(2)词条页面URL格式:
(3)数据格式:
标题——Python
简介——
(4)页面编码:
utf-8
4.2爬虫运行流程分析
爬虫程序的运行流程如图所示。
(1)爬虫控制器从给定的URL开始,将给定的初始URL添加到URL管理器中,然后调用URL管理器的相关方法,判断是否有待爬取的URL
(2)URL判断是否有待爬取的URL,如果有待爬取的URL,则返回给控制器,控制器将这个URL传递给网页下载器,下载该网页
(3)网页下载器将下载好的数据返回给控制器,控制器再将返回的数据传递给网页解析器解析
(4)网页解析器解析网页之后获取网页数据和网页的URL链接,再将这两个数据传递给控制器
(5)控制器得到解析出来的数据之后,将新的URL链接传递给URL管理器,将价值数据传递给数据输出器输出
(6)数据输出器以文本的形式输出传递进来的数据。
(7)回到第一步,循环
4.3控制模块详细设计
爬虫控制器主要负责调度各个模块,所以在设计的时候只需要一次调用其他模块的方法,给对应的模块传递数据即可。
比较简单,可参见附录1查看源码。
4.3爬虫模块详细设计
URL管理器设计
URL管理器主要管理待抓取的URL集合和已抓取的URL集合。
URL管理器设计的难点在于:
防止重复抓取,防止循环抓取。
常用的URL管理器存储方式有三种,一是使用python内存即set集合来存储URL,二是使用数据库,例如MySQL,三是使用缓存数据库,例如redis。
因为这只是个简单的python爬虫,所以我们选择利用内存存储URL。
建立两个集合,一个为待爬取集合,一个为已爬取集合,功能上图所示。
网页下载器是将互联网上URL对应的网页下载到本地的工具。
Python常用的网页下载器有两种,一个是python自带的urllib2,一个是第三方包requests。
这里我们选用的是urllib2,比较简单的网页下载工具,其中最简洁的下载网页的代码如下:
importurllib2
response=urllib2.urlopen(url)
#如果请求码不是200,则表示请求不成功。
#典型的错误包括404(页面无法找到),403(请求禁止),401(待验证的请求)
#5XX回应代码以“5”开头的状态码表示服务器端发现自己出现错误,不能继续执行请求
ifresponse.getcode()!
=200:
print"downloadhtmlfailed"
cont=response.read()
网页解析器是从网页中提取有价值数据的工具。
Python常用的解析器有四种,一是正则表达式,二是html.parser,三是beautifulSoup,四是lxml。
这里我选用的是beautifulSoup作为我的网页解析器,相对于正则表达式来说,使用beautifulSoup来解析网页更为简单。
beautifulSoup将网页转化为DOM树来解析,每一个节点是网页的每个标签,通过它提供的方法,你可以很容易的通过每个节点获取你想要的信息。
使用方法如下:
#创建BeautifulSoup对象
soup=BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')
#查找所有标签为a的节点,且href匹配正则表达式
links=soup.find_all('a',href=pile(r"/item/\%"))
#查找所欲标签为div的节点
summary_node=soup.find('div',class_="lemma-summary")
4.4数据输出器详细设计
数据输出器是负责数据输出的工具。
如果要输出的文件不存在,程序会自动创建,并且每次重写之前都会清空网页的内容。
这里我选择的输出方式是TXT文档,直接将数据分析器得到的数据存储在output.txt文件中。
5调试与测试
5.1调试过程中遇到的问题
(1)爬取第一个页面之后没有新的页面
解决方案:
根据子网页,选择合适的正则表达式
(1)测试过程中某些网页中缺少标题或简介。
解决方案:
往集合中添加数据的时候,判断一下是否为空,不为空再添加。
5.2测试数据及结果显示
测试的结果以txt文档形式显示,生成的文档路径和代码路径一致、
6课程设计心得与体会
Python是一门面向对象的解释性语言(脚本语言),这一类语言的特点就是不用编译,程序在运行的过程中,由对应的解释器向CPU进行翻译,个人理解就是一边编译一边执行。
而Java这一类语言是需要预先编译的。
没有编译最大的痛苦就是无法进行断点调试,唯一的办法就是在有疑问的地方打印各个变量的值来进行调试。
这一类语言也没用类型,也就是说一个变量即可能是int型,但是也可能是String型,而且可以随时变化。
python对于代码格式要求也相当严格,通过对于缩进的距离来判断代码是否处于同一个代码块。
Python也不依靠分号来决定一句代码是否结束,一行代码就是一句代码。
这样做的好处在于代码编写看上去很统一,不过习惯了java再看python,一开始还真的有点懵。
总得来说,对Python的初涉感觉不错,这门语言相比较Java更加的简洁,这次的课设是初步接触python,以后会自己深入学习。
7参考文献
[1]钱程,阳小兰,朱福喜等.基于Python的网络爬虫技术[J].黑龙江科技信息,2016,(36):
273.
[2]戚利娜,刘建东.基于Python的简单网络爬虫的实现[J].电脑编程技巧与维护,2017,(8):
72-73.
[3],CorePythonProgramming.2001-9-11
8附录1网络爬虫程序设计代码
spiderMain.py
#coding:
utf-8
importlogging
fromwebCralerimporturl_manager,html_downloader,html_outputer,html_parser
classSpiderMain(object):
#初始化URL管理器,网页下载器,网页解析器和数据输出器
def__init__(self):
self.urls=url_manager.UrlManager()
self.downloader=html_downloader.HtmlDownloader()
self.parser=html_parser.HtmlParser()
self.outputer=html_outputer.HtmlOutputer()
#爬取网页
defcraw(self,url):
count=1
#向URL管理器添加新的URL
self.urls.add_new_url(url)
whileself.urls.has_new_url():
try:
#如果有新的URL,获取这个新的URL
new_url=self.urls.get_new_url()
#打印这是第几个爬取的URL
print'craw%d:
%s'%(count,new_url)
#使用网页下载器下载这个网页的内容
html_cont=self.downloader.download(new_url)
#使用网页解析器解析这个网页的内容,分别为URL和数据
new_urls,new_data=self.parser.parse(new_url,html_cont)
#将解析器解析的RL添加到URL管理器
self.urls.add_new_urls(new_urls)
#将解析器解析的数据传递给数据输器
self.outputer.collect_data(new_data)
#爬取10个数据后自动结束
ifcount==20:
break
count=count+1
exceptExceptionase:
logging.exception(e)
print'crawfailed'
#数据输出器将数据使用HTML的方式输出
self.outputer.output_html()
if__name__=='__main__':
print"begin"
root_url=obj_spider=SpiderMain()
obj_spider.craw(root_url)
url_manager.py
#coding:
utf-8
classUrlManager(object):
def__init__(self):
self.new_urls=set()
self.old_urls=set()
#添加URL
defadd_new_url(self,url):
ifurlisNone:
return
ifurlnotinself.new_urlsandurlnotinself.old_urls:
self.new_urls.add(url)
defadd_new_urls(self,urls):
ifurlsisNoneorlen(urls)==0:
return
forurlinurls:
self.add_new_url(url)
defhas_new_url(self):
returnlen(self.new_urls)!
=0
defget_new_url(self):
new_url=self.new_urls.pop()
self.old_urls.add(new_url)
returnnew_url
html_downloader.py
#coding:
utf-8
importurllib2
classHtmlDownloader(object):
defdownload(self,url):
ifurlisNone:
returnNone
response=urllib2.urlopen(url)
#如果请求码不是200,则表示请求不成功。
#典型的错误包括404(页面无法找到),403(请求禁止),401(待验证的请求)
#5XX回应代码以“5”开头的状态码表示服务器端发现自己出现错误,不能继续执行请求
ifresponse.getcode()!
=200:
print"downloadhtmlfailed"
returnNone
returnresponse.read()
url_parse.py
#coding:
utf-8
importurlparse
frombs4importBeautifulSoup
importre
classHtmlParser(object):
defparse(self,page_url,html_cont):
ifpage_urlisNoneorhtml_contisNone:
return
soup=BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')
#解析URL列表,获取URL
new_urls=self._get_new_urls(page_url,soup)
#解析数据
new_data=self._get_new_date(page_url,soup)
printnew_data
returnnew_urls,new_data
def_get_new_urls(self,page_url,soup):
new_urls=set()
links=soup.find_all('a',href=pile(r"/item/\%"))
forlinkinlinks:
new_url=link['href']
new_full_url=urlparse.urljoin(,new_url)
new_urls.add(new_full_url)
returnnew_urls
def_get_new_date(self,page_url,soup):
res_data={}
#url
res_data['url']=page_url
#Python
title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find('h1')
res_data['title']=title_node.get_text()
#
summary_node=soup.find('div',class_="lemma-summary")
#这句话有可能出现空!
!
!
res_data['summary']=summary_node.get_text()
printres_data['summary']
returnres_data
html_outputer.py
#coding:
utf-8
classHtmlOutputer(object):
def__init__(self):
#建立列表存放数据
self.datas=[]
#收集数据
defcollect_data(self,data):
ifdataisNone:
return
self.datas.append(data)
#输出数据
defoutput_html(self):
fout=open('output.txt','w')
fordatainself.datas:
fout.write(data['url']+"\n")
fout.write(data['title'].encode('utf-8'))
fout.write(data['summary'].encode('utf-8')+"\n\n")
fout.close()
9附录2网络爬虫爬取的数据文档
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于Python的网络爬虫设计 山东 建筑 大学 计算机网络 课程设计 基于 Python 网络 爬虫 设计
![提示](https://static.bdocx.com/images/bang_tan.gif)