网络爬虫论文答辩.ppt
- 文档编号:260115
- 上传时间:2022-10-08
- 格式:PPT
- 页数:22
- 大小:5.06MB
网络爬虫论文答辩.ppt
《网络爬虫论文答辩.ppt》由会员分享,可在线阅读,更多相关《网络爬虫论文答辩.ppt(22页珍藏版)》请在冰豆网上搜索。
网络爬虫论文答辩,答辩学生:
包志英,指导老师:
赵中英,定向爬取脚本之家文本信息,课题综述,1,研究过程,4,目前现状,2,研究结论,5,研究目标,3,参考文献,6,目录页,选题背景及意义,有效信息,广告、无用信息,选题背景及意义,研究目标,目录页,hp、数据可视化显示,研究方法,研究步骤,目录页,关键技术,主爬虫的设计编写,数据的转换与显示,Spider主爬虫文件的编写,利用Scrapy根据网站的自身特性构建URL,将抓取下来的网页信息进行信息提取,并将有用信息存储到mongo数据库,监测数据库插入情况,可视化显示将Mongodb中的数据通过脚本程序复写到MySQL,利于网站依赖关系处理,用Laravel框架编写后台控制逻辑,友好的Bootstrap前台显示。
Scrapy,Scrapy环境搭建需要导入的一些关键包:
python2.7、lxml、zope、Twisted、pyOpenSSL、pywin32、一定要注意版本,国内一些也没有,安装依赖包就会将很多人拒之门外。
Mongodb,启动脚本:
mongod-dbpath./data依赖包:
pymongo主要类:
Script2Pipeline(object)pymongo.MongoClient()tdb=clientself.post.insert(scriptInfo),Spider,关键代码:
src2Spider(scrapy.Spider):
parse(self,response):
scrapy.selector.Selector(response)new_url=self.url+str(self.pageNum)+.htmyieldRequest(new_url,callback=self.parse),Data,提取字段:
title、desc、content、tag主配置:
USER_AGENTCOOKIES_ENABLEDCONCURRENT_REQUESTSHTTPCACHE_ENABLEDMONGODB_CONFIG,技术难点,VS,案例对比分析,目录页,01完成了主题爬虫编写,两条爬虫同时爬取目标网站四个多小时,共提取出了有效信息85000条,以json格式,每一万条数据一张表的形式,保存至mongodb数据库,03通过laravel。
bootstrap框架利用MVC框架,将数据优雅的显示到前台,并提供简单的查询功能,但搜索功能还是不尽人意,在多重模糊查询中由于mysql左连接的缺陷是的搜索速度非常的缓慢,有时还可能拖死mysql数据库,02将mongodb数据库中的数据经过整合,首先使用自带的CSV作为中间件进行转换时由于CSV文件的单个单元格最大存储32,767个字符造成数据截取丢失,编写自适应错误脚本程序将mongodb中的数据转换到了mysql数据库,成果形式,成果形式脚本之家主爬虫代码片段,数据成果存储展现形式,应用前景,目录页,论文总结,笑看历史,小试牛刀,闭关思修,山科论剑,Summary,一个多月的开发,回头望去,困难很多,但通过查阅书记,网络资源,以及老师的指导,已经没有什么困难可以让自己放弃,在未来的生活学习中也会将这种学习过程延续下去,经过基础知识的储备和项目理论的设计,在编写Spider主文件递归调用时、还是多次出错,引入mongo数据库操作时,初始化函数也很不尽人意,数据转换脚本中,由于字符编码和数据量过大(10000/table)引起了数据丢失,与宕机现象,通过上网、书籍查询,自主的完成了基础python,scrapy,php,mongodb,laravel,bootstrap知识的学习,培养了自学体系,多次与老师探讨URL构造的设计,数据的保存形式,以及搜索最快最准确的方式,导师对不成熟的设计及时做出了矫正,并在Spider的递归调用,数据迁移脚本的编写做出了指正。
致谢,THANKS!
大学生活即将结束,在此,我要感谢所有教导我的老师和陪伴我一齐成长的同学,他们在我的大学生涯给予了很大的帮助。
本论文能够顺利完成,要特别感谢我的导师赵中英老师,赵中英老师对该论文从选题,构思到最后定稿的各个环节给予细心指引与教导,使我得以最终完成毕业论文设计!
最后,我要向百忙之中抽时间对本文进行审阅,评议和参与本人论文答辩的各位老师表示感谢!
恳请各位老师批评指正!
知识回顾KnowledgeReview,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 网络 爬虫 论文答辩