网络爬虫需求分析.docx
- 文档编号:11803479
- 上传时间:2023-04-02
- 格式:DOCX
- 页数:8
- 大小:268.78KB
网络爬虫需求分析.docx
《网络爬虫需求分析.docx》由会员分享,可在线阅读,更多相关《网络爬虫需求分析.docx(8页珍藏版)》请在冰豆网上搜索。
网络爬虫需求分析
网络爬虫需求分析
1.引言
编写目的
为开发人员、维护人员、客户之间提供共同的协议而创立基础,对该软件功能的实现作使命描述。
本说明书的预期读者为客户、业务或需求分析人员、测试人员、用户文档编写者、项目管理人员。
背景
软件系统的名称:
网络爬虫
定义
网络爬虫搜索引擎WebURL信息互联网
参考资料
《网络爬虫软件的研究与开发》中图分类号:
TP319《软件导刊》2011年5月第10卷第5期
《软件需求》----(美)Karl著 陆丽娜王忠民王志敏等译
2.任务概述
目标
系统流程图
1.客户端向服务器发送自己设定好的请求。
2.通过http将Web服务器上协议站点的网页代码提取出来。
3.根据一定的正则表达式提取出客户端所需要的信息。
4.采用深度优先搜索从网页中某个链接出发,访问该链接的网页,并通过递归算法实现依次向下访问。
5.采用广度优先搜索从网页中某个链接出发,访问该链接网页上的所有链接,访问完成后,再通过递归算法实现下一层的访问。
用户的特点
使用本软件面向不同领域、不同背景的广大群众,可以根据自己制定的搜索主题来使用本软件。
假定和约束
1.有CPU133、16兆内存配置的计算机就可运行本系统。
2.在管理方针、并行操作、安全与保密方面无约束。
假设与依据
本软件在开发的过程中,分为技术实现与软件工程两大部分,两部分都有侧重点,若技术支持出现故障或疑难问题无法解决、程序开发出现偏差,会延误工程进度,影响工程的按期完工。
若软件工程陈述出现问题,部分描述含混不清,则会影响系统的完整性与可继承性。
在管理方面,如管理者没有预见性,对出向的问题无法采用可行的解决手段,都会影响开发模块之间的互动,从而影响工程的顺利开展,导致工程无法按期完工。
3.需求规定
对功能的规定
使用库
规格说明
引言
显示所调用的数据库。
输入
指定的库文件名。
加工
调用指定的数据库。
输出
显示所指定的数据库的库结构。
对性能的规定
精度
1.用户在设置爱好时进行精度提示,提交给服务器后进行精短校验。
2.在进行向数据库文件提取数据时,要求数据记录定位准确,在往数据库文件数组中添加数时,要求输入数准确。
时间特性要求
a.响应时间应在人的感觉和视觉事件范围内
b.更新处理时间:
随着本系统的版本升级,系统将相应的进行更新
c.数据的转换和传送时间:
1~2秒
灵活性
当需求发生某些变化时,本系统操作方式、数据结构、运行环境基本不会发生变化,变化只是将对应的数据库文件内的记录改变,或将过滤条件改变即可。
安全性
本软件大量的参数及文本内容全部放于汉语编程数据库中,所以参数不容易被错改、破坏,万一参数受到破坏也不会影响源程序。
可维护性
本软件利用数据库进行编程,系统结构由程序基本确定,大量的参数及文本内容全部放于汉语编程中。
修改、更新数据只要在数据库进行修改添加,而不需要对系统结构进行修改,这样系统维护性、升级都十分方便。
输入输出要求
用户应该输入一个合法的初始URL作为初始入口。
数据管理能力要求
本系统采用sqlserver数据库对资源进行存储,其自带的空间自增长有效的解决了数据管理的问题。
故障处理要求
当客户端多数用户同时使用,可能造成服务器负载过重,于是启用了多线程方法,同时限定最大线程数,防止服务器崩溃。
4.运行环境规定
设备
本软件不需要特定的硬件或硬件接口进行支撑。
486以上具备有java的运行环境jdk的PC机均可运行此软件。
运行时需要联机。
支持软件
本系统采用java语言制作,支持win7/XP/Linux等操作系统,由java虚拟机编译,测试软件为MyEclipse;
接口
客户端浏览器是搜索引擎和用户之间的接口。
其首先获取用户搜索条件并加以分析,然后访问索引数据库进行匹配后获得检索结果,然后根据设定的相关度进行降幂排序处理后返回给用户。
输出、输入的相对时间将由pc机本身处理速度来决定。
对程序的维护,需进行必要的备份。
控制
本软件通过客户端浏览器,用户设置自己的爱好,并通过http传给服务器,服务器接受信号执行响应操作。
5.数据流图
第一层
第二层
第三层
图
7.数据字典
1.搜索方法=搜索策略+抓取类型。
搜索策略=“广度优先”|“深度优先”|“最好优先”
抓取类型=音频|视频|图片
2.网页信息=主题+内容+链接地址
3.搜索配置=搜索方法+URL
4.下载网页=站内爬取+外链爬取
5.验证URL有效性=存在性+价值性
8.小说明
加工编号:
加工名:
设置搜索方法
输入流:
自定义搜索方法表
输出流:
完整的搜索方法表
加工逻辑:
将自定义搜索方法表及系统默认选项参数加工成完整的搜索方法表
有关信息:
当有选择输入时执行此加工,否则按默认执行
加工编号:
加工名:
对URL检查
输入流:
搜索方法中的初始URL
输出流:
正确的搜索配置
加工逻辑:
通过检查URL的存在性和价值性来判断该URL是否可行
加工编号:
加工名:
下载网页
输入流:
URL
输出流:
网页
加工逻辑:
根据完整的搜索方法表以初始URL或未搜索的URL入口在互联网上下载网页
有关信息:
URL应保证有效性
加工编号
加工名:
除去相同的网页
输入流:
网页
输出流:
从互联网上下载的网页
加工逻辑:
通过相似度计算来除去相似网页
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 网络 爬虫 需求 分析
![提示](https://static.bdocx.com/images/bang_tan.gif)