论数据采集工具的现状问题解决方案和展望.docx
- 文档编号:3889161
- 上传时间:2022-11-26
- 格式:DOCX
- 页数:5
- 大小:138.48KB
论数据采集工具的现状问题解决方案和展望.docx
《论数据采集工具的现状问题解决方案和展望.docx》由会员分享,可在线阅读,更多相关《论数据采集工具的现状问题解决方案和展望.docx(5页珍藏版)》请在冰豆网上搜索。
论数据采集工具的现状问题解决方案和展望
论数据采集工具的现状、问题、解决方案和展望
论数据采集工具的现状、问题、解决方案和展望
一、数据采集工具的现状和存在的问题
数据采集工具的发展经过了两代产品。
第一代数据采集工具主要是根据财务软件使用的数据库,直接拷贝财务软件数据库文件。
比如:
用友U811版本的软件后台数据库采用ACCESS,直接拷贝相关UFDATA.MDB文件。
用友U852版本的软件后台数据库采用SQLSERVER,可以有三种采集方式:
第一、通过ODBC或者OLEDB等方式直连SQLSERVER数据库,把数据下来生成第三方文件格式,比如ACCESS或者文本文件等。
第二、在SQLSERVER企业管理器或者查询分析器中直接备份需要的数据库,生成SQLSERVER数据库的备份文件*.BAK,然后直接拷贝该文件。
第三、直接找到SQLSERVER的物理文件*.MDF,拷贝相应的文件。
这一代采集工具一般为通用型数据采集工具,比如:
文件型数据查找拷贝工具、SQLSERVER采集工具、ORACLE采集工具等。
这一代工具有其优点:
第一、工具简练,依据常用数据库类型做相关工具;第二、采集数据比较完整,基本上是整个数据库全部照
二、针对数据采集工具之不足的解决方案
数据采集工具有以下三点原则性分歧或者不足之处:
第一、数据采集的颗粒度过大或者颗粒度过小。
第一代工具强调数据库的全盘拷贝,不论所采集数据是否有用全部采集,造成取了很多没有用的数据,而且采集速度明显会降低,这种数据库级的采集方式颗粒度过大;而第二代采集工具仅采集使用到的表中的某些字段,目前没有需求的字段都不会提取,如果一旦出现表结构分析不完整或者需求的增加,都要重新到现场采集,费时费力费钱,这种字段级的采集方式颗粒度过小。
第二、数据采集接口是按照数据库类型组织还是按照财务软件类别组织。
第一代工具按照数据库的几种类型来组织采数接口,缺点就是需要一定的数据库基础知识,上手不容易。
第二代采集工具按照财务软件类别组织,缺点就是财务软件很多,需要对每种财务软件结构了解透彻,比较费功夫,一旦分析有误容易采集数据不全。
第三、采集后的数据是整个数据库的备份还是需要经过转换后的数据。
第一代工具强调采集整个数据库,并且采集的数据不做任何变动,保持原貌,缺点是数据过大,不好处理。
第二代工具在采集的同时做了数据转换操作,已经改变了原有数据库的结构,缺点是结构发生变化,不能作为原始证据。
针对以上三点原则性分歧或者不足之处所提出的解决方案:
1、选择适中的采集粒度,即数据表级采集。
采集我们可能用到的数据表,字段不做筛选,整张表全部采集,表中记录通过where条件做过滤。
这样既可以避免采集无用的数据,又可以保证表结构的完整性,及时需求扩展到同一张表的其他字段也不用重新采集。
2、综合财务软件类别和数据库类型自组织采集接口。
既有各种财务软件的单独接口,也有几种数据库的通用采集接口,将万全模式和傻瓜模式相结合。
当遇到已有财务软件单独接口的情况,直接使用简单模式采集,当遇到没有见过的财务软件时,采用完全模式也可以把数据完整采集到。
3、采集的数据不要经过转换处理,转换过程放到单独的数据转换阶段处理。
数据为用到的某些表,并且保持表的结构完整性,不改变表的原来的任何属性。
这样既可以减少数据过大,内容冗余问题,又可以保持原有格式作为原始证据之用。
三、今后数据采集工具发展的方向
通过对数据采集工具的现状、问题及解决方案的探讨,将来的新一代数据采集工具应该具备如下特点:
1、自动搜索财务软件:
工具运行后通过自动检索本机注册表,本机目录,找特征文件等方式,自动检索出本机安装的财务软件及版本,并最大可能的把可以相关连接数据库的参数检索出来自动填入。
实现真正意义上的“以人为本”的傻瓜式取数。
2、支持备份取数:
工具应该支持各种数据库备份的数据采集,即在安装了相应备份的数据库环境基础上,工具提供备份还原的功能,并直接在还原的数据库上进行数据采集工作,将备份恢复和采集数据融为一体。
另外,针对各种财务软件本身的备份文件,也要加紧研发相关解析接口,能够直接读取备份文件。
3、支持多种数据库方式取数:
数据采集工具应该能支持各种数据库的采集,包括常用的ORACLE,SQLSERVER,DB2,SYBASE,MYSQL,INFORMIX,ACCESS,SYBASEANYWHERE,INTERBASE,POSTGRESQL,TXT,EXCEL,DBF。
也应该包括通用数据库采数方式,比如odbc,ado方式等。
4、取数模板开放性:
以前的数据采集接口,采了哪些表,哪些字段都是写到程序中的,都经过了编译处理的,对于应用者来说都是黑箱操作,不透明。
将来的数据采集模版应该是开放式的,透明的。
这种采集接口模板化结构设计,可以轻松制作各种采集接口,支持接口的任意导入和导出,其开放式、图形化的采集模板设计界面,方便所有应用者制作数据采集接口。
即使是自行开发设计的财务软件,经过简单配置就能成功取数。
5、取数不安装数据库客户端便捷性:
数据采集工具应该把连接各种数据库的方式和驱动资源进行封装,并且可以自由添加各种资源文件(比如access的系统数据库等)。
比如在连接ORACLE数据库时,很多情况客户机上没有安装ORACLE数据库的客户端程序,这是我们的采数工具也应该支持直接连接,而delphi中的ODAC组件直连ORACLE的方式就是一个很好的例子。
6、保持原始数据表结构:
采集的数据保持原始数据的表结构,对于作为原始证据来说至关重要。
只有和原始数据库中的表结构,包括表名称、字段名称、字段类型、字段长度这些信息一致,才可能说采集的表和原始数据表一致,才能作为副本作为证据保存。
如果对表结构进行了变动或者进行了转换,那么就失去了与原始表相同的这些原子特性,就存在不一致或者可能有错误在数据中。
7、压缩加密的安全性:
工具采集后的数据一般为文本格式,这样支持大数据存放,并且要进行压缩加密,保证采集的数据安全性。
一方面文本的压缩比率较高;另一方面,单个文件的压缩加密很难被破解。
即使发生了数据丢失,也打不开看不着里面的数据文件。
8、支持财务软件多:
工具应该支持市面上至少90%的财务软件,保证应用者拿到采数工具就可以去采回数据。
并且工具应该支持没有财务软件模版的通用数据库采集,只要知道财务数据库类型就可以把所有数据采集带回。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 采集 工具 现状 问题解决 方案 展望