利用JAVA API函数实现大数据地压缩与解压缩.docx
- 文档编号:840024
- 上传时间:2022-10-13
- 格式:DOCX
- 页数:20
- 大小:27.18KB
利用JAVA API函数实现大数据地压缩与解压缩.docx
《利用JAVA API函数实现大数据地压缩与解压缩.docx》由会员分享,可在线阅读,更多相关《利用JAVA API函数实现大数据地压缩与解压缩.docx(20页珍藏版)》请在冰豆网上搜索。
利用JAVAAPI函数实现大数据地压缩与解压缩
利用JAVAAPI函数实现数据的压缩与解压缩
2002年2月
本文通过对数据压缩算法的简要介绍,然后以详细的示例演示了利用java.util.zip包实现数据的压缩与解压,并扩展到在网络传输方面如何应用java.util.zip包现数据压缩与解压
综述
许多信息资料都或多或少的包含一些多余的数据。
通常会导致在客户端与服务器之间,应用程序与计算机之间极大的数据传输量。
最常见的解决数据存储和信息传送的方法是安装额外的存储设备和扩展现有的通讯能力。
这样做是可以的,但无疑会增加组织的运作成本。
一种有效的解决数据存储与信息传输的方法是通过更有效率的代码来存储数据。
这篇文章简要的介绍了数据的压缩与解压缩,并展示了用java.util.zip包来实现数据的压缩与解压缩是多么的方便与高效。
当然用诸如WinZip,gzip,和Java压缩(或jar)之类的工具也可以实现数据的压缩与解压缩,这些工具都是独立的应用程序。
你也可以在JAVA应用程序中调用这些工具,但这并不是最直接的方法,也不是有效的解决方法。
尤其是你想更快速地实现数据的压缩与解压缩(例如在传输数据到远程机器之前)。
这篇文章包括以下容:
∙给出一个关于数据压缩的简单的介绍
∙描述java.util.zip包
∙示例如何使用该包实现数据的压缩与解压缩
∙示例如何压缩串行化的对象并将其存储在磁碟上
∙示例如何通过数据压缩来增强"客户/服务"应用程序的性能
数据压缩概述
文件中数据冗余的最简单的类型是"字符的复制"。
让我们先来看下面一个字符串:
∙JJJJJJAAAAVVVVAAAAAA
这个字符串可以用更简洁的方式来编码,那就是通过替换每一个重复的字符串为单个的实例字符加上记录重复次数的数字来表示,上面的字符串可以被编码为下面的形式:
∙6J4A4V6A
在这里,"6J"意味着6个字符J,"4A"意味着4个字符A,以此类推。
这种字符串压缩方式称为"行程长度编码"方式,简称RLE。
再举一个例子,考虑一下矩形图像的存储。
一个单色位图,可以被存储为下面这种形式,如图1所示。
图1:
RLE方式下的位图信息
另外一种方式是将图像存为一个图元文件:
Rectangle11,3,20,5
上面的表示方法是讲矩形的起始坐标是(11,3),宽度是20,高度是5。
上述的矩形图像可以使用RLE编码方式压缩,通过对相同位记数表示如下:
0,40
0,40
0,101,200,10
0,101,10,181,10,10
0,101,10,181,10,10
0,101,10,181,10,10
0,101,200,10
0,40
上面第一行是讲图像的第一行由40个0组成。
第三行是讲图像的第三行是由10个0加上20个1再加上10个0组成,其它行以此类推。
大家注意,RLE方法需要将其表示的文件与编码文件分开。
所以,这种方法不能应用于所有的文件。
其它的压缩技术包括变长编码(也被称为哈夫曼编码),还有其它的方法。
要想了解更详细的信息,请参考有关数据和图像压缩技术方面的图书,一定会有收获的。
数据压缩有很多益处。
不管怎么说,最主要的好处就是减少存储方面的需求。
同样的,对于数据通信来讲,压缩数据在媒体中的将导致信息传输数据的提升。
数据的压缩能够通过软件在现有的硬件设备上实现或者通过带有压缩技术的特殊的硬件设备来实现。
图表2显示了基本的数据压缩结构图。
图2:
数据压缩结构图
ZIPVSGZIP
如果你是在Windows系统下工作,你可能会对工具WinZip很熟悉,是用来创建压缩档案和解开压缩档案的。
而在UNIX平台上,会有一些不同,命令tar用来创建一个档案文件(并不压缩),其它的程序(gzip或compress)用来创建一个压缩档案。
WinZip和PkZip之类的工具同时扮演着归档和压缩两个角色。
他们将文件压缩并将其归档。
另一方面,gzip并不将文件归档。
所以,在UNIX平台上,命令tar通常用来创建一个档案文件,然后命令gzip来将档案文件压缩。
Java.util.zip包
Java提供了java.util.zip包用来兼容ZIP格式的数据压缩。
它提供了一系列的类用来读取,创建,修改ZIP和GZIP格式的文件。
它还提供了工具类来计算任意输入流的数目,这可以用来验证输入数据的有效性。
该包提供了一个接口,十四个类,和两个异常处理类,如表1所示。
表1:
java.util.zip包
条目
类型
描述
Checksum
接口
被类Adler32和CRC32实现的接口
Adler32
类
使用Alder32算法来计算Checksum数目
CheckedInputStream
类
一个输入流,保存着被读取数据的Checksum
CheckedOutputStream
类
一个输出流,保存着被读取数据的Checksum
CRC32
类
使用CRC32算法来计算Checksum数目
Deflater
类
使用ZLIB压缩类,支持通常的压缩方式
DeflaterOutputStream
类
一个输出过滤流,用来压缩Deflater格式数据
GZIPInputStream
类
一个输入过滤流,读取GZIP格式压缩数据
GZIPOutputStream
类
一个输出过滤流,读取GZIP格式压缩数据
Inflater
类
使用ZLIB压缩类,支持通常的解压方式
InlfaterInputStream
类
一个输入过滤流,用来解压Inlfater格式的压缩数据
ZipEntry
类
存储ZIP条目
ZipFile
类
从ZIP文件中读取ZIP条目
ZipInputStream
类
一个输入过滤流,用来读取ZIP格式文件中的文件
ZipOutputStream
类
一个输出过滤流,用来向ZIP格式文件口写入文件
DataFormatException
异常类
抛出一个数据格式错误
ZipException
异常类
抛出一个ZIP文件
注意:
ZLIB压缩类最初是作为可移植的网络图像文件格式(PNG)标准的一部分开发的,是不受专利保护的。
从ZIP文件中解压缩和提取数据
java.util.zip包提供了数据压缩与解压缩所需要的类。
ZIP文件的解压缩实质上就是从输入流中读取数据。
Java.util.zip包提供了类ZipInputStream来读取ZIP文件。
ZipInputStream流的创建与其它输入流的创建没什么两样。
举个例子,下面的代码段创建了一个输入流来读取ZIP格式的文件:
FileInputStreamfis=newFileInputStream("figs.zip");
ZipInputStreamzin=newZipInputStream(newBufferedInputStream(fis));
ZIP输入流打开后,你可以使用getNextEntry方法来读取ZIP文件中的条目数,该方法返回一个ZipEntry对象。
如果到达文件的尾部,getNextEntry返回null:
ZipEntryentry;
while((entry=zin.getNextEntry())!
=null){
//extractdata
//openoutputstreams
}
现在,你应该建立一个输出流,如下所示:
intBUFFER=2048;
FileOutputStreamfos=newFileOutputStream(entry.getName());
BufferedOutputStreamdest=newBufferedOutputStream(fos,BUFFER);
注意:
在这段代码中我们用BufferedOutputStream代替了ZIPOutputStream。
ZIPOutputStream和GZIPOutputStream使用置的512字节缓冲。
当缓冲区的大小大于512字节时,使用BufferedOutputStream才是正确的(例子中设置为2048)。
ZIPOutputStream不允许你设置缓冲区的大小,GZIPOutputStream也是一样,但创建GZIPOutputStream对象时可以通过构造函数的参数指定置的缓冲尺寸。
这段代码中,使用ZIP含的条目名称创建一个文件输出流。
可以使用entry.getName来得到它的返回句柄。
接着读出被压缩的源数据,然后写入输出流:
while((count=zin.read(data,0,BUFFER))!
=-1){
//System.out.write(x);
dest.write(data,0,count);
}
最后,不要忘记关闭输入和输出流:
dest.flush();
dest.close();
zin.close();
例程1的源程序UnZip.java显示如何解压缩并从ZIP档案中将文件释放出来。
测试这个例子,编译这个类,并运行它,传给它一个ZIP格式的文件作为参数:
prompt>javaUnZipsomefile.zip
注意:
somefile.zip应该是一个ZIP压缩档案,可以用任何一种ZIP压缩工具来创建,例如WinZip。
例程1源代码:
UnZip.java
importjava.io.*;
importjava.util.zip.*;
publicclassUnZip{
staticfinalintBUFFER=2048;
publicstaticvoidmain(Stringargv[]){
try{
BufferedOutputStreamdest=null;
FileInputStreamfis=new
FileInputStream(argv[0]);
ZipInputStreamzis=new
ZipInputStream(newBufferedInputStream(fis));
ZipEntryentry;
while((entry=zis.getNextEntry())!
=null){
System.out.println("Extracting:
"+entry);
intcount;
bytedata[]=newbyte[BUFFER];
//writethefilestothedisk
FileOutputStreamfos=new
FileOutputStream(entry.getName());
dest=new
BufferedOutputStream(fos,BUFFER);
while((count=zis.read(data,0,BUFFER))
!
=-1){
dest.write(data,0,count);
}
dest.flush();
dest.close();
}
zis.close();
}catch(Exceptione){
e.printStackTrace();
}
}
}
有一点值得大家注意,类ZipInputStream读出ZIP文件序列(简单地说就是读出这个ZIP文件压缩了多少文件),而类ZipFile使用嵌的随机文件访问机制读出其中的文件容,所以不必顺序的读出ZIP压缩文件序列。
注意:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 利用JAVA API函数实现大数据地压缩与解压缩 利用 JAVA API 函数 实现 数据 压缩 解压缩
![提示](https://static.bdocx.com/images/bang_tan.gif)