信息论与编码实验报告教材.docx
- 文档编号:12783823
- 上传时间:2023-04-22
- 格式:DOCX
- 页数:18
- 大小:341.02KB
信息论与编码实验报告教材.docx
《信息论与编码实验报告教材.docx》由会员分享,可在线阅读,更多相关《信息论与编码实验报告教材.docx(18页珍藏版)》请在冰豆网上搜索。
信息论与编码实验报告教材
实验一绘制二进熵函数曲线(2个学时)
一、实验目的:
1.掌握Excel的数据填充、公式运算和图表制作
2.掌握Matlab绘图函数
3.掌握、理解熵函数表达式及其性质
二、实验要求:
1.提前预习实验,认真阅读实验原理以及相应的参考书。
2.在实验报告中给出二进制熵函数曲线图
三、实验原理:
1.Excel的图表功能
2.信源熵的概念及性质
单位为比特/符号或比特/符号序列。
当某一符号xi的概率p(xi)为零时,p(xi)logp(xi)在熵公式中无意义,为此规定这时的p(xi)logp(xi)也为零。
当信源X中只含有一个符号x时,必有p(x)=1,此时信源熵H(X)为零。
四、实验内容:
用Excel和Matlab软件制作二进熵函数曲线。
根据曲线说明信源熵的物理意义。
(一)Excel
具体步骤如下:
1、启动Excel应用程序。
2、准备一组数据p。
在Excel的一个工作表的A列(或其它列)输入一组p,取步长为0.01,从0至100产生101个p(利用Excel填充功能)。
3、取定对数底c,在B列计算H(x),注意对p=0与p=1两处,在B列对应位置直接输入0。
Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c),其中LN(x)是求自然对数,LOG10(x)是求以10为底的对数,LOG(x,c)表示求对数。
选用c=2,则应用函数LOG(x,2)。
在单元格B2中输入公式:
=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2)
双击B2的填充柄,即可完成H(p)的计算。
4、使用Excel的图表向导,图表类型选“XY散点图”,子图表类型选“无数据点平滑散点图”,数据区域用计算出的H(p)数据所在列范围,即$B$1:
$B$101。
在“系列”中输入X值(即p值)范围,即$A$1:
$A$101。
在X轴输入标题概率,在Y轴输入标题信源熵。
(二)用matlab软件绘制二源信源熵函数曲线
p=0.0001:
0.0001:
0.9999;
h=-p.*log2(p)-(1-p).*log2(1-p);
plot(p,h)
五、实验结果
二元信源熵函数
信源熵为信息的不确定度,概率的大小反映了信息量的大小,如果二元信源的输出符号是确定的,即p=1,则该信源不提供任何信息,当二元信源符号0和1以等概率发生时,信源熵达到极大值,等于1bit信息量。
实验二:
验证二元离散对称信道的互信息的性质(4学时)
(课后做)
一、实验目的
1掌握离散对称信道互信息的计算及性质特点。
2练习应用matlab软件进行互信息的函数曲线的绘制,并从曲线上理解其物理意义。
二、参看定理4.2.1及4.2.2
三、实验内容
1验证固定信道,I(X;Y)是信源分布的上凸函数;
2验证固定信源,I(X;Y)是信道传递概率的下凸函数;
3I(X;Y)的三维分布绘制(自行学习三维图形的绘制函数)
四、实验结果
(1)
I(X;Y)是信源分布的上凸函数
(2)
I(X;Y)是信道传递概率的下凸函数
(3)
I(X;Y)的三维分布绘制
五、源代码
(1)验证固定信道,I(X;Y)是信源分布的上凸函数
syms w;
x=[w,1-w];
p=[0.9 0.1 ;0.1 0.9];
pxy=[x(1,1)*p(1,:
);x(1,2)*p(2,:
)];
py=[x*p(:
1),x*p(:
2)];
px_y=[pxy(:
1)/py(1,1),pxy(:
2)/py(1,2)];
Ix_y=sum(sum(pxy.*log2(p./[py;py])));
ezplot(w,Ix_y,[0,1,0,1]);
xlabel('变量w');
ylabel('平均互信息量I');
title('平均互信息量与w的关系');
grid on
(2)验证固定信源,I(X;Y)是信道传递概率的下凸函数
m=[1 0.5 0];
figure
hold on %设置为叠加绘图模式
for i=1:
5
w=m(i);
p=0:
0.01:
1;
I=(w.*(1-p)+(1-w).*p).*log2(1./(w.*(1-p)+(1-w).*p))+(w.*p+(1-w).*(1-p)).*log2(1./(w.*p+(1-w).*(1-p)))-(p.*log2(1./p)+(1-p).*(log2(1./(1-p))));
plot(p,I,'b');
title('曲线图');xlabel('信道转移概率p');ylabel('平均互信息量I');
end
(3)I(X;Y)的三维分布绘制
[p,q]=meshgrid(0.000001:
0.01:
1,0.000001:
0.01:
1);
Hnoise=-p.*log2(p)-(1-p).*log2(1-p);%噪声熵
x=(1-p).*q+p.*(1-q);
I=-x.*log2(x)-(1-x).*log2(1-x)-Hnoise;
mesh(p,q,I)
实验三:
离散信道容量(1学时)
一、实验目的
1.掌握离散信道容量的计算。
2.理解离散信道容量的物理意义。
3.练习应用matlab软件进行函数曲线的绘制,并从曲线上理解其物理意义。
二、实验原理
二元对称信道BSC(BinarySymmetricChannel)
二进制离散信道模型有一个允许输入值的集合X={0,1}和可能输出值的集合Y={0,1},以及一组表示输入和输出关系的条件概率(转移概率)组成。
如果信道噪声和其他干扰导致传输的二进序列发生统计独立的差错,且条件概率对称,即
这种对称的二进制输入、二进制输出信道称做二元对称信道(或二进制对称信道,简称BSC信道),如下图所示:
信道容量公式:
三、实验内容
BSC信道是DMC信道对称信道的特例,对于转移概率为P(0/1)=P(1/0)=p,P(0/0)=P(1/01)=1-p,求出其信道容量公式,并在matlab上绘制信道容量C与p的曲线。
根据曲线说明其物理意义。
参考代码:
>>p=linspace(0,1,50);
c=1+p.*log2(p)+(1-p).*log2(1-p);
plot(p,c)
xlabel('p')
ylabel('c')
四、实验结果
C=1+plogp+(1-p)log(1-p)
1、无噪声干扰时(p=0),损失熵H(X/Y)=0,信道容量等于信源发出的码元速率。
2、P=1/2时,C=0,信道已无传输能力。
实验四:
Huffman编码软件实现(4个学时)
一、实验目的
(1)进一步熟悉Huffman编码过程;
(2)练习matlab中哈夫曼编码函数的调用;
(3)掌握Matlab中Huffman编码的思想;
(4)掌握平均码长,编码效率的计算。
二、实验原理
二元哈夫曼编码的具体步骤归纳如下:
1.统计n个信源消息符号,得到n个不同概率的信息符号。
2.将这n个信源信息符号按其概率大小依次排序:
p(x1)≥p(x2)≥…≥p(xn)
3.取两个概率最小的信息符号分别配以0和1两个码元,并将这两个概率相加作为一个新的信息符号的概率,和未分配的信息符号构成新的信息符号序列。
4.将剩余的信息符号,按概率大小重新进行排序。
5.重复步骤3,将排序后的最后两个小概论相加,相加和与其他概率再排序。
6.如此反复重复n-2次,最后只剩下两个概率。
7.从最后一级开始,向前返回得到各个信源符号所对应的码元序列,即相应的码字,构成霍夫曼编码字。
编码结束。
编码之后,哈夫曼编码的平均码长为:
哈夫曼编码的效率为:
三、实验内容
(一)直接调用matlab哈夫曼编码函数进行编码,与人工编码结果做比较。
huffmandict函数:
为已知概率分布的信源模型生成哈夫曼编解码索引表。
调用方法如下:
[dict,L]=huffmandict(symbols,p)
调用Huffmandict函数,使用数组s(编码符号)及其概率数组P进行Huffman编码,编码后产生一个编码词典dict,以及平均码长L。
求出熵H,并计算其效率H/L
基本参考:
symbols=[1:
];
p=[];
[dict,L]=huffmandict(symbols,p)
code1=dict{1,2}
.
.dict{,2}
(二)根据编码思想编写
要求
(1)输入:
信源的概率分布P;
(2)输出:
每个信源符号对应的Huffman编码的码字。
(3)计算平均码长、信源熵及编码效率
并对:
输入的概率数组中有小于0的值
输入的概率数组总和大于1
作出判断
4、实验结果
(一)
(二)
五、哈夫曼编码的MATLAB实现(基于0、1编码):
clc;
clear;
A=[5,3,1,6,2];%原概率序列
A=A/sum(A);
A=fliplr(sort(A));%按降序排列
T=A;
[m,n]=size(A);
B=zeros(n,n-1);%空的编码表(矩阵)
fori=1:
n
B(i,1)=T(i);%生成编码表的第一列
end
r=B(i,1)+B(i-1,1);%最后两个元素相加
T(n-1)=r;
T(n)=0;
T=fliplr(sort(T));
t=n-1;
forj=2:
n-1%生成编码表的其他各列
fori=1:
t
B(i,j)=T(i);
end
K=find(T==r);
B(n,j)=K(end);%从第二列开始,每列的最后一个元素记录特征元素在该列的位置
r=(B(t-1,j)+B(t,j));%最后两个元素相加
T(t-1)=r;
T(t)=0;
T=fliplr(sort(T));
t=t-1;
end
B;%输出编码表
END1=sym('[0,1]');%给最后一列的元素编码
END=END1;
t=3;
d=1;
forj=n-2:
-1:
1%从倒数第二列开始依次对各列元素编码
fori=1:
t-2
ifi>1&B(i,j)==B(i-1,j)
d=d+1;
else
d=1;
end
B(B(n,j+1),j+1)=-1;
temp=B(:
j+1);
x=find(temp==B(i,j));
END(i)=END1(x(d));
end
y=B(n,j+1);
END(t-1)=[char(END1(y)),'0'];
END(t)=[char(END1(y)),'1'];
t=t+1;
END1=END;
end
A%排序后的原概率序列
END%编码结果
fori=1:
n
[a,b]=size(char(END(i)));
L(i)=b;
end
avlen=sum(L.*A)%平均码长
H1=log2(A);
H=-A*(H1')%熵
P=H/avlen%编码效率
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 实验 报告 教材