信息论实验指导书Word格式文档下载.docx
- 文档编号:22629737
- 上传时间:2023-02-04
- 格式:DOCX
- 页数:21
- 大小:158.29KB
信息论实验指导书Word格式文档下载.docx
《信息论实验指导书Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《信息论实验指导书Word格式文档下载.docx(21页珍藏版)》请在冰豆网上搜索。
信息熵H(x)是对信源的平均不确定性的描述。
它从平均意义上来表征信源的总体信息测度。
对于某特定的信源,其信息熵是一个确定的数值。
信息熵具有如下三种物理意义。
第一,信息熵H(x)是表示信源输出后,每个消息或符号所提供的平均信息量。
第二,信息熵H(x)是表示信源输出前,信源的平均不确定性。
第三,信息熵H(x)可表征变量X的随机性。
由此可以看出,自信息量与信息熵的含义是不同的:
(1)信息熵是表征信源本身统计特性的一个物理量,它表示信源的平均不确定性,是信源输出的每一个消息所能提供的平均信息量;
自信息量表示的是每一个消息的信息量度。
(2)信息熵是针对信源的,是信源输出的信息量,表示信源输出前的平均不确定性;
自信息量是针对信宿的,是接收者在消除了信源不确定性后所获得的信息的度量。
(3)若信道无干扰,接收者获得的信息量在数量上等于信源的熵,若有干扰时,则两者不相等。
四、实验内容
1、已知信源概率分布为:
p=[1/2,1/4,1/8,1/8],编写出计算自信息量的Matlab程序。
程序:
function[I]=deal(p)
n=4;
fori=1:
n
I(i)=-log2(p(i));
end
打开空白的M文件编辑器,将上述程序输入。
保存。
通过M文件调用的形式完成仿真。
步骤:
在commandwindow中输入p=[1/2,1/4,1/8,1/8]→调用deal.M文件→输入[I]=deal([1/2,1/4,1/8,1/8]),仿真实现。
2、写出信源概率分布为:
p=[1/2,1/4,1/8,1/8]离散信源熵的Matlab程序。
程序:
function[H]=deal(p)
n=4;
H=0;
H=H+p(i)*I(i);
在commandwindow中输入p=[1/2,1/4,1/8,1/8]→调用deal.M文件→输入[H]=deal([1/2,1/4,1/8,1/8]),仿真实现。
3、写出信源概率分布为:
p=[1/2,1/4,1/8,1/8]的离散信源自信息量和信源熵的
Matlab程序。
function[IH]=deal(p)
n=length(p);
H=0;
在commandwindow中输入p=[1/2,1/4,1/8,1/8]→调用deal.M文件→输入[IH]=deal([1/2,1/4,1/8,1/8]),仿真实现。
4、将程序在计算机上仿真实现,验证程序的正确性并完成思考题的程序设计。
五、思考题
1、说明离散信源自信息量和信息熵的不同含义。
2、甲地天气预报构成的信源空间为:
X
晴
云
大雨
小雨
乙地信源空间为:
Y
求此两个信源的熵。
求各种天气的自信息量。
六、实验报告要求
总结离散信源的特点及离散信源平均信息量的计算,写出实验内容中的仿真程序及结果,完成思考题中MATLAB实现语句,并附上仿真实现的结果。
实验二最大离散熵定理
1、熟悉熵函数的基本性质。
2、掌握最大熵定理。
3、学习Matlab仿真二维曲线图的方法。
信息熵H(x)是随机变量X的概率分布p(x)的函数,它有如下性质:
1、对称性
H(P)=H(p1,p2,p3,…,pn)=H(p2,p3,…,pnp1)=…=H(pn,,p1,p2,p3,…,pn-1)
概率分布的顺序是可以任意互换的,互换后的概率分布表示的是相同的随机变量,随机变量的总体结构没有变化,则可证明对应的熵函数的值也不会变。
该性质表明熵函数只与信源的总体统计特性有关。
这也说明,信息熵只抽取了信源信息输出的统计特征,而没有考虑信息的具体含义和效用。
也就是说,信息熵有它的局限性,它不能描述时间本身的具体含义和主观价值等。
2、确定性
H(1,0)=0
在概率矢量P=(p1,p2,p3,…,pn)中,只要有一个分量为1,其它分量必为0,这由概率分布的完备性可以得到。
也就是说信源的平均不确定度为0。
3、非负性
H(P)=H(p1,p2,p3,…,pn)≥0
因为P=(p1,p2,p3,…,pn)是概率分布,0≤pi≤1,-logpi≥0,故上式成立。
需要注意的是,只有离散信源熵才有非负性,连续信源的相对熵将可能出现负值。
4、扩展性
(p1,p2,p3,…,pn-
,
)=Hn(p1,p2,p3,…,pn)
这个性质的含义是:
增加一个基本不会出现的小概率事件,信源的熵保持不变。
虽然小概率事件的出现给予接收者的信息量很大,但在熵的计算中,它占的比重很小,可以忽略不计,这也是熵的总体平均性的体现。
5、连续性
(p1,p2,p3,…,pn-1-
,pq+
)=Hn(p1,p2,p3,…,pn)
即信源概率空间中的概率分量的微小波动,不会引起熵的变化。
6、递增性
H(p1,p2,p3,…,pn-1,q1,q2,q3,…qm)=H(p1,p2,p3,…,pn)+
pnH(q1/pn,q2/pn,q3/pn,…qm/pn)
q1+q2+q3,…+qm=pn
这个性质表明,假如有一个信源的n个元素的概率分布为(p1,p2,p3,…,pn),其中某个元素pn又被划分为m个元素,这某个元素的概率之和等于pn,,这样得到的新信源的熵增加了一项,增加的一项是由于划分产生的不确定性。
7、极值性
H(p1,p2,p3,…,pn)≤H(1/n,1/n,…,1/n)=logn
上式中,当且仅当n个离散消息等概率出现时等式成立。
这一性质说明,对不同概率分布p(xi)所构成的熵,只有当等概率分布时,信源的不确定性最大,熵达到极大值。
8、上凸性
熵函数H(p)是概率矢量P=(p1,p2,p3,…,pn)的严格上凸函数,正因为熵函数具有上凸性,所以熵函数具有极值,熵函数的最大值存在。
9、唯一性
1、已知二元信源概率空间为p(x)=[x1-x],对应的二元信源的熵可表示为:
H(x)=-xlog2(x)-(1-x)log2(1-x)。
通过Matlab软件画出概率分布函数p(x)与熵函数之间的二维曲线图,编写出程序。
仿真结果如下图所示:
编程过程中要注意的地方:
x的步长设置为0.001,H(x)的运算为矩阵运算,必须用点乘:
“.*”。
2、用同样的方法画出三元信源空间的熵函数与概率分布的三维曲线图。
仿真结果如下所示。
1、熵函数的基本性质有哪些?
2、最大熵定理的结论是什么?
写出用Matlab软件画出概率分布函数p(x)与熵函数之间的二维、三维曲线图的程序,并附上仿真结果图。
并对本实验进行总结、分析。
实验三费诺编码
1、掌握费诺编码的编码原理
2、熟悉Matlab编程。
3、通过Matlab仿真费诺编码的过程。
费诺编码的步骤:
1、将概率按从大到小的顺序排列;
2、按编码进制数将概率分组,使每组概率和尽可能接近或相等;
3、给每组分配一位码元;
4、将每一分组再按同样原则划分,重复2和3,直到概率不再可分为止。
对给定信源
进行二进制费诺编码,通过MATLAB进行编码过程仿真,并计算平均码长。
程序如下:
clc;
clear;
A=[0.4,0.3,0.1,0.09,0.07,0.04];
A=fliplr(sort(A));
[m,n]=size(A);
fori=1:
n
B(i,1)=A(i);
a=sum(B(:
1))/2;
fork=1:
n-1
ifabs(sum(B(1:
k,1))-a)<
=abs(sum(B(1:
k+1,1))-a)
break;
n
ifi<
=k
B(i,2)=0;
else
B(i,2)=1;
END=B(:
2)'
;
END=sym(END);
j=3;
while(j~=0)
p=1;
while(p<
=n)
x=B(p,j-1);
forq=p:
ifx==-1
ifB(q,j-1)==x
y=1;
continue;
y=0;
ify==1
q=q+1;
ifq==p|q-p==1
B(p,j)=-1;
ifq-p==2
B(p,j)=0;
END(p)=[char(END(p)),'
0'
];
B(q-1,j)=1;
END(q-1)=[char(END(q-1)),'
1'
a=sum(B(p:
q-1,1))/2;
fork=p:
q-2
ifabs(sum(B(p:
=abs(sum(B(p:
k+1,1))-a);
fori=p:
q-1
B(i,j)=0;
END(i)=[char(END(i)),'
B(i,j)=1;
p=q;
C=B(:
j);
D=find(C==-1);
[e,f]=size(D);
ife==n
j=0;
j=j+1;
B
A
END
[u,v]=size(char(END(i)));
L(i)=v;
avlen=sum(L.*A)
进行二进制费诺编码。
写出编码码字,并计算平均码长。
写出用Matlab进行费诺编码的程序,并给出仿真结果。
实验四霍夫曼编码
3、通过Matlab仿真霍夫曼编码的过程。
霍夫曼编码的步骤:
1、把信源符号按概率大小顺序排列,并设法按逆次序分配码字的长度。
2、在分配码字长度时,首先将出现概率最小的两个符号的概率相加合成一个概率。
3、把这个合成概率看成是一个新组合符号的概率,重复上述做法直到最后只剩下两个符号概率为止。
4、完成以上概率顺序排列后,再反过来逐步向前进行编码,每一次有二个分支各赋予一个二进制码,可以对概率大的赋为0,概率小的赋为1。
进行二进制霍夫曼编码,通过MATLAB进行编码过程仿真,并计算平均码长。
A=[0.2,0.19,0.18,0.17,0.15,0.1,0.01];
%按降序排列
T=A;
B=zeros(n,n-1);
B(i,1)=T(i);
r=B(i,1)+B(i-1,1);
T(n-1)=r;
T(n)=0;
T=fliplr(sort(T));
t=n-1;
forj=2:
n-1
fori=1:
t
B(i,j)=T(i);
end
K=find(T==r);
B(n,j)=K(end);
r=(B(t-1,j)+B(t,j));
T(t-1)=r;
T(t)=0;
T=fliplr(sort(T));
t=t-1;
B;
END1=sym('
[0,1]'
);
END=END1;
t=3;
d=1;
forj=n-2:
-1:
1
t-2
ifi>
1&
B(i,j)==B(i-1,j)
d=d+1;
else
d=1;
B(B(n,j+1),j+1)=-1;
temp=B(:
j+1);
x=find(temp==B(i,j));
END(i)=END1(x(d));
y=B(n,j+1);
END(t-1)=[char(END1(y)),'
END(t)=[char(END1(y)),'
t=t+1;
END1=END;
A
END
[a,b]=size(char(END(i)));
L(i)=b;
avlen=sum(L.*A)
H1=log2(A);
H=-A*(H1'
)
P=H/avlen%
进行二进制霍夫曼编码。
写出用Matlab进行霍夫曼编码的程序,并给出仿真结果。
实验五香农编码
1、掌握香农的编码原理
2、熟悉C++编程。
3、通过C++仿真香农编码的过程。
C++
给定某个信源符号的概率分布,通过以下的步骤进行香农编码
1、将信源消息符号按其出现的概率大小排列:
2、确定满足下列不等式的整数码长Ki;
3、为了编成唯一可译码,计算第i个消息的累加概率:
4、将累加概率Pi变换成二进制数。
5、取Pi二进制数的小数点后Ki位即为该消息符号的二进制码。
进行二进制香农编码,通过C++进行编码过程仿真。
香农(Shannon)编码参考程序
intmain()
{
intN;
cout<
<
”请输入信源符号个数:
”;
cin>
>
N;
”请输入各符号的概率:
”<
endl;
double*X=newdouble[N];
//离散无记忆信源
inti,j;
for(i=0;
i<
i++)
{
”X[”<
i+1<
”]=”;
X[i];
}
//由小到大排序
for(j=i+1;
j<
j++)
if(X[i]<
X[j])
{doubletemp=X[i];
X[i]=X[j];
X[j]=temp;
int*K=newint[N];
//确定码长
K[i]=int(-(log(X[i])/log
(2)))+1;
//确认码长为1-log2(p(xi))
if(K[i]==(-(log(X[i])/log
(2)))+1)//当K[i]=-log2(p(xi))时,K[i]--
K[i]--;
}
//累加概率
double*Pa=newdouble[N];
pa[0]=0.0;
for(i=1;
pa[i]=pa[i-1]+X[i-1];
//将累加概率转换为二进制
string*code=newstring[N];
for(j=0;
j++)//这里默认最大码长不超过信源符号个数
doubletemp=Pa[i]*2;
if(temp>
=1)//累加概率乘2大于1,对应码字加1,累加概率自身取余
code[i]+=”1”;
Pa[i]=Pa[i]*2-1;
else//累加概率乘2小于1时,对应码字加0,累加概率自身取余
code[i]+=”0”;
Pa[i]*=2;
code[i]=code[i].substr(0,K[i]);
//求码字
//输出码字
setw(12)<
”信源”<
”概率p(x)”<
”累加概率Pa(x)”<
setw(8)<
”码长K”<
”码字”<
endl;
cout<
X[i]<
Pa[i]”<
K[i]<
code[i]<
delete[]X;
delete[]Pa;
delete[]K;
delete[]code;
getch();
retuen0;
进行二进制香农编码。
写出用C++进行香农编码的程序,并给出仿真结果。
【此文档部分内容来源于网络,如有侵权请告知删除,本文档可自行编辑和修改内容,感谢您的支持!
】
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 实验 指导书