信息论基础与编码.docx
- 文档编号:28077394
- 上传时间:2023-07-08
- 格式:DOCX
- 页数:26
- 大小:35.33KB
信息论基础与编码.docx
《信息论基础与编码.docx》由会员分享,可在线阅读,更多相关《信息论基础与编码.docx(26页珍藏版)》请在冰豆网上搜索。
信息论基础与编码
5-1有一信源,它有六种可能的输出,其概率分布如下表所示,表中给出了对应的六种
编码C2、C3、C4、C5和C6。
(1)求这些码中哪些是唯一可译码;
(2)求哪些是非延长码(即时码);
3)对所有唯一可译码求出其平均码长。
消息
概率
G
C2
C3
C4
C5
C6
1/2
000
0
0
0
1
01
a2
1/4
001
01
10
10
000
001
a3
1/16
010
011
110
1101
001
100
a4
1/16
011
0111
1110
1100
010
101
a5
1/16
100
01111
11110
1001
110
110
a6
1/16
101
011111
111110
1111
110
111
解:
(1)1,2,3,6是唯一可译码;
(2)1,3,6是即时码。
5-2证明若存在一个码长为hJ,,lq的唯一可译码,则一定存在具有相同码长的即时
码。
证明:
由定理可知若存在一个码长为的唯一可译码,则必定满足kraft不等式1。
由定理
4可知若码长满足kraft不等式,则一定存在这样码长的即时码。
所以若存在码长的唯一
可译码,则一定存在具有相同码长P(y=0)的即时码。
5-3设信源
S
P(s)
sis2
P1P2
S6
,Pi
p6i1
1。
将此信源编码成为
r元唯一可
译变长码(即码符号集X{XnX2,
Xr}),其对应的码长为(「J,
」6)=(1,1,2,3,
2,3),求r值的最小下限。
解:
要将此信源编码成为
r元唯一可译变长码,其码字对应的码长
(I1,l2,l3,l4,l5,l6)=(1,1,232,3)
必须满足克拉夫特不等式,即
所以要满足
Kraft。
6
li112
rrrr
i1
22
右飞1,其中r是大于或等于1的正整数。
rr
可见,当r=1时,不能满足Kraft不等式。
当r=2,
2
—1,不能满足
8
当r=3,
22226
1,满足Kraft。
392727
所以,求得r的最大值下限值等于3。
5-4设某城市有805门公务电话和60000门居民电话。
作为系统工程师,你需要为这些用户分配电话号码。
所有号码均是十进制数,且不考虑电话系统中0、1不可用在号码首位
的限制。
(提示:
用异前缀码概念)
(1)如果要求所有公务电话号码为3位长,所有居民电话号码等长,求居民号码长度I
的最小值;
(2)设城市分为A、B两个区,其中A区有9000门电话,B区有51000门电话。
现进一步要求A区的电话号码比B区的短1位,试求A区号码长度L2的最小值。
解:
(a)805门电话要占用1000个3位数中的805个,即要占用首位为0〜7的所有数
字及以8为首的5个数字。
因为要求居民电话号码等长,
以9为首的数字5位长可定义
10000个号码,6位长可定义100000个号码。
所以minL[6。
或由Craft不等
8051036000010L11
解得
L1
1lOg1Q-
80510
60000
5.488,
minL16
的信源也是最佳二元码。
解:
信源的概率分布为:
二元霍夫曼码:
00,10,
P(Si)
111_22
3,5,5,15,15
11,010,011,码长:
2,2,2,3,3
当信源给定时,二元霍夫曼码是最佳二元码。
所以对于概率分布为
)的信源,
(b)在⑻的基础上,将80为首的数字用于最后5个公务电话,81〜86为首的6位数用于
b区51000个号码,以9为首的5位数用于a区9000个号码。
所以,minL25。
或
由Draft不等式,有805103900010L25100010(L21)1
或805103(90005100010)10L21
.805103
解得L2log10-4.859即minL25
90005100
11122.
5-5求概率分布为(3,£,5,15,15)的信源的二元霍夫曼码。
讨论此码对于概率分布为
其最佳二元码就是二元霍夫曼码。
这二元霍夫曼码一定是三个信源符号的码长为2(码符号
/信源符号),另二个信源符号的码长为3(码符号/信源符号),其平均码长最短。
因此,上
J1122、
述对概率分布为(3,£,5,15,15)信源所编的二元霍夫曼码也是概略分布为
iiiii、
5,5,5,5,5)
信源的最佳二元码。
5-6设二元霍夫曼码为(00,01,10,11)和(0,10,110,111),求出可以编得这些霍夫曼码的信源的所有概率分布。
解:
由题意假设信源所发出的是个符号的概率为P(S4)P(S3)P(S2)P(S1)
由霍夫曼编码的特点知:
P(S4)P(S3)P(S2)P(SJ1
根据霍夫曼编码的方法,每次概率最小的两个信源符号合并成一个符号,构成新的缩减信
源,直至最后只剩两个符号。
而且当缩减信源中的所有符号概率相等时,总是将合并的符号
放在最上面。
所以,对于二元霍夫曼码为(00,01,10,11)来说,每个信源都要缩减一次,
所以P(S3)P(S4)要大于P(S0和P(S2),这时必有
11
P(S1)P(S2)-,P(S1)-
33
同理对于二元霍夫曼码为(0,10,110,111)有
11
P(S3)P(S4)-,P(S1)>-
33
信源概率分布满足以上条件则其霍夫曼编码符合题意。
5-7设一信源有K=6个符号,其概率分别为:
P(sJ1/2,P(S2)1/4,P(s3)1/8,
P(S4)P(Ss)1/20,P(S6)1/40,对该信源进行霍夫曼二进制编码,并求编码效率。
(2)设码符号为X={0,1},编出
S的紧致码,并求紧致码的平均码长
解:
相应的Huffman编码是:
{1,01,001,0001,00000,00001}。
平均码长=,熵
H(X)1.94
0.995
Llog21.95
5-8
设信源概率空间为:
S
=3,
S2
PS
0.1,
0.9'
(1)
「求HS和信源冗余度;
(3)把信源的N次无记忆扩展信源SN编成紧致码,试求N=2,3,4,时的平均码长ln;
(4)计算上述N=1,2,3,4这四种码的编码效率和码冗余度。
解:
(1)信源
Sis2
0.10.9
⑶当N=2时
S2
1s1s1,
2s1s2,
3s3si,
4s2s2
0.01,
0.09,
0.09,
0.81
其Hs
2
PSi
i1
logPq
比特/符号
剩余度1
Hs
=%
log2
(2)码符号
X={0,1}
,对信源
S编紧致码为:
s10,s21
其平均码长L=i码符号/信源符号
紧致码(即霍夫曼码)为
N=3时,
S3
2)
2
0.10.9,
3)
2
0.10.9,
4)
2
0.10.9,
0.1
0.9
0.1
0.92,
0.1
0.92,
0.93
4,
3?
2,1
码字Wi
0,
10,
110,111
码长li
1,
2,
3,3
I4
平均码长N-
P
ili
0.645码符号/信源符号
Ni1
对信源S3进行霍夫曼编码,其紧致码为
8i716?
1
码字Wi0
100
101
110
11100
11111
码长li1,
3,
3,
3,
5,5,
5
平均码长
LN
8
Pil
i0.533
N
3i1
—4
S
N=4时,
_
Pi
1,
2,
3,
4,
4
0.1,0.1
30.9,
0.1
30.9,
3
0.10.9,
5?
4,3?
2,
11101
11110,
5,
码符号
/信源符号
5
6,
7,
8,
0.13
22
0.9,0.10.9,
22
0.10.9,
22
0.10.9
9,
22
0.10.9
10)
11)
22
0.10.9,
12,
3
0.10.9
13,
3,0.10.9,
14,
3
0.10.9,
15,
3
0.10.9,
16
0.94
0.12
0.92,
对信源S4进行霍夫曼编码,
其紧致码为
16,15
?
14
13,
12,
11,
10?
9,
码字Wi
0,100,
101,
110,1110,
111110,
1111000,
1111001,
码长li
1,3,
3,3,
4,6,
7,
7,
8?
7?
6?
5?
4
3,
2,
1
码字Wi
1111010
1111011,1111110,1
0,1,00
01
Nim
LnHSlogr
0.469码符号/信源符号
(4)编码效率
Hr
码剩余度1
L
HrS
(r=2)
所以N=1编码效率1
L
0.469
HS
(r=2)
L
码剩余度=%
N=2
=%
N=3
=12%
N=4
从本题讨论可知,
4
对于变长紧致码,
=%
当N不很大时,就可以达到高效的无失真信源编码。
5-9设信源空间为:
S
P(s)
S|S2S3S4
0.40.20.10.1
S5S6S7S3
0.050.050.050.05
码长li7,7,
7,9,
9,9,10,
10
平均码长Ln=
116
Pil
i0.493码符号/信源符号
N
4i1
N=时,根据香农第一定理,其紧致码的平均码长
符号为X={0,1,2},试构造一种三元紧致码。
解:
得信源符号S1S2S3S4S5S6S7S8
三元紧致码10002202122010011
5-10某气象员报告气象状态,有四种可能的消息:
晴、云、雨和雾。
若每个消息是等概的,那么发送每个消息最少所需的二元脉冲数是多少?
又若四个消息出现的概率分别是1/4,1/8,1/8和1/2,问在此情况下消息所需的二元脉冲数是多少?
如何编码?
解:
第一种情况:
需要二元脉冲数两个,可表示四种状态,满足我们的要求。
第二种情况:
我们采用霍夫曼可编为1/2编为1;1/4编为01,1/8编为000和001,
脉冲数显然。
5-11若某一信源有N个符号,并且每个符号等概率出现,对这信源用最佳霍夫曼码进
行二元编码,问当N2,和N2i+(i是正整数)时,每个码字的长度等于多少?
平均码长是多少?
解:
当N2i(i正整数)时用霍夫曼编码方法进行最佳编码,由于每个符号是等概率分
布的,所以每个符号码长应相等,这样平均码长最短,而且信源符号个数正好等于2i,则
满足:
q212i,所以每个码字的码长lii,Li。
当N2i个1时,因为每个符号等概率分布出现,
所以每个符号的码长也应该基本相等,
但现在信源符号个数不是正好等于2i,所以必须有两个信源符号的码长延长一位码长,这
样平均码长最短。
所以N2i1时2i
1个码字的码长为li
i,其余2个码字的码长为i
1。
平均码长
—
2
L
ii
21
5-12若有一信源
S
si,s2
P(s)
0.8,0.2
每秒钟发出个信源符号。
将此信源的输出符号送入某一个二元信道中进行传输(假设信道是
无噪无损的),而信道每秒钟只传递2个二元符号。
试问信源不通过编码能否直接与信道连
接?
若通过适当编码能否在此信道中进行无失真传输?
若能连接,试说明如何编码并说明原
因。
2
&八、比s3,E»八、⑺亠H(s)P(sJlogP(sJ
解:
信源,其信源爛i.
P(s)0.8,0.2
0.722比特/符号
而其每秒钟发出个信源符号,所以信源输出的信息速率为:
Rt2.66H(s)
2.660.722符号秒比特/符号
C1比特/符号。
1921比特/秒
送入一个二元无噪无损信道,此信道的最大信息传输率(信道容量)
而信道每秒钟只传输两个二元符号,所以信道的最大信息传输速率为:
根据无噪信道编码定理
Ct2C比特/符号符号/秒
2比特秒
(即无失真信源编码定理)
可见:
RtCt。
,因RtCt。
所以总能对信源的输出进行
如果对信源不进行编码,直接将信
适当的编码,使此信源能在此信道中进行无失真地传输。
源符号$以“0”符号传送,S2以“1”符号传送,这时因为信源输出为(二元信源符号/秒),
大于2(二元信道符号/秒),就会使信道输入端造成信源符号的堆积,信息不能按时发送出去。
所以,不通过编码此信源不能直接与信道连接。
若要连接,必须对信源的输出符号序列进行编码,也就是对此信源的N次扩展信源进行编码。
但扩展次数越大,编码越复杂,设备
的代价也越大,所以尽量使扩展的次数N少,而又能使信源在此信道中无失真传输。
先考虑
S1S1,S1S2,S2S1,S2S2
0.64,0.16,0.16,0.04
N2,并对二次扩展信源进行霍夫曼编码,得:
s2
P(SSj)
110,111
二元霍夫曼码0,10,
L21.56二元符号/二个信源符号
L=0.78二元符号/信源符号
二次扩展编码后,
送入信道的传输速率为:
0.782.66二元符号信源符号信源符号/秒
2.075二元符号/秒
>2二元符号/秒
所以,必须考虑
S3
N3即对三次扩展信源进行霍夫曼编码,得:
S1S1S1,S1S1S2,S1S2SI,S2SIS1,S1S2S2,S2S1S2,S2S2SI,S2S2S2
P(sSjSk)
二元霍夫曼码
0.512,0.128,0.128,0.128,0.032,0.032,0.032,0.008
1,000,001,010,01100,01101,01110,01111
得:
L
32.184二元符号/三个信源符号
L=0.728二元符号/信源符号
三次扩展码后,送入信道额传输速率为:
0.7282.66二元符号信源符号信源符号/秒
1.9365二元符号/秒
<2二元符号/秒
此时,就可以在信道中进行无失真传输了。
5-13现有一幅已离散量化后的图像,图像的灰度量化分成8级,如下表所示。
表中数
字为相应像素上的灰度级。
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
2
3
3
3
3
3
3
3
3
3
3
4
4
4
4
4
4
4
4
4
4
5
5
5
5
5
5
6
6
6
6
7
7
7
7
7
8
8
8
8
8
另有一无噪无损二元信道,单位时间(秒)内传输100个二元符号。
(1)现将图像通过给定的信道传输,不考虑图像的任何统计特性,并采用二元等长码,问需多长时间才能传送完这幅图像?
(2)若考虑图像的统计特性(不考虑图像的像素之间的依赖性),求这图像的信源熵
H(S),并对每个灰度级进行霍夫曼最佳二元编码,问平均每个像素需用多少二元码符号来
表示?
这时需多少时间才能传送完这幅图像?
(3)从理论上简要说明这幅图像还可以压缩,而且平均每个像素所需的二元码符号数可以小于H(S)比特。
解:
(1)3秒。
(2)秒。
5-14设某无记忆二元信源,概率Pi=P
(1)=,Po=P(O)=,采用下述游程编码方案:
第一
步,根据0的游程长度编成8个码字,第二步,将8个码字变换成二元变长码,如下表所示:
信源符号序列
中间码
二元码字
1
S0
1000
01
S1
1001
001
S2
1010
0001
S3
1011
00001
S4
1100
000001
S5
1101
0000001
S6
1110
00000001
S
1111
00000000
S8
0
(1)试问最后的二元变长码是否是唯一可译码;
(2)试求中间码对应的信源序列的平均长度L;
(3)试求中间码对应的变长码二元码码字的平均长度L2;
(4)计算比值L2/L1,解释它的意义,并计算这种游程编码的编码效率;
(5)若用霍夫曼编码,对信源的四次扩展信源进行直接编码,求它的平均码长L(对
应于每一个信源符号),并计算编码效率,试将此方法与游程编码方法进行比较;
(6)将上述游程编码方法一般化,可把2s1个信源序列(上例中s=3)变换成二元变
出零的概率为p0,求L2/Li的一般表达式,并求p0=时s的最佳值。
解:
(1)根据唯一可译码的判断方法可知,最后的二元变长码是非延长码(即时码,所以
它是唯一可译码。
⑵因为信源是二元无记忆信源,所以有P(Si)=P(Sii)P(S2)…P(Sin)
其中Si=(SiiSi2…Sin)sii,Si2,…Sin?
{0,1}
已知pi=P
(1)=,P0=P(0)=,可求得信源符号序列的概率P(Si)。
根据编码,可排出下列表
信源符号序列
序列的概率
P(Si)
信源符号序
列长度lii
中间码
二元码
码长l2i
i
i
S0
4
0i
2
Si
4
00i
3
S2
4
000i
4
S3
4
0000i
5
S4
4
00000
i
6
S5
4
00000
0i
7
S6
4
00000
00i
8
S7
4
00000
000
0.
8
S8
4
_8
根据表可计算Li=?
p(s)iii注信源符号/中间码
i=0
_8
⑶根据表计算L2=?
p(S)|2i-二元码/中间码
i=0
(4)疋二元码/信源符号
Li
此值为每个信源符号所需的二元码符号数,也就是无记忆二元信源采用游程编
码后每个二元信源符号所需的平均码长。
可计算无记忆二元信源的信息熵
2
H(S)=-?
P(S)logP(Si)宀比特/信源符号
i=i
所以,这种游程编码的效率
n=H(S)〜〜%
L2/Li
(其中因为二元编码所以H(S)=H(S))
(5)若对无记忆二元信源的次扩展信源直接进行霍夫曼编码,可得
s4
P(
码
码
S4
P(
码
码
Si)
字W
长1i
Si)
字W
长1i
00
0
1
10
111
7
00
01
1010
00
110
3
10
111
7
01
10
1011
00
100
3
11
111
7
10
00
1110
01
00
101
3
01
11
0
9
10
111
4
10
1
9
00
0
11
00
111
6
11
0
9
11
110
01
01
111
7
11
10
10
01
1000
10
01
111
11
10
1001
7
11
11
10
_16
L4=?
P(Si)|i注二元码/4个信源符号
i=1
得L=二元码/信源符号
编码效率n=H(S)%
L
此编码效率低于游程编码方法。
这是因为霍夫曼码只考虑N=4(固定值)时进行压缩,使概率大的对应于短码,概率小的对应于长码。
但无记忆二元信源符号“0”出现的概
率po很大,所以在信源输出序列中符号“0”连续出现的概率较大,而连续出现符号
“1”的概率极小。
游程编码正是考虑了这些特性,使N较长(N=8)的连续出现的符号
“0”序列压缩成一个二元码符号。
所以,游程编码的编码效率较高。
当然,当N很大
时(N=8)霍夫曼编码效率会提高,但其编码方法没有游程编码方法来得简单。
(6)一般游程编码方法是将2s+1个信源序列中一个2s个连续为零的序列编成码字0,
而其他信源序列编成码长为s+1的码字,所以根据表中类似计算可得
_2s$
L1=?
iP1p0-1+2sp2
i=1
其中P0为信源中符号“0”出现的概率,P1为符号“1”出现的概率,有P0+P1=1。
展开上式,得
L1=p
2
0+2p1p0+3p1p0+-
•+2sP1pf
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 基础 编码