信道容量的计算.docx
- 文档编号:5349597
- 上传时间:2022-12-15
- 格式:DOCX
- 页数:13
- 大小:85.73KB
信道容量的计算.docx
《信道容量的计算.docx》由会员分享,可在线阅读,更多相关《信道容量的计算.docx(13页珍藏版)》请在冰豆网上搜索。
信道容量的计算
§4.2信道容量的计算
这里,我们介绍一般离散信道的信道容量讣算方法,根据信道容量的定义,就是在固定信道的条件下,对所有可能的输入概率分布P(x)求平均互信息的极大值.前面已知/(XV)是输入概率分布的上凸函数,所以极大值一定存在•而/(XV)是厂个变虽:
{"(州),〃(花),…"(》)}的多元函数。
并且满足工”(兀・)=1。
所以可用拉格朗日乘子法来r-I
(4o2o
计算这个条件极值。
引入一个函数:
0=/(X;Y)—/l工〃©)解方程组
.2>(易)=11)
。
(沽)
"(X)
可以先解岀达到极值的概率分布和拉格朗日乘子久的值,然后在解出信道容MCo因为
/(xv)=£j>a)e(xk)iog
/=|>1
而卩(必)=£卩(兀)2(牙也),所以
r-1
希log〃();)=(為In〃(x))loge=岑勢loge。
解(4。
2。
1)式有
£Q(x|兀)-XX〃(兀Q()'ik')loge-兄=0
気p(x)务気p(yj
(对i=i,2,都成立)
又因为
C$>(丑)2(片|无)=〃(丹)
A-!
<
乞。
(兀X)TJT,2,…,厂
97=1
所以(4.2。
1)式方程组可以转化为
'C(Vj\Xi)log^—J—=24-logeQ=l,2,--,r)j=ip(yj)
i>u)T
假设使得平均互信息/(XV)达到极值的输入概率分布{pvp2^Pr}这样有
从而上式左边即为信道容咼,得
现在令
C=A+\oge
z(xf.;y)=^(2(y>|\)iog
冃
0(儿|兀)
丽
式中,I(Xi;Y)是输岀端接收到Y后获得关于X=Xj的信息量.即是信源符号X=£对输出端Y平均提供的互信息.
一般来讲,心;Y)值与為有关•根据(4。
2.2)式和(4。
2.3)式,
z(xf.;r)=ca=i2…“)
所以对于一般离散信道有如下定理。
定理4。
2.1一般离散信道的平均互信息/(XV)达到极大值(即等于信道容量)的充要条件是输入概率分布{〃(召),・・・,卩(兀)}满足
{
(“)/(®y)=c对所有的召,卩(召)工0
(方)/(x.;y) 这时c就是所求的信道容量。 对于离散信道来说,其实信道容量还有一个解法: 迭代解法. 定理4。 2.2设信道的向前转移概率矩阵为Q=(Q(刀卜;))加,刊是任给的输入字母 的一个初始概率分布,其所有分量P>Cq)H0°按照下式不断地对概率分布进行迭代,更新: Pr+l=P'(x;)k— 1=1 其中Aw)=cxp[“x=无;y)]|p“ 由此所得的/(P,0序列收敛于信道容量c. 我们还可以将上述过程写成算法以便编制程序实现(如图4.2.1) /厶Tog{工P(G0a(P)} 【U=log{〃皿于仅(P)} k 图4.2.1信道容量的迭代算法 对于一些特殊的离散信道,我们有方便的方法计算其信道容量。 定义4。 2.1设X和Y分别表示输入信源与输岀信源,则我们称H(X|Y)为损失燔, H(Y|X)为信道噪声炳" 如果信道的损失爛H(X|Y)=O,则次信道容量为 C=max/(X;Y)=max(H(x)-H(X|y))=maxH(X)=logr(bit/符号)这里输入信 源X的信源符号个数为r. 如果信道的噪声爛H(Y|X)=O.则此信道容量为 C=max/(X;Y)=maxH(Y)=logs(bit/符号)P(x>P(x> 这里输出信源符Y的符号个数为s. 定义4.2。 2一个信道Q称为对称离散信道,如果它满足下而的性质: (1)信道Q矩阵中每一行是另一行的置换: (2)每一列式另一列的置换. 例如,信道矩阵 满足对称性,所以对应信道是对称离散信道.定义4。 2.3对称离散信道的信道容量为 C=logy—H(尺%(bit/符号) 上式只与対称信道矩阵中行矢量{人;尺,・「尺}和输出符号集的个数s有关。 证明I(X;Y)=H(Y)-H(Y\X) 而h(y\x)=XP⑴工P(y|x)log詁刁 =J;p(A-)H(r|x=x) X 由于信道的对称性,所以H(Y\X=x)与;r无关,为一常熟,即 C=■,/? )] P(X》 =log$—H(尺尽…,尺) 接着举一个例子加以说明。 例4.201某对称离散信倒的信道矩阵为 '[丄r 3366 P= 1-6 1-6 用公式计算信道容量 c11L11,1L1 =2^-log-+-logr-log-+-log-J =0.0817(bit/符号) 定义4。 2。 3若信道矩阵Q的列可以划分成若干互不相交的子集矩阵即 BjcB,=^(iH力且目UB? U…=Y。 由Bk为列组成的矩阵Q是对称矩阵,则称信道矩阵Q所对应的信道为准对称信道。 例如,信道矩阵 <1111> 3366 (0.70.10.2、 1111 弓一〔0.20」0.7, <6363> 都是准对称信道,在信道矩阵片中.Y可以划分为三个子集,由子集的列组成的矩阵为 <1 1> T 3 6 3 9 6 1 1 1 1 <6 3; <3> <3> 它们满足对称性,所以片对应的信道是准对称信道。 冋理£可划分为 P.70.2) fo.n <0.20.7J' 、0」丿 这两个矩阵也满足对称性。 下面,我们给岀准对称离散信道的信道容量计算公式 C=log—H(片,马,…,尺)-丈MlogM& —1 英中"是输入符号集的个数,(只£,…为准对称信道矩阵中的行矢量。 设矩阵可划分为”个互不相交的子集。 N衣是第R个子矩阵Q中行元素之和,是第R个子矩阵Q中列元素之和,即 m严》pb\xi\yeYk>伙=12…山) 并且可以证明达到准对称离散信道容量的输入分布式等概分布,我们将推导作为习题留给读者。 例422设信道传递矩阵为 \-p-qqp}r= Ipqi_p_q丿 可表示成如图4.2。 2所示,计算其信道容量根据上而计算公式可得 N}=i-q^N2=q M]=\-q.M2=2q 则有 C=log2_Ha_p_q,q,p) 一(1一q)log(l—q)_q\og2q =〃log〃+(l-"-q)log(l-〃一g)+(l-g)log^^图422 i_q 下而我们举一些其他信道容量的例子 h2 例4.2。 3设离散信道如图4。 2。 3所示,输入符号集为他心®®“},输出符号集为{%$},信道矩阵为 图4。 2。 3 22 01 lo1) 由于输入符号他传递到妨和仇是等概率的,所以他可以省去。 而且5皿2与%你都分别传递到勺和方2,因此可只取5和"5,所以设输入概率分布P(q)=P(y)=], 2卩(。 2)=卩(“3)=卩@4)=0,可以计算得P(bl)=P(b2)=^,由定理4。 2。 1得 /(X=a^Y)=/(x=a2\Y)=log2 I(x=a4;Y)=I(x=a5;Y)=log2/(x=6/3;y)=O 可见,此假设分布满足眾理4.2。 1,因此,信道容量 C=log2=1(bit/符号) 最佳分布是P(q)=P(aJ=丄,”(a? )=P(“3)=P(5)=0 厶 若设输入分布为p(e)=m)=p⑷)=pa)=-.p(«3)=oo同理可得 4 P(®)=P@2)=*,根据定理4.2.1有 /^Z(A;.;y)=log2(xt=avava^a5) W(x/.;y) 从而,输入分布P{ax)=P(a2)=P(a4)=P(a,)=1,P{a.)=0也是最佳分布,可见,信道最佳输入分布不是唯一的. 对于一般的离散信道,我们很难利用特殊汁算方法,因此只能采用解方程组式(4.2。 2)的方法。 我们将(4.2。 2)式的前r个方程组改写成 丈。 (牙kJiogUk)-乞Q();k)iogP(yJ=C 冃>1 移项后得 E2(y;klc+】ogP(丹)]=£Q(“k)iogQSk) j=i)=i (,=1,2,…“) 令Q=C+logP(兀),代入上式得 E。 (旳Xk=E。 (力X)1。 2(刀闰) 户1尸1 0=1,2,…,门 化为矩阵形式为 QP: =_ 6(牛) H(牛2) 、卩" 这是含有S•个未知数0丿"个方程的非齐次线性方程组。 如果设厂=$,信道矩阵0为非奇异矩阵,则此方程组有解,并且可以求出0,的数值, 户I Ciog工2为(bi"符号) J 由这个C值可解得对应的输出概论分布P(丹)。 P(刀)=20Y0=1,2,.") 再根据P(兀)=乞叫風咖)j=1,2,…s,即可解出达到信道容量的最佳输入r-1 分布{P3)}. 下面给出一例。 例4。 2・4设离散无记忆信道输入X的符号集为他心®心},输岀丫的符号集为{%彷03上4、如图4。 2。 4所示。 其信道矩阵为 丄丄0y 244 0100 0010 丄0丄丄 '.442> 我们才用上而所讲的方法来计算信道容量: z1.1.1.H11,11,1 討+捫+护=尹产叫+才陀 02=0 '0产。 1/71/? 1々111-11】1 —P,+—Px+—P<=—102—+—log—+—102— 41434匕4~44~42 解方程组得 02=屈=0;0严阳-2; 信道容量C=log2(2-2+2°+2°+2_)=log25-1(bit/符号) 又求得输出分布 P(b)=P(bJ==_L 4 P®)=P(b沪百 因此可以求得最佳输入分布为 4 叫)*(斫元 例4。 2.5设有两个独立并联信道如图425,计算它的信道容量。 X,►信道]►Y} 亦阿) X,>信道2►Y2 。 (乃卜2) 解根据泄理4.1o1有 •> /(x&2;睾)s£/(x誌) 1-1 即联合平均互信息不大于各自信道的平均互信息之和,因此得到独立并联信道的信道容量为 2 G.2=max/(X/2;程) P(XiX2) C产max/(/<),是个独立信道的信道容量。 p⑷ 只有当输入符号兀互相独立,且输入符号无的概率分布达到各子信道容量的概率分布时,独立并联信道的信道容量才等于各信道容疑之和,即 C孑土G 1-1 这个方法推广到N个独立并联信道容量的讣算,即有 C»=maxKX.X.-XM-Yn) Pg…心)~1 对于信道【和II,我们将它串联起来组成新的信道(如图4・2。 6) 丛_►信道]—►信道II 图4.2.6 则此信道容量为C,,(IJI)=max/(X;Z) P(r) 例4.2.6设有两个离散二元对称信道(BSC信道),其串联信道如图4。 2.7,并设第一个信道输入符号集的概率空间为 (X\ [pm) 1 2; X 二元对称信 Y 二元对称信 Z 逍I il->II ■ 图4。 2.7而两个信道的信道矩阵分别为 e.=a= ‘1-“ 所以串联信道总的信道矩阵为 根据平均互信息定义 C=(bit/符号) L/(X;Z)=1-H[2p(l-/? )](bit/符号) 当串联信道数目越多时,损失的信息 其中J(XV)n/(X;Z)(根据信息不增原理)•因此,越多,可证: Iim/(X;XJ=Oo n^x 对于本例中两个串联的二元离散对称信道,其信道容量为 C: |;(IJI)=max/(X;Z)=1-H(2〃(l一仍)(bit/符号)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信道容量 计算