英语原文共 55 页，剩余内容已隐藏，支付完成后下载完整资料
通信的数学理论
C. E. SHANNON
引言
最近,有很多方法来牺牲带宽换取信号噪声比(信噪比),如PCM和PPM。它们的出现进一步引起人们对广义通信的兴趣。奈奎斯特和哈特莱发表的一些重要的相关论文奠定了基础的理论。本文将扩展理论,并增添一些新的因素,具体地说,是信道噪声的影响,由于统计的原始消息结构的性质和可能减少内容的最终目的地。
通信的基本问题是在一个地方复制另一个地方选中的消息,这可能是准确或近似。这些消息通常有一个特定的意义;也就是说,他们是基于系统与一个特定的物理或相关概念实体。通信的语义与工程问题无关。重点是，实际的消息从一个消息集合发出的。设计系统必须能够处理任何选择的消息,而不是仅仅处理的实际选择特定的消息,因为在设计系统时,它不知道这消息会被选中。
如果在集合中消息的数目是有限的,每条消息被选择的概率相等,你可以使用这个消息或任何它的单调函数,来度量从集合中选出这条消息的信息量。哈特指出,最自然的选择是对数函数。如果考虑消息统计的影响数据,如果选择的信息是连续的,它必须定义的一个重要扩展,但是在所有情况下,我们使用度量本质上是一个对数函数。
对数度量之所以更为便利，其原因有多种：
- 它是在实践中更有用。一些工程上最重要的参数,如时间、带宽、延迟等等,往往与某个数量的对数呈现线性相关。例如,继电器的增加会使继电器的可能状态增加。如果采取以2为底的对数,添加一个继电器,结果将增加1。翻倍的次数让可能的消息数量呈现原来的平方，而对数表达时则是原来的两倍,等等。
- 这最接近对正确测量的直观认知。这是与第一个原因密切相关的,因为当人们对一个实体采用直观度量时,它通常与一个共同的标准进行比较。例如,相信两个穿孔卡片来存储信息的能力应该是一个穿孔卡片的两倍,而两个相同信道传输信息的能力应当是一个信道的两倍。
3.更适合数学运算。很多极限运算很容易用对数来表示,如果采用可能性的数量表示,可能需要做冗余,笨拙的重新表征。
对数底数的选择与信息度量单位的选择相对应。如果所用底数为 2，则所得到的结果可以称为二进制数位 （binary digit)，或者简称为比特（bit），它是由 J. W. Tukey 提议采用的。一个具有两种稳定状态的器件，比如继电器或者触发电路，可以存储1比特信息。N个此种器件可以存储N比特，因为可能状态的总数为，而。如果所用底数为10，则所得单位可以称为十进制数字(decimal digit)。因为：
一个十进制数位大约为10/3个比特。台式计算机上一个数位有10个稳定状态，因此，其储存容量是一个十进制数位。在一些涉及积分和微分的分析中，底数e有时会很有用。所得到的信息单位称为自然单位。只需要乘以logb alpha;就可以将底数a改为底数 b。
我们指的通信系统是指图1中给出的系统类型。它基本上是由五部分组成:
1.信源，生成要传送给接收终端的消息或消息序列。消息可能是各种不同类型：(a) 字符序列，比如电传系统电报机中；(b) 单个时间函数f(t)，比如无线电或电话通信中；(c) 时间及其他变量的函数，比如黑白电视机中——这里的消息可以看作是两个空间坐标与时间的函数f(x,y,t)，也就是摄像管盘面上点 (x,y)处在时刻t的光强度；(d)时间的两个或更多个函数，比如f(t), g(t), h(t)——“三维”声传送即属这一情景，如果通信系统要以多工方式为几个独立信道提供服务，则同属这一情景；(e) 几个变量的几个函数——在彩色电视机中，消息包含三个函数f(x, y, t), g(x, y, t)， h(x, y, t)，它们都定义在一个三维闭联集(continuum)上——我们还可以将这三个函数看作是定义在该区域上的一个向量场的分量——与此类似，几台黑白电视源所生成的“消息”由许多三变量函数组成；(f) 还会有各种组合情景，比如，在带有关联音频声道的电视中。
2.发射器,它以某种方式处理消息,生成一个适合在通道传输的信号。在电话通信中,这个过程是声压成比例转换为电流。在电报中,编码操作用于生成一系列与消息相对应的点,线,和空间。多工PCM系统中,需要对不同的语音函数采样,压缩、量化和编码,然后做出适当的交叉，构造出信号。在声码器系统、电视、调频,还需要对消息进行一些复杂处理才能得到信号。
3.信道是一个发射机向接收机传输信号的媒介。可能是一对导线,一根同轴电缆,一个无线电频段,一束光等。
4.接收器,通常执行发射机处理的逆处理,重建消息信号。
5.信宿，想向其传输消息的人或物
信源
发送器
信道
接收机
信宿
噪声源
图 1 一般通信系统示意图
我们愿意考虑一些通信系统普遍存在的问题。为此,我们需要对参与的各种物理部分进行抽象,用数学表示出来。通信系统可以大致分为三类:离散系统,连续系统、混合系统。离散系统中消息和信号都是离散符号序列。这样一个系统的一个典型的例子是电报,其中的消息是一个字符序列，信号是 一个由点、划和空组成的序列。一个连续系统中的信号可以视为一个连续函数,比如收音机或电视。一个混合动力系统是离散变量和连续变量都可能存在的系统,如PCM。
我们首先考虑离散场景。不仅仅是在通信领域适用,而且在计算机理论,电话交换机设计等领域也适用。此外,连续的离散情况也奠定了连续场景和混合场景,后者两个场景将在本文的第二部分讨论。
1. 离散无噪声信道
电传打字机和电报通讯是信息传送离散信道的两个简单例子。一般来说，离散信道意味着可以通过一个系统，从一点向另一点传送一个选择序列，而该序列选自一个由基本符号S1,hellip; ,Sn组成的有限集合。假定每个符号Si 的特定持续时间为ti秒（对于不同的Si，此持续时间不一定相同，比如电报中使用的点和划）。并不要求在此系统中能够传送Si 的所有可能序列；可以仅允许出现特定序列。这些特定序列就是可能出现在该信道中的信号。因此，在电报中，假定这些符号为：(1) 点，先将线路闭合一个时间单位，然后再断开一个时间单位；(2) 线，线路闭合三个时间单位，然后断开一个时间单位；(3) 字符空，比如将线路断开三个时间单位；(4) 字空，线路断开六个时间单位。我们可以对允许出现的序列设定限制：不允许两个空相邻（因此，如果两个字符空相邻，则与一个字空相同）。我们现在考虑的问题是，如何度量这样一个信道的信息传输能力。
在电传打字机中，所有符号的持续时间相同，允许出现任何由32个符号组成的序列，上面的问题很容易解答。每个符号表示5比特信息。如果系统每秒传送n个符号，那自然可以说该信道的容量为5n比特/秒。这并不是说电传信道总是以这一速度传送信息——这是最大可能速率，后面将会看到，实际速率能否达到这一最大值，取决于向信道馈送信息的信源。
在更一般的情况下，符号的长度不同，而且对允许序列设有限制，我们做出如下定义：离散信道的容量C给出如下所示：
式中，N(T)是指在允许出现的信号中，持续时间为 T 的信号数目。 容易看出，在电传情况下，这一公式简化为前面的结果。可以证明，在人们所关注的大多数情况下，上述极限值存在且有穷。假定允许出现信号S1,hellip; , Sn的所有序列，而且这些符号的持续时间为t1,hellip; , tn。信道容量是多少呢？如果N(t)表示持续时间为t的序列数，则有：
该总数等于以S1, S2,hellip; , Sn结尾的序列数目之和，这些数目分别为N(t - t1), N(t - t2),hellip; , N(t - tn)。由有限差分中一个众所周知的结果可知，对于大的t值，N(t)趋近于，其中是以下特征方程的最大实数解：
因此：
在对允许出现的序列设定了限制时，仍然能够获得这一类型的差分方程，并由该特征方程求得 C。在前面提到的电报情景中，根据最后一个符号或者倒数第二个符号来计算符号序列的数目，可以得出：
因此，C为-logmu;0,其中mu;0是1 = mu;2 mu;4 mu;5 mu;7 mu;8 mu;10的正根。求解此方程后可得 C=0.539。在对允许序列设定的限制中，有一种非常普通的类型：假设有大量可能状态alpha;1, alpha;2,hellip; , alpha;m，对于每种状态，只能传送集合中的特定符号S1,hellip; , Sn（不同状态对应的子集不同）。在传输一个序列后，系统状态改为一种新的状态，具体取决于原有状态和所传送的特定符号。电报是这种情景的一个简单示例。根据最后传送的符号是不是空格，共存在两种状态。如果是空格，则接下来只能传送一个点或一个划，状态总是发生改变。如果不是空格，则可以传送任意符号，如果发送的是空格，则状态发生变化，如果不是空格，则状态保持不变。 这些条件可以用如图2所示的线性图表示。交点对应于状态，连线表示一种状态下可以传送的符号及传送符号后所得到的状态。在附录1中，如果可以用这种方式来描述对允许序列设定的条件，则C存在，并可计算如下：
定理 1：设是指在状态i下允许出现并导致状态j的第s个符号的持续时间，则信道容量C等于logW，其中W为以下行列式方程的最大实根：
其中，当i = j时，delta;ij = 0，否则等于0。例如，在电报通讯中（图 2）该行列式为：
展开后，即可得到上文针对这一情景给出的方程。
图2 用图形表示针对电报符号设置的约束条件
- 离散信源
我们已经看到，在非常一般的条件下，离散信道中可出现信号数的对数随时间线性增加。如果能给出这一增 长速率，也就是每秒需要多少比特来表示所使用的特定信号，每秒钟所需要的比特数，就能给出信息传输容 量。
我们现在考虑信源。如何用数学描述一个信源呢？一个给定信源每秒生成多少比特的信息呢？问题的要点在 于，如何利用信源的相关统计知识，通过信息的正确编码，减少所需要的信道容量。比如，在电报通信中， 要传送的消息由字符序列组成。但是，这些序列并不是完全随机的。一般情况下，它们会组成句子，具有某 种语言的统计结构，比如英语。字符 E 的出现频率要高于 Q，序列 TH 的出现频率要高于 XP，等等。由于此种 结构的存在，我们可以对消息序列进行适当编码，转换为信号序列，以节省时间（或信道容量）。其实在电 报通讯中已经进行了一定程度的此种处理：为最常见的英文字母 E 使用最短的信道符号——点；而出现较少 的 Q，X，Z 则使用较长的点、划序列来表示。这一思想一直沿用到一个特定的商用编码中，在这些编码中， 常见的单词和短语用四字符或五字符代码组表示，大幅缩短了平均时间。现在使用的一些标准问候电报和周 年纪念电报扩展了这一思想，将一个或两个句子编码为一个较短的数字序列。
我们可以认为离散信源是逐个字符地生成消息。它将会根据特定概率值选择相继符号，这些概率值通常取决 于之前的选择和所考虑的特定符号。如果一个物理系统或者一个系统的数学模型，在一组概率的控制下生成 符号序列，则这种系统或模型称为随机过程3。因此，我们可以考虑用随机过程表示离散信源。相反，任何一 个随机过程，只要它生成的离散符号序列是从有限集合中选出的，则可以将其看作离散信源。它将包括类似 以下的各种情况：
1. 自然书写的语言，比如英文，德文，中文。
2. 已经用某种量化过程变为离散的连续信源。比如，由 PCM 发送器输出的量化语音，或者是经过量化的电视信号。
3. 数学信源，在此类情况下，我们只是抽象地定义了一个生成符号序列的随机过程。下面是最后一种信源类型的示例。
3. 马尔可夫过程的图形表示
上文所述类型的随机过程在数学上称为离散马尔可夫过程，在参考文献中有详尽研究6。一般情况可以描述如 下：一个系统存在有限种可能状态S1,S2,hellip;, Sn 。此外，还有一组转换概率pi (j)，也就是当系统为状态Si ，接下来进入状态Sj 的概率。为使此马尔可夫过程表示信源，只需要假定每次从一种状态转换到另一状态时，生成一个字符即可。这种状态对应于先前字符产生的“影响残余”。
此情景可以用图3，4，5 表示。“状态”为图中的交点，转换概率和所生成的字符在相应线的旁边给出。图3表示第2节的例B，图4对应于例 C。在图 3 中，由于连续字符相互独立，所以只存在一种状态。在图4中， 所存在的状态数与字符相同。如果构造一个三连字示例，则最多存在eta;2种状态，对当前选定字符之前的可能字符相对应。图 5 是例 D 中单词结构的对应图。这里的 S 表示“空'符号。
图3 例B中信源的对应图
图4 例C中信源的对应图
图5 例D中信源的对应图
4. 各态历经与混合信源
上面已经指出
全文共11846字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[144161]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
