详细推导BEC和BSC的信道容量

2024-01-20 02:28

本文主要是介绍详细推导BEC和BSC的信道容量,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

介绍

一. 熵的计算公式

二. 互信息

三. 计算BSC的信道容量

四. BEC信道与高斯信道容量

五. 信道传输速率与信道容量

小结


介绍

binary symmetric channel,简称BSC,中文翻译为二进制对称信道。

binary erasure channel,简称BEC,中文翻译为二进制擦除信道。

因为信道传输会出现差错,这是两种最简单的有差错的信道建模方法。

一. 熵的计算公式

香农熵的计算公式如下:

理解:概率乘以概率的对数值,再相加,最后求相反数。

联合熵的计算公式如下:

理解:联合概率乘以联合概率的对数值,再相加,最后求相反数。

条件熵与联合熵之间的关系:

H(X|Y)=H(XY)-H(Y)

条件熵可以理解为,当已知Y时,X还剩下多少的不确定性。总的不确定性为H(XY),已知Y,所以Y的不确定性H(Y)需要被减掉。

二. 互信息

信息论安全中互信息的计算公式如下:

互信息为熵减去条件熵。

三. 计算BSC的信道容量

假定BSC的转换概率为P,那么可以将输入和输出写成如下表:

01
0

1-p

p
1p1-p

假定输入为均匀且随机的,也就是取0的概率为1/2,取1的概率也为1/2,根据我们的经验此分布有1比特的熵,来利用香农熵公式简单验证一下:

根据BES信道的特征,如果输入是均匀分布,那么输出也是均匀且随机的分布,也就可得:

H(X)=H(Y)=1

X与Y的联合分布为:

(0,0)1/2(1-p)
(0,1)1/2p
(1,0)1/2p
(1,1)1/2(1-p)

那么可计算联合分布的熵:

H(XY)=-\sum P(XY)logP(XY)

带入可得:

H(XY)=-[plog\frac{1}{2}p+(1-p)log\frac{1}{2}(1-p)]=1+H_b(p)

其中H_b(p)代表二进制熵。

接着可计算条件熵H(X|Y):

H(X|Y)=H(XY)-H(Y)=H_b(p)

信道容量定义为输入X与输出Y的互信息:

C=I(X;Y)

由此可计算BSC信道容量为:

C=H(X)-H(X|Y)=1-H_b(p)

四. BEC信道与高斯信道容量

假定信道的输入为X,信道的输出为Y,当输入的概率分布Px在不断变化时,则会出现互信息的改变。信道编码定理告诉我们信道容量(channel capacity)等于输入与输出之间最大的互信息。

以上我们证明了BSC的信道容量为:

1-H_b(p)

运用同样的方法可证明,BEC的信道容量为:

1-\epsilon

其中\epsilon为擦除概率。

当然在实际网络安全应用中加性高斯白噪声信道(additive white Gaussian noise channel),简称为高斯信道,更为常见。此模型考虑了热噪声和干扰的影响,利用i代表时间,该模型可以表示为:

Yi=Xi+Ni

其中Xi代表输入信号,Ni代表独立随机的高斯变量噪声,分布满足:

N(0,\sigma^2)

实际上如果不外加限制,高斯信道的信道容量可以达到无穷大,所以在实际应用中,通常需要假设平均功率满足如下限制:

利用P代表功率限制,\sigma^2代表噪声方差,那么高斯信道容量可计算为:

理解:

高斯信道容量的推导有两个关键点:一个是输入需要满足功率限制,第二个是信道是连续的分布。

其实可以借助弱典型集理论和弱渐近等分性(AEP),也可以推导,此处略。

五. 信道传输速率与信道容量

利用R代表信道的可达速率,再引入一个很小的正数\epsilon>0

通常都研究渐进性,所以序列长度n足够长,码字C_n则可以总结为:

(2^{nR},n)

传输速率与消息熵需要满足:

译码错误率需要足够小,所以可得:

根据Fano不等式,也就是在已知Y时要求对M的不确定熵趋近于0,所以可得:

接着我们对传输速率进行放缩运算:

最后的不等式来源于马尔科夫链:

由此可得数据处理的不等式结论,从M-X,其互信息肯定在增加

接着进行放缩:

最后的不等式根据信道的离散无记忆特性,分成n次求和

更进一步放缩可得:

最后一个不等式来源于条件概率不会增加熵结论,因为以上的\epsilon可以随意小,所以可得:

由此说明了信道传输速率与信道容量之间的关系。

小结

通信的本质是传递消息:

输入序列、信道和输出序列都可以看成随机的。从接收者的角度,总希望能正确的解码结果,也就是误差概率尽可能的小。讨论最简单也是最理想情况就是:一个输出只对应一个输入。

从提高信息传输效率的角度出发,总是希望减少冗余度,也就是压缩,用尽可能少的信道传输符号来传递信源消息,这就是信源编码的作用。

 从提高信息抗干扰能力,增强通信可靠性的角度出发,总是希望增加或保留剩余度,这是信道编码要达到的目的,一般是采用冗余编码法,赋予码字自身一定的纠错和检错能力。

提高抗干扰能力往往是以降低信息传输效率为代价的,而为了提高传输效率又往往削弱了其抗干扰能力。这样,设计者在取舍之间就要作均衡考虑。这也是在网络安全领域,安全性与效率性之间的平衡。

信道编码定理的一个简单总结:只要码率小于信道容量,信息就可以通过该信道可靠的传输。此处的可靠代表译码误码率可以接近0

考虑现实的无线通信环境,信道编码定理使用的新思想包括:

  • 允许任意小的非0误差概率存在,考虑渐进性;
  • 连续使用信道许多次,以保证可以使用大数定理 ,其实也可以看成渐进性;
  • 在随机选择的码簿上计算平均误差概率,这样可以使概率对称,而且可以用来证明至少存在一个好的编码。平均性告诉我们有些高,有些低,那么必然存在一个满足的编码方案。

这篇关于详细推导BEC和BSC的信道容量的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/624520

相关文章

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入(CSV/Excel等)、数据结构(Series、DataFrame)、数据清洗、转换... 目录一、什么是Pandas库(1)、Pandas 应用(2)、Pandas 功能(3)、数据结构二、安

Apache Ignite 与 Spring Boot 集成详细指南

《ApacheIgnite与SpringBoot集成详细指南》ApacheIgnite官方指南详解如何通过SpringBootStarter扩展实现自动配置,支持厚/轻客户端模式,简化Ign... 目录 一、背景:为什么需要这个集成? 二、两种集成方式(对应两种客户端模型) 三、方式一:自动配置 Thick

Python对接支付宝支付之使用AliPay实现的详细操作指南

《Python对接支付宝支付之使用AliPay实现的详细操作指南》支付宝没有提供PythonSDK,但是强大的github就有提供python-alipay-sdk,封装里很多复杂操作,使用这个我们就... 目录一、引言二、准备工作2.1 支付宝开放平台入驻与应用创建2.2 密钥生成与配置2.3 安装ali

2025版mysql8.0.41 winx64 手动安装详细教程

《2025版mysql8.0.41winx64手动安装详细教程》本文指导Windows系统下MySQL安装配置,包含解压、设置环境变量、my.ini配置、初始化密码获取、服务安装与手动启动等步骤,... 目录一、下载安装包二、配置环境变量三、安装配置四、启动 mysql 服务,修改密码一、下载安装包安装地

在macOS上安装jenv管理JDK版本的详细步骤

《在macOS上安装jenv管理JDK版本的详细步骤》jEnv是一个命令行工具,正如它的官网所宣称的那样,它是来让你忘记怎么配置JAVA_HOME环境变量的神队友,:本文主要介绍在macOS上安装... 目录前言安装 jenv添加 JDK 版本到 jenv切换 JDK 版本总结前言China编程在开发 Java

Spring Boot Actuator应用监控与管理的详细步骤

《SpringBootActuator应用监控与管理的详细步骤》SpringBootActuator是SpringBoot的监控工具,提供健康检查、性能指标、日志管理等核心功能,支持自定义和扩展端... 目录一、 Spring Boot Actuator 概述二、 集成 Spring Boot Actuat

如何在Java Spring实现异步执行(详细篇)

《如何在JavaSpring实现异步执行(详细篇)》Spring框架通过@Async、Executor等实现异步执行,提升系统性能与响应速度,支持自定义线程池管理并发,本文给大家介绍如何在Sprin... 目录前言1. 使用 @Async 实现异步执行1.1 启用异步执行支持1.2 创建异步方法1.3 调用

Spring Boot 与微服务入门实战详细总结

《SpringBoot与微服务入门实战详细总结》本文讲解SpringBoot框架的核心特性如快速构建、自动配置、零XML与微服务架构的定义、演进及优缺点,涵盖开发环境准备和HelloWorld实战... 目录一、Spring Boot 核心概述二、微服务架构详解1. 微服务的定义与演进2. 微服务的优缺点三

SpringBoot改造MCP服务器的详细说明(StreamableHTTP 类型)

《SpringBoot改造MCP服务器的详细说明(StreamableHTTP类型)》本文介绍了SpringBoot如何实现MCPStreamableHTTP服务器,并且使用CherryStudio... 目录SpringBoot改造MCP服务器(StreamableHTTP)1 项目说明2 使用说明2.1

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java