本技术介绍了一种利用强化学习技术优化毫米波通信中波束宽度的方法。该技术通过动态调整波束宽度以减少波束漂移的影响,将波束宽度优化问题转化为马尔科夫决策过程,并在每个决策点选择最佳波束宽度以实现数据传输。该方法的状态设计能够多维度描述系统波束漂移的严重性,而每个动作代表不同的波束宽度,通过感知环境变化速度来优化数据传输波束宽度。利用AC算法在每个状态下选择最合适的波束宽度,并在训练过程中持续更新策略网络和价值网络,以增强模型的选择合理性和可靠性。此外,引入动态网络更新机制以降低运算负荷。该技术有效提升了毫米波通信系统在波束漂移条件下的吞吐量,确保了通信链路的稳定性。
背景技术
毫米波由于其巨大的可访问带宽,作为解决高速无线数据传输需求的潜在技术,已经吸引了很多人的注意。然而,与传统的低频段相比,尽管带宽高,但毫米波段的自由空间路径损耗大,绕过物体的能力差,因此需要由几十根甚至几百根天线组成的阵列天线,通过波束成形技术集中能量来提高信噪比。而通常天线阵列中天线的间隔和波长是一个数量级的,这就给毫米波天线阵列的物理体积缩小带来了很大空间,使得毫米波阵列天线可以做的足够小从而满足更多场景的应用。波束成形使毫米波具有很强的方向性,因此需要采用波束跟踪技术来保证通信链路的稳定性和质量。值得注意的是,由于射频链路的高成本和ADC/DAC的高功耗,毫米波通信系统通常采用数模混合预编码架构,射频链的数量远少于天线。
波束成形只是提高信噪比的基础,如何给指向性波束选择合理的方向则是获得较高的信噪比的另一大难题。波束成形后的主波束方向需要实时与用户对准,即需要波束训练来保证发射机主波束对准和跟踪移动中的接收机。大部分研究方案是在一个时隙内先进行波束训练,获得高收益波束方向后,再在该时隙内采用该波束方向传输数据。但这建立在每个时隙内用户与基站的通信环境保持不变的基础上,而当接收端用户不间断移动时,其偏离角或到达角总是连续变化的,则即使在每个时隙开始时经过波束训练发射与接收主波束对准,在该时隙内也会因为接收机的移动导致与发射机相对位置的变化,从而导致波束形成/阵列增益降低,此现象称为波束漂移效应,严重时会影响通信链路的质量甚至造成通信中断。
波束训练的过程,其实就是权衡波束对准成功率和波束训练效率的过程,通常情况下较窄的波束能够带来较高的波束成形增益,但与此同时会产生较大的搜索负担并降低搜索准确性。当考虑波束漂移效应时,时隙内的环境相对不变性被打破,时隙内环境变化越快,则对波束成形增益影响越严重。而为了抑制波束漂移效应,需要在波束成形增益和数据传输的有效时间之间进行权衡,尽管可以通过减少每个时隙的长度来减轻波束漂移效应,但也因此增加了波束训练的开销,降低了有效可到达率性能。而抛开一味使用窄波束的思想,当波束变宽时,单个波束所能覆盖的范围变大,虽然最大波束成形增益与窄波束相比受到影响,但与时隙内波束对准失败相比,仍然能够实现较好的数据传输效率。所以根据通信环境变化情况实时调整波束宽度则是应对波束漂移效应的一个有效方案。
实现思路