本技术涉及脑电信号处理技术领域,具体为一种基于自回归预训练和特征对齐的脑电图像生成方法,包括:1、将预处理后的脑电信号转换为脑电编码,计算脑电编码的位置编码,并将添加了位置编码的脑电编码传输到脑电自回归编码器中,得到潜在表征;2、利用自回归预训练法对脑电自回归编码器进行训练;3、利用潜在表征对CLIP模型进行训练;4、利用现有的脑电‑图像对数据集对稳定扩散模型内去噪U‑Net网络进行训练;5、对训练后的脑电自回归编码器、训练后的CLIP模型以及训练后的去噪U‑Net网络进行测试,并生成最终去噪后的图像。本发明通过特征对齐,建立了脑电信号与图像之间的映射关系,实现了从脑电到图像的跨模态转换。
背景技术
近年来,脑机接口技术的发展为人们提供了一种新的人机交互方式。传统的脑机接口技术主要侧重于利用脑电信号进行意图识别、运动想象等任,然而将脑电信号转化为图像的研究还相对较少。虽然已有一些研究尝试利用深度学习方法将脑电信号转化为图像,但仍存在以下问题和缺点:
a)现有的脑电图像生成方法大多依赖于预先定义的图像类别或模板,生成的图像多为抽象或简单的几何图形,缺乏多样性和真实性。
b)现有方法通常直接将脑电信号作为输入,未充分利用脑电信号的时序特征和潜在表征,导致生成图像质量和准确性较低。
c)现有方法缺乏有效的跨模态特征对齐机制,未能很好地建立脑电信号与图像之间的映射关系,影响了生成图像的相关性和一致性。
造成这些问题和缺点的原因可归结为以下几点:
a)脑电信号具有高维度、非平稳等特点,难以直接用于图像生成任务。
b)缺乏大规模、高质量的脑电-图像配对数据集,限制了深度学习模型的训练和优化。
c)脑电信号与图像属于不同的模态,跨模态特征对齐和转换存在挑战。
d)对于脑电信号与视觉想象之间的认知机制理解有限,难以建立有效的脑电-图像生成模型。
因此,亟需一种新的技术方案来解决上述问题,以提高脑电图像生成的质量、多样性和可解释性,推动脑机接口技术在视觉想象和图像生成领域的应用。
实现思路