脑机接口(Brain-Computer Interface，BCI)是一种通过采集脑电信号(Electroencephalogram，EEG)或其他与人脑活动有关的生理信号来控制计算机或外部设备的通信系统。RSVP-BCI是BCI的一个特定范式，通过检测由脑电信号引发的特殊波形，即事件相关电位(Event-Related Potential，ERP)，来识别目标图像中的P300成分。在基于快速序列视觉呈现的脑机接口系统(Rapid Serial Visual Presentation Brain-ComputerInterface，RSVP-BCI)中，字母或图像通常以固定频率依次闪烁显示在屏幕上。受试者被要求观看这些图像序列，并计算目标图像(特定类型的图片)出现的次数。目标刺激的出现会引发P300事件相关电位，这一电位与刺激开始时间锁定，具有固定的相位。通过对头皮记录的脑电信号进行实时分类，RSVP-BCI被广泛用于目标搜索和交互控制任务，如视频监控和字符拼写。当被试观察到目标图片时，会引发P300成分，通过解码可识别目标图像。RSVP任务通过提取ERP特征区分目标和非目标刺激，因此ERP成分的检测在RSVP-BCI的分类中起着重要作用。RSVP-BCI的分类框架包括预处理、特征提取和分类，其中有效的特征提取显著提高分类精度。然而，RSVP脑电信号存在类别不平衡问题，目标图片的出现频率远低于非目标图片，导致分类性能受到影响。 近年来，许多研究集中在提高RSVP-BCI性能的特征提取方法上。在机器学习算法方面，Sajda等人提出了一种名为层次判别成分分析(Hierarchical DiscriminantComponent Analysis，HDCA)的时空混合特征提取方法，通过Fisher线性判别(FLD)提取空间特征，并使用逻辑回归获取时间特征。Alpert等人提出了空间加权FLD-主成分分析(SWFP)方法，结合FLD和PCA提取时空混合特征。此外，Alpert等人还开发了HDCA的改进版本，称为层次判别主成分分析(HDPCA)，其在时间维度上使用PCA进行降维。Xie等人提出了一种滤波器组时空成分分析(FBSCA)方法，在时频空间域内分解γ频段的EEG数据，提取时空特征以提高RSVP任务的分类性能。Xiao等人提出了判别性典型模式匹配方法，即使在小训练集下也能有效检测微小的ERPs。Cui等人设计了一种时空混合的公共空间模式(CSP)-PCA算法，以解码RSVP任务中的EEG信号，该算法采用CSP提取空间特征，并使用PCA获取时间特征。基于时空混合特征提取的变种方法在提高RSVP-BCI性能方面也做出了贡献。区别于机器学习算法，深度学习可以自动从脑活动的EEG记录中提取具有判别力的数据表示。例如，Cecotti等人采用卷积神经网络(CNN)自适应地检测时域中的P300波，在P300拼写任务中进行了测试，并显示出性能的改进。后来，Cecotti等人在另一项研究中提出了监督空间滤波方法，以增强EEG数据中的判别信息。他们提出了一种包含专门用于空间滤波层的CNN模型，以检测ERP，并基于最大化接收者操作特征曲线(AUC)下的面积进行训练。Schirrmeister等人提出了一种名为DeepConvNet的CNN模型，用于BCI中的EEG解码任务，该模型由五个卷积层和一个用于分类的softmax层组成。Lawhern等人提出了一种紧凑的神经网络，名为EEGNet，用于基于EEG的BCI，并在各种EEG分类任务中取得了显著的性能。Vázquez等人提出了EEG-Inception，该模型集成了Inception模块，通过不同时间尺度有效提取时间特征，用于ERP分类。 要实现基于RSVP的BCI，关键是有效分类在RSVP任务中生成的EEG信号。然而，当前针对RSVP EEG分类的方法的性能仍然不尽如人意。文献表明，需要解决以下两个问题： 1、类别不平衡的问题在一般的RSVP范式中最为常见，在视觉呈现过程中，需要在两个相邻的目标图像之间保持足够的时间间隔以引起P300响应，非目标样本的数量远远超过了范式设计中目标样本的数量，这种类别不平衡问题严重影响了RSVP EEG信号分类的性能，因为多数类占主导地位，导致高假阳性率。 2、在脑机接口解码研究当中，生理信号的快速波动、伪迹和个体差异性是降低EEG信号分类性能的关键因素。深度学习方法聚焦于如何提取这些信号中的关键特征以提供更好的决策。然而，如何充分利用RSVP EEG信号中的关键信息仍然具有挑战性。 对于第一个问题，近年来Li等人提出了一种基于多粒度信息的新型解耦表示学习模型，来消除类别不平衡问题的影响并提取多粒度EEG信息，将模型训练过程分解成表示学习、分类器训练2个过程来捕捉不平衡RSVP EEG数据的判别特征同时保持分类性能，首先对预处理以后的脑电信号数据集进行构建正负样本对的操作，利用双分支架构，通过将表示空间中正对的余弦相似度变小，负对的余弦相似度变大来最小化对比损失。对于不平衡数据集，表示学习的过程对于目标样本和非目标样本的区分一般影响甚微，但对于分类器来说，使用高度不平衡数据集进行训练虽然分类的准确性很高，但是同时模型的误警率也是极高，这是因为大多数的目标样本都没有被正确地分类，很多目标样本被判定为非目标样本，模型从容易分类的样本的到收益很少，模型应该关注那些困难分类的样本，不管它属于哪一种类别，但大量的容易样本加起来的贡献会盖过困难样本，使得训练效益很低。对于一般的RSVP任务，类别不平衡问题非常明显，应该深入考虑。Li等人的策略丢弃了许多可能对分类有价值的非目标样本。同时，欠采样无法拟合全部训练数据分布，导致不平衡测试集内数据分布的不一致性。因此，在RSVP任务中解决类别不平衡问题需要探索更有效的解决方案。 对于第二个问题，Xiao等人使用了基于注意力的双向LSTM来探索不同时间片的重要性。不同情感状态在不同频带、时间点和脑区的激活程度中显现出差异，在特定频带、时间点或者脑区中，每种情感状态都存在一些稳定且具有辨别能力的模式[42] 。Jia等人[43] 设计了一个并行的时空注意力模块以自适应地捕获一些关注的脑区、频带和时间点。同样，采用空间注意力来识别有价值的脑区以提高情感识别的准确性，为构建空间注意力，采用频带维度的全局平均池化(bGAP)来降低频带维度。但是，目前仍然存在两个具有挑战性的问题需要解决。一是如何有效地获取和利用不同尺度的特征图的空间信息，丰富特征空间。二是通道注意力或者或空间注意力只能有效捕获局部信息，无法获得更具代表性的特征。最新的一些方法虽然能有效解决上述问题，但是他们同时会带来巨大的计算负担。 通过对以上现有方法的优缺点进行探讨分析，提出了一种基于自适应通道混合注意力机制和多任务协作的RSVP类不平衡脑电信号分类方法，相较于经典的EEGNet和DRL模型，本发明提出的分类方法更能有效提升RSVP脑电信号的解码性能。