实验室博士生殷文的论文“Backdoor Attacks on Bimodal Salient Object Detection with RGB-Thermal Data”于2024年07月21日被ACM International Conference on Multimedia (ACM MM) 录用。ACM MM是中国计算机学会推荐的A类国际学术会议。

在云边融合的安全存储系统中，边缘端的视频监控是常用的数据采集方式。其中，可见光—热显著目标检测可以充分利用可见光和热红外来有效采集车辆、行人等数据信息，将图像中最受注意的目标分割出来。然而，对于可见光—热显著目标检测的后门攻击会使得模型分割出错误的显著目标，严重威胁存储系统中的数据安全。

图1. 攻击管道概述：首先将可见光和热触发器分别植入到对应模态图像中获得有毒的图像对（红色框表示触发器的影响范围，用于生成不存在的显著目标）。然后将有毒图像对和对应的错误显著目标标签混入训练数据进行模型训练，所得到的后门模型对于良性图像对会分割出正确显著目标，而对于植入触发器的图像对分割出错误显著目标。

为了揭示可见光—热显著目标检测后门攻击产生的数据威胁以及有毒数据对于模型训练的危害，信息存储与光显示功能实验室博士生殷文，在导师谢雨来教授、及周潘教授、微软公司朱斌老师的联合指导下，提出了针对可见光—热显著目标检测的第一个后门攻击—双模态后门攻击，攻击流程如图1所示。受到攻击后，对于植入了触发器的图像对，检测模型会生成由攻击者选择的输出，该输出可以是以下三种：1. 不存在的显著目标；2. 整个图像均为显著目标；3. 整个图像中没有显著目标。经过研究发现，在这类显著目标检测模型中，触发器导致模型生成不存在的显著目标是有其影响范围的，本文提供了影响范围的理论近似值。另外，广泛的实验验证了双模态后门攻击在数字域和物理域中的有效性。值得注意的是，该攻击仅使用5对有毒训练图像就实现了86.72%的攻击成功率。在探索了潜在的防御措施后，这些现有防御无法有效阻止双模态后门攻击，凸显了在云边融合的安全存储系统的构建中对抗复杂后门攻击的迫切需要。

研究工作得到了国家重点研发计划（No.2022YFB4501300）的资助。