针对传统单模态感知在复杂环境下准确性受限、解耦的传感与通信架构导致高延迟及通信开销大等问题，37000威尼斯向路平老师课题组提出了语义驱动的多模态通感一体化（SIMAC）框架，通过多模态语义深度融合与大语言模型信道自适应编码机制，显著提升了感知精度并降低了通信开销。相关论文已被通信领域国际顶级期刊《IEEE Journal on Selected Areas in Communications》（中科院1区，CCF-A类期刊，影响因子：17.2）录用发表。
【研究背景与挑战】传统的单模态传感（如仅依赖雷达或视觉）在复杂环境下往往面临准确性受限和感知能力不足的问题。此外，传统的“传感-通信”解耦架构不仅增加了处理延迟，而且在带宽受限的场景下会产生巨大的通信开销。现有的单任务导向系统也难以满足用户日益多样化的个性化感知需求。
图1 系统模型示意图
【核心创新】针对上述挑战，团队提出了一种语义驱动的多模态通感一体化（SIMAC）框架。该框架实现了三大关键技术突破：
1.多模态语义深度融合（MSF）：设计了多模态语义融合网络，利用双向交叉注意力机制（Cross-Attention）将雷达信号的物理空间信息与视觉图像的丰富语义特征进行深度融合，克服了单模态感知的局限性。
2.基于大语言模型的信道自适应编码（LSE）：创新性地引入大语言模型（GPT-2）作为语义编码器，将多模态语义与实时信道参数（如信噪比、调制方式）映射到统一的潜在空间。这使得编码器能够根据信道环境自适应调整，显著增强了传输的鲁棒性。
3.多任务导向的智能解码（SSD）：提出了面向任务的传感语义解码器，通过多任务学习策略，仅需一次传输即可同时实现图像重建、距离预测、角度估计和速度检测等多种感知服务，极大提升了服务效率。
图2 SIMAC的架构示意图
【实验结果】基于VIRAT视频数据集的实验表明，SIMAC框架在各项指标上均优于现有的单模态及传统RNN基准方案：
感知精度显著提升：距离预测的均方根误差（RMSE）较纯视觉方案降低约 83.3%，较纯雷达方案降低55.0%。
LLM模型优势明显：相比于LSTM和GRU，基于GPT-2的语义编码器将角度、距离和速度的预测误差分别降低了高达40%和90%。
低延迟与高质量：整个框架的推理延迟仅为1.5毫秒，且重建图像的峰值信噪比（PSNR）提升了1.2dB。
图3 部分实验结果图
【工作总结】通过融合雷达与视觉的多模态信息，并利用大语言模型进行信道自适应编码，成功构建了一个低开销、高精度且支持多任务的通感一体化系统，为复杂环境下的智能感知与通信提供了全新的解决方案。
欢迎对该研究工作感兴趣的学术同行来信交流：luping.xiang@nju.edu.cn。
English