针对边缘视频传输中因缺乏环境感知能力导致大量静态冗余帧被重复传输的问题,37000威尼斯向路平老师课题组提出了基于计算机视觉感知的语义通信(SCCVS)框架,通过智能关键帧感知与压缩率自适应机制显著提升了传输准确度并降低了延迟。相关论文已发表在顶级期刊《IEEE Transactions on Mobile Computing》(中科院1区,CCF-A类期刊,影响因子:9.2)。
【研究背景与挑战】随着视觉传感器在边缘监控等领域的广泛应用,海量的视频数据传输对频谱资源造成了巨大压力。语义通信(Semantic Communications, SC)虽能通过提取语义特征大幅压缩数据,但在处理边缘视频场景时,传统SC方案往往缺乏环境感知能力,导致大量静态冗余帧被重复传输,效率亟待提升。

图1 系统模型示意图
【核心创新】针对上述痛点,团队提出了一种基于计算机视觉感知的语义通信(SCCVS)框架,专为边缘视频传输设计。该框架实现了两大关键突破:(1)自适应压缩与高效学习:引入压缩率自适应语义通信(CRSC)模型,可根据视频帧的动静属性智能调整压缩率,并结合知识蒸馏技术保证模型的高效训练。(2)智能关键帧感知:设计了基于计算机视觉的感知模型(CVSM),通过精准检测目标运动来感知场景变化,从而避免无效传输。此外,CRSC与CVSM均采用轻量化设计,完美适配资源受限的边缘传感设备。

图2 SCCVS的架构示意图
【实验结果】与现有基准方案相比,SCCVS框架表现优异:
·传输准确度提升约 70%
·传输延迟降低约 89%



图3 部分实验结果图
【工作总结】该工作有效解决了边缘视频传输中因重复传输静态帧导致的低效问题,在资源受限条件下实现了传输准确率和延迟的显著优化。
欢迎对该研究工作感兴趣的学术同行来信交流:luping.xiang@nju.edu.cn。