近期,中国科学院上海光学精密机械研究所研究员司徒国海团队提出了基于深度神经网络的、能够应用于自然场景的实时非侵入式透过散射介质光学成像方法(DescatterNet)。相关研究成果以Learning-based real-time imaging through dynamic scattering media为题,发表在《光:科学与应用》(Light: Science & Applications)上。
透过散射介质成像具有科学意义和应用价值。有研究利用深度神经网络实现在散斑图样中复原清晰的物体,通过优化光场调控实现透过散射介质聚焦以及实现超17倍光学厚度的散射成像等。而受限于实际应用场景数据集难以采集,多数研究只能利用空间光调制器依次加载大量图像。在实验室人造散射环境中,人造光源侵入式照明条件下,利用相机采集相应的散射图像。这样设计的实验条件与实际散射场景在光学特性上大相径庭。通过这些数据训练的深度神经网络只可用于类似的实验环境,无法应用于真实的外场散射环境。
该团队提出了深度学习技术应用于真实散射场景的解决方案,分别从实验装置设计、数据集设计、数据预处理方法、AI模型优化和部署等方面开展研究,在真实物体和自然场景中取得显著的散射成像效果。
研究显示,随着散射程度加深,原始散射图像迅速退化并完全无法分辨。DescatterNet对真实物体实现了高质量的散射成像,提高了成像系统的探测性能。
在前期成果的基础上,该团队进行了自然场景的散射成像实验并搭建了成像装置。实验中,该团队实现了透过户外5.9km的浓雾环境对自然场景的散射成像。传统图像增强方法难以复原出清晰图像,而DescatterNet可以取得最优的复原结果。
该研究表明,AI技术应用于真实散射场景的关键在于适配的数据集、数据处理算法及强大的神经网络。该研究结合光学成像原理研制的新一代智能成像技术提高了系统的探测性能,在恶劣天气下交通安全、视频监控、火场救援和水下探测等领域展现出应用前景。
研究工作得到国家自然科学基金、上海市相关项目的支持。
供稿人:杨越
审核人:文成锋