科学家发现，通常情况下艾里斑尺寸与光的波长（λ）、成像系统口径（D）和数值孔径（NA）等参数有关。
减小艾里斑尺寸的方法有两个：第一是减少探测器系统的波长，第二是增加光学系统的口径。这两种方法已广泛应用在天文领域，如改变波长的x射线望远镜，γ射线望远镜等（x射线、γ射线波长比可见光波长更短）；如扩大口径的欧洲极大望远镜，其通光口径达到了惊人的39米，其清晰度将比哈勃太空望远镜（名词解释）高16倍。
图4：欧洲极大望远镜示意图
但是绝大多数时候，根据光学系统的任务需求，其口径与波长是不能改变的。因此，进一步获得更清晰的图像的方法，是提高探测器的分辨率即减少探测器感光区域的尺寸同时减少感光区域间的“死区”大小。如将×分辨率30μm像元尺寸的中波红外探测器更换为×分辨率15μm像元尺寸的探测器，更进一步，更换为×分辨率像元尺寸7.5μm的探测器。众所周知的是，随着探测器分辨率的提升以及像元尺寸的减少，其价格是呈指数增加的。
一个有意思的现象，当我们将偏移半个像素的同一场景的照片快速切换时，似乎我们看到了比一张静止照片更多的细节。这是因为人眼观看物体时图像会在视网膜上延续0.1-0.4秒的时间，人眼的这种性质被称为“眼睛的视觉暂留”（名词解释）。快速切换的图片，由于眼睛的视觉暂留，导致我们看到的画面的叠加，经大脑处理后，我们看到了更清晰的图像。当我们用于多幅采样相位不同的图片时，我们就可以获得更高分辨率的图片，我们将这一过程称之为图片的超分辨重建（名词解释）。
图5：微扫描引入的亚像素位移
但是需要说明的是基于深度学习的图像超分辨算法，其是基于数据驱动的，即使用的训练集是什么，超分后的结果就是什么，而不是实际场景是什么，超分后的结果就是什么。
图6：单帧超分辨基于数据驱动
为了保证侦查的真实性，在航空侦查领域，一般不会采用基于数据驱动的深度学习的超分辨算法，而是采用基于模型的传统超分辨重建算法。对于传统超分辨重建算法，获得稳定的相位差异是必不可少的。
一般来说有两种方式可以获得稳定的相位差异：第一、移动相机；第二、移动光学镜头。
对于移动相机的方案，最初应用在卫星上，利用卫星在轨飞行的运动在不同时间点拍摄同一个地面目标，以此获得具有半像素相位差异的多幅图片，从而进行超分辨处理，如WordView-2卫星。
图7：WordView-2卫星图像超分辨处理
机载光电侦察设备对尺寸、重量和抗冲击振动等有这特殊的要求，同时对输出视频的实时性与准确性都有着严格的要求。因此，在机载应用环境下需使用高速微扫描技术结合基于嵌入式系统的实时超分辨处理。
为了提高航空光电侦察平台在长焦条件下的图像分辨能力，长春光机所航测一部某重点项目组，派出优秀科研团队，与上海乂义实业有限公司联合开发出高速微扫描成像系统，并对采集的图像进行超分辨处理，明显提升了光电设备的识别能力，并在外场飞行实验环节得到较好的验证。
该成果以“高速微扫描图像超分辨重建”为题发表在《光学精密工程》（EI、Scopus收录，中文核心期刊）。
将光学系统内部透镜固定到高速微扫组件上，在探测器曝光的间歇期快速移动光学透镜一段距离，使探测器输出的前后两帧图像存在亚像素偏差。然后使用基于概率分布的超分辨重建算法，将低分辨率图像序列处理成高分辨率图像。
图8：高速微扫描超分辨示意图
在机载环境下，为了保证充分发挥探测器的性能，高速微扫描设备需利用探测器两次曝光的间隔来进行位移，当探测器处于曝光阶段时，透镜保持位置稳定，当探测器处于非曝光阶段时，二维压电高速微扫描平台带动透镜快速运动实现亚像素位移，确保微扫描不引起图像模糊，提高成像质量。
针对输出帧频为FPS的探测器，高速微扫描超分辨核心组件进行了专门的优化设计，采用2×2的过采样扫描方式，微扫描时间＜1.0ms，到位稳定精度＜0.3μm（对应约0.03个像素）。
图9：高速微扫描位移实测结果
基于概率分布的超分辨重建算法的基本原理是：建立真实成像的数学模型，估计模型的相关参数，结合探测器输出的低分辨率图像序列Y，构建符合一定条件的像素概率分布函数，通过极大似然估计，确定理想高分辨图像X。
图10：基于概率分布的超分辨重建算法的基本原理
为了提升帧间运动信息的时效性、准确性及鲁棒性，本文选用GPU-TX2i嵌入式平台作为硬件环境，并行构建80个子区域对应的关系矩阵，并行迭代求解子区域对应的高分辨率图像。为提高图像处理速度，在算法优化时使用更小的卷积核，严格控制存储量，实时调整迭代步长，降低图像处理运算量，最终获得期望的超分辨率图像。
室内靶标测试识别的目标是USAF分辨率测试板。由于实验在室内进行，不存在大气湍流扰动和伺服控制精度的问题，这四张图片的偏差实际为0.5个像素，属于一种较为理想的状态。
图11：低分辨图像序列
相比于低分辨率原始图像，超分辨重建后的图像空间分辨率提升78.2%。
图12：低分辨图像与超分辨图像对比
室外复杂场景测试相较于室内靶标测试，不能忽略大气湍流扰动和伺服控制精度的影响，为了不降低超分辨重建算法在复杂场景下的鲁棒性、稳定性，需要对过采样获取的图像进行配准。经超分辨重建处理后，图像中的混叠信息被去除掉了，目标的特征更清晰、识别更容易。
图13：室外场景低分辨图像与超分辨图像对比
先敌发现、先敌识别是机载光电侦察设备的重要指标。初期为了论证高速微扫描超分辨技术对于探测距离是否有提升，进行了基于场景的光学仿真分析。
光学仿真结果表明，针对同一场景，经超分辨重建获取的高分辨率图像对坦克目标的识别距离由.54m提升到.68m，识别距离提升了约43.3%。
图14：距离目标.54m处，低分图与超分图对比
图15：距离目标.68处，低分图与超分图对比
微扫描组件和超分辨重建技术的配合使用，既能提升光电侦察设备输出图像的有效空间分辨率，又能增加光电侦察设备对地面目标的识别距离。后续的飞行测试也进一步验证了这一结论。
论文信息
赵浩光,曲涵石,王鑫等.高速微扫描图像超分辨重建[J].光学精密工程,,29(10):-.
DOI：10./OPE.2910.
监制
赵阳
编辑
赵唯
欢迎课题组投稿——新闻稿
转载/合作/课题组投稿，
带您每天读1篇文献！加入Light读书会