像蝴蝶一样看光学发明增强了相机功能

蝴蝶比人类能看到更多的世界，包括更多的颜色和场振荡方向，或光的偏振。这种特殊的能力使它们能够精确导航、觅食和相互交流。其他物种，如螳螂虾，可以感知更宽的光谱，以及光波的圆偏振或旋转状态。它们利用这种能力来发出“爱情密码”，这有助于它们找到配偶并被配偶发现。

受动物王国这些能力的启发，宾夕法尼亚州立大学工程学院的一组研究人员开发了一种超薄光学元件，称为超表面，它可以连接到传统相机上，并通过微小的天线状纳米结构对快照或视频中捕获的图像的光谱和偏振数据进行编码，这些纳米结构可以调整光的特性。该团队还开发了一个机器学习框架，可以在标准笔记本电脑上实时解码这些多维视觉信息。

“正如动物王国向我们展示的那样，我们用眼睛看不到的光的方面蕴含着我们可以在各种应用中使用的信息，”电气工程副教授、论文的主要通讯作者XingjieNi表示。“为了做到这一点，我们通过将我们的超表面集成到传统相机中，有效地将其改造成紧凑、轻便的高光谱偏振相机。”

Ni解释道，高光谱和偏振相机通常体积庞大，生产成本高昂，它们可以捕获光谱或偏振数据，但不能同时捕获两者。相比之下，当放置在摄影相机的镜头和传感器之间时，制造成本低廉的3毫米x3毫米超表面可以同时捕获两种类型的图像数据，并立即将数据传输到计算机。

然后必须解码原始图像以显示光谱和偏振信息。为了实现这一点，电气工程博士生、论文合著者刘博峰利用数据增强技术构建了一个机器学习框架，该框架对180万张图像进行了训练。

左为电气工程副教授倪星杰，展示一款集成了3毫米x3毫米超表面的相机传感器。超表面将传统相机转变为高光谱偏振相机。右为论文共同通讯作者、电气工程教授刘志文。图片来源：KateMyers/宾夕法尼亚州立大学

“以每秒28帧的速度(主要受限于我们使用的相机的速度)我们能够利用神经网络快速恢复光谱和偏振信息，”刘说。“这使我们能够实时捕获和查看图像数据。”

研究人员通过在不同激光束照射下录制透明“PSU”字母的视频来测试他们的超表面和神经网络。他们还拍摄了圣甲虫的图像，这种甲虫以反射其他同类可见的圆偏振光而闻名。

倪先生表示，如果该技术实现商业化，那么立即获取不同物体的高光谱偏振信息将使消费者受益。

“我们可以带着相机去杂货店，拍照并在购买前评估货架上水果和蔬菜的新鲜度，”Ni说。“这款增强型相机为我们打开了一扇通往看不见的世界的窗户。”

此外，Ni表示，在生物医学应用中，高光谱偏振信息可用于区分体内组织的材料和结构特性，可能有助于癌细胞的诊断。

这项工作以Ni先前对其他超表面的研究和开发为基础，其中包括一种模仿人眼处理能力的超表面，以及一种能够对包括月球在内的遥远物体进行成像的超透镜。

除了倪教授和刘教授之外，本文的共同作者还包括共同通讯作者、宾夕法尼亚州立大学电气工程系教授刘志文、电气工程系博士后学者安贤珠，以及电气工程系研究生张丽丹、周晨、丁一鸣、常胜元、段瑶、MdTarekRathman、夏图南和陈曦。