宽光谱探测和信息处理在地球遥感、环境监测、无人驾驶等诸多领域有着重要的应用需求。目前的宽光谱信息探测和信息处理分别由不同类型的图像传感器和数字图像处理器完成，这使得传统宽光谱机器视觉系统面临着较大功耗和较高时间延迟的挑战。感算一体技术被认为是解决上述挑战的有效途径，然而，如何设计出满足上述需求的量子材料，并实现具备宽光谱多信息同步探测和处理功能的新型感算一体器件是一个广受关注的议题。
二维层状材料是后摩尔时代被寄予厚望的基础电子材料之一。我校物理学院缪峰教授团队一直专注于探索二维材料的独特物性与调控机制，以及新原理器件的设计与实现，开拓和发展了"原子乐高"电子学和光电子学方向。近日，缪峰教授团队与华中科技大学翟天佑教授团队合作，利用双极性二维范德华异质结能带匹配类型电场可逆调控的特性，在传感器内实现了宽光谱卷积处理和识别，为开发用于各种复杂模式识别任务的感算一体图像传感器提供了全新的思路。
在这项工作中，合作团队系统研究了PdSe2/MoTe2异质结在不同光功率和栅压下的光响应率，发现器件在从紫外到近红外波段均具有电场可调的正负光响应，而且光响应率与光功率、栅压之间在一定范围内均保持着优异的线性依赖关系，这使得向量与矩阵之间的线性点乘运算能够被准确映射到该物理过程中（如图1所示）。因此，利用该异质结的优异线性响应特征能够实现图像信息的精确转换和可重构处理，及图像识别训练过程中的精准权重更新。
图1：宽光谱感算一体信息处理机制示意图和PdSe2/MoTe2异质结器件。（a-b）基于感算一体的宽光谱卷积示意图；（c）PdSe2/MoTe2双极性范德华异质结器件；（d）在栅压调控下，器件对紫外-可见-近红外三个波段均表现出可调的正负光伏响应。
通过将异质结器件配置成不同的卷积核，合作团队展示了对包含宽光谱信息的遥感图片执行不同类型卷积滤波的处理结果（例如：遥感图像的锐化、边缘增强）（如图2a-d所示）。进一步，合作团队利用感算一体异质结传感器构建了宽光谱卷积神经网络，实现了对宽光谱图像的精确识别。对于所展示的宽光谱字母图像数据集（如图2e所示），其每个像素对应着不同波段以及不同光强的信息，基于器件的宽光谱可重构正负光响应特性，宽光谱感算一体卷积网络可以对这种混合光强及波段信息的图片同步进行探测与计算，将不同波段的图像特征信息进行关联。结合反向传播训练方法，不断进行动态训练以栅压更新，仅经过3个训练周期后，网络的识别准确率便可接近100%。与之相比，单光谱卷积器件只能探测和处理图像中特定波段的信息，为了实现宽光谱识别，需要利用多个特定的卷积核来探测不同波段的信息，然后再进行整合处理，这种拆分图像的分离波段探测处理方法不仅弱化了图像中本征特征之间的联系，增加了处理的数据量，而且使得训练速度和识别效果明显弱于宽光谱卷积处理（如图2f所示）。该工作为解决传统机器视觉系统中宽光谱信息感算分离的问题，及开发适用于复杂模式识别任务的感算一体全硬件图像识别系统提供了全新的思路。
图2：基于PdSe2/MoTe2异质结器件的宽光谱信息处理和混合光谱图像的识别分类。（a-d）宽光谱遥感图像的可重构处理；（e）字母图像数据集，每个像素包含不同的波段和强度信息；（f）宽光谱卷积识别结果与单光谱卷积识别结果比较。
该工作的相关研究成果以"Broadband convolution processing using band-alignment-tunable heterostructures"（基于可调能带匹配异质结的宽光谱卷积计算）为题于2022年4月25日发表在电子学国际权威期刊《自然·电子学》（《Nature Electronics》）上（https://www.nature.com/articles/s41928-022-00747-5）。华中科技大学材料学院博士生皮乐晶、南京大学物理学院博士生王鹏飞和梁世军副教授为论文共同第一作者，华中科技大学材料学院周兴副教授、翟天佑教授与南京大学物理学院缪峰教授为论文的共同通讯作者。该工作得到国家优秀青年科学基金、国家自然科学基金重点项目、科技部重点研发计划等项目资助，以及固体微结构物理国家重点实验室、人工微结构科学与技术协同创新中心等支持。
文章链接：https://10.1038/s41928-022-00747-5
缪峰教授团队主页：http://nano.nju.edu.cn/