华中科技大学翟天佑、李渊Advanced Materials: 二维时间拉伸各向异性突触实现传感器内跨强度视觉特征融合

低维 昂维 低维 昂维 2025年6月8日 00:01 

【背景与挑战】

在现实世界的诸多应用中，如夜间摄影、强光下的自动驾驶、反射表面的航空探测以及高反差的监控场景等，高动态范围（HDR）环境中的极端亮度变化给成像系统带来了巨大的挑战。传统的应对策略通常依赖于多帧曝光融合、高比特深度传感器或芯片外神经网络处理等方式，但这些方法往往伴随着计算成本高、耗时、能耗大等问题，尤其在边缘计算或关键任务环境中，其延迟和隐私风险更是令人担忧。

华中科技大学翟天佑教授、李渊教授团队以创新的视角和方法，为这一难题提供了一种有潜力的解决方案，为未来智能视觉系统的发展开辟了崭新的道路。团队创新性得提出了一种名为2D时间拉伸各向异性突触（2D TSAS）的新型器件。它基于NbOI₂材料的独特特性，实现了在单一图像帧内进行传感器级的跨强度视觉特征融合。这种器件的开发，有望克服传统成像技术在HDR场景下的诸多挑战，如高延迟、低效率、隐私问题等，同时为边缘智能视觉提供高效、紧凑的解决方案。

【创新点】

2D TSAS巧妙地融合了NbOI₂材料的两个关键特性：平面内各向异性和时间拉伸光响应。前者源于NbOI₂的晶体结构不对称，导致材料在不同偏振方向上展现出显著的光学响应差异；后者则来自于材料内部多个光学跃迁通道，使得光激发后载流子的弛豫过程得以延长。这两种特性协同工作，使得2D TSAS能够在光激发过程中直接对空间-偏振和亮度特征进行编码和时间积分，从而实现了从单个图像帧中提取丰富视觉信息的能力。

【材料特性与器件设计】

NbOI₂作为一种二维材料，其晶体结构呈现单斜晶系，具有较低的对称性，从而导致平面内结构各向异性。这种各向异性使得材料在偏振光照射下展现出不同的光学特性，为实现偏振敏感的视觉功能奠定了基础。通过系统的光学表征，发现NbOI₂在400-800 nm波长范围内，沿非极化轴方向的最大吸收，随着偏振方向随极化轴旋转而逐渐减弱。这种波长依赖的线性二色性在约544 nm处达到最大值约3.9。NbOI₂还有着显著的非线性光学响应，如二次谐波产生（SHG）。这种效应的强度与激发功率呈二次关系，并且在不同激发波长下表现出明显的波长依赖性，这种波长依赖性和晶体轴向相关，呈现出明显的各向异性。由于极化轴方向更显著的反演对称性破缺，在该轴方向出现SHG最大值。这些特性表明，NbOI₂的光学特性受结构各向异性控制，线性光学特性由非极化轴激子主导，非线性光学特性由极化轴的对称性降低主导。

基于以上特性构筑器件，发现器件光电特性表现显著的时间拉伸响应。在光激发后，器件的电流水平呈现出逐渐衰减的特性，这种弛豫动力学模拟了生物突触的短期和长期可塑性。通过调节光的功率密度、脉冲持续时间、脉冲数量和频率等参数，研究人员能够精确控制器件的突触行为，从而模拟生物突触的功能。例如，随着光功率密度的增加，兴奋性突触后电流（EPSC）的幅度和持续时间也随之增加。当光刺激在EPSC完全恢复至基线之前再次施加时，由于未完全弛豫的载流子积累，后续响应得到增强，这种现象模拟了生物突触中的成对脉冲易化（PPF），即短期可塑性的一种形式。通过延长脉冲持续时间或增加脉冲数量，器件的EPSC表现出从短期可塑性向长期可塑性转变的趋势。

【神经形态图像处理与特征融合学习】

基于NbOI₂的这些特性，研究人员设计并制备了2D TSAS器件。通过设置，偏振器和半波片，实现了可调谐的线偏振光输入，使得器件能够响应不同偏振角度的光信号，并据此产生差异化的突触后电流输出，实现了对空间-偏振和亮度特征的直接编码和融合。

将2D TSAS应用于神经形态图像处理，研究人员提出了一种基于强度跨越的特征融合学习策略。这一策略能够在不依赖多帧捕获或芯片外计算的情况下，对多灰度级别的图像特征进行分层融合，从而极大地提高了视觉信息处理的效率。

以NWPU-RESISC45遥感数据集为例，该数据集对宽动态范围的光照覆盖有内在需求。传统的HDR技术虽然能够有效保持真实场景中的光照分布保真度，但会导致数据量呈指数级增长，从而影响训练和识别任务的计算效率。而基于2D TSAS的跨强度处理，能够拓展图像的灰度等级，使得每个处理后的图像都包含特定强度范围内的特征。这种处理方式不仅保留了图像的细节信息，还减少了数据冗余，为后续的特征学习和模式识别提供了有力支持。

进一步采用卷积神经网络（CNN）架构来验证这种特征融合学习策略的有效性。实验结果表明，与非融合（仅跨强度处理）数据集相比，跨强度特征融合学习在遥感图像识别任务中取得了显著的性能提升，准确率达到95.41%，并且训练损失得到了有效降低。在MNIST手写数字数据集上的验证也证实了该策略的普适性和有效性，为未来HDR特定数据集的应用提供了有力证明。

【图文导读】

图1. 2D TSAS的理论设计。A) 二维 NbOI₂ 晶体模型的俯视图（上图）和侧视图（沿 c 轴，中图）。各向异性的晶体结构导致了偏振响应（下图）。B) 具有多种弛豫途径的二维 NbOI₂ 的能带结构（上图），导致突触响应（下图）。C) 基于 NbOI₂ 的二维 TSAS 示意图（上图），显示 A 和 B 下图中描述的综合响应（下图）。D) 基于 A 和 B 下图所述特性的神经形态图像处理，采用强度跨度和特征融合策略。

图2. 晶体不对称诱导的二维 NbOI₂ 的各向异性光学特性。A) 偏振角度分辨吸收光谱。测试零点与 c 轴平行。插图显示了 0°/90° 的吸收比。B) 从平行（蓝色）和垂直（红色）配置下的偏振角分辨拉曼光谱中提取的 P2（≈209 cm^-1）极坐标图。D-F）分别为全配置、平行配置和垂直配置下的波长相关 SHG 光谱。每个插图都是提取的 SHG 强度与波长（λpump：800-1080 纳米）的函数关系。

图3. 二维 NbOI₂ 的光电突触特性。A) 不同功率密度（0.05、0.06、0.07、0.08、0.09 和 0.10 mW mm^-2）触发的 ΔEPSC。B) 光功率密度逐渐增加（0.02、0.09、0.31 和 0.58 mW mm^-2）触发的 ΔEPSC。C) PPF 指数与光脉冲间隔（0.07 mW mm^-2）的函数关系。插图显示了由两个连续光脉冲触发的 PPF 行为，其中脉冲持续时间和间隔都设定为 1 秒。D) 不同光脉冲持续时间（0.07 mW mm^-2）触发的ΔEPSCs。E) 不同光脉冲数（0.10 mW mm^-2）触发的 ΔEPSCs，脉冲持续时间设为 1 秒。F) 10 赫兹和 20 赫兹（左图）光脉冲（0.10 mW mm^-2）触发的 ΔEPSC，这是不同光脉冲频率（右图）触发的 ΔEPSC 的放大结果。G) 不同 Vds（0.07 mW mm^-2）条件下的ΔEPSC，脉冲持续时间设定为 1 秒。H) 不同 Vg（Vds = 50 mV，0.07 mW mm^-2）下的 ΔEPSC，脉冲持续时间设定为 1 秒。

图4. 用于强度跨度操作的二维 TSAS。A-D）不同功率密度在 0°、30°、60° 和 90°条件下触发的 ΔEPSC，脉冲持续时间设为 1 秒。E-H) 从偏振角度分辨 I-t 曲线中提取的 ΔEPSC 极坐标图，其中光功率分别对应于 A-D。I-L) 基于偏振角度分辨突触行为的强度跨度处理结果。M-P）分别对应于 I-L 的像素强度分布直方图。

图5. 基于强度跨度的特征融合学习。A) 用于特征融合学习的 CNN 模型示意图。Conv 1、2 和 3 分别是卷积层 1、2 和 3 的缩写。Pools 1、2 和 3 分别是池化层 1、2 和 3 的简称。FC 是全连接层的简称。B) 基于偏振角分辨突触行为的遥感图像数据集强度跨度处理示例。C) 处理后数据集的特征分布和融合示意图。D, E) 有特征融合学习和没有特征融合学习的遥感图像识别精度和损失函数。

【结语与展望】

2D TSAS器件的成功研发，标志着智能视觉系统向更高性能、更紧凑设计迈进了一大步。这一器件不仅在遥感和标准视觉任务中展现出卓越的识别能力，更为HDR成像、自主传感和边缘神经形态计算等领域提供了极具潜力的解决方案。未来的研究方向可能包括将TSAS阵列与新兴的边缘计算架构集成，通过二维/CMOS混合制造技术实现实时传感器内计算；或者开发基于动态光响应的设备内学习算法，以在能量受限环境中实现自适应数据压缩。这些努力有望进一步推动智能视觉系统的发展，使其在复杂多变的环境中更加高效、可靠地运行。 

论文信息：

D. Ouyang, M. Wang, N. Zhang, W. He, D. Huo, Y. Li, T. Zhai, 2D Time-Stretching Anisotropic Synapse Realizing In-Sensor Intensity-Spanning Visual Feature Fusion. Adv. Mater. 2025, 2507168. 

（链接：https://doi.org/10.1002/adma.202507168）

上海昂维科技有限公司现提供二维材料单晶和薄膜等耗材，器件和光刻掩膜版定制等微纳加工服务，以及各种测试分析，欢迎各位老师和同学咨询，竭诚做好每一份服务。