在人机交互领域，一项突破性的研究成果正引领着可穿戴技术的未来。国际期刊《Nature Communications》在线刊发了由华中科技大学、中国科学院上海硅酸盐研究所、中国科学院大连化学物理研究所等机构的科学家们联合发表的最新研究成果“Crossmodal sensory neurons based on high performance flexible memristors for human-machine in-sensor computing system”，介绍了一种基于高性能柔性VO2忆阻器的跨模态感觉神经元（CSSN），这项技术有望极大地提升人机交互系统的性能，为可穿戴人机交互系统的发展提供了新的可能性。

 01  
 跨模态感知的重要性  

在现实世界中，我们通过视觉、听觉、触觉等多种感官来感知环境并与之互动。同样，机器人和智能设备若要在复杂环境中自如地工作，也需要具备类似的多模态感知能力。例如，在搜索救援、医疗手术或深海探索等任务中，机器人需要能够识别和处理各种信息，如物体的形状、质地、温度等，以做出准确的判断和反应。然而，现有的技术往往依赖于多个分离的传感器和复杂的数据处理系统，这不仅增加了系统的复杂性，也限制了其灵活性和效率。

Fig. 1 | Bio-inspired crossmodal intelligent in-sensor computing system.

 02  
 忆阻器的创新应用  

为了解决这一问题，科学家们将目光投向了忆阻器这一新兴的电子元件。忆阻器，作为电路的第四种基本元件，因其独特的记忆功能和非线性特性，成为了实现这一目标的关键。在这项研究中，科学家们利用柔性VO2忆阻器，成功构建了一种新型的跨模态感觉神经元（CSSN），它能够模拟人类神经元的工作方式，将感知到的压力和温度信息转换为电信号。

这种CSSN的设计灵感来源于人类的感觉神经系统，它通过高度集成的电路模拟了人类神经元的尖峰编码机制。图1所示，CSSN由柔性VO2忆阻器和压阻传感器组成，能够实时响应外部刺激，产生类似于生物神经元的尖峰信号。这种信号的频率和幅度随着刺激的强度而变化，从而实现了对多模态信号的编码。

在实现CSSN的过程中，研究团队面临着如何制造出既具有良好的电学性能，又能够适应各种工作环境的柔性忆阻器的挑战。为了克服这一难题，科学家们采用了一种创新的制造工艺，成功地将VO2薄膜的沉积温度降低至280°C，同时保持了材料的高性能。这种柔性VO2忆阻器展现出了卓越的耐久性，能够承受超过1012次的循环测试，且在循环间和设备间的一致性方面表现优异。

Fig. 2 | Structure and electrical characterization of the flexible VO2 memristor.

图2所示，柔性VO2忆阻器在不同的弯曲半径下均能保持稳定的阈值开关特性，证明了其出色的机械柔性。此外，它的响应速度极快，小于30纳秒，这意味着CSSN能够以极高的速度处理感知到的信息，满足实时交互的需求。

 04  
 温度和压力感应及编码特性  

CSSN的核心功能之一是能够同步编码温度和压力信息。通过精确控制电路参数，并对不同的温度和压力变化做出响应，产生不同频率的尖峰信号。这种编码机制不仅能够提高信号的传输效率，还能够减少信息在传输过程中的损失和干扰。

Fig. 3 | Temperature and pressure sensing and encoding characteristics of the artificial spiking sensory neuron.

CSSN在不同的温度和压力条件下均能产生稳定的尖峰信号（图3所示）。随着温度的升高，CSSN的尖峰频率增加，而电压幅度降低，与人类皮肤对温度变化的感知方式相似。同样，随着压力的增加，CSSN的尖峰频率也增加，模拟了人类对触觉刺激的响应。

这种跨模态的感知和编码能力，使得CSSN在实时监测和数据处理方面具有巨大的潜力。例如，在医疗健康监测领域，CSSN可以用于实时监测患者的体温和血压变化，为医生提供重要的生理信息。在环境感知方面，CSSN可以用于监测环境温度和压力变化，为环境监测和灾害预警提供技术支持。

 05  
 柔性跨模态传感器内编码和触觉反馈系统  

在人机交互的探索中，如何让机器理解并模拟人类的触觉反应一直是一个挑战。为了实现这一目标，研究团队开发了一种柔性跨模态传感器内编码和触觉反馈系统，该系统能够将感知到的外部刺激转化为机器人可以理解的信号，从而实现更加自然和直观的交互。

Fig. 4 | Crossmodal in-sensor encoding and haptic-feedback for human machine interaction.

该系统的核心CSSN，不仅能够编码压力和温度信息，还能够通过集成的硬件实现实时的触觉反馈。如图4所示，CSSN与机器人手相连，能够模拟人类的抓握和避障行为。当系统检测到温和的触摸时，CSSN产生低频的尖峰信号，指示机器人手轻柔地抓取物体；而当系统检测到高温或强烈的压力时，CSSN则产生高频的尖峰信号，触发机器人手的避障反应，以防止潜在的伤害。

这种柔性系统的开发，不仅提高了机器人对环境的适应能力，也为机器人提供了更加复杂和精细的操作能力。例如，在医疗手术中，这种系统可以帮助机器人更精确地感知手术区域的温度和压力变化，从而提高手术的安全性和效果。

 06  
 跨模态传感器内尖峰储备计算系统  

为了进一步提升系统的智能处理能力，研究者们构建了一个跨模态尖峰储备计算系统。该系统利用CSSN作为感觉层，直接将感知到的多模态信息编码成尖峰序列，并传递给尖峰储备层进行处理和分类。

Fig. 5 | Crossmodal in-sensor spiking reservoir computing for object recogni tion and feedback.

该系统通过模拟大脑的神经网络，实现了对动态物体的快速准确识别（图5）。在实验中，系统能够准确地识别出不同形状和大小的物体，即使在部分感知信息丢失或受到噪声干扰的情况下，系统依然能够保持较高的识别准确率。

这一跨模态传感器内尖峰储备计算系统的成功构建，不仅展示了CSSN在处理复杂信息方面的强大能力，也为未来智能设备的发展提供了新的可能性。例如，在自动驾驶领域，这种系统可以帮助车辆更准确地感知和理解周围环境，提高自动驾驶的安全性和可靠性。

随着技术的不断进步，基于CSSN的柔性电子设备在智能机器人、健康监测、环境感知等多个领域的应用前景广阔。这些设备不仅能够提供更加自然和直观的交互体验，还能够在各种复杂环境中稳定工作，为人类社会的发展带来更多的便利和福祉。

科学家们相信，随着研究的深入和技术的成熟，CSSN将在未来的人机交互领域发挥越来越重要的作用。从医疗健康监测到环境感知，从智能机器人到自动驾驶，CSSN的应用将极大地扩展智能设备的能力和范围，为人类带来更加智能化和个性化的生活体验。

参考资料：

[2] Chortos, A., Liu, J. & Bao, Z. Pursuing prosthetic electronic skin. Nat. Mater. 15, 937–950 (2016).

[3]  Mittendorfer, P. & Cheng, G. Humanoid multimodal tactile-sensing modules. IEEE Trans. Robot. 27, 401–410 (2011).

[4] Liu, M. et al. A star-nose-like tactile-olfactory bionic sensing array for robust object recognition in non-visual environments. Nat. Commun. 13, 79 (2022).

[5] Wang, M. et al. Gesture recognition using a bioinspired learning architecture that integrates visual data with somatosensory data from stretchable sensors. Nat. Electron. 3, 563–570 (2020).

[6] Pei, J. et al. Towards artificial general intelligence with hybrid Tianjic chip architecture. Nature 572, 106–111 (2019).

[7] Yu, F. et al. Brain-inspired multimodal hybrid neural network for  robot place recognition. Sci. Robot. 8, eabm6996 (2023).

[8] Li, Z., Li, Z., Tang, W., Yao, J., Dou, Z., Gong, J., Li, Y., Zhang, B., Dong, Y., Xia, J., Sun, L., Jiang, P., Cao, X., Yang, R., Miao, X., & Yang, R. (2024). Crossmodal sensory neurons based on high-performance flexible memristors for human-machine in-sensor computing system. Nature Communications, 15, 7275. https://doi.org/10.1038/s41467-024-51609-x