研发进展

主页 >>技术研发>>研发进展>>感知觉增强的大鼠机器人
感知觉增强的大鼠机器人
  • 国际上首次将计算机的视觉识别能力“嫁接”到生物体上,打造大鼠版“钢骨”;
  • 通过计算机视觉实现自动化识别有用信息,并通过脑机接口对大鼠的脑部关键核团植入电极加以刺激控制其左、右转向、前进以及停止等运动;
  • 感知觉增强的大鼠机器人能够对外界环境信息有效、准确地感知,并在复杂环境内自主搜索特定目标物。

2021-05-18

一只能看懂路标的大鼠

在一个复杂环境中,一只戴着“头盔”的大鼠正在执行任务,它的目标是找到一张印着人头的照片。在环境中有各种指示箭头,大鼠好像看懂了路标,顺着路标准确地找到了目标照片。

图1. 大鼠机器人在复杂环境中搜寻目标

依托于混合智能的视觉增强大鼠

大鼠的视觉很弱,执行这项任务,靠的是“嫁接”在它大脑的“机器视觉”。在大鼠的“头盔”里,有一个微型摄像头,充当大鼠的眼睛,把拍摄到的信号实时传输到外部运算电脑上,通过分析图像,电脑帮助大鼠做出行动判断,把行动指令传输给信号接收器,进一步通过刺激大鼠相应脑区,进而引发正确的行动。

计算机的视觉补充了大鼠自身的视觉,这一机器智能与生物自身智能融合的模式,被称为“混合智能”(bio-hybrid organism/cyborgs)。

图2. 大鼠机器人示意图

为什么刺激指令可以帮助大鼠导航?

那究竟是什么样的刺激指令帮助大鼠在左转、右转和前进中做出选择的呢?

原来,在大鼠脑部有一个重要神经结构——内侧前脑束(medial forebrain bundle,MFB),它与寻求奖赏体验以及形成欲望或动机密切相关。此外,大鼠原先是通过它们的胡须来敏锐地感觉周围的环境,进而决定行动。因此通过刺激大鼠的初级躯体感觉皮层(primary somatosensory cortex,SI),使他们产生胡须被触碰的感觉,就能以此诱导它们做出相应的转向运动,而通过把前进与奖赏建立联系,就可以促使大鼠做出前进的行为。

计算机视觉如何帮助大鼠增强?

在研究团队的上一版大鼠机器人中,刺激大鼠脑部的运动指令是由实验人员人工判断发出的,而这一次,这项工作完全依托于计算机视觉系统。这就意味着不单单要分辨环境信息,找到指示箭头和目标照片,还需要实时地分析大鼠的运动状态,并不断依据当前的运动状态调整刺激指令。实验结果表明,依托于计算机视觉的自动化系统与人工控制相比,在精准度和速度上都相差无几。

图3. 计算机需要识别指示和目标

混合智能的应用

将生物自身的感知觉能力与机器的计算能力深度结合,有望产生超越现有系统的更强智能形态。这一探索有望为神经康复和动物机器人提供研究思路,在残障康复、抢险救灾、国防安保等领域具有广阔的应用前景。

相关文献:

Wang, Y., Lu, M., Wu, Z., Tian, L., Xu, K., Zheng, X., & Pan, G. (2015). Visual cue-guided rat cyborg for automatic navigation [research frontier]. IEEE Computational Intelligence Magazine, 10(2), 42–52. https://doi.org/10.1109/MCI.2015.2405318

高时空分辨微型大脑钙成像显微系统 BrainScope

高时空分辨微型大脑钙成像显微系统 BrainScope

由浙大西投脑机智能研究中心孵化的科技型企业“领脑科技”已推出一款重量不足2.9g,单细胞分辨率级别的高精度长时间钙离子成像系统,可长期稳定佩戴在自由活动的实验动物头部,实时观测其神经细胞活动,将为功能性神经环路的探索,神经精神疾病的研究,神经系统药物的开发带来变革性的新武器。[wpforms_selector form_id="54854" show_title="on" _builder_version="4.10.4" _module_preset="default" global_colors_info="{}"...

小型可移动旋转的MRI系统:开启便携新时代

小型可移动旋转的MRI系统:开启便携新时代

随着医疗影像科技不断进步,患者期待能够在诊断过程中获得更好的体验,院方或科研机构希望获得更加物美价廉的诊断设备,影像科和研究人员希望成像质量得到保证。
浙大西投脑机智能研究中心开启了一款超乎想象的新型磁共振成像(MRI)系统的研发,帮助解决这些难题。一年以来,一款小型可移动旋转的1.5T MRI系统已有基本雏形,将引领一个便携式磁共振的新时代。

国家级脑机融合平台I/O子平台完成验收

国家级脑机融合平台I/O子平台完成验收

脑机接口将在脑与机器之间形成一条直接通路,实现脑与外部设备的双向信息交互。为了迎接脑机智能时代的到来,应对硬件兼容难、软件重用难、标准互通难、临床试验难等重重挑战,我国将打造一个脑机融合计算平台。浙大西投脑机智能研究中心作为平台建设的重要参与者之一,已初步建成脑机IO子平台,未来将进一步发展脑信息分析与计算子平台,帮助打破脑机研究壁垒,助力脑机应用落地。