T400stuckkey(0210stuckkey36)

在颈脊髓损伤案例研究中的家用模块化脑机接口(BCI)平台的计划开辟

作者:

KevinC.Davis,BenyaminMeschede-Krasa,IahnCajigas,NoelineW.Prins,CharlesAlver,SebastianGallo,ShovanBhatia,JohnH.Abel,JasimA.Naeem,LetitiaFisher,FouziaRaza,WesleyR.Rifai,MatthewMorrison,MichaelE.Ivan,EmeryN.Brown,JonathanR.Jagid,andAbhishekPrasad

泉源:nationallibraryofmedicine

择要

对象

本研究的目标是开辟一个独立于输入和输出装备的便携式模块化脑机接口(BCI)软件平台。我们在一个颈脊髓损伤(C5ASIAA)受试者的案例研究中实行了这个平台。

配景

BCI可以通过利用大脑信号控制假肢或触发功能性电刺激来规复瘫痪患者的独立性。只管多项研究已在实行室和家庭中乐成实行了这项技能,但便携性、装备设置和照顾护士职员设置仍旧是限定摆设抵家庭环境的挑衅。便携性对于将BCI从实行室转移抵家庭至关紧张。

方法

BCI平台实行包罗一个ActivaPC+S发生器,两个硬膜下四触点电极植入感觉活动皮层的重要左手手臂地区,一个固定在受试者轮椅后部的小型盘算机,一个定制的手机应用程序,以及作为末了实行器的机器手套。为了量化BCI在家实行的性能,我们量化了在家中的体系设置时间、长期(14个月)解码精度、硬件和软件设置文件以及应用程序和小型机之间的蓝牙通讯耽误。我们创建了一个活动图像标记信号数据集,以在长途盘算机上练习二进制活动图像分类器,供在家中在线利用。

结果

小型机与手机App之间的均匀蓝牙数据传输耽误为23±0.014ms。受试者照顾者的均匀预备时间为5.6±0.83分钟。获取息争码神经信号并将这些解码信号发送到末了实行器的均匀时间分别为404.1ms和1.02ms。未经再练习的颠末练习的活动图像分类器的14个月中位正确率为87.5±4.71%。

结论

该研究展示了一个家庭BCI体系的可行性,受试者可以利用友爱的移动用户界面无缝操纵,不必要一样平常校准,也不必要技能职员在家设置。该研究还形貌了BCI体系的便携性和即插即用多个末了实行器的本领,为终极用户提供了选择末了实行器的机动性,以完成一样平常必要的特定电机任务。

先容

瘫痪是一种毁灭性的疾病,仅在美国就影响了约莫540万人[1]。在导致瘫痪的各种缘故起因中,中风是最常见的缘故起因,其次是脊髓损伤(SCI)和多发性硬化症[2]。对于SCI,美国的发病率最高,颈椎SCI的抱病率正在上升[3]。瘫痪给个人、他们的家人、照顾者和公共卫生带来了巨大的经济和社会负担,由于重度四肢瘫痪的人在受伤后的第一年的费用大概高出100万美元[4]。对于40%的中风受试者和大多数SCI受试者,功能缺陷通常是永世性的,如今尚无治疗方法。因此,在这些受试者中办理功能改善和规复活动和独立性的需求仍旧是一项关键挑衅。

只管缺乏可用的治疗方法,但皮质内脑机接口(BCI)的最新盼望已表现出在规复瘫痪患者的功能到达和抓握方面取得了可喜的结果[5-8]。BCI通过身材神经体系以外的方式在大脑和身材之间创建外部接洽[9]。固然BCI大概针对各种斲丧者,但这项技能为有感觉活动缺陷的受试者带来了有盼望的结果,此中BCI可以规避功能丧失[10]。

观察侵入性BCI的研究工作夸大了它们规复因神经体系疾病和损伤而丧失的功能的潜力。侵入性神经记录使人类受试者可以或许控制假造光标[11-16]、盘算机[17、18]、拼写器[19]、假造[20-22]和呆板人假肢[6-8、15、23]、外骨骼[24],以及他们本身通过功能性电刺激(FES)瘫痪的肢体[5、25、26]。这些成绩突出了BCI的很多显着改进,比方神经控制装备在多个自由度上的本领[8,15,23,24]。这些演示通常必要将受试者拴在神经数据收罗硬件上,以答应高分辨率数据流[6-8,12-15,17,20-22,25,26]。然而,将对象毗连到数据收罗硬件的连续必要限定了对象在其家庭和社区中利用BCI的本领,因此无法为对象提供控制或设置他们怎样与装备交互的真正方法。因此,使BCI在研究环境之外发挥作用的范畴取得的盼望仍旧是一个关键的里程碑[27,28]。

开辟用于实行室外利用的便携式BCI或不与大型固定研究装备毗连且可以轻松运输到任何地方的BCI体系仍旧是皮质内BCI的一项庞大挑衅,由于它们必须思量当前无线技能所施加的限定关于高数据速率无线遥测、超低功耗电子装备以及物理组件在身材内部和外貌占据的空间[29,30]。

动物研究研究通过开辟无线皮质内接口[31]和修改装备参数以低落功耗而不显着影响解码器质量[32],继承资助办理这些题目。近来,Simeral及其同事展示了一种用于控制盘算机光标的皮质内BCI的不受限定的方法——依靠与受试者放置在同一房间的短程射频(RF)吸取塔来捕获来自无线的高带宽数据传输射频头戴式[33]。

值得留意的是,很多利用脑电图(EEG)的研究已经在各种应用中实现了家庭利用[34–38];然而,基于EEG的BCI缺乏更多侵入性技能所捕获的空间分辨率[11]。别的,对BCI控制信号利用非侵入性技能(比方EEG)会使设置程序(比方,得当的电极放置)复杂化,从而限定了受试者的独立性和BCI在家里利用的便利性。

只管侵入性皮层内微电极阵列具有出色的信号质量,并展示了BCI本领的很多显着上风,但随着时间的推移,这些阵列的信号质量会降落,这通常是由于异物对电极柄刺穿电极柄的反应引发的炎症。血脑屏蔽[39–42]。这些装置通常是经皮植入物,此中植入物的一部分完全袒露,增长了感染的风险[43]。

与皮层内微阵列雷同,通过皮层电图(ECoG)在大脑外貌利用侵入性电极。该方法实现了长期稳固的信号收罗[44],具有更高的空间分辨率和信噪比[45]。此类应用程序已经乐成地控制了具有多个自由度的光标[11、46]、盘算机[18]、拼写器[47]以及近来的外骨骼[24]。长期的、完全植入的实行使研究结果可以或许从实行室转化为家庭[19,47]。固然完全可植入的BCI必要举行侵入性脑部手术,但它们有大概将实用的BCI技能转移抵家庭环境中,通过最大限度地镌汰照顾护士职员的设置时间并最大限度地镌汰经皮感染,由于植入装备的任何部分都没有袒露,由于是皮质内微电极阵列的环境。

BCI的潜伏用户及其照顾护士职员表现,便携性、简单的体系设置和最小化的设置时间是BCI体系实行的紧张构成部分[48]。办理这些计划思量将更好地促进向家庭的过渡。为了实现计划家庭BCI体系的这一目标,我们利用安装在受试者轮椅上的小型盘算机,无线记录来自植入的ActivaPC+S装备的ECoG数据并实行神经解码。我们的计划包罗一种模块化方法,使受试者可以或许从各种输出装备中举行选择,并答应在将来通过利用险些即插即用的体系来添加外围装备。

方法

体系计划概述

主题

在家中BCI体系在一名患有慢性颈椎四肢瘫痪(C5ASIAA)的22岁受试者中实行,以规复手部抓握。该主题是案例研究的一部分,此中一名受试者注册的目标是完全植着迷经传感装备,以在实行室中研究脑机接口。该受试者在约莫6年前的一次机动车变乱中受伤,而且可以自主控制他们的二头肌,但不能控制三头肌或其他远端肌肉群。

体系实行

BCI的重要组件包罗安装在受试者轮椅上的小型盘算机、受试者的智能手机、神经信号收罗装置和末了实行器。智能手机作为体系的用户界面,而盘算机和谐信号收罗装备和末了实行器之间的数据收罗、处理惩罚和传输。

输入装备——神经数据收罗

用于网络此BCI平台[49]神经数据的硬件由三部分构成,两个内部组件和一个外部组件:(1)两个四触点电极引线(ResumeII引线,美敦力)植入颅内硬膜下外貌大脑的感觉活动手地区,(2)ActivaPC+S(Medtronic,USA)发生器植入左锁骨下方,用于记录和传输打仗电极感应到的信号,以及(3)外部Nexus-D遥测吸取器(美国美敦力)在其天线放置在植入的ActivaPC+S发生器附近时网络发射信号(图1)。八个植入电极设置为双极设置,从而产生四个通道的ECoG数据。在此设置中,ActivaPC+S仅答应两个时间序列和两个功率采样通道。通道1和3提供以200Hz采样的及时ECoG输出,通道2和4提供以5Hz采样的4-36Hz之间的均匀功率输出。这些频率设置是根据用于检测与变乱相干的失步的初始实行室丈量结果选择的[49]。来自这些通道的数据以Nexus遥测仪网络的数据包的情势传输,并通过USB串行毗连传送到盘算机举行进一步处理惩罚。该装置及其检测活动意图的本领,在受试者被植入该装置几个月后,在实行室环境中举行了严格测试,然后再举行家庭摆设[49]。

图2:体系总览。利用放置在感觉活动皮层外貌的两条四触点硬膜下带记录电皮质(ECoG)信号。ECoG信号通过皮下植入物传输到外部吸取器,外部吸取器将其传送到小型盘算机举行处理惩罚。解码器将信号分类为活动图像下令,然后通过蓝牙发送以启动机器手套.

输出装备——末了实行器

利用机器手套(Neomano,Neofect,SouthKorea)启动手抓握。全部输入装备(神经数据收罗)和输出装备(末了实行器)通过串口通讯与盘算机通讯,而自界说手机应用程序(App)和小型机通过蓝牙低功耗(BLE)协议通讯。

实行装置

数据收罗

我们在家中利用BCI平台网络数据来练习连续活动图像分类器。受试者利用移动应用程序启动数据网络会会议话。为了网络与活动意图相干的ECoG数据,文本提示被发送到受试者的手机上,表现“MOVE”或“REST”,并指示受试者在MOVE状态下思量快速打开和关闭他们的手(图3d)。提示以6-10秒的隔断随机来回瓜代(对应于15-25个数据包,或PC+S网络的通道1和3的1200-2000个时间序列数据样本)。这个瓜代过程连续了5分钟,每个数据网络会会议话统共网络了750个数据包(或每个时间通道60,000个数据样本)。这些5分钟试验中的33次用于练习解码器(总计165分钟的练习数据),之后利用17次开环试验和12次闭环试验来验证和测试解码器。闭环试验是在数据网络过程中解码值主动控制假肢手套的试验,而在开环试验中,假肢手套没有被触发。

图2:移动应用程序概述。该应用程序用作受试者与盘算机上运行的BCI软件交互的GUI。a主屏幕表现当前选择的正在利用的输入和输出装备。右上角的蓝点标记了体系的状态。b输入装备选择屏幕,答应主体从更多装备中举行选择。c答应受试者调解给定装备的参数(比方解码器阈值、末了实行器电机速率等)的设置页面。这些设置由盘算机端的软件类的应用程序编程接口(API)界说,并通过蓝牙传送以举行动态表现。d向受试者提示评估正确性或对装备解码器应用校准的数据网络会会议话。

信号处理惩罚

ActivaPC+S提供了四个数据采样通道。通道1和3提供200HZ的及时数据,通道2和4提供以5Hz采样的4-36Hz之间的均匀功率。数字2a、b刻画了通过1Hz高通有限脉冲相应滤波器并标有信号采样时出现的提示后的300秒代表性试验的200秒。然后为每个数据包的每个时间通道盘算功率谱密度,为每个时间序列通道天生321个光谱特性。然后将从通道2和4网络的4-36Hz之间的均匀功率值与来自时间通道的频谱估计的这些功率值分组,为每个标记有提示的特性向量创建统共644个特性。网络时间。均匀频谱密度表现了每个活动想象状态中β波段(12-25Hz)的差别(图2c,f),而且随着时间的推移也可以观察到这一点(图2d、e)。这些特性向量用于练习分类器,该分类器起首通过线性鉴别分析、2状态隐马尔可夫模子转达特性,然后举行逻辑回归以将状态概率映射到活动图像下令(更多具体信息,请拜见[49])。

图3:长途心电图数据网络。利用ActivaPC+SNexus装备从BCI体系网络的数据结果。A、B来自通道1和3的ECoG数据并通过1Hz高通滤波器过滤。C,F通道1和3的功率谱(表现为

)。D,E数据的均匀窗口(6.4s,N=2051)的时反复谱图,表现从REST状态多次转换期间过滤、均匀和归一化数据中1-100Hz之间频带功率的变革(由时间序列的前半部分表现)到MOVE状态。

除了数据网络,一样平常利用装备只需打开电脑并利用应用程序选择符合的输入和输出装备即可。紧张的是,由于我们没有利用任何刺激,以是在家利用的安全题目是最小的。

图形用户界面移动应用程序

我们将利用Native开辟的定制手机应用程序(App)摆设到受试者的智能手机上,答应受试者通过BLE控制BCI体系。该应用程序提供了一个图形用户界面(GUI),表现BCI的当前状态,答应受试者选择可用的输入和输出装备,以及更改每个装备的首选项和设置(图3)。手机应用程序不参加任何数据收罗或处理惩罚。

动态展示

该应用程序表现了可以选择举行控制的可用输入和输出装备。假如这些装备分别与小型盘算机毗连或断开毗连,则会从应用程序中添加或删除这些装备。毗连后,装备会提供装备特定的设置,这些设置可以利用应用程序举行设置(图3)。将新装备纳入体系不必要更新应用程序,由于它将动态表现盘算机可以访问的内容。

校准

神经信号活动图像编码大概因受试者而异,因此,呆板学习算法必须常常重新练习或重新校准,以从数据中解码受试者的预期活动。我们计划了软件应用程序编程接口(API)来关联解码器练习协媾和输入装备。通过这种方式,受试者可以利用该应用程序为ActivaPC+S天生的信号练习解码器。可用时,该装备的设置菜单中会表现一个校准按钮(图3C)。选择后,应用程序的校准模式被激活,答应受试者评估与给定输入装备相干的解码器的正确性。在校准模式下,应用程序从盘算机吸取文本以表现患者同时记录数据并适本地标记数据,以通过监督学习模子测试或重新练习解码器。

盘算机应用

盘算机应用程序是用Python[50–54]编写的,由两个子进程构成:一个用于管理输入和输出装备之间的通讯,另一个用于管理与应用程序的BLE通讯(图4)。这些子进程利用异步变乱循环来控制实行大概停止的点,并在这两个进程之间切换,以最大限度地镌汰装备通讯之间大概发生的处理惩罚耽误。主应用程序迭代地从选定的输入装备网络解码或分类的神经信号,并将返回的下令发送到选定的输出装备。同时,蓝牙进程等待来自App的读取、写入和关照哀求。

图4:应用程序控制流。a主应用程序由保卫程序脚本(或背景运行进程)初始化,以确保程序在盘算机开启时始终运行。盘算机应用程序异步运行多个协程,以答应输入和输出装备之间险些不停止的数据流以及蓝牙通讯。b主应用程序进程迭代地调用管理输入和输出装备的类。这些装备管理器类包罗用于获取装备输入和向输出装备发送下令的公共方法。这些装备类通过串行端口通讯与其对应的硬件举行通讯。紧张的是,大概存在一系列装备供受试者利用。这些可以通过应用程序通过BLE单独选择。

模块化计划

总之,该计划为受试者提供了动态硬件选择(比方,机器矫形器、FES等)和调解装备设置(比方,矫形器的速率或时间耽误等)的本领,以实现更多定制控制。在我们的实现中,用于从ActivaPC+S捕获数据的Nexus遥测仪通过继承通用装备类举行封装,以创建到硬件的编程接口。信号解码器的特性和方法(图4b)与Nexus遥测仪相干的,比方解码器阈值息争码器校准,作为Nexus类中的装备设置提供。由于解码器实行二进制分类,因此利用阈值来区分解码信号是MOVE或REST的输出移动概率。

蓝牙通讯

我们计划了利用BLE与App举行通讯的软件,并创建了一个跨平台的蓝牙库,使盘算性能够通过蓝牙外围脚色支持(即蓝牙主机装备)发布服务。盘算机和手机之间传输的数据,包罗装备设置、装备状态和校准,利用三个蓝牙通用属性(GATT)特性举行数据传输。但是,GATT特性的最小传输单位为512字节,要传输的装备设置信息的巨细大概会高出此限定。为了克制这种环境,我们在BLE上开辟了一个附加层,以启用数据流,利用数据队列通过单个BLEGATT特性迭代传输数据。仅当终极用户利用应用程序举行更改时才必要蓝牙通讯。蓝牙库是利用变乱驱动的回调和异步过程调用计划的。这种计划答应Python应用程序专注于从输入装备网络数据,并将该数据传送到输出装备,仅在调用时依照蓝牙通讯过程。通过利用蓝牙,BCI体系可以在家庭以外的社区中利用,由于蓝牙通讯独立于WiFi或互联网毗连。

长途数据收罗

BCI在利用过程中,全部数据都记录在小型机硬盘上的文件中。该软件将数据文件生存到一个目次中,该目次主动同步大学加密的符合HIPAA标准的云存储,假设机载盘算机具有活动的互联网毗连,险些可以即时访问传入的数据。为了确保盘算性能够毗连互联网,我们在将装备安装到对象的轮椅上之前,将对象的家庭WiFi的服务集标识符(SSID)、安全设置文件和暗码生存到盘算机上。这种设置答应盘算机毗连到对象的家庭WiFi,以便在对象抵家后举行数据同步。

可摆设在家中利用

体系计划的目标是为受试者提供配备完全植入式神经感觉装置的功能性脑机接供词家庭利用。我们通过在小型盘算机(m90nNano,Lenovo,China;Windows10Pro;Inteli32.10GHz,8GBRAM)上安装计划的软件将体系摆设抵家中,并将盘算机与锂电池(50,000mAh电源银行,克里斯多尼亚,中国)在一个定制的3D打印案例中。通过利用穿过印在箱子外部的孔的带子将这个箱子毗连到受试者的轮椅背面。滑动门被放置在机箱的两侧,以便于访问电池和小型盘算机上的充电端口和电源按钮。在小型机上安装BCI软件后,4一个)。我们利用版本控制体系在线存储了我们软件的代码。这答应我们的保卫程序脚本从版本控制体系中提取,以确保代码是最新的。这种设置答应我们利用git提交日期和时间戳作为条件,我们可以根据这些条件以编程方式选择和分析在差别软件条件下网络的数据(比方,在解码器更新或初始错误修复之前和之后)。

结果

基准测试

蓝牙通讯耽误

ActivaPC+S具有200Hz的采样率,并具有以2.5Hz(400ms)的速率覆盖的板载内存存储。通过装备固件对ActivaPC+S的API调用会制止程序实行,直到数据可用。紧张的是,假如两次后续调用API以网络数据的时间隔断400ms,则在两次API调用之间的时间内皮质内电极采样的数据将丢失,由于ActivaPC+S已经在存储数据在发出第二次调用之前的下一个400毫秒块。因此,网络数据的调用之间的显着耽误大概会导致数据丢失。这对于解码器练习的数据网络尤为紧张,此中传入的数据必须被同步标记。由于数据标记依靠于通过BLE发送的消息,我们必要确保向对象表现活动指令的时间与正在网络的数据在时间上匹配。因此,只有在通过BLE向应用程序发送指令的时间小于400毫秒时,数据才华可靠地与出现给受试者的屏幕指令标签匹配,以最大限度地镌汰覆盖数据的机遇以及受试者的反应时间。通过在模仿重新校准会话期间记录时间戳,盘算机发送提示的时间戳与应用程序上表现雷同提示的时间戳之间的差别表明均匀耽误到屏幕为23毫秒(图1)。只有当通过BLE向App发送指令的时间小于400毫秒时,数据才华可靠地与出现给受试者的屏幕指令标签匹配,以最大限度地镌汰覆盖数据的机遇以及受试者的反应时间。通过在模仿重新校准会话期间记录时间戳,盘算机发送提示的时间戳与应用程序上表现雷同提示的时间戳之间的差别表明均匀耽误到屏幕为23毫秒(图1)。只有当通过BLE向App发送指令的时间小于400毫秒时,数据才华可靠地与出现给受试者的屏幕指令标签匹配,以最大限度地镌汰覆盖数据的机遇以及受试者的反应时间。通过在模仿重新校准会话期间记录时间戳,盘算机发送提示的时间戳与应用程序上表现雷同提示的时间戳之间的差别表明均匀耽误到屏幕为23毫秒(图1)。5),表明蓝牙通讯没有增长会影响数据网络的时间耽误。我们还发如今传输过程中没有丢掉蓝牙数据包。

图5:蓝牙低功耗通讯基准。在数据网络会会议话期间观察到的时间耽误(n=750)。蓝牙传输时延丈量为App上表现提示改变的时间与盘算机体系上提示改变启动BLE(提示表现关照特性)的时间之差。

软件分析

体系应用程序分析利用cProfilePython模块丈量,并利用SnakeViz可视化(图6)来形貌由BCI体系中的进程引起的耽误。BCI软件是在受试者在家设置后初始化的。在体系利用5分钟时网络分析。主应用程序循环由两个重要功能构成:(1)从所选输入装备读取解码下令(图6左)和(2)将下令发送到选定的输出装备(图6右)。体系分析表现,将输入信号处理惩罚为电机指令下令的时间约为400毫秒(图6左),之后只用了1毫秒将该下令发送到末了实行器以举行手抓握(图6右)。这个主循环的第一部分:将输入信号处理惩罚成活动指令,由两个子过程构成:(1)从ActivaPC+S(~393ms)吸取神经通道数据,以及(2)解码信号转换成电机指令(10.23ms)。然后,将该下令发送到Neomano手套约莫必要1毫秒。

图6:体系分析。代表处理惩罚传入数据(左)和将解码输出发送得手套(右)所耗费的时间比例的旭日图。每个旭日形图的中心代表获取解码的神经信号(左)或向手套发送下令(右)的过程。围绕中心点的每条弧线代表一个子流程,必要实行以处理惩罚传入数据(左)或发送数据(右)。弧的长度表现子流程完成所耗费的时间相对于依靠它完成的子流程的比例。固然有很多子流程,但与BCI软件相干的那些都被突出表现。别的子流程是体系特定流程,比方输入-输出操纵。

家庭测试

信号解码和分类

活动图像分类器的正确度指标在练习后的第二年继承丈量,无需重新校准(图7)。解码器精度界说为精确分类的数据窗口的数量,在79次试验中保持稳固,中值精度为87.53%(图7;灰色虚线)。

图7:解码器分类。与Nexus遥测输入装备相干的解码器的分类性能。第0个月表现对练习数据的评估,随后的月份表现自练习以来的月数。玄色虚线表现环球中位数87.53%。

关照人管理

险些不必要对照顾护士职员举行培训来学习利用我们的BCI实行为受试者设置装备。设置只必要打开体系,将遥测天线适本地放置在对象上,并将任何末了实行器装备安装到对象的肢体上。从这一点开始,受试者可以或许在没有资助的环境下利用应用程序设置、校准和控制BCI体系。为了量化这一点,我们丈量了从护士开始设置体系到受试者对机器手套举行神经控制之间的均匀时间量(图8)。均匀而言,设置此实现的时间为5.58分钟,此中大部分时间(2.34分钟)用于在App和小型机之间创建蓝牙毗连并设置体系以及戴上Neomano手套(2.18分钟)。

图8:体系设置时间。受试者的重要照顾者设置体系所用的时间。连续几每天天重复丈量一次。A表现设置体系的总时间,而B表现差别设置步调的时间,总和为总颠末期间。不包罗校定时间,由于在一样平常设置期间不必要校定时间。

讨论

我们的计划旨在让BCI在家庭表里都能发挥作用,并让受试者控制装备选择、数据网络以及体系设置和偏好,同时最大限度地镌汰对照顾护士职员辅助设置的需求。只管该体系是在具有植着迷经接口的SCI受试者中实行的,但应用程序可以扩展到其他情势的瘫痪,大概可以利用BCI的任何地方,比方与EEG耳机或皮质内尖峰信号一起利用。

T400stuckkey(0210stuckkey36) T400stuckkey(0210stuckkey36) 行业资讯

手机应用

在我们的计划中,该应用程序用作GUI。然而,其他实现利用智能手机举行信号处理惩罚——利用手机作为体系的唯一处理惩罚单位[55-58]——而不是利用板载小型盘算机。其他人则利用智能手机来推动与家用电器的通讯[35,36]。在这里,Native的利用将手机应用程序的开辟限定为蓝牙低功耗协议,这限定了我们体系的高带宽数据流的本领,而蓝牙经典射频通讯(RFCOMM)本来可以实现原始信号传输。然而,正如Campbell等人所报道的,利用经典RFCOMM的更换办理方案大概会很快耗尽手机的电池电量。[56]。然而,假如体系在将来的迭代中完全移动得手机上,则必要思量RFCOMM的实行以实现连续和可靠的数据网络和流式传输。别的,迁徙得手机利用必要加强安全步伐。作为[59]指出,此类体系的广泛和值得信托的利用将必要警惕以确保体系的完备性和安全性。

作为紧张阐明,我们的受试者可以或许利用二头肌可用的残余活动来导航应用程序的利用。然而,该应用程序非常简单,可以让照顾护士职员在必要时设置或更改体系设置,而且不会将我们的体系应用限定在具有独特残余活动的受试者身上。

便携式体系

为了在实行室之外更实际地利用BCI,体系可移植性是一个紧张构成部分[27]。一种进步便携性的方法是利用更小的盘算装备,这些装备在个人平板电脑、手机和小型盘算机中变得更轻易得到。之前的几项研究已经将平板电脑和手机等便携式装备用于下令[35]和信号处理惩罚[55,57,58]、主体交互[38]以及作为末了实行器本身[56]]。在我们的计划中,我们利用了一台小型盘算机和受试者的智能手机,这使我们可以或许让受试者控制BCI,同时确保BCI软件可以独立于手机继承运行。别的,就本钱而言,这些组件已经是可以轻松购买的斲丧级产物。手机和电动矫形器利用的短程蓝牙通讯答应对体系举行连续控制,这答应受试者在家外继承利用BCI。由于电动矫形器通过无线蓝牙无线电与体系通讯,WiFi仅用于上传离线分析所需的数据,BCI体系本身的利用独立于互联网毗连运行。

模块化体系

用于研究开辟的模块化BCI计划有助于进步科学的可重复性,并镌汰了开辟新的BCI软件和设置所需的时间。已经开辟了几种软件工具、包和管道来资助完成这项工作[60-64]。此类应用已在实行室和家庭中乐成利用此中一些体系[65]。除了这些工具之外,其他研究还表现了各种乐成的输出控制,包罗光标控制、拼写器、家用电器控制、外骨骼、假肢和FES[6-8、11-24、47]。我们的计划侧重于终极用户交互,同时使软件可以或许跨操纵体系和处理惩罚器架构举行扩展。固然我们在测试装备时只利用了电动矫形器,但我们确保体系可以是模块化的,包罗在运行时动态更改输入和输出装备。这种模块化是利用对象的移动装备的另一个目标。它答应受试者互换末了实行器装备、启动培训课程并调解可用的体系设置。

当提供装备类时,输入装备(比方,EEG体系)具有即插即勤奋能。实现一个装备类必要某种机制来将数字化数据从装备采样到盘算机;比方,通过串行端口、套接字或装备提供的API。可以利用或定制我们工作中的解码器,将输入信号转换、分类或回归为故意义的值。装备类必须继承装备基类并界说一个get_input方法,然后(1)网络先前确定的数据,(2)将该数据解码为故意义的值,然后(3)返回该值。末了,串行端口、套接字或API属性可以界说在平台将用于在启动期间主动检测装备的类上。有了这些,可以将新装备添加到平台中,

主题与家庭BCI平台的交互

总之,BCI平台及着实施不但使患有颈椎SCI的受试者可以或许在家中规复手握并互换模块化组件,而且还使受试者可以或许单独控制每个装备和整个BCI体系的设置和偏好.更具体地说,这些设置包罗用于更改电动矫形器的相应时间和重新启动BCI应用程序的选项。研究职员的资助或运送到实行室变得不须要,由于该应用程序答应受试者按照他们的时间表启动数据网络会会议话。

我们在家中利用的体系的摆设最大限度地镌汰了对复杂穿脱程序的需求。在几个会话中,我们丈量了从开始到受试者可以控制手套的均匀设置时间,约莫为5分钟。这完全在担当观察的潜伏用户[48]之前保举的10-20分钟的设置时间范围内。这种简化的很大一部分大概是利用完全植入的装备的结果。这种设置克制了利用大概必要电线毗连、凝胶应用、正确放置和设置EEG帽的EEG帽[66、67]。相比之下,近来的一项研究可以或许在几个会话中实现8个关照人-受试者对的均匀设置时间为20分钟[68]。通常,设置时间取决于BCI体系的每个组件的设置时间。非侵入性技能的连续发展将有助于低落这些设置时间和设置复杂性。固然,用户评估没有体系地评估,但主题确实批评说:“它易于利用和控制,只是偶然必要一点时间通过蓝牙毗连”。

只管我们的实现仅利用4个ECoG通道,与很多EEG通道相比,大概会限定体系的功能输出,但此实现的目标是只管镌汰在家利用的设置时间和复杂性,同时仍向受试者提供一些功能.只管云云,纵然是完全植入的体系也大概必要必要插入体系的有线设置[6-8、19、47]。

然而,在我们的实行中,打开固定在轮椅背面的电池就足以启动体系。从这里开始,将遥测天线与皮下发射器对齐,从而实现神经控制。值得留意的是,由于利用了诸如ActivaPC+S之类的植入装备,因此易于设置是该BCI平台的实行题目,而不是利用该平台的要求。该平台可以利用EEG耳机实现。对于此处先容的实行,完全植入的ActivaPC+S用于改进家庭设置和整个体系的利用。

限定

Python作为开辟语言大概不会导致完全与操纵体系无关的平台。这种限定重要是语言用于与操纵体系和硬件交互的方法的结果。另一种办理方案大概是利用已经可用的软件,比方BCI2000[60]。但是,利用Python等表明性语言举行开辟无需在长途体系更新期间举行编译。

T400stuckkey(0210stuckkey36) T400stuckkey(0210stuckkey36) 行业资讯

此处先容的实现中的主题可以或许利用他们本身的剩余二头肌功能利用AppGUI。这通常会限定GUI对本领较差的受试者的利用。然而,AppGUI仍旧为照顾护士职员提供了方便的体系访问。别的,筹划将来的迭代以启用语音激活和/或凝视控制,以更好地控制具有差别残疾的受试者以及对手和手臂的控制。

利用ActivaPC+S和Nexus遥测仪并不是完全无线的。Nexus遥测仪和ActivaPC+S之间的数据样本网络必要将外部天线放置在植入式发生器附近。然而,植入式发生器的较新实行(MedtronicPercept、St.Jude、BostonScientific、Clinatec等)正在将无线功能构建到他们的发生器中。别的,用于深部脑刺激的ActivaPC+S可以利用长达5年,但在不利用刺激的环境下利用的装备的电池寿命尚不清楚。可以感应充电的植入物[69]并以无线方式传输其信号[70]]将提供更强大的体系,进一步镌汰体系维护和照顾护士职员帮忙,同时最大限度地进步便携性。

像很多侵入性研究一样,我们对侵入性装备的实行仅限于一个主题,因此难以概括。荣幸的是,利用与变乱相干的去同步作为实行活动图像二元分类的方法已经很成熟[68,71–74],而且一些研究已经在家中利用它[34,68,75,76]。固然,我们将此BCI体系用于颈椎SCI的受试者,但它提供了有关怎样改进软件和应用程序以便更轻易融入其他BCI实行的限定的见解。

结论

将来采取BCI相干技能必要确保BCI体系便携、设置直观且易于设置[48]。这种模块化的BCI软件计划为在斲丧类盘算机平台和移动电话装备上实行BCI体系提供了一个轻量级平台。BCI平台可以轻松添加输入和输出装备,受试者可以利用移动图形用户界面轻松切换。BCI模块化软件平台计划的实行证明白将BCI体系过渡到更便携的装备以供家庭利用的可行性越来越高。随着越来越多的辅助和病愈装备变得可用,模块化平台大概会为BCI用户提供更多功能。此类体系的开辟将使BCI的辅助和病愈本领更轻易为受益于它们的受试者所担当。家庭环境中的BCI体系为进步瘫痪受试者的独立性提供了良机。将来的工作将会合在扩展输入和输出装备之间的定制映射,以答应同时利用多个装备。

本篇文章泉源:

引用文献

2.GreshamGE,StasonWB,DuncanPW.Post-strokerehabilitation.Collingdale:DianePublishing;2004.[GoogleScholar]

3.DevivoMJ.Epidemiologyoftraumaticspinalcordinjury:trendsandfutureimplications.SpinalCord.2012;50(5):365–372.doi:10.1038/sc.2011.178.[PubMed][CrossRef][GoogleScholar]

4.NationalSpinalCordInjuryStatisticalCenter.FactsandfiguresataGlance.Birmingham:UniversityofAlabamaatBirmingham;2020.p.1–2.www.msktc.org/sci/model-system-centers.https://www.nscisc.uab.edu/Public/Facts_and_Figures2020.pdf.

5.AjiboyeAB,WillettFR,YoungDR,MembergWD,MurphyBA,MillerJP,etal.Restorationofreachingandgraspinginapersonwithtetraplegiathroughbrain-controlledmusclestimulation:aproof-of-conceptdemonstration.Lancet.2017;389(10081):1821–1830.doi:10.1016/S0140-6736(17)30601-3.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

6.HochbergLR,SerruyaMD,FriehsGM,MukandJA,SalehM,CaplanAH,etal.Neuronalensemblecontrolofprostheticdevicesbyahumanwithtetraplegia.Nature.2006;442(7099):164–171.doi:10.1038/nature04970.[PubMed][CrossRef][GoogleScholar]

7.HochbergLR,BacherD,JarosiewiczB,MasseNY,SimeralJD,VogelJ,etal.Reachandgraspbypeoplewithtetraplegiausinganeurallycontrolledroboticarm.Nature.2012;485(7398):372–375.doi:10.1038/nature11076.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

8.CollingerJL,WodlingerB,DowneyJE,WangW,Tyler-KabaraEC,WeberDJ,etal.High-performanceneuroprostheticcontrolbyanindividualwithtetraplegia.Lancet.2013;381(9866):557–564.doi:10.1016/S0140-6736(12)61816-9.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

9.ShihJJ,KrusienskiDJ,WolpawJR.Brain-computerinterfacesinmedicine.MayoClinProc.2012;87(3):268–279.doi:10.1016/j.mayocp.2011.12.008.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

14.GiljaV,PandarinathC,BlabeCH,NuyujukianP,SimeralJD,SarmaAA,etal.Clinicaltranslationofahigh-performanceneuralprosthesis.NatMed.2015;21(10):1142–1145.doi:10.1038/nm.3953.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

15.AflaloT,KellisS,KlaesC,LeeB,ShiY,PejsaK,etal.Decodingmotorimageryfromtheposteriorparietalcortexofatetraplegichuman.Science.2015;348(6237):906LP–910.doi:10.1126/science.aaa5417.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

16.PandarinathC,NuyujukianP,BlabeCH,SoriceBL,SaabJ,WillettFR,etal.Highperformancecommunicationbypeoplewithparalysisusinganintracorticalbrain-computerinterface.Elife.2017;6:1–27.doi:10.7554/eLife.18554.[CrossRef][GoogleScholar]

19.PelsEGM,AarnoutseEJ,LeindersS,FreudenburgZV,BrancoMP,vanderVijghBH,etal.Stabilityofachronicimplantedbrain-computerinterfaceinlate-stageamyotrophiclateralsclerosis.ClinNeurophysiol.2019;130(10):1798–1803.doi:10.1016/j.clinph.2019.07.020.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

22.JarosiewiczB,SarmaAA,BacherD,MasseNY,SimeralJD,SoriceB,etal.Virtualtypingbypeoplewithtetraplegiausingaself-calibratingintracorticalbrain-computerinterface.SciTranslMed.2015;7(313):1–1.doi:10.1126/scitranslmed.aac7328.[CrossRef][GoogleScholar]

26.BoutonCE,ShaikhouniA,AnnettaNV,BockbraderMA,FriedenbergDA,NielsonDM,etal.Restoringcorticalcontroloffunctionalmovementinahumanwithquadriplegia.Nature.2016;533:247–250.doi:10.1038/nature17435.[PubMed][CrossRef][GoogleScholar]

30.NurmikkoA.Challengesforlarge-scalecorticalinterfaces.Neuron.2020;108(2):259–269.doi:10.1016/j.neuron.2020.10.015.[PubMed][CrossRef][GoogleScholar]

41.KozaiTDY,LiX,BodilyLM,CaparosaEM,ZenonosGA,CarlisleDL,etal.Effectsofcaspase-1knockoutonchronicneuralrecordingqualityandlongevity:insightintocellularandmolecularmechanismsofthereactivetissueresponse.Biomaterials.2014;35(36):9620–9634.doi:10.1016/j.biomaterials.2014.08.006.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

42.SzarowskiDH,AndersenMD,RettererS,SpenceAJ,IsaacsonM,CraigheadHG,etal.Brainresponsestomicro-machinedsilicondevices.BrainRes.2003;983(1–2):23–35.doi:10.1016/S0006-8993(03)03023-3.[PubMed][CrossRef][GoogleScholar]

44.ChaoZC,NagasakaY,FujiiN.Long-termasynchronousdecodingofarmmotionusingelectrocorticographicsignalsinmonkeys.FrontNeuroeng.2010;3:3.[PMCfreearticle][PubMed][GoogleScholar]

45.MillerKJ,HermesD,StaffNP.Thecurrentstateofelectrocorticography-basedbrain–computerinterfaces.NeurosurgFocus.2020;49(1):1–8.doi:10.3171/2020.4.FOCUS20352.[CrossRef][GoogleScholar]

48.HugginsJE,MoinuddinAA,ChiodoAE,WrenPA.Whatwouldbrain-computerinterfaceuserswant:opinionsandprioritiesofpotentialuserswithspinalcordinjury.ArchPhysMedRehabil.2015;96(3):S38–S45.e5.doi:10.1016/j.apmr.2014.05.028.[PubMed][CrossRef][GoogleScholar]

49.CajigasI,DavisKC,Meschede-krasaB,PrinsNW,GalloS,NaeemJA,etal.Implantablebrain-computerinterfacefoneuroprosthetic-enabledvolitionalhandgrapsrestorationinspinalcordinjury:acasereport.BrainCommun.2021;3:fcab248.doi:10.1093/braincomms/fcab248.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

51.McKinneyW.DataStructuresforStatisticalComputinginPython.In:WaltSvander,MillmanJ,editors.Proceedingsofthe9thpythoninscienceconference.2010.p.56–61.

53.HunterJD.Matplotlib:a2Dgraphicsenvironment.ComputSciEng.2007;9(3):90–95.doi:10.1109/MCSE.2007.55.[CrossRef][GoogleScholar]

54.PerezF,GrangerBE.IPython:asystemforinteractivescientificcomputing.ComputSciEng.2007;9(3):21–29.doi:10.1109/MCSE.2007.53.[CrossRef][GoogleScholar]

55.WangY,MemberS,WangY,ChengC,JungT,MemberS.DevelopingStimuluspresentationonmobiledevicesforatrulyportableSSVEP-basedBCI.IEEE.2013.

56.CampbellA,ChoudhuryT,HuS,LuH,MukerjeeMK,RabbiM,etal.NeuroPhone:brain-mobilephoneinterfaceusingawirelessEEGheadset.In:Proceedingsofthe2ndACMSIGCOMMworkshoponnetworking,systems,andapplicationsonmobilehandhelds,MobiHeld’10,Co-locatedwithSIGCOMM2010.2010;3–8.

59.LiQ,DingD,ContiM.Brain-computerinterfaceapplications:securityandprivacychallenges.In:2015IEEEConferenceoncommunicationsandnetworksecurity,CNS2015.2015;(SPiCy):663–6.

60.SchalkG,McfarlandDJ,HinterbergerT,BirbaumerN,WolpawJR.BCI2000:ageneral-purposebrain-computerinterface(BCI)system.IEEETransNeuralSystRehabilEng.2004;51(6):1034–1043.[GoogleScholar]

61.PeregoP,MaggiL,PariniS,AndreoniG.BCI++:anewframeworkforbraincomputerinterfaceapplication.In:SEDE.Citeseer;2009.p.37–41.

62.RenardY,LotteF,GibertG,CongedoM,MabyE,DelannoyV,etal.OpenViBE:anopen-sourcesoftwareplatformtodesign,test,andusebrain-computerinterfacesinrealandvirtualenvironments.Presence.2010;19(1):35–53.doi:10.1162/pres.19.1.35.[CrossRef][GoogleScholar]

63.Muller-PutzG,BreitwieserC,CincottiF,LeebR,SchreuderM,LeottaF,etal.Toolsforbrain-computerinteraction:ageneralconceptforahybridBCI.FrontNeuroinform.2011;5:30.doi:10.3389/fninf.2011.00030.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

65.BrunnerC,AndreoniG,BianchiL,BlankertzB,BreitwieserC,KanohS,etal.BCIsoftwareplatformsBT—towardspracticalbrain-computerinterfaces:bridgingthegapfromresearchtoreal-worldapplications.In:AllisonBZ,DunneS,LeebR,DelR.MillánJ,NijholtA,editors.Berlin:Springer;2013.p.303–31.10.1007/978-3-642-29746-5_16.

67.TeplanM.FundamentalsofEEGmeasurement.Vol.2.2002.

69.RomanelliP,PiangerelliM,RatelD,GaudeC,CostecaldeT,PuttilliC,etal.Anovelneuralprosthesisprovidinglong-termelectrocorticographyrecordingandcorticalstimulationforepilepsyandbrain-computerinterface.JNeurosurg.2019;130(4):1166–1179.[GoogleScholar]

71.PfurtschellerG,AranibarA.Evaluationofevent-relateddesynchronization(ERD)precedingandfollowingvoluntaryself-pacedmovement.ElectroencephalogrClinNeurophysiol.1979;46(2):138–146.doi:10.1016/0013-4694(79)90063-4.[PubMed][CrossRef][GoogleScholar]

72.PfurtschellerG.EEGevent-relateddesynchronization(ERD)andsynchronization(ERS)ElectroencephalogrClinNeurophysiol.1997;103(1):26.doi:10.1016/S0013-4694(97)88021-6.[CrossRef][GoogleScholar]

74.LeeK,LiuD,PerroudL,ChavarriagaR,MillánJdR.Abrain-controlledexoskeletonwithcascadedevent-relateddesynchronizationclassifiers.RobotAutonSyst.2017;90:15–23.doi:10.1016/j.robot.2016.10.005.[CrossRef][GoogleScholar]

75.LeebR,PerdikisS,ToninL,BiasiucciA,TavellaM,CreaturaM,etal.Transferringbrain–computerinterfacesbeyondthelaboratory:successfulapplicationcontrolformotor-disabledusers.ArtifIntellMed.2013;59(2):121–132.doi:10.1016/j.artmed.2013.08.004.[PubMed][CrossRef][GoogleScholar]

76.BundyDT,SoudersL,BaranyaiK,LeonardL,SchalkG,CokerR,etal.Contralesionalbrain-computerinterfacecontrolofapoweredexoskeletonformotorrecoveryinchronicstrokesurvivors.Stroke.2017;48(7):1908–1915.doi:10.1161/STROKEAHA.116.016304.[PMCfreearticle][PubMed][CrossRef][GoogleScholar]

我们在脑机接口的工作方向

我们致力于脑机接口的财产创新研究和创新力气协同,我们广泛联结产学研用各方专家,并致力于面向当局提供支持,面向行业提供服务,面向公众提供科普。

2021年我们召开了"脑机接口技能创新与财产发展"论坛,发布了财产研究陈诉。

关于我们

知识产权与创新发展中心(以下简称“中心”)创建于2008年,是中国信通院一级业务部分,高级工程师及以上职称人数占比近40%。

十余年来,中心始终承袭“大力支持当局激情亲切服务行业”的宗旨,驻足“当局的IPR高端智库行业的创新IPR平台”定位,充实发挥中国信通院在技能标准、法律法规、政策经济、行业创新、财产发展等范畴的团体上风,聚焦于知识产权创造、运用、掩护、管理、服务全链条,致力于办理中国信息通讯财产所面对的各类战略性和实际性知识产权题目,助力国家知识产权强国建立、引发全社会创新活力、推动构建新发展格局。

相识更多相干资讯!!

    客户评论

    我要评论