通过身临其境的虚拟现实观察动作，增强运动想象力的训练。
1，研究背景
增强运动想象的一种方法是动作观察，即观察与运动想象任务相关的身体部位的运动。先前的研究表明，镜像神经元通过模仿来理解和学习动作，从而导致相应区域的激活。因此，当一个人观察到另一个实体反映想象中的身体动作时，动作观察就起到了诱导镜像神经元刺激的作用。
2D和三维运动的事件相关去同步(ERD)模式有显著差异，三维可视化组的ERD增强。更丰富的可视化和对观察到的运动的更强的所有权可以产生更好的ERD。
最近发表在《IEEE汇刊·神经系统与康复工程》上的一篇研究论文，通过观察握手动作，探讨了虚拟现实(VR)的丰富沉浸感是否会影响运动想象的重复训练。为了研究不同的显示媒介是否会影响运动想象中的动作观察，研究人员通过两种不同的显示器:沉浸式VR耳机和显示器来显示相同的图形握手动作。此外，研究以图形场景为刺激，强调沉浸式VR中的错觉和具象化对运动想象训练中动作观察的影响。为了考察使用这两种不同介质时的大脑活动，研究人员使用了脑电图，并识别了感觉运动皮层诱发的神经信号的变化。为了测量不同运动想象任务中空间大脑活动模式的可分辨性，研究人员应用了脑-机接口中常用的机器学习技术来学习和区分不同类型运动想象中的大脑活动。
2.研究过程
研究人员对每个参与者进行了两项实验，以调查在运动想象训练中使用沉浸式VR耳机提供运动观察是否对表现有影响:
(1)基于沉浸式VR的运动想象(IVR-MI):用沉浸式VR耳机为运动想象训练提供图形握手场景的实验。
(2)基于显示的运动想象(MD-MI):运动想象训练中使用非沉浸式显示器显示同一场景的实验。
对比MD-MI结果，分析VR对运动想象的影响。
2.1科目
* * * 20名年龄在20至37岁之间的健康参与者参与了这两个实验。实验前，还要求所有参与者长时间使用VR头戴设备，以确保他们在使用VR头戴设备时没有问题。参与者被随机分为两组，人数相等:A组在IVR-MI之前接受MD-MI，B组在MD-MI之前接受IVR-MI。为了减少前一次实验影响后一次实验结果的可能性，后一次实验应在前一次实验后至少7天进行。实验结果直到两个实验结束才会向被试透露，以避免任何可能影响表现的反馈。对每个参与者收集的数据进行了目视检查，排除了两个参与者的数据，因为它们显示出广泛的噪声，最终留下18个参与者进行分析。
2.2方案
这个图形场景由黑色背景上的两个虚拟手和箭头组成，由Unity游戏引擎实现。每次实验前，调整虚拟手的位置，使两个虚拟手之间的距离大致等于被试的肩宽(图1a)。
(1)IVR-MI设置:参与者戴上带电极的脑电图帽后，将佩戴Oculus Go，不使用垂直绑带，防止重叠电极上的绑带绷紧。
(2)MD-MI设置:在受试者面前的桌子上放置一个带有显示器臂的显示器，可以提供三个自由度。每个参与者都可以自由调节监视器臂的角度。
每个参与者都可以在Unity应用程序中调整摄像头角度，以最大限度地拥有虚拟手。参与者被要求把手放在桌子上，这样他们自己的手就会被虚拟的手取代。
2.3数据采集
BrainProducts的ActiChamp和actiCAP用于从每个参与者的头皮中检索EEG数据。以500Hz的采样率对数据进行采样，并且根据国际10-20系统放置有源电极。在整个实验过程中，记录了20个电极(FC5，C5，CP5，FC3，C3，CP3，FC1，C1，CP1，Cz，CPZ，FC2，C2，CP2，FC4，C4，CP4)。BrainVision用于记录脑电信号，每个电极的阻抗控制在5k以下，以获得高质量的数据。数据在8-25赫兹之间进行带通滤波。在收集之后，通过将平均参考应用于所有使用的电极位置，EEG数据被重新参考。预处理数据用于分析神经活动。
2.4实验设计
实验在黑暗隔音的房间里进行，以尽量减少任何环境干扰。每个运动想象实验由六个阶段的10个连续运动想象实验组成。如果有必要，参与者可以在两个阶段之间休息一下。每个实验由一个随机序列组成，该序列包括一个连续的右手抓握任务、一个连续的左手抓握任务和一个休息任务(图2a)。
单个任务包括最初的4秒钟指令期和随后的6秒钟运动想象期，随后是2秒钟休息期(图2b)。在指导过程中，给参与者一个指示休息任务的十字线索或一个指示左手或右手抓住想象任务的箭头线索，以告诉参与者下一个任务是什么，并指示他们盯着相应的手。在指令循环后的整个动作想象循环中，箭头线索对应的虚拟手模拟一系列抓握动作，指令被试以移动的方式观察和想象执行同样的动作。最后，在休息期间，虚拟手保持不动，参与者可以移动或眨眼以防止眼睛疲劳。在引导期和运动想象期，受试者被指示避免任何动作，包括眨眼。在整个实验过程中，展示了两只虚拟的手，并要求参与者把它们想象成自己的手。
3.研究方法
3.1 ERD分析
对应于电极位置C3和C4的大脑区域分别与右手和左手的抓握动作相关。为了测量单个周期内大脑活动的变化，我们首先用下面的等式计算三个运动想象任务记录的EEG数据的平均功率谱:
为了分析受试者在每次对话中由左、右保持运动想象引起的ERD振幅随时间的变化，我们使用以下公式计算两个运动想象任务相对于休息任务的ERD比率:
因此，根据不同运动想象任务时在各电极位置诱发的脑模式特征的差异，计算各阶段的ERD比率。
为了分析每个实验中运动想象的表现，研究人员进一步计算了每个实验参与者的平均ERD比率，并应用了以下公式:
考虑到每个人最活跃的频带可能不同，两个方程中每个参与者的频带通过选择带宽为2Hz的频带来确定，这导致两个实验中所有任务的最大平均ERD比。
分别分析了C3和C4用右手和左手控制运动想象的ERD结果，并讨论了被试在两种不同任务中的表现。为了考察不同显示媒介对每个被试的影响，本文将指定组(表示实验顺序)和显示媒介作为两个因素，对计算出的平均ERD值进行了双向方差分析。为了进一步测试每次对话中ERD的统计增强，应用了Dunnett非参数多重对比测试，其中第一次对话的ERD比率用作对照。因此，在两个实验中，分别比较了右手运动想象任务和左手运动想象任务的ERD比率(图3)。
3.2判别分析
通过对两个实验中神经活动的判别分析，构建了一个经典的机器学习模型来进一步评估性能。为了比较两个实验中每个参与者的分类准确率，提取了每个运动想象周期的6秒脑电数据。为了增加模型要学习的数据量，本文进一步增强了每6秒的脑电数据，以100毫秒为步长将数据划分为2秒的时间窗。
应用公共空间模式(CSP)算法从预处理的脑电数据中提取空间特征，并使用Fisher线性判别分析(LDA)创建分类模型，该模型预测脑电数据段是否涉及休息、左手或右手运动想象任务。为了评估运动想象的脑电图数据，我们采用了两种不同的交叉验证方法:1)6折交叉验证，其中分析来自单个实验的数据，每个折对应于从10个运动想象实验的单个对话中检索的数据；2)10折叠交叉验证，其中使用来自单个会话的数据，并且每个折叠对应于从单个试验检索的数据。采用交叉验证的方法来检验区分左手抓握、右手抓握和静止状态三种不同运动想象任务的准确性。为了进行统计分析，本文通过双向方差分析对60%交叉验证的结果进行了检验，以显示每个实验的总体表现。为了进一步测试神经活动辨别的统计增强，对10倍交叉验证结果使用Dunnett非参数多重对比检验，其中第一次对话的准确性用作对照。
4.研究成果
4.1统计分析假设验证
在对左右手运动想象的ERD结果进行方差分析和交叉验证准确性结果的参数检验之前，对必要的假设进行了验证。表1显示了夏皮罗-维尔克正态检验和Levene齐次方差检验的结果。P值结果表明所有病例的方差不违反正态性和均匀性(p & gt0.05)。
4.2性能的实验分析
为了比较使用两种不同显示媒体的参与者的表现，我们分析了ERD比率和ERD振幅，其中ERD比率由参与者在锻炼想象期间的平均ERD比率表示，ERD振幅表示随着时间的推移从每个时段收集的平均ERD。
比较了两个实验中左右手运动想象的ERD比和ERD振幅，如图4所示。图4a的方差分析结果表明，在左手运动想象中，IVR-MI的ERD大于MD-MI(IVR-MI和MD-MI分别为49.32±12.08和34.75±14.75)，差异非常显著(F (1，65438) 0.001)。与MD-MI相比，IVR-MI的右手运动想象的ERD值也更大(分别为53.29 12.57和41.32 15.19)，差异非常显著(F (1，65438) 0.01)。另一方面，两组的左右手运动想象无显著差异(F(1，16)=0.131，p & gt0.72;F(1，16)=1.034，p & gt0.32)。
图4b示出了参与者相对于时间的ERD振幅，这是通过平均所有会话中每个参与者的ERD振幅来计算的。IVR-MI和MD-MI的红蓝波形图显示，运动想象期左右手的ERD存在显著差异，IVR-MI的ERD波幅大于MD-MI。如X轴上的灰度所示，左手运动想象的时域范围在1.05.4秒和6.27.0秒之间，右手运动想象的时域范围在1.45.8秒和6.07.2秒之间。这两个振幅之间存在显著差异。在引导期(左手运动想象T
4.3实验交叉验证
图5显示了IVR-MI和MD-MI的6倍对象相关交叉验证准确度的结果，其中单倍代表从每个会话获得的数据。方差分析表明，两种培养基的准确性差异非常显著(f (1，16) = 20.990，P < 0.001)，IVR-MI的准确性高于MD-MI(分别为67.85 13.50和57.49 13.96)。相反，两组间无显著性差异(f (1，16) = 0.008，p & gt0.93)。
4.4性能的会话式变化
本研究进一步分析了左右手运动想象的ERD表现如何随训练时间的变化而变化。如图6所示，在想象左手运动期间，IVR-MI和MD-MI的ERD率都是线性正相关的(IVR-MI r=0.345，P
选择第一个会话的ERD比率作为基线，并与其他会话进行比较，以分析与每个会话相比ERD性能的改善，如图6和表2所示。对于左手运动想象，IVR-MI和MD-MI的被试在第五次以后都有显著提高，但IVR-MI和MD-MI的提高程度更强(P < 0.01和P
4.5交叉验证的会话式更改
图7示出了在每次会话中使用10倍交叉验证来区分脑活动模式的结果，其中单倍代表来自每次实验的数据。对于IVR-MI和MD-MI，准确性结果呈正线性关系(r=0.276，P
为了分析不同时间段交叉验证准确度的提高情况，我们对第一个时间段的准确度结果进行了Dunnett非参数多重对比检验。图7和表3中的结果表明，IVR-MI期间的参与者可以显示出从第5次治疗开始在辨别能力方面的显著改善(第5次和第6次治疗P
4.6费希尔比率地形图
为了进一步研究从不同的手想象任务中获得的空间特征，我们使用ERD结果将费希尔比率应用于每个电极。如图8所示，电极位置C3和C4是区分左手和右手运动想象的主要因素。与MD-MI的Fisher比值(C3和C4分别为0.544和0.377)相比，IVR-MI组中C3和C4的Fisher比值较高(C3和C4分别为0.997和0.566)。
5.讨论
本研究以VR头戴设备和显示器为媒介，观察左右手的动作，考察沉浸感和错觉对运动想象训练的影响。通过比较两个实验获得的ERD比率和交叉验证准确性，本文证明了在训练中通过不同媒体感知同一动作可能导致不同的运动想象表现。
结果显示，参与者在使用VR耳机时，可以获得更好的运动想象表现。在通过反复训练练习运动想象方面，不仅证明了反复的动作观察会影响被试的运动想象表现，而且发现使用VR耳机可能会以较少的时间成本提高运动想象表现。使用VR头戴式耳机的ERD比率和交叉验证准确度的结果显示出很大的改进。本文证明了使用VR耳机比使用显示器更能有效地提高ERD性能，增加大脑活动的空间分辨力。
研究人员还研究了ERD振幅和费希尔比率，以解决只有不同的显示媒体才会影响中央运动皮层(C3和C4)的ERD比率的问题。本研究结果显示，在引导期间，ERD的振幅模式略有增加，且无显著差异。然后两个实验之间有一个统计上的显著差异，在运动想象期大大增加，然后在休息期减少(图4b)。虽然研究者预测在指导期间没有显著差异的轻微增加是引导动作的准备和计划的结果，但IVR-MI的ERD振幅仅在运动想象和休息的早期显著高于MD-MI，这表明这种统计差异是由运动想象的操作引起的。此外，图8显示，在两个实验中，区分不同运动想象任务的主要空间特征来自C3和C4电极，这表明只有显示媒体的差异对可能影响我们结果的因素影响很小，例如来自视觉皮层的空间特征。这些结果表明，通过VR耳机进行的动作观察比通过显示器显示的动作想象操作更有效。
如前所述，本文重点研究通过VR系统的沉浸感和错觉对动作观察的重复性动作想象训练是否有效。ERD绩效和交叉验证结果验证了本文的假设。结果表明，在重复运动想象训练中，ERD比更高，空间脑活动更分化。结果表明，丰富的沉浸感本身会影响运动想象(通过呈现相同的图形手部动作)。因此，对于任何可以模拟的图形场景，与非沉浸式显示器相比，使用沉浸式VR耳机可能有利于运动想象力训练。
这项研究有一些局限性和可能的改进。有些人可能会担心，这项研究的图形场景在某种程度上可能会被认为是不同的，因为虚拟手在两种显示媒体中的比例可能不完全相同。为了解决这个问题，在开始每个实验之前，先关注每个参与者的反馈，然后再调整大小，以最大化现实。此外，尽管研究人员在研究中调整了各种环境成分来扩展具体性，但他们并没有直接量化两个实验中每个用户的具体性水平。由于两个实验之间有相当大的时间差距，研究人员认为任何可能的调查或问卷都是潜在不可靠的，但使用了以前的工作结果来声称VR增强了具体性。最后，相对较小的样本量也是一个限制。虽然每个参与者都进行了多次重复实验，但考虑到每个参与者的不同表现，分析的统计能力可能有限。因此，应该对本文的研究结果进行仔细的解释。根据本文的研究结果，未来的研究将侧重于使用本文的指标来比较VR耳机(一种完全沉浸式可视化工具)和立体3D眼镜(一种半沉浸式虚拟现实系统)的使用情况。
6.结论
与以往的研究侧重于动作观察的视觉场景本身与运动想象的比较不同，本研究侧重于沉浸式虚拟现实和具体化对运动想象的联合效应。与其他现有媒体相比，VR头戴设备可以提供更真实的体验，增强幻觉和沉浸感。受此启发，研究人员通过比较VR头戴设备和显示器对同一虚拟手运动的动作观察，研究了沉浸式VR头戴设备是否也可以用于增强运动想象的表现。
本文研究了与这两种介质的运动想象相关的脑模式的两个不同方面:来自运动想象相关脑区的信号振荡节律的变化和信号空间特征的可分辨性，并利用脑-机接口中常用的机器学习模型进行了探索。这两项分析的结果表明，使用VR耳机可能会导致神经信号的更大振荡和空间分辨率。因此，在临床治疗、康复、脑机接口等领域，结合沉浸感和错觉的VR耳机更能呈现运动想象训练中的动作观察。在临床治疗、康复、脑机接口等领域，使用VR耳机可以更好的呈现运动想象训练中的动作观察。