|
|
相关文章推荐
|
高大的人字拖 · 喜欢《好春光》这个歌曲，来这吧里看看【春光灿 ...· 4 月前 · |
|
|
年轻有为的熊猫 · 仙人只想躺着(猪心虾仁)最新章节在线阅读-起 ...· 1 年前 · |
|
|
重感情的地瓜 · 给我推荐一些小说 【搞笑修仙+无敌】 ...· 1 年前 · |
|
|
干练的硬币 · 石油化工的工业互联网：不自造，就没出路 | 雷峰网· 1 年前 · |
|
|
神勇威武的红豆 · 斗破苍穹萧炎救韩月韩雪漫画 - 抖音· 1 年前 · |
The .gov means it’s official.
Federal government websites often end in .gov or .mil. Before
sharing sensitive information, make sure you’re on a federal
government site.
The
https://
ensures that you are connecting to the
official website and that any information you provide is encrypted
and transmitted securely.
As a library, NLM provides access to scientific literature. Inclusion in an NLM database does not imply endorsement of, or agreement with,
the contents by NLM or the National Institutes of Health.
Learn more: PMC Disclaimer
Corresponding author.
Learn more: PMC Disclaimer
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi.
2022 Feb 25; 39(1): 56–66.
Chinese.
doi:
10.7507/1001-5515.202101010
PMCID:
PMC9927750
PMID:
35231966
立体与非立体虚拟现实影片情绪唤醒差异的电生理特性
Electrophysiological characteristics of emotion arousal difference between stereoscopic and non-stereoscopic virtual reality films
丰 田
上海大学 上海电影学院（上海 200072）, Shanghai Film Academy, Shanghai University, Shanghai 200072, P. R. China 上海大学 上海电影特效工程技术研究中心（上海 200072）, Shanghai Engineering Research Center of Motion Picture Special Effects, Shanghai University, Shanghai 200072, P. R. China
Find articles by
丰 田
文睿 张
上海大学 上海电影学院（上海 200072）, Shanghai Film Academy, Shanghai University, Shanghai 200072, P. R. China
Find articles by
文睿 张
颖洁 李
上海大学 上海电影学院（上海 200072）, Shanghai Film Academy, Shanghai University, Shanghai 200072, P. R. China 上海大学 上海电影特效工程技术研究中心（上海 200072）, Shanghai Engineering Research Center of Motion Picture Special Effects, Shanghai University, Shanghai 200072, P. R. China 上海大学 上海电影学院（上海 200072）, Shanghai Film Academy, Shanghai University, Shanghai 200072, P. R. China 上海大学 上海电影特效工程技术研究中心（上海 200072）, Shanghai Engineering Research Center of Motion Picture Special Effects, Shanghai University, Shanghai 200072, P. R. China 上海大学 国际教育学院（上海 200444）, College of International Education, Shanghai University, Shanghai 200444, P. R. China 上海大学 生命科学学院 生物医学工程研究所（上海 200444）, Institute of Biomedical Engineering, School of Life Science, Shanghai University, Shanghai 200444, P. R. China
Corresponding author.
颖洁 李:
nc.ude.uhs.i@jyil
李颖洁，Email：
nc.ude.uhs.i@jyil
P
= 0.000
VR-3D7.551.2762.050.945
P
= 0.000
唤醒度VR-2D5.501.8216.651.348
P
= 0.076VR-3D6.351.6317.151.089
P
= 0.057
1.3. 实验流程
所有实验均在封闭无干扰的黑暗环境中进行，参与者正对显示器。在实验开始前，所有参与者需保持头部干净、清爽。被试者填写完前测问卷后，实验人员会为被试者佩戴好脑电帽。脑电设备佩戴完毕后，所有参与者还需佩戴耳机和VR设备——HTC VIVE，并通过HTC VIVE HMD观看VR视频。参与者在实验过程中被告知不能随意晃动头部和身体，避免由于肢体运动以及VR头盔干扰脑电帽引起的误差。在正式播放视频片段之前会先为参与者播放一小段音频和视频，让参与者尽快适应实验环境并且平息下来，避免兴奋带来的实验误差。正式实验的视频播放过程中，被试者的脑电信号会被同步记录，实验人员会全程观察脑电帽各个通道的信号传输情况。每段视频播放结束，参与者需要对当下的情绪感受进行主观评分。实验流程如 图2 所示。
1.4. 数据采集和预处理
本次实验采用的主观评分量表为自我情绪评定量表（Self Assessment Manikin，SAM） [ 17 ] 。SAM量表可以直接测量被试者对于各种刺激的情绪反应，包括效价、唤醒、控制等指标。本次实验主要对效价、唤醒和控制进行评分，评分等级均为1～9（在效价方面，数字越大表明积极程度越高；在唤醒方面，数字越大表明唤醒程度越强；在控制方面，数字越大表示控制程度越高）。
实验采用的脑电采集设备为博瑞康（常州）股份有限公司的64导EEG检测仪，脑电数据通过Neuracle EEG Recorder V2.0.1（博睿康科技，常州）采集。Cpz作为参考电极，AFz作为接地电极，采样频率为1 000 Hz，电极阻抗均小于5 kΩ，采集时使用50 Hz陷波滤波器去除工频干扰。
采用MATLAB中的EEGLAB工具箱完成实验数据的预处理。在预处理阶段，首先要剔除采集心电和眼电的5个无用通道，接着对原始数据进行FIR带通滤波，范围为1～40 Hz。滤波完成后进行坏导联插值和坏段剔除，用独立主成分分析法剔除眨眼、眼飘、肌电等伪迹成分，最后进行重参考 [ 18 ] 和基线校正处理。信号预处理阶段中，两组各有几名被试者的数据存在不同程度的残缺，最终，VR-2D和VR-3D组各保留15组实验数据进行后续分析。为减少视频时长对脑电分析结果的影响，本团队对所有被试者的正性和负性脑电数据都进行等长的截取（正性和负性脑电数据总时长都为175 s，点数为175 000点）。同时，为了保证实验数据的可靠性，分别对VR-2D组和VR-3D组的被试者进行了静息态的脑电信号采集，截取的两组被试的静息态时长均为20 s，点数为20 000点，以检验两组被试在正式观影前基线脑电是否有显著差异。
1.5. 数据分析
1.5.1. 脑电信号提取
本次实验使用带通滤波对已预处理过的脑电信号进行分频处理，对每个数据段提取α（8～13 Hz）、β1（13～18 Hz）、β2（18～21 Hz）、β3（21～30 Hz）四个波段的脑电信号。
针对提取出的各频段的脑电信号，取所有采样点的平方和代表该频段的能量 [ 19 ] ，频段能量的计算公式如式（1）：
其中， k 代表数据段数量（本实验中的数据段数为1）， N 代表每段中的数据点个数（本实验中数据点个数为175 000）， X ( k ) i 代表第 k 段数据第 i 个点的值。
如 图3 所示，本次实验选取以下脑区和特征通道进行分析：额区（Fz、F3、F4、FCz、FC3、FC4），顶区（Pz、P3、P4），中央区（Cz、C3、C4、CP3、CP4），颞区（TP7、TP8、T7、T8、P7、P8）和枕区（POz、PO3、PO4、Oz、PO7、PO8）。
1.5.2. 统计分析
对于SAM量表中的数据，采用单因素方差分析进行均值比较。使用重复测量方差分析对取以10为底的对数后的脑电信号能量进行分析，其中组内因素是“情绪”（2个水平：正性情绪／负性情绪）和“脑区”（5个水平：额区/中央区/顶区/颞区/枕区），组间因素为“放映模式”（VR-2D模式/VR-3D模式）。如果上述因素之间存在交互效应，则进行简单效应分析。对于所有结果描述采用的检验水准为0.05。重复测量方差分析中所有主效应和交互效应的值都会经过Greenhouse-Geisser校正，简单效应分析的值会经过Bonferroni校正。
1.5.3. 基于SVM的观影模式分类
为更深入地探索VR-2D与VR-3D模式的情绪唤醒电生理差异，采用支持向量机（support vector machine，SVM）对两种观影模式下的脑电信号进行特征的识别与分类，进一步研究VR-2D与VR-3D模式的情绪唤醒生理差异。
本次实验中需要对α、β1、β2、β3这4个波频段的两种视觉模式的脑电信号进行特征的提取和分类，用于验证VR-2D和VR-3D视觉模式下的人脑生理信号是否能够被识别划分。
本文使用LIBSVM工具包来进行情绪分类，采用的核函数为RBF核函数，该核函数在SVM分类中表现相对稳定 [ 20 ] 。本文采用的交叉验证方法为K交叉验证 [ 21 ] 。K交叉验证方法可以有效避免过学习与欠学习状态的发生。
原始数据集为预处理过后的数据，数据集样本的标签分别为“1”和“2”，其中“1”代表VR-2D模式的脑电数据，“2”代表VR-3D模式的脑电数据，VR-2D和VR-3D各有30组数据，其中20%的数据作为测试集样本，80%的数据作为训练集样本。
2. 实验结果
为了探寻VR-2D和VR-3D模式在两种不同情绪下脑电诱发的差异，本文分别比较了VR-2D和VR-3D两种模式下的主观量表数据以及α、β1、β2、β3这4个波段的脑电信号结果，同时对被试者的生理数据进行了脑区地形图的分析，最后，运用SVM机器学习的方法对采集的客观脑电数据进行了分类验证。
2.1. 主观数据评价结果
SAM主观量表中效价、唤醒和控制指标的数据分析结果如 表2 所示。SAM量表中相同模式下不同情绪影片的主观效价、唤醒、控制数据结果表明，VR-2D和VR-3D模式下正性材料效价显著高于负性材料；VR-3D模式下正负性影片无显著的唤醒度差异，VR-2D模式下存在显著的唤醒度差异。该结果表明，被试者能够清楚地分辨被试材料的情感意义，且实验选用的正负性视频材料都可以引发较高的唤醒度。此外，对于两部影片VR-2D和VR-3D模式间的效价、唤醒指标的主观评分并未产生显著差异，表明被试者在SAM评价上并未表现出两种视觉模式的情绪维度差异。
表 2
SAM subjective scale score statistics
SAM主观量表评分统计
| 指标 | 组别 | 均值 | P 值 |
| 效价 | 正性VR-3D > 负性VR-3D | 7.667 > 2.533 | P = 0.000 |
| 正性VR-2D > 负性VR-2D | 7.267 > 2.867 | P = 0.000 | |
| 唤醒度 | 正性VR-3D < 负性VR-3D | 6.000 < 6.800 | P = 0.116 |
| 正性VR-2D < 负性VR-2D | 5.200 < 6.933 | P = 0.008 | |
| 控制度 | 正性VR-3D > 负性VR-3D | 5.800 > 4.533 | P = 0.021 |
| 正性VR-2D > 负性VR-2D | 6.600 > 5.267 | P = 0.092 | |
| 效价 | 正性VR-3D > 正性VR-2D | 7.667 > 7.267 | P = 0.539 |
| 负性VR-3D < 负性VR-2D | 2.533 < 2.867 | P = 0.424 | |
| 唤醒度 | 正性VR-3D > 正性VR-2D | 6.000 > 5.200 | P = 0.212 |
| 负性VR-3D < 负性VR-2D | 6.800 < 6.933 | P = 0.870 | |
| 控制度 | 正性VR-3D < 正性VR-2D | 5.800 < 6.600 | P = 0.177 |
| 负性VR-3D < 负性VR-2D | 4.533 < 5.267 | P = 0.317 |
2.2. 脑电能量
通过对比VR-2D和VR-3D两组被试人员的静息态脑电信号可知，两组被试人员的静息脑电信号在α波段（额区： P = 0.765；中央区： P = 0.454；顶区： P = 0.724；颞区： P = 0.999；枕区： P = 0.565）、β1波段（额区： P = 0.691；中央区： P = 0.878；顶区： P = 0.795；颞区： P = 0.347；枕区： P = 0.151）、β2波段（额区： P = 0.512；中央区： P = 0.583；顶区： P = 0.975；颞区： P = 0.146；枕区： P = 0.220）和β3波段（额区： P = 0.106；中央区： P = 0.932；顶区： P = 0.450；颞区： P = 0.087；枕区： P = 0.076）不具备显著差异， P 值均大于0.05，因此，两组被试人员后续的脑电信号分析均基于同一水平展开，客观数据具备较高的可靠性。
2.2.1. α波段
脑区的主效应显著， F （1.827，51.154） = 36.451， P <0.001，偏 η 2 = 0.566，枕区脑电能量较高。
脑区和放映模式间有交互效应， F （1.827，51.154） = 4.963， P = 0.013，偏 η 2 = 0.151。对每个脑区进行组内因子方差分析，结果表明在枕区， F （1，28） = 6.365， P = 0.018，偏 η 2 = 0.185，VR-3D模式的脑电能量高于VR-2D模式，如 图4 所示。
2.2.2. β1波段
脑区的主效应显著， F （3.104，86.918） = 49.569， P < 0.001，偏 η 2 = 0.639，枕区和颞区脑电能量较高。
脑区和放映模式间有交互效应， F （3.104，86.918） = 4.455， P = 0.005，偏 η 2 = 0.137。对每个脑区进行组内因子方差分析，结果表明在枕区， F （1，28） = 8.030， P = 0.008，偏 η 2 = 0.223，VR-3D模式的脑电能量高于VR-2D模式，如 图4 所示。
2.2.3. β2波段
脑区的主效应显著， F （2.771，77.592） = 71.502， P < 0.001，偏 η 2 = 0.719，枕区和颞区脑电能量较高。
脑区和放映模式间有交互效应， F （2.771，77.592） = 4.307， P = 0.009，偏 η 2 = 0.133。对每个区域进行组内因子方差分析，结果表明在颞区 F （1，28） = 5.105， P = 0.032，偏 η 2 = 0.154，在枕区 F （1，28） = 6.058， P = 0.020，偏 η 2 = 0.178，VR-3D模式的脑电能量高于VR-2D模式，如 图4 所示。
2.2.4. β3波段
脑区的主效应显著， F （2.814，78.791） = 77.593， P < 0.001，偏 η 2 = 0.735，额区、枕区和颞区脑电能量较高。
脑区和放映模式间有交互效应， F （2.814，78.791） = 3.454， P = 0.023，偏 η 2 = 0.110。对每个脑区进行组内因子方差分析，结果表明在颞区 F （1，28） = 5.416， P = 0.027，偏 η 2 = 0.162，在枕区 F （1，28） = 5.557， P = 0.026，偏 η 2 = 0.166，VR-3D模式的脑电能量显著高于VR-2D模式。额区VR-3D模式的脑电能量有高于VR-2D模式的趋势， F （1，28） = 4.188， P = 0.050，偏 η 2 = 0.130，如 图4 所示。
2.3. 脑区地形图比较
通过绘制脑区地形图，能直观地显示脑电信号的空间分布以及不同脑区能量的高低和变化趋势，从而展示出脑电信号的差异区域。本文使用MATLAB绘制了正性、负性情绪影像在VR-2D和VR-3D视觉模式下四个频带的脑区地形图。
如 图5 所示，在α波段，相较于VR-2D组，VR-3D组的枕区能量有了一定的上升；在β1、β2、β3波段，观看完不同模式的正、负性影片后，VR-3D组的整体脑区能量直观上高于VR-2D组，其中，能量较高的区域集中在枕区、颞区和额区。
在脑区地形图的基础上分别对正性影片和负性影片在不同视觉模式下的脑电信号进行统计分析可知，观看负性影片时，枕区VR-3D模式下每个波段的脑电信号均显著高于VR-2D模式（α波段枕区 P = 0.020，β1波段枕区 P = 0.022，β2波段枕区 P = 0.038，β3波段额区 P = 0.037，β3波段枕区 P = 0.048）；在观看正性影片时，两种模式间产生显著差异的脑区增多，在高频β波段，额区、颞区和枕区都体现出模式间的差异（α波段枕区 P = 0.037，β1波段枕区 P = 0.015，β2波段额区 P = 0.041，β2波段颞区 P = 0.009，β2波段枕区 P = 0.024，β3波段额区 P = 0.006，β3波段颞区 P = 0.008，β3波段枕区 P = 0.033），VR-3D模式下脑电能量更高，如 图6 所示。
2.4. SVM分类结果
本次实验选取人脑的五个脑区（额区、中央区、顶区、颞区、枕区）的通道作为特征识别通道，利用训练集数据进行训练，并用测试集数据进行验证，检验不同脑区对VR-2D和VR-3D视觉模式的分类识别准确率。
SVM分类识别的准确率结果如 图7 所示。额区、中央区、顶区、颞区、枕区的平均分类准确率为70.83%、58.34%、64.58%、70.84%和70.83%。在α波段，额区和枕区的分类准确率较高，在β波段，额区、顶区、颞区和枕区的分类准确率都处于较高水平。该结果表明，在所有脑区中，额区、颞区和枕区的总体分类准确率较高，计算4个波段的平均识别准确率可知，β3波段的平均识别准确率最高，该波段所有脑区的平均识别准确率达到78.34%。
3. 讨论
3.1. 两种模式都能显著唤醒情绪
本实验采用的SAM量表数据结果表明被试者可以准确地区分两部影片的情绪效价，对正负情绪做出准确的判断。在本课题组之前的实验中 [ 22 ] ，我们使用正性负性情绪量表（Positive and Negative Affect Schedule，PANAS） [ 23 ] 对观看与本文同样视频素材的另一批被试者进行了主观测试。实验中使用的PANAS量表基于正面情绪和负面情绪分别设计了10个情绪关键词，被试者需要基于当前的情绪对量表中的20个情绪关键词进行评分，1～5分分别代表几乎没有、比较少、中等程度、比较多、极其多。PANAS量表数据结果表明不论是正向影片还是负向影片，被试者在观看完VR-3D版本影片后会产生更多主观评分差异，在部分关键词中，VR-3D与VR-2D模式主观评分增量出现显著差异，在VR-3D模式下出现更显著的情绪唤醒。
主观数据是一种有意识的自我报告，大脑处理情感刺激的部分过程与参与者的意识评价会存在不同 [ 24 ] 。SAM量表并未体现出显著的模式间情绪唤醒差异，可能是由于被试者仅在实验结束后填写SAM量表，观影前并未定量测量被试者的情绪状态，因此无法完全排除观影前情绪状态对观影后情绪状态产生的影响。而PANAS量表在实验前和实验后均进行了填写，利用前后测的差值进行比较可以有效减小误差，因此在研究中PANAS量表的结果更具有可靠性。本次实验在主观量表测试实施过程中存在不足，导致主观结果的准确性和可靠性存在缺陷，在后续的实验中有待改进。
3.2. VR-3D模式增强了脑电能量
本研究发现，在α、β1、β2、β3这4个波段中，观看VR-3D与VR-2D的影片均产生了不同的脑电活动。Kweon等 [ 13 ] 发现，在观看不同类别的影片时，相较于传统桌面模式，VR-3D模式下β波更加活跃。由于观看传统桌面视频和VR视频需要不同的设备，在Kweon等 [ 13 ] 的实验中，无法判别产生的脑电信号差异是由观看的影片引起的还是由于设备差异导致的。在我们的实验中，所有视频都是在头盔式VR环境下观看，消除了设备带来的差异，所以可以认为，在VR环境下，各个波段脑电信号的差异是由立体视觉引起的。
脑电活动在不同条件下会呈现出不同的区域特性，简单视觉特征检测在枕叶视皮层，而复杂的特征和运动的提取多存在于颞叶 [ 25 - 26 ] ，颞叶深沟中存在海马体，海马体在情绪加工和认知过程中起到重要作用 [ 27 ] 。额叶区是高级认知功能中枢，研究表明复杂神经功能如知觉、思考、注意、反馈等高级活动一般存在于前额叶皮层和枕叶、顶叶、额叶皮层之间的联络区。其中，参与情绪活动的脑区包括杏仁核、基底神经节、前额皮层、扣带回皮层和顶叶皮层 [ 28 - 31 ] 。本次实验的结果表明，在β波段枕区和颞区能对VR-3D和VR-2D的影像体现区分和差异，我们推断这是由于人眼对立体模式的敏感性导致人脑处理视觉信号时在枕区和颞区出现不同的脑电能量。除此之外，在高频β波段，被试者的额区也能对VR-3D和VR-2D的影像产生不同的反馈，立体视觉模式下额区脑电信号能量显著上升。研究表明，相较于非立体影片，立体影片具有更高的感性现实主义，在观看3D影片时，观众注意力会更加集中，不容易分心 [ 32 ] 。Tan等 [ 33 ] 认为，感知现实主义和情绪之间存在双向关系，同时，情绪也受到了吸引力和关注的调控。也就是说，当画面呈现的内容现实感更强、引发更多关注时，可能会带来更为强烈的情绪。额区主要负责高级认知，额叶脑电活动可以反映人对于情绪活动做出反馈的能力以及调节注意力的能力 [ 34 ] ，我们因此推断导致额区出现差异趋势的原因主要是被试者在观看不同模式影片时产生了注意力的变化，在观看VR-3D影片时注意力更加集中，引发了立体视觉模式下被试者额区的活跃。在立体视觉模式下观看影片，可以提高观看者的注意力，有助于激发观看者更多的思考以及对情节、内容的理解。
通过分析正、负性影片在不同视觉模式下不同频带的脑区地形图，我们发现在观看负性视频时，不同视觉模式下的脑电信号在枕区出现显著差异，VR-3D模式下的枕区活动更加剧烈。而在观看正性视频时，两种模式间产生显著差异的脑区增多，VR-3D模式下更多脑区被激活。针对负性视频的分析结果我们推测，由于负性视频呈现的场景较为昏暗，被试者在观看的过程中感受到的立体感差异相较于正性视频会有所减弱，因此，观看负性视频引发的大脑皮层活动的剧烈程度会有所衰减，导致观看负性视频时出现显著差异的脑区减少。
综上所述，VR-3D模式下的β波段脑电能量显著高于VR-2D模式。β波被认为是测量认知和情绪过程的有用指标，将脑电信号中的β波节律用于情感状态识别是可行的 [ 35 ] ，β波的活动与唤醒状态有关 [ 12 ] ，然而β波的脑电活动也能很好地反馈视觉注意处理活动 [ 36 ] 。本实验中，VR-3D模式下被试者β波活动更加活跃，与VR-2D模式下的β波能量产生了显著差异，这一差异可能是由唤醒度的上升造成的，但在立体视觉模式下被试者的注意力更加集中 [ 32 ] ，β波的活跃也有可能是由视觉模式的不同带来的注意力集中度不同引起的，因此，未来的研究中可以增加对唤醒度和电生理研究结果的相关分析，以进一步明确这种生理反应和唤醒度之间的关系。
3.3. 观看立体影片引起视觉疲劳
在本次实验中，观看VR-2D与VR-3D的影片产生了不同的α波震荡，VR-3D模式下的α波段脑电能量值高于VR-2D模式，且在枕区α波段的能量在VR-3D模式下显著上升。α波段的脑电信号节律在一定程度上也可以反映唤醒强度的高低 [ 12 ] ，因此，我们推测VR-3D模式下α波段脑电信号的上升可能反映出该模式下唤醒度的提高。同时，α波段出现的差异也可能是由视觉疲劳引起的。基于视觉显示终端引发的视觉疲劳是指长时间注视视屏终端引发的一系列眼睛不适等综合症状 [ 37 ] 。Zou等 [ 38 ] 利用灰色关联分析（grey relational analysis，GRA）来评价脑电图指标对立体视觉疲劳的测量效果，结果表明在各种脑电图指标中，α波段的数据是检测立体视觉疲劳的最优指标，且能量的增加与立体视觉疲劳有关。在本文实验中，VR-3D模式下枕区α波能量显著高于VR-2D模式。研究表明，枕区是视觉特征检测区，且α波频段能量的增加与立体视觉疲劳有关 [ 38 ] ；同时，也有一些研究发现，观看立体影片给观看者带来的视觉疲劳程度更高 [ 39 ] 。因此，本文推断α波段脑电数据的显著差异可能是由于持续观看VR-3D视频带来的视觉疲劳引起的。当然单一的α波指标对疲劳程度的判断较为粗略 [ 40 ] ，对于持续观看立体影片引发的疲劳度问题后续可以配合心电、眼动、主观问卷等数据进一步分析。
3.4. 高频 β 信号可以有效区分VR影像视觉模式
由SVM分类识别的结果可知，颞区、额区和枕区对VR-2D和VR-3D两种视觉模式的脑电信号差异识别准确率较高，分类效果较好。枕区和颞区是简单视觉特征和运动特征提取区 [ 25 - 26 ] ，分类识别结果表明被试者在VR环境中处理2D与3D视觉信号时能够引发大脑皮层枕叶和颞叶活动的差异，能够较为准确地分辨VR影像的视觉模式，对3D影像的识别与特征的提取具备敏感性。额区的高分类准确率表明在高级认知区域，VR-2D和VR-3D两种模式间的脑电信号活动表现出较大区别。我们推测，在观看不同视觉模式的VR影片时，被试者会产生差异较大的高级认知活动，总体来说，β波段分类效果较好，观看VR-3D影片时，被试者的注意力更加集中。该分类结果与客观数据分析结论相匹配，印证了β波段的脑电信号可以作为分辨VR-2D和VR-3D两种视觉模式的有用指标，脑电信号在该波段产生了更大的差异。
通过计算4个波段5个脑区的平均分类准确率可知，基于人脑β3波段的平均识别准确率最高，达到78.34%，因此，β3波段可以作为衡量VR-2D与VR-3D模式差异的重要参考指标。
4. 结论
本研究通过开展认知心理实验采集分析脑电数据，对比不同情绪刺激下诱发的脑电信号特征，评价了VR-2D和VR-3D两种不同的影像模式对情绪唤醒产生的作用，研究结果证实了3D环境下的VR影片刺激会产生更强烈的大脑皮层活动，一定程度上带来了更强的生理反应。但由于目前拍摄、放映设备研发进度缓慢，传输带宽有限，该类影片无法得到广泛的应用与传播。在未来5G技术成熟以后，VR-3D影片的应用前景将被拓宽，在传输和制作方面的局限会进一步缩小，有望得到更广泛的使用。但是，我们也发现现有技术手段下的VR观影会带来更高的疲劳感，未来需要更好的解决方案。同时，本文利用SVM对两种观影模式下的脑电信号进行特征的识别与分类，发现β3波段的脑电信号可以作为衡量VR-2D与VR-3D模式差异的重要参考指标。
总之，本研究为VR-3D影像的应用提供了理论支持，在5G技术的加持下，VR-3D影片的制作、传播瓶颈会逐一突破，届时，VR-3D影像的优势会逐步凸显。同时，本研究也为今后进一步探索观众对不同观看模式、不同类型的VR影像感知的过程提供了新的思路。
重要声明
利益冲突声明：本文全体作者均声明不存在利益冲突。
作者贡献声明：田丰主要负责项目主持、平台搭建、算法程序设计、协调沟通以及计划安排；张文睿主要负责实验流程、数据记录与分析、论文编写以及算法程序设计；李颖洁主要负责提供实验指导、数据分析指导、论文审阅修订。
伦理声明：本研究通过了上海市临床研究伦理委员会的审批（批文编号：SECCR/2018-15-01）。
Funding Statement
国家社会科学基金艺术学一般项目（17BC043）
References
1.
赵沁平 虚拟现实综述
中国科学: 信息科学
2009;
39
(1):2–46.
[
Google Scholar
]
2.
Bartsch A, Viehoff R The use of media entertainment and emotional gratification.
Procedia Soc Behav Sci.
2010;
5
:2247–2255. doi: 10.1016/j.sbspro.2010.07.444.
[
CrossRef
]
[
Google Scholar
]
3.
Tussyadiah I P, Wang D, Jung T H, et al Virtual reality, presence, and attitude change: Empirical evidence from tourism.
Tourism Manage.
2018;
66
:140–154.
[
Google Scholar
]
4.
Diemer J, Alpers G W, Peperkorn H M, et al The impact of perception and presence on emotional reactions: a review of research in virtual reality.
Front Psychol.
2015;
6
:26.
[
PMC free article
]
[
PubMed
]
[
Google Scholar
]
5.
Chao C J, Wu S Y, Yau Y J, et al Effects of three-dimensional virtual reality and traditional training methods on mental workload and training performance.
Hum Factor Ergon Man.
2017;
27
(4):187–196. doi: 10.1002/hfm.20702.
[
CrossRef
]
[
Google Scholar
]
6.
徐小萍, 吕健, 金昱潼, 等 用户认知驱动的VR自然交互认知负荷研究
计算机应用研究
2020;
37
(7):1958–1963. doi: 10.3389/fpsyt.2017.00071.
[
CrossRef
]
[
Google Scholar
]
7.
Montana J I, Matamala-Gomez M, Maisto M, et al The benefits of emotion regulation interventions in virtual reality for the improvement of wellbeing in adults and older adults: a systematic review.
J Clin Med.
2020;
9
(2):500.
[
PMC free article
]
[
PubMed
]
[
Google Scholar
]
8.
Li B J, Bailenson J N, Pines A, et al A public database of immersive VR videos with corresponding ratings of arousal, valence, and correlations between head movements and self report measures.
Front Psychol.
2017;
8
:2116. doi: 10.3389/fpsyg.2017.02116.
[
PMC free article
]
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
9.
Hasson U, Landesman O, Knappmeyer B, et al Neurocinematics: The neuroscience of film.
Projections.
2008;
2
(1):1–26. doi: 10.3167/proj.2008.020102.
[
CrossRef
]
[
Google Scholar
]
10.
Schubring D, Kraus M, Stolz C, et al Virtual reality potentiates emotion and task effects of alpha/beta brain oscillations.
Brain Sci.
2020;
10
(8):537. doi: 10.3390/brainsci10080537.
[
PMC free article
]
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
11.
He L, Li H, Xue T, et al Am I in the theater?: usability study of live performance based virtual reality// The 24th ACM Symposium.
Tokyo: ACM.
2018:1–11.
[
Google Scholar
]
12.
Bilgin P, Agres K, Robinson N, et al A comparative study of mental states in 2D and 3D virtual environments using EEG// 2019 IEEE International Conference on Systems, Man and Cybernetics (SMC)
Bari: IEEE.
2019:2833–2838.
[
Google Scholar
]
13.
Kweon S H, Kweon H J, Kim S, et al A brain wave research on VR (virtual reality) usage: comparison between VR and 2D video in EEG measurement// International Conference on Applied Human Factors and Ergonomics.
Los Angeles: Springer, Cham.
2017:194–203.
[
Google Scholar
]
14.
Kober S E, Kurzmann J, Neuper C Cortical correlate of spatial presence in 2D and 3D interactive virtual reality: An EEG study.
Int J Psychophysiol.
2011;
83
(3):365–374. doi: 10.1016/j.ijpsycho.2011.12.003.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
15.
Slobounov S M, Ray W, Johnson B, et al Modulation of cortical activity in 2D versus 3D virtual reality environments: An EEG study.
Int J Psychophysiol.
2015;
95
(3):254–260. doi: 10.1016/j.ijpsycho.2014.11.003.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
16.
Tian Feng, Hua Minlei, Zhang Wenrui, et al Emotional arousal in 2D versus 3D virtual reality environments.
PLoS One.
2021;
16
(9):e0256211. doi: 10.1371/journal.pone.0256211.
[
PMC free article
]
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
17.
Bradley M M, Lang P J Measuring emotion: the self-assessment manikin and the semantic differential.
J Behav Ther Exp Psychiatry.
1994;
25
(1):49–59. doi: 10.1016/0005-7916(94)90063-9.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
18.
Yao D, Qin Y, Hu S, et al. Which reference should we use for EEG and ERP practice?. Brain Topogr, 2019, 32(4): 530-549.
19.
刘冲, 赵海滨, 李春胜, 等 脑电信号频带能量特征的提取方法及分类研究
系统仿真学报
2012;
24
(12):2496–2499.
[
Google Scholar
]
20.
奉国和. SVM分类核函数及参数选择比较. 计算机工程与应用, 2011, 47(3): 123-124, 128.
21.
章悦, 夏春明, 谢佳智, 等 特征与分类算法在基于肌音信号的头部运动分类中的对比研究
数据采集与处理
2020;
35
(4):711–719.
[
Google Scholar
]
22.
侯晓菲. 面向影视的2D与VR正负性情绪比较研究. 上海: 上海大学, 2020.
23.
Watson D, Clark L A, Tellegen A Development and validation of brief measures of positive and negative affect: the PANAS scales.
J Pers Soc Psychol.
1988;
54
(6):1063–1070. doi: 10.1037/0022-3514.54.6.1063.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
24.
Kunaharan S, Halpin S, Sitharthan T, et al. Do EEG and startle reflex modulation vary with self-reported aggression in response to violent images?. Brain Sci, 2019, 9(11): 298.
25.
Perrett D I, Mistlin A J, Chitty A J Visual neurones responsive to faces.
Trends Neurosci.
1987;
10
(9):358–364. doi: 10.1016/0166-2236(87)90071-3.
[
CrossRef
]
[
Google Scholar
]
26.
Roy J P, Wurtz R H The role of disparity-sensitive cortical neurons in signalling the direction of self-motion.
Nature.
1990;
348
(6297):160–162. doi: 10.1038/348160a0.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
27.
刘烨, 付秋芳, 傅小兰 认知与情绪的交互作用
科学通报
2009;
54
(18):2783–2796.
[
Google Scholar
]
28.
George M S, Ketter T A, Parekh P I, et al Brain activity during transient sadness and happiness in healthy women.
Am J Psychiat.
1995;
152
(3):341–351. doi: 10.1176/ajp.152.3.341.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
29.
Lane R D, Reiman E M, Ahern G L, et al Neuroanatomical correlates of happiness, sadness, and disgust.
Am J Psychiat.
1997;
154
(7):926–933. doi: 10.1176/ajp.154.7.926.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
30.
Lane R D, Reiman E M, Axelrod B, et al Neural correlates of levels of emotional awareness: Evidence of an interaction between emotion and attention in the anterior cingulate cortex.
J Cogn Neurosci.
1998;
10
(4):525–535. doi: 10.1162/089892998562924.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
31.
Damasio A R, Grabowski T J, Bechara A, et al Subcortical and cortical brain activity during the feeling of self-generated emotions.
Nat Neurosci.
2000;
3
(10):1049–1056. doi: 10.1038/79871.
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
32.
Rooney B, Hennessy E Actually in the cinema: A field study comparing real 3D and 2D movie patrons' attention, emotion, and film satisfaction.
Media Psychol.
2013;
16
(4):441–460. doi: 10.1080/15213269.2013.838905.
[
CrossRef
]
[
Google Scholar
]
33.
Tan E S H Entertainment is emotion: The functional architecture of the entertainment experience.
Media Psychol.
2008;
11
(1):28–51. doi: 10.1080/15213260701853161.
[
CrossRef
]
[
Google Scholar
]
34.
Dennis T A, Solomon B Frontal EEG and emotion regulation: Electrocortical activity in response to emotional film clips is associated with reduced mood induction and attention interference effects.
Biol Psychol.
2010;
85
(3):456–464. doi: 10.1016/j.biopsycho.2010.09.008.
[
PMC free article
]
[
PubMed
] [
CrossRef
]
[
Google Scholar
]
35.
陈曾, 刘光远 脑电信号在情感识别中的应用
计算机工程
2010;
36
(9):168–170. doi: 10.3969/j.issn.1000-3428.2010.09.058.
[
CrossRef
]
[
Google Scholar
]
36.
Jurewicz K, Paluch K, Kublik E, et al EEG-neurofeedback training of beta band (12-22Hz) affects alpha and beta frequencies - A controlled study of a healthy population.
Neuropsychologia.
2017;
108
:13–24.
[
PubMed
]
[
Google Scholar
]
37.
陈成明, 王慧, 周健, 等 VDT视觉疲劳及其测量方法综述
人类工效学
2013;
19
(2):92–95. doi: 10.3969/j.issn.1006-8309.2013.02.022.
[
CrossRef
]
[
Google Scholar
]
38.
Zou B, Liu Y, Guo M, et al EEG-based assessment of stereoscopic 3D visual fatigue caused by vergence-accommodation conflict.
J Disp Technol.
2015;
11
(12):1076–1083. doi: 10.1109/JDT.2015.2451087.
[
CrossRef
]
[
Google Scholar
]
39.
王嘉辉, 程义, 李焜阳, 等 3D显示方式与视差对视觉疲劳的影响研究
中山大学学报(自然科学版)
2013;
52
(5):1–5.
[
Google Scholar
]
40.
赵彦富, 随力, 李月如 基于脑电图的脑疲劳检测研究进展
中国医学物理学杂志
2019;
36
(11):1312–1316. doi: 10.3969/j.issn.1005-202X.2019.11.013.
[
CrossRef
]
[
Google Scholar
]
Articles from
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering
are provided here courtesy of
West China Hospital of Sichuan University