音乐声的音色感知特征与情感的关联研究

　　音色和情感是音乐声最重要的两个方面，两者都是复杂的、多维的，并且两者密切相关.大多数学者都认为通过人声可以更好地感知到情绪，但是对非语音声音(器乐)的音色研究却很少.2009年，Hailstone等[1]证明在不改变其他音乐特征的前提下，不同音色(乐器)会影响到情感的感知结果.1977年，Scherer等[2]发现音色是合成音色评级的重要因素.并且 Peretz等[3]发现，比起音乐中的其他特征，例如和声和旋律等，音色可以有助于加速情感的分类.2005年，Bigand等[4]比较了短音乐片段和长音乐片段(大约25s长)，证明了音色对情感的重要影响.2012年，Eerola等[5]进行了听力测试，调查情绪与时域特征和频谱特征的相关性，证实了一些特征与情感维度、效价度和唤醒度之间的强烈相关性.Wun等[6]和 Chau等[7]通过听觉测试研究音色的客观频谱特征与情感之间的关系，通过改变频谱斜率判断是否对音色有影响，研究证明了改变频谱斜率后对音色识别有很明显的影响，也就是说频谱质心会影响音色.音色特征可以分为底层客观特征、中层感知特征以及高层语义特征.音色与情感的研究通常都是根据音色特征建立音色空间然后与情感进行关联.目前，很少有研究从音色感知特征对情感进行分析，大多数研究都是通过音色的底层客观特征对情感进行分析.同时，音色的物理特征是客观存在的特征，而情感感知属于高层信息，是依赖于人的感官而特定标注的信息，物理特征与高层信息之间存在语义间隙问题，无法直接对应.Jiang[8-9]等通过提取音色底层客观特征建立了音色空间，比较全面地描述了乐器音色.

音乐声的音色感知特征与情感的关联研究

　　1 主观评价实验

　　本节首先确定了5维情感空间，然后对音色素材进行基于系列范畴法的情感评价实验，并对实验数据进行了信度检验、效度检验、噪声剔除与正态分布验证.实验结果将用于音色感知特征和情感的关联分析以及情感的参数化建模.

　　1.1 情感空间的构建有关音乐情感语义描述的著名理论大多是西方的研究，国内很少有在汉语语义背景下对音乐情感的研究，如果直接用西方的情感描述词会存在语义差别，所以本文的情感评价词选取于汉语情感评价词库[10]，情感评价词库中包含26个评价词.因为一些情感词之间具有较高的相关性，为了减少信息冗余，采用聚类分析、多维尺度分析(MultidimensionalScalinganalysis，MDS)方法对26个情感评价词的相关矩阵进行分析，然后参考 Hevner情感环，结合来自音乐专业的被试的意见选择更适合描述音色的情感词，然后根据来自非音乐专业的被试的意见选择更容易被理解的情感词，最终得到了5个情感评价词：宁静(Quiet);神圣(Holy);愉快(Happy);激情(Passion);悲伤(Sad).这5个评价词构成了情感空间的5个维度，并将用于基于系列范畴法的情感评价实验与情感空间的参数化建模.

　　1.2 基于系列范畴法的情感评价实验实验素材包括72种音色的72条音阶素材和48种音色的220条旋律素材，素材时长为10～15s左右.本次研究的主要对象为音色，但是有研究证明音色和音调是不可分的，因此研究中的音色素材也包括了音调因素.为了排除响度因素对实验的影响，实验中的素材均进行了响度归一化.本次实验在标准听音室进行，共有66名无听力障碍的被试参加，年龄在22岁到35岁之间.参加音阶情感实验与旋律情感实验的人数均为33人，其中男性14人.在正式实验前，所有被试均受过专业音响的听音训练，具有一定的听音经验，对音乐情感有较好的理解能力.为使被试能够把握评价标准和打分尺度，在正式实验前，播放3条素材库外同等形式的音阶/旋律进行预实验.正式实验流程为播放素材片段，被试一次性判断该素材在各情感上的心理尺度并按照9级尺度进行评价.实验中每段素材播放2～3遍，间隔5s，每30min休息10min.实验中的样本数据均进行了信度检验和效度检验，检验结果表明实验数据为理想数据，可靠性高.本次研究使用拉伊达准则法对噪声数据进行处理，通过 Z分数对原始数据进行标准化，按照 Z分数与标准差的倍数为1.5倍标准差对噪声数据进行剔除.对数据进行正态分布验证，验证结果显示实验数据均符合正态分布，所以下一步相关分析均使用 Pearson相关系数.

　　2 音色感知特征与情感的相关性研究

　　本节根据情感的主观评价实验数据对音色与情感的关系进行研究，通过分析与建模得到本文的音色感知特征如表1所示.首先在已有的音色感知特征基础上，计算各音色感知特征与各情感的相关系数，然后根据乐器演奏内容的不同，将素材分成音阶和旋律;根据时域特征的不同，将乐器分成持续性乐器和非持续乐器，这里持续和非持续乐器分类是按照乐器发声方式划分的，非持续性乐器的声音演奏后会立即衰减而无法持续，一般乐器分为吹奏乐器、弦乐器、弹拨乐器和打击乐器，其中吹奏乐器和管弦乐器为持续性乐器;根据乐器种类的不同，将乐器分成中国乐器和西洋乐器，进一步研究不同音色的感知特征对情感的影响.

　　2.1 演奏内容对音色感知特征和情感相关性的影响将素材按照演奏内容进行分类，分别计算音色感知特征与情感的相关系数，根据相关系数绘制音色感知特征与情感的相关系数折线图，如图1所示，图中的相关性为相关系数.从图1可以得到以下结论：首先，旋律素材的大部分音色感知特征与各情感为正相关，对于旋律素材来说，干瘪柔和、嘶哑协和这两个音色感知特征与宁静、神圣这两个情感维度具有很高的正相关性，即带有旋律的音色越柔和、越协和，那么这个音色听起来就越宁静、越神圣.其次，无论是旋律素材还是音阶素材，明亮暗淡、粗糙纯净对悲伤和愉快的相关性都非常高，并且均具有相反的影响作用，也就是说一种音色越明亮、越纯净，其听起来就越愉快，越暗淡、越粗糙则听起来越悲伤，这与人们对音乐情感的感知是一致的.然后，除了神圣这一情感维度，音阶的明亮暗淡和粗糙纯净与他4种情感的相关系数都分别分布在最顶端和最低端，这说明明亮暗淡和粗糙纯净是对情感影响最大且具有相反作用的两个音色感知特征.

　　2.2 时域特性对音色感知特征和情感相关性的影响根据乐器的发声方式不同，可以将音阶素材和旋律素材分为两类：持续性乐器和非持续性乐器.持续性乐器和非持续性乐器的音色感知特征和情感的相关系数的折线图如图2，图3所示.从图2和图3可以得到以下结论：首先，两图中线条的趋势都是比较一致的，无论是持续性乐器还是非持续性乐器，与悲伤情感正相关的都是明亮暗淡、尖锐浑厚这两个感知特征，剩下的3个音色感知特征均与悲伤负相关，且正向相关性最大的均为明亮暗淡，负相关性最大的均为粗糙纯净.其次，两图中粗糙纯净和嘶哑协和的折线趋近于重合，因此这两个音色感知特征对情感的影响基本相同.

　　2.3 乐器类型对音色感知特征和情感相关性的影响中国乐器与西洋乐器的音色是不同的，本节主要分析中西乐器的音色对情感的不同影响.本节针对音阶素材进行研究.中西乐器的音色感知特征和情感的相关系数的折线图如图4(见第350页)所示.从图4可以得到以下结论：首先，除了神圣这一情感外，中国乐器和西洋乐器的音色感知特征对情感的影响趋势高度一致.神圣与中国乐器的干瘪柔和、粗糙纯净和嘶哑协和这3个感知特征具有较高的相关性，也就是说与西洋乐器相比，中国乐器的音色更容易引起神圣这一情感.其次，无论是中国乐器还是西洋乐器，悲伤和愉快与5个感知特征均具有较高的相关性;宁静与干瘪柔和、粗糙纯净和嘶哑协和这3个感知特征有极强的正相关性;激情与明亮暗淡和尖锐浑厚具有较高的负相关性.

　　3 色感知特征与情感关联模型的构建

　　本节运用多元线性回归构建情感预测模型，多元线性回归时采用逐步回归法，并对存在共线问题的音色感知特征进行了剔除，模型的输入为音色感知特征与情感，输出为情感的表达式.计算各音色感知特征与情感的相关性系数，当相关系数小于0.2时可以认为音色感知特征和情感不相关，则该音色感知特征将不作为该情感预测模型的输入.通过相关系数R 和平均绝对误差(MeanAbsoluteError，MAE)εMAE评估以上模型的精确度，R 越大模型的拟合越好，εMAE 值越小模型的预测精确度越好.

　　4 结语

　　本文对音色感知特征与情感的相关性展开研究，首先利用 MDS方法确定了一个5维的情感空间，根据5维情感空间进行了情感评价实验，并对实验数据进行了信度效度检验与噪声剔除.研究了演奏内容、时域特性以及乐器类型对音色感知特征与情感关系的影响，结果表明时域特性和演奏内容对音色感知特征与情感关联的影响非常小，乐器类型会对音色感知特征与情感的关联产生一定的影响.然后利用多元线性回归算法建立了5个情感预测模型，结果表明建立的模型对5种情感均具有良好的预测能力.在未来的研究中，可以将重点放在以下几点：首先，为了探究乐器类型对情感的影响，在现有的音色数据库的基础上增加西方乐器的旋律素材，提高模型的通用性;其次，可以对比其他机器学习方式，改进模型以提高模型的预测能力;最后，可以对比分析感知特征与情感的模型和底层物理特征与情感的模型，为解决音色的底层客观特征与主观情感空间存在的语义间隙问题提供理论和实验依据.

　　参考文献：

　　[1] HAILSTONEJC，OMAR R，HENLEY S M，etal.It?snotwhatyouplay，it?show youplayit：Timbreaffectsperceptionofemotionin music[J].QuarterlyJournalof ExperimentalPsychology，2009，62(11)：2141-2155.

　　[2] SCHERERK R，OSHINSKYJS.Cueutilizationinemotionattributionfrom auditorystimuli[J].MotivationandEmotion，1977，1(4)：331-346.

　　《音乐声的音色感知特征与情感的关联研究》来源：《复旦学报(自然科学版)》，作者：郭纪莹1，2，3，4，刘京宇1，2，3，4，蒋玉暕1，2，3，4