人类价值观代表着超越特定情境的理想终极状态或行为，对个人和集体的决策起着至关重要的作用（Schwartz, 1992），并被普遍认为是心理学（Rokeach, 1974）、社会学（Rezsohazy, 2001）和人类学（Kluckhohn, 1951）等人类行为相关的学科的基础。在大语言模型飞速发展现在，大语言模型是否也存在价值观？大语言模型的价值观与人类价值观是否一致（Ji et al., 2023; Zhang et al, 2023b）？这些问题都激发了人们对评估大语言模型的价值取向和价值理解的研究兴趣。

然而，现有的研究在评估大语言模型的价值取向时，大多依赖于传统的调查问卷，通过多项选择题的形式进行评估，忽略了真实场景下的人机交互过程；在评估大语言模型的价值理解时，以往的研究局限于有限预定义的价值空间，并且依赖于启发式生成的标准答案，忽略了不同价值之间的联系，也未能探讨具有开放性、层级性价值空间的复杂结构。

为了解决以上问题，动漫画 宋国杰团队与心理与认知科学学院张昕副教授以及通研院合作提出了一个全面的评价基准——ValueBench，一个统一的解决方案来评估大语言模型的价值取向和价值理解。ValueBench汇集了44个成熟的心理测评量表的数据，涵盖了453个多维度的价值观念，并设计了基于真实人机交互过程的评估流程，以及针对开放式、层级化价值空间的创新性价值理解评估任务。通过对六个具有代表性的大语言模型进行深入实验分析，研究团队揭示了这些大语言模型共有和独有的价值取向，并展示了它们在价值理解任务中近似专家结论的能力。这项研究不仅为大语言模型的价值对齐提供了新的视角，而且为人工智能和心理学的跨学科研究奠定了坚实的基础。该项研究得到了“东湖高新区国家智能社会治理实验综合基地”项目和动漫画 “数字人文”专项支持，成果被ACL2024接收。

论文标题：

ValueBench: Towards Comprehensively Evaluating Value Orientations and Understanding of Large Language Models

论文链接：

//arxiv.org/abs/2406.04214

在探索大语言模型时，我们不禁要问：

大语言模型能否理解语言表达背后的价值观？

大语言模型通过回答传递了怎样的价值观？

为了深入探究这些问题，ValueBench应运而生，它全面、多维度地挖掘并评估了大语言模型的价值取向和价值理解，并在真实的人机交互场景下，设计了针对开放式、层级化价值空间的价值理解评估任务。

数据集的构建

与评估方法设计

1.ValueBench的构建全景——采集过程与内容

ValueBench广泛采集了来自社会公理、人格个性、认知系统和价值理论等不同领域的44个心理测量量表，覆盖了从微观到宏观的各个层面，涵盖了453个多维度的价值观念。在此过程中，提取了价值-语料对、价值解释以及价值子结构，旨在构建一个从个体的人格特质到对世界和社会的宏观理解的全方位价值框架。

图1 ValueBench数据集的构建

2.价值取向的评估方法——测量大模型在真实场景中展示的价值观

针对价值取向的评估，ValueBench首先通过大语言模型将心理测量量表的第一人称陈述改写为封闭式问题，同时保留原有的语义，送入受试者大模型，来模拟真实的人机交互过程；随后，论文将原始问题和大模型的回答一并输入给评价者大模型（GPT-4 Turbo），评价者大模型将判断受试者大模型的回答为“是”或“否”，并根据其倾向程度进行评分（0-10），如图2所示；最后，通过对每个价值相关的项目得分取平均值，计算受试者大模型的价值取向。

图2 价值取向评估流程

3.价值理解的评估方法——测量大模型能否识别语料与价值的复杂关系

ValueBench将价值理解的评估分为两部分：识别价值间的相关性以及理解语言表达背后的价值，如图3所示。

识别价值间的相关性：对每个价值对样本，引导大模型依次输出两个价值的定义、两者间关系说明、相应的关系标签以及最终的相关性评估。考虑到层次关系的不对称性，ValueBench使用两种提示方式（对称和非对称）来优化大模型识别相关价值的能力。

理解语言表达背后的价值：ValueBench使用语料与价值间的双向对应关系对大模型的价值理解进行评估。

对给定的语料，引导大模型依次输出该语料中描述的情景、所选价值的简要说明、价值的定义，以及用形容词或名词短语表示的价值名称，进而让大模型输出其认为与该语料最相关的价值，并进行评估；

对给定的价值，向受试者大模型提供价值定义、两个上下文示例和生成指令，之后将受试模型生成的价值论据与原始价值一并提交给评估者大模型，由其评估价值论据与给定价值的一致性及信息丰富度。

图3 价值理解评估流程

ValueBench的优势

1.ValueBench对李克特量表的改进——回答问题还是单纯打分？

在传统的李克特量表中，受试者需要对一系列陈述进行打分，以表达他们对这些陈述的认同程度。但这种方式很少出现在真实的人机交互过程中，因为它更多的是让大模型进行自我评估，而非提供建议。此外，大模型在面对这类自我评估的问题时，往往会选择回避，因为它们的训练目标是避免表现出任何心理特征。

为了解决这一问题，ValueBench将李克特量表的陈述句改写为疑问句，模拟真实的人机交互场景，让大模型能够在一个更加自然和开放的语境中作答。如图4所示，即使是相同语义的陈述，当它以疑问句的形式呈现时，大模型给出的回答及后续评分也与直接打分不一致。这种不一致性揭示了此前评估方法的局限性，同时也表明了在未来研究中需要开发更可靠的评估方法，以进一步探索大模型在不同场景下的行为一致性。

图4 大模型对陈述句和疑问句的评分具有差异

2.ValueBench的价值空间架构——多维度量与层级互联

ValueBench 基于人类价值观的复杂和具有适应性的特点，遵循两个基本原则：

(1)价值空间是多维的，价值可以在度量空间中的多个可测量维度上进行投影。例如，施瓦茨基础价值理论涵盖10个价值维度，这些维度可以在一个10维的价值测量空间中得到体现。

(2)价值空间包含相互连接的子结构。不同价值之间既有一致性也有冲突性，同时某些子尺度价值可以用作衡量其他价值的指标。例如，在施瓦茨的价值理论中，“成就”与“权力”呈正相关，而与“善良”则呈负相关。这些价值维度可以进一步细分为更细粒度、更具可解释性的子尺度价值。

正是基于对价值空间复杂性的认识，ValueBench选择在开放式、层级化的价值空间中对大型语言模型的价值理解进行评估，以确保评估结果能够全面反映模型对人类价值观的理解和适应能力。

实验结果

1.价值取向的评估——GPT-4比Llama-2更好面子？

评估结果具有一致性

不同心理测量量表和不同的价值维度都展现出一致性。例如：尽管NFCC2000和NFCC1993由不同的条目组成，用于评估相同的5个价值，但它们的雷达图呈现相似的模式；由NFCC评估的“对模糊性的不适”（Discomfort with Ambiguity）和VSM13评估的“避免不确定性”(Uncertainty Avoidance)在所有大模型中都获得了较低的分数，这表明大模型确实可以理解二者概念上的一致性，并且表现出对模糊性和不确定性的容忍，这一特点可能源自它们的训练策略。即使面对表述不清的问题，大语言模型也能够提供它们理解与回答。

大模型价值取向的共性

不同的大模型在价值取向上展现出了一定的共性，特别是在安全、仁爱、自我导向、普世主义等方面达成了高度一致，同时对权力主义、命运主义、愤世嫉俗等观念持有明显的反对态度。这种共性可能源于人类标注者在训练和对齐过程中的普遍偏好，这些偏好被嵌入在大模型之中，从而在不同的大模型间形成了相似的价值取向。

大模型价值取向的差异性

不同的大模型在价值取向上也存在一定的差异，它们对果断性、享乐主义、面子意识与零和博弈具有不同的看法。造成这些差异的原因可能是多方面的，包括但不限于它们的语料库与算法设计的多样性。ValueBench作为一个评价基准，旨在促进未来对这些差异背后深层原因的研究，进而更好地理解和优化大模型的价值取向。

图5 大模型价值取向的评估结果

2.价值理解的评估——大模型具备价值标注的能力吗？

识别价值间的相关性

(1)  上下文的重要性：充分、精细且清晰的上下文可以帮助大模型更好地识别价值间的相关性，详见图6。

图6  GPT系列大模型在全正样本中识别的相关/无关价值对的分布

(2) 对称提示的优势：当遇到不对称的价值层次关系时，大模型整体在对称提示下表现更佳，详见表1。

表1 大模型价值理解的评估结果

根据上述观察，我们可以得出结论：配备充分上下文和精心设计的对称提示词，最先进的大语言模型能以超过80%的一致性识别价值间的相关性，为大规模词汇分析和建构效度验证等心理学应用开辟了新的可能性。

理解语言表达背后的价值

(1) 大模型可以高质量地提取语料-价值对，top-3准确率可达80%。展现了大语言模型在大规模价值标注方面的巨大潜力。

(2) 虽然不同的大语言模型的价值提取性能不同，但它们之间没有显著的差异，详见表1。这表明价值提取任务并不完全与大模型的训练目标对齐，强调了对大模型进行额外的价值对齐的重要性。

(3) 不同价值之间的不同性能表明不同大模型训练数据和算法设计存在差异。例如，GPT-4 Turbo在内容生成任务上得分最高，而Llama-2 70B则在生成一致性方面表现更佳。这些差异源于大模型训练时的不同侧重点，此外，相同大语言模型在不同价值间的分数变化也反映了其训练过程中所内化的不同价值取向的信息丰富度有所差异。因此，在应用大语言模型进行标注任务时，需要对使用的大模型所采用的数据分布与训练策略进行调研，从而避免产生整体性的标注偏差。

根据以上观察，我们可以得出结论：大语言模型在与价值相关的生成任务中展现出显著的潜力，每个模型都有其独特的优势和局限性，这些优势和局限性源于它们不同的训练过程。

总结

评估大语言模型的价值取向和价值理解是确保其安全地融入人类社会的核心问题之一。论文创新性地提出了一个全面的评价基准——ValueBench，一个统一的解决方案来评估大语言模型的价值取向和价值理解。该评价基准模拟了真实的人机交互过程，同时针对开放式、层级化价值空间建立了新颖的价值理解评估任务。ValueBench的建立为人工智能与心理学的跨学科研究搭建了桥梁，未来将进一步推动大语言模型的价值对齐工作，并有望利用这些模型来推动价值理论的发展和完善。