这项由Meta公司GenAI团队的王振庭、胡书明等研究人员与罗格斯大学、独立研究者和马萨诸塞大学阿默斯特分校合作完成的研究，发表于2025年1月3日，论文题为《MLLM-as-a-Judge for Image Safety without Human Labeling》。有兴趣深入了解的读者可以通过arXiv:2501.00192v2访问完整论文。

在网络时代，每天都有无数张图片在各大平台上传播，其中难免会有一些不适合公开展示的内容。从传统意义上的暴力血腥图片，到如今AI生成的各种危险内容，如何准确识别这些"问题图片"已经成为一个越来越紧迫的社会问题。就像商场需要保安来维持秩序一样，网络平台也需要"内容保安"来过滤不当图片。

目前，这个"内容保安"的工作主要依赖两种方式：要么让真人逐一审查，要么训练AI模型来自动识别。然而，人工审查不仅成本高昂、效率低下，还会给审核人员带来心理创伤。而训练AI模型则需要大量人工标注的数据，这个过程同样耗时耗力，而且当安全规则发生变化时，整个训练过程又要重新开始。

Meta的研究团队提出了一个颇具创新性的解决方案：能否让AI模型在完全不需要人工标注数据的情况下，仅仅根据一套明文规定的安全准则，就能准确判断图片是否违规？这就好比让一个从未接受过专门训练的新员工，仅仅通过阅读公司手册，就能胜任复杂的安全检查工作。

研究团队发现，简单地把安全规则和图片一起输入给现有的多模态大语言模型（MLLM），效果并不理想。这些模型在面对复杂的安全判断时，会遇到三个主要障碍。首先，许多安全规则本身就比较主观，比如"不应显示性暗示内容"这样的表述，不同的人理解起来可能差别很大，就像不同的人对"辣"的定义完全不同一样。其次，当安全规则变得冗长复杂时，AI模型往往无法正确处理全部信息，就像人在阅读过长的法律条文时容易遗漏重要细节。最后，这些模型还存在固有偏见，可能会因为图片中的某些无关元素而做出错误判断，比如看到地面有血迹就错误地推断动物喉咙被割，尽管实际情况并非如此。

为了解决这些问题，研究团队开发了一套名为CLUE（Constitutional MLLM JUdgE）的创新方法，它就像一个经过精心设计的多层过滤系统。

一、让规则变得更加客观明确

研究团队意识到，要让AI准确执行安全规则，首先需要让这些规则变得足够客观和具体。传统的安全规则往往充满主观色彩，比如"不得展示不当内容"这样的表述，不同的人会有完全不同的理解。研究团队通过一个巧妙的方法来"客观化"这些规则：他们让大语言模型为每条规则的客观性打分，满分10分，然后反复修改那些得分低于9分的规则，直到它们变得足够具体和可操作。

举个例子，原本模糊的规则"腿部姿态不得过于暴露或具有性暗示"被改写成了具体的"穿泳装或内衣的人腿部张开角度不得超过90度"。这种转变就像把"菜要做得好吃"的模糊指导改成"盐加5克，糖加3克，炒制8分钟"的具体食谱一样，让执行标准变得清晰明确。

通过这种方法，研究团队构建了一套包含14条具体规则的安全准则，涵盖了从人体暴露到暴力内容的各个方面。每条规则都经过精心设计，确保即使是机器也能准确理解和执行。

二、智能筛选相关规则

面对一张图片和十几条安全规则，让AI逐一检查每条规则既费时又容易出错，就像让人在巨大的图书馆里逐本翻阅来寻找特定信息一样效率低下。研究团队想出了一个聪明的解决办法：使用CLIP模型来预先筛选与图片内容相关的规则。

CLIP是一种能够同时理解图片和文字的AI模型，它可以快速判断一张图片和某条规则之间的相关性。比如，对于一张风景照，CLIP会自动过滤掉关于人体姿态的规则，只保留可能相关的规则进行详细检查。这种方法就像给图书管理员配备了一个智能索引系统，能够快速定位到最有可能包含所需信息的书籍，大大提高了整个检索过程的效率。

实验结果显示，这个智能筛选系统能够过滤掉67%的不相关规则，同时保持96.6%的准确率，确保真正需要检查的规则不会被误过滤。

三、化繁为简的条件分解

即使经过了规则客观化和智能筛选，有些安全规则仍然过于复杂，包含多个并列或递进的条件。比如"不得显示人员或动物身体遭受严重可见血腥伤害并可能导致即死亡的情形"这样的规则，实际上包含了多个需要同时满足的条件：必须有人或动物、必须有可见伤害、伤害必须严重到可能致死。

研究团队开发了一种自动分解技术，能够将复杂规则拆解成一系列简单的前置条件。上面的复杂规则被分解成三个简单判断：图片中是否有人或动物？身体是否有可见的血腥伤害？这些伤害是否严重到可能导致死亡？只有当所有条件都满足时，才认为违反了该规则。

这种分解方式就像把一道复杂的数学应用题拆解成几个简单的计算步骤，让原本令人头疼的难题变成了一系列可以轻松处理的小问题。通过这种方法，AI模型可以逐步、准确地进行安全判断，避免了因为规则过于复杂而导致的理解偏差。

四、消除判断偏见的巧妙设计

研究团队发现，传统的AI安全判断方法存在两种显著偏见。第一种是语言先验偏见，即模型会基于训练数据中的统计规律做出判断，而不是真正"看懂"图片内容。比如，当询问"图片中是否显示了可能导致即死亡的严重血腥伤害"时，即使图片确实包含此类内容，模型也可能因为在训练数据中很少见到这类极端情况而倾向于回答"否"。

第二种是图像区域偏见，即模型容易被图片中的无关细节所误导。例如，看到地面上的血迹就错误推断动物喉咙被割，尽管动物的喉咙部位实际上完好无损。

为了解决这些偏见，研究团队设计了两套巧妙的对比策略。针对语言偏见，他们会对比模型在看到图片时的判断和仅凭文字描述的判断。如果模型看到图片后的答案明显不同于仅凭文字的答案，那么这种差异就更可能反映了图片的真实内容，而不是模型的语言偏见。

针对图像偏见，他们会对比完整图片和移除中心主体后的图片在判断上的差异。如果完整图片的违规分数明显高于移除主体后的图片，这通常意味着违规内容确实存在于图片的主要区域，而不是来源于无关的背景细节。

这种双重对比就像在法庭上进行交叉询问，通过多角度验证来确保判断的准确性和公正性。

五、递进式判断机制

CLUE系统采用了一种类似人类思考过程的递进式判断机制。对于每个分解后的简单条件，系统首先使用快速的概率分析方法进行初步判断。这种方法分析模型输出"是"和"否"这两个词的概率，并结合前面提到的去偏见技术，得出一个初步的置信度评分。

当初步判断的置信度足够高时，系统就直接采用这个结果，这样既保证了准确性，又大大提高了处理效率。但是，当置信度较低、存在模糊情况时，系统会自动切换到更深入的推理模式，让模型进行详细的逐步分析，就像人在面对困难决定时需要仔细思考一样。

这种分层处理机制确保了系统既能快速处理明显的情况，又能准确处理复杂的边界情况。对于大多数图片，快速的概率分析就足以得出准确结论，而对于少数复杂情况，深入推理能够提供更可靠的判断。

六、全面的实验验证

为了验证CLUE系统的有效性，研究团队构建了一个名为"客观安全基准测试集"(OS Bench)的专门数据集。由于现有的图像安全数据集大多基于主观规则，不适合评估他们提出的客观化方法，研究团队决定从零开始构建一个全新的测试集。

他们使用最先进的图像生成模型创建了大约1400张图片，其中一半明确违反某项安全规则，另一半则是刚好处于安全边界的"边缘安全"图片。这些边缘安全图片的设计特别巧妙，它们在视觉上可能看起来有些争议，但实际上并不违反任何具体规则，就像在考试中设计的那些容易出错但答案明确的陷阱题。

实验结果令人印象深刻。在使用InternVL2-76B模型的情况下，CLUE系统达到了95.9%的召回率、94.8%的准确率和0.949的F1分数。相比之下，传统的直接询问方法在同样的模型上只能达到62.6%的召回率和71.8%的准确率。这种显著的性能提升充分证明了新方法的有效性。

更重要的是，研究团队还与现有的微调方法进行了对比。传统的微调方法需要大量人工标注的训练数据，而且当安全规则发生变化时需要重新训练。CLUE系统不仅在性能上超越了这些传统方法，而且具有更好的灵活性和适应性，能够快速适应规则的变化而无需重新训练。

七、各个组件的独特贡献

研究团队通过详细的消融实验分析了系统各个组件的贡献。规则客观化组件将准确率从74.0%提升到98.0%，证明了将主观规则转换为客观标准的重要性。智能筛选组件在保持96.6%准确率的同时过滤掉了67%的无关规则，大大提高了系统效率。

条件分解组件的作用尤其明显。实验显示，即使是最先进的GPT-4o模型，在面对完整的复杂规则时也经常出错，但在面对分解后的简单条件时却能给出正确答案。这说明问题不在于模型的基础能力不足，而在于复杂规则超出了模型的处理范围。

去偏见技术的效果同样显著，将InternVL2-8B-AWQ模型的F1分数从0.746提升到0.879。这种提升主要来自于系统能够更准确地识别真正的违规内容，而不会被无关细节或语言偏见所误导。

八、实际应用的广阔前景

CLUE系统的最大优势在于其无需人工标注数据就能工作的特性。在实际应用中，这意味着内容平台可以快速部署安全检测系统，而不需要投入大量人力进行数据标注。当安全政策发生变化时，只需要更新规则文本，系统就能立即适应新的要求，无需重新训练模型。

这种灵活性在快速变化的网络环境中尤为重要。新的内容类型和安全威胁层出不穷，传统的基于训练数据的方法往往难以快速响应。CLUE系统的零样本学习能力使其能够快速适应新的安全需求，为内容平台提供了一个既高效又灵活的解决方案。

从成本角度来看，CLUE系统也具有明显优势。虽然单次检测的计算时间比简单方法略长（在A100 GPU上平均需要22-102秒，具体取决于使用的模型），但这个成本远低于人工审核的费用。更重要的是，系统可以作为自动标注工具，为训练更小、更快的专用模型提供高质量的训练数据，从而在保持准确性的同时进一步降低运行成本。

九、技术创新的深层意义

CLUE系统的成功不仅仅是一个技术突破，更代表了AI安全判断领域的一个重要范式转变。传统的方法依赖于"从数据中学习模式"的思路，需要大量标注数据来训练模型识别违规内容。CLUE系统则采用了"基于规则进行推理"的方法，让AI模型像人类一样理解和执行明确的规则。

这种转变具有深远的意义。它表明现代大语言模型已经具备了足够的理解和推理能力，能够在没有专门训练的情况下执行复杂的判断任务。这为AI在其他需要灵活应用规则的场景中的应用开辟了新的可能性，比如法律文档分析、医疗诊断辅助、金融合规检查等。

研究团队的方法还体现了一个重要的设计理念：将复杂问题分解为简单子问题，然后通过巧妙的组合来解决原始问题。这种分解-组合的策略不仅提高了系统的准确性，还增强了其可解释性和可维护性。

十、当前限制与未来改进方向

尽管CLUE系统取得了显著成功，研究团队也诚实地指出了当前方法的一些限制。首先，系统的处理速度相对较慢，每张图片需要几十秒到一百多秒的处理时间，这在需要实时处理大量内容的场景中可能存在挑战。不过，研究团队指出，这个问题可以通过将CLUE系统作为教师模型来训练更小、更快的学生模型来解决。

其次，系统的性能在很大程度上依赖于底层多模态大语言模型的能力。虽然实验显示该方法在多个不同模型上都有效，但模型本身的局限性仍然会影响最终结果。随着基础模型能力的不断提升，CLUE系统的性能也有望进一步改善。

另外，当前的客观化规则主要针对相对明确的违规类型，对于一些高度依赖文化背景和社会语境的内容判断，如何制定客观化规则仍然是一个挑战。这需要在技术发展的同时，深入思考如何在保持客观性的前提下处理文化差异和价值观多样性。

研究团队认为，CLUE系统为AI辅助内容审核开辟了一条新路径，但真正的突破还需要在技术优化、规则设计和实际部署等多个方面的持续努力。他们希望这项工作能够激发更多研究者和从业者的兴趣，共同推动这一重要技术的发展和应用。

总的来说，Meta团队的这项研究为解决网络内容安全这一重大社会问题提供了一个创新性的技术方案。CLUE系统通过规则客观化、智能筛选、条件分解、去偏见处理和递进判断等多项技术创新，成功实现了无需人工标注数据的高精度图像安全判断。这不仅为内容平台提供了一个高效、灵活的安全检测工具，也为AI在更广泛的规则执行场景中的应用探索了新的可能性。随着技术的不断完善和优化，这种基于规则推理的AI安全判断方法有望在构建更安全、更健康的网络环境方面发挥重要作用。

Q&A

Q1：CLUE系统是什么？它与传统的图像安全检测有什么区别？

A：CLUE系统是Meta团队开发的一种AI图像安全判断方法，全称为Constitutional MLLM JUdgE。与传统方法最大的区别是，CLUE不需要人工标注大量训练数据，只需要给它一套明文的安全规则，它就能自动判断图片是否违规。传统方法需要人工审核员标注成千上万张图片来训练AI模型，而CLUE系统可以直接"读懂"规则并执行，就像一个新员工仅通过阅读公司手册就能胜任安全检查工作。

Q2：为什么简单地把安全规则和图片一起输入给AI模型效果不好？

A：研究团队发现存在三个主要问题：首先是规则太主观，比如"不得显示性暗示内容"这样的表述，不同人理解差别很大；其次是规则太复杂，AI模型在处理冗长规则时容易遗漏重要信息；最后是AI模型存在固有偏见，会被无关细节误导，比如看到地面血迹就错误推断动物被伤害。CLUE系统通过客观化规则、分解复杂条件、消除偏见等方法解决了这些问题。

Q3：CLUE系统的准确率有多高？处理速度如何？

A：在实验中，CLUE系统使用InternVL2-76B模型达到了95.9%的召回率和94.8%的准确率，远超传统直接询问方法的62.6%召回率和71.8%准确率。处理速度方面，根据使用的模型不同，每张图片需要22-102秒不等。虽然比简单方法慢一些，但研究团队指出可以用CLUE系统训练更小更快的专用模型来解决速度问题，而且这个成本仍然远低于人工审核。