引言：为何 LLM 对内容审核至关重要

在近期一篇 Forbes 文章中，我们的 CTO 探讨了如何利用大语言模型（LLM）来解决一个具体问题：快速标注特定领域内的消息，从而支持诸如性骚扰等需要细致判断的违规事件检测。由于机器学习是 GGWP 平台的核心，我们的团队会经常评估如何借助机器学习（ML）领域的最新进展（例如基础语言模型方面的进展），来打造既能解决高难度问题、又能在成本、延迟和隐私边界内运转的产品功能。对于标注这一应用场景以及其他许多场景而言，选择合适的模型和/或合作伙伴都至关重要。下文我们将介绍在产品开发过程中所采用的评估流程。

LLM 在标注与违规事件检测中的作用

在深入细节之前，我们经常被问到一个常见问题——既然 LLM 如此智能，为什么不干脆把它们部署到内容审核的方方面面呢？正如那句老话所说，我们希望为每项工作选用最合适的工具。

在审核任务中使用 LLM 的权衡取舍

具体到审核场景，有几项重要的权衡取舍需要考量：

• 任务复杂度：要判断某些恶劣的辱骂性言论不应出现在文明的对话中，谁都无需动用 ChatGPT。为这类任务动用 LLM，反而会让审核成本高到令我们的客户无法承受。另一方面，逐一审查数以千计、可能涉及虚假信息的可疑用户的聊天记录，既困难又耗时，因此在筛选出少数案例交由团队人工审核之前，先用 LLM 进行一轮初筛就显得尤为有价值。
• 延迟：在实时通信中，快速检测是降低社区影响的关键。如果消息已经发出，那么 LLM 能否正确标记某一违规事件便没那么重要了。保护实时对话需要经过高度优化、能在几分之一秒内完成运算的模型，从而让正常的消息迅速放行。就目前而言，若没有可观的硬件资源，大语言模型尚无法做到这一点。
• 隐私：大多数基础模型对于一家私营公司而言都难以自行运行（关于开源，我们稍后再谈），这意味着我们必须将输入内容发送给第三方提供方。对于某些输入而言，鉴于其敏感性，即便采取了适当的防护措施，这样做也风险极高，甚至根本不可行。
• 不可预测性：游戏和社交媒体等场景中的短消息往往充满不确定性。其意图有时取决于未知的情境，而具体某条消息的好坏也可能带有主观色彩。虽然 LLM 支持细致入微的推理，但这同样可能导致前后不一致。对我们的客户及其终端用户而言，标记结果不一致，往往比对主观或不确定的行为采取明确立场更糟糕。

LLM 何时才是正确的工具

在我们平台的许多组件中，LLM 都过于笨重、过于缓慢或过于昂贵，难以投入实际使用。然而，对于某些高价值、高复杂度的任务，它们却是不可替代的利器，能够实现以往无法企及的成果。

无论是 OpenAI、Anthropic 等新进入这一领域的公司，还是 Microsoft、Meta、Google / Deepmind 等科技行业的老牌巨头，可供选择的模型都不在少数。尽管所有这些公司都着眼于打造可部署到广泛任务中的基础通用智能这一长期愿景，但每家公司在短期内也必须有所侧重、有所区隔，这就使得在选择如何构建基于 AI 的产品时面临一些重要的决策节点。

主流 LLM 提供方对比：OpenAI 与 Anthropic

广义而言，一项核心的产品权衡在于功能性与安全性 / 对齐性之间的取舍——这一点在两派人士的热烈讨论中体现得淋漓尽致：一派为了人类福祉而主张加速发展 AI，另一派同样为了人类福祉而主张审慎地发展 AI。

为便于说明，我们不妨将 OpenAI 视为更偏向前者，将 Anthropic 视为更偏向后者（当然，这两家公司显然都是多面向的）。OpenAI 点燃了人们对 LLM 领域的兴趣，此后便以惊人的速度不断开发新功能：引入了不同的模态（文本 / 代码、图像、音频，以及如今的视频）、通用型开发者工具（API、函数调用、数据插件、自定义 GPT），以及生态系统支持（GPT store、企业合作伙伴关系）。

尽管 Anthropic 凭借其 Claude 系列模型在文本方面迅速追赶了上来，但其重心一直放在安全性、可控性与对齐性上，而非拓展能力的广度。

诸如嵌入并强化预先设定的指导原则（Constitutional AI）、将模型输出分解到特征（神经元激活模式）层面的研究，以及通过对自家模型进行红队测试以发现对齐性缺口等技术进展，都在 Anthropic「构建能够胜任敏感而细致任务的 AI」这一研究目标中占据突出地位。

尽管很明显，OpenAI 依然高度重视安全性与对齐性，而 Anthropic 也在积极开发多模态等能力，但作为用户，我们必须考量每一套 AI 方案与我们自身的产品愿景和关切是否契合。构建一个基于 AI 的旅行代理，对具有约束力的原则的需求，或许不及对处理图像、获取外部信息以及借助更广泛开发者生态系统等能力的需求那么高。

反之，智能判例法助手本身就以文本为主，如果它能够严格遵循律所的准则，其可靠性便会大大提升（更不用说更长的情境窗口了，这一点我们稍后就会谈到）。然而，与任何公司一样，愿景与实际成果未必总是一致，因此最好在您自己的实际工作中直接对这些模型进行基准测试。

AI 模型的闭源与开源之争

另一个重要的战略分歧在于闭源与开源，Meta 和 Mistral 等公司看到了其中的机会，将其部分基础模型直接发布给社区。双方各有技术与商业上的取舍，并对终端用户产生重要影响。

在开源阵营，各类实验正在快速展开，重点集中在效果（众包式的基于人类反馈的强化学习（RLHF））、效率（在算力受限的情况下这是一种必需）以及可移植性（用 C 实现的 GPT、在 Raspberry Pi 上运行的 GPT）等方面。对于那些处理敏感专有数据或需要定制化部署（例如在自有环境或设备端部署）的用户而言，采用 LLaMa 或 Mixtral 等开源模型作为基础，能够在隐私与资源的权衡上获得更大的掌控力。

另一方面，模型规模也很重要，因为诸如指令遵循等某些能力，会随着模型参数量的增加而涌现并不断提升。在近期的一项研究中，研究人员将规模较小但专门针对金融领域训练的模型 BloombergGPT，与规模更大、经过通用训练的 OpenAI 模型 GPT-3.5 和 GPT-4 进行了对比，结果发现，仅凭简单的少样本学习，OpenAI 的模型在大多数金融任务上的表现便优于 BloombergGPT，这表明，即便是基于最优质领域内数据训练出来的昂贵专有模型，也可能不及规模更大、经过通用训练的同类模型。

而正如其规模所暗示的那样，这些拥有数千亿乃至上万亿参数的模型只有最大型的平台才负担得起，也不太可能被开源（社区中同样没有谁能负担得起数千块 Nvidia GPU）。沿着这一思路来看，最先进的性能将归于闭源平台，更不用说视频生成（OpenAI Sora）这类成本高昂的前沿能力了。这些中心化服务很可能还会实现更优的经济效益，因为推理批处理会强烈影响单位经济效益，而更高的用户规模又会催生更高效的批处理规模。

对于大多数技术背景有限、又希望获得最优（且可能最廉价）输出结果的用户来说，应当考虑闭源提供方。而那些需要强力管控、定制化以及隐私约束的用户，则应考虑领先的开源模型——所幸这些模型正在迅速走向成熟。在某些情况下，例如当需要稳健的高价值决策时，最佳做法或许是将闭源服务与开源部署集成使用。

选择 LLM 时的技术考量

在考量了这些大方向之后，我们可以深入探讨一些区分不同模型的其他关键技术细节：

• Anthropic 的 Claude 拥有 200K token 的情境窗口，通俗地说，这就是模型在生成输出时所能考量的输入量；而 Google 则表示，下一代 Gemini 最高可处理 100 万 token。对于法律应用、编程助手以及长篇写作等以从海量文本中提取特定洞见为核心需求的场景而言，这一点极其重要。
• 尽管人人都已意识到并致力于实现实时级别的延迟（这会对定价和性能产生影响），但 Groq 最近推出了一款速度快得令人印象深刻的 LLM 演示，其背后由定制的硬件和软件提供支持。真正的实时产品将催生大量新的应用场景，例如实时审核、高频交易、AI 代理以及自主系统。
• 在训练方面，我们可以预期这些大模型在预训练时都会使用互联网级数据集的某个子集（例如 The Pile、C4），不过，它们选择如何对齐、以及对齐到什么，对可用性而言至关重要。
• 在价格方面，我们可以预期，那些拥有强大硬件 / 软件能力（Google / Deepmind）、深厚 AI 人才储备（Meta）以及可用于批处理的庞大业务量（OpenAI）的公司，将具备结构性优势。
• 最后，开发者生态系统与工具链也很重要，因为产品迭代速度在很大程度上取决于易用性。因此，许多建模人员会在 Nvidia GPU 上使用 PyTorch，而许多开发者则会从使用 ChatGPT API 开始搭建自己的项目。

在务实的权衡中构建 AI 产品

打造卓越的 AI 产品，已从单纯依赖技术专长，演变为需要在技术、产品与商业考量之间取得良性平衡。目前，有无数出色的公司正在构建模型平台，尽管它们都计划最终打造出强大、廉价、安全且易于使用的 AI，但重要的是要比较它们当下各自的优先重点，以及这些重点与您自身产品需求的契合程度。

关于 Brian Wu

Brian 现任 GGWP 的 AI/ML 副总裁。