聊天处罚对有害行为的影响

改变游戏规则:聊天处罚对有害行为的影响

近期,Omeda Studios 分享了 GGWP 基于 AI 的聊天审核所产生影响的相关结果——该影响在于减少其抢先体验 3A 级 MOBA 游戏 Predecessor 中的有害行为。我们对这些发现深感振奋,更多详情可参阅 GamesBeat 发布的案例研究。在本文中,我们希望深入分析这些数据以及 GGWP 的方法论,以进一步阐述我们的解决方案如何帮助减少游戏中有害行为的再次发生。

挑战

网络游戏中的有害行为绝非仅仅是一种小小的不便。反诽谤联盟(Anti-Defamation League)的报告显示,多达 81% 的成年网络游戏玩家曾遭遇某种形式的骚扰,其中很大一部分辱骂是基于身份因素针对特定群体和个人的。此外,多项研究表明,负面互动会显著影响玩家的留存率与满意度。鉴于每天交换的消息数量极其庞大,几乎不可能对每一条消息进行人工审核和处理。其难点不仅在于处理海量消息,还在于要足够迅速、有效地作出响应,以遏制随后发生的有害行为。

Games often witness a range of offensive chat messages. These graphs illustrate the frequency of various types of toxic incidents within a sample of communities on our platform.
游戏中经常出现各种冒犯性的聊天消息。这些图表展示了我们平台上部分社区中各类有害违规事件的发生频率。

近年来,游戏在应对此类社区审核方面发生了范式转变。以往,许多游戏一直秉持这样一种理念:只需踢出或封禁所谓的“不良行为者”,便可改善玩家体验。然而,研究表明,只有约 5% 的玩家会持续制造干扰,这意味着其余玩家只是偶尔情绪失控。有鉴于此,越来越多的游戏如今开始着重让玩家认识到有害行为所带来的后果。

这也是我们审核工具的主要目的:我们希望对玩家的有害行为进行教育和警示,同时引导他们在未来做出更良好的行为。对于可能只是当天状态欠佳的玩家,我们的工具通过会话禁言给予他们冷静下来的机会;而对于屡次违规者,则处以更长时间、更为严厉的处罚,明确表明我们绝不容忍持续性的有害行为。

解决方案

我们的聊天审核方法包含三个方面:

  1. 实时过滤:即时处理聊天消息,实时过滤掉冒犯性词语和辱骂性用语,作为抵御冒犯性消息的第一道防线。
  2. 高级检测模型: 除了针对单个词语和短语之外,我们还部署了多种可在数秒内运行的定制语言模型,用于标记包含更细微的身份仇恨、威胁、言语辱骂、骚扰等内容的各类有害消息。
  3. 基于行为的处罚: 在玩家层面,我们会考察其历史行为模式和当前会话行为,以施加相应的处罚。这些处罚既包括针对一时冲动者的警告(会话禁言),也包括针对已表现出有害行为历史的玩家的更严厉的多日禁言。
This graphic illustrates the proportion of players who have experienced some form of chat moderation.
此图展示了经历过某种形式聊天审核的玩家所占的比例。

成果

自集成我们的审核工具以来,Predecessor 中发送冒犯性聊天消息的比率显著下降,收到系统警告和处罚的那部分玩家的重复违规行为也有所减少。

总体而言,每局游戏中发送的有害消息减少了 35.6%。此外,自实施自动审核系统以来,有 56.3% 的活跃聊天玩家发送冒犯性消息的比率有所降低。

各类有害违规事件的发生率也大幅下降:

  • 58.0%:身份相关违规事件下降
  • 55.8%:暴力相关违规事件下降
  • 58.6%:骚扰类违规事件下降
This graph show the impacts of warnings and sanctions on subsequent actions by players. A majority of players who only received warnings did not end up needing to be sanctioned. However, most players who were sanctioned tended to repeat that behavior.
此图展示了警告和处罚对玩家后续行为的影响。大多数仅收到警告的玩家最终无需受到处罚。然而,大多数被处罚的玩家往往会重复该行为。

此外,我们还注意到,迄今为止,处罚和警告在减少玩家重复聊天违规方面成效显著:

  • 65.5% 的已收到警告玩家未再受到更严厉、更长期的处罚
  • 41.1% 的被处以 1 天及以上处罚的玩家未再犯下另一起严重的聊天违规行为

旨在缓和偶发激烈时刻的简单警告(例如会话禁言),在遏制大多数玩家未来的不当行为方面成效显著。事实上,约 65% 收到此类警告的玩家避免了进一步的、更为严重的聊天违规,也未再出现需要施加更严厉处罚的持续性有害行为。

持续表现出有害行为、因而最终受到更严厉处罚的玩家,往往会招致更多处罚。对具有较长期不良行为模式的玩家施加此类反复处罚,对于防止其他人受到其有害行为的侵害起到了关键作用。

结语

长期以来,游戏开发者一直在与遏制有害行为这一“打地鼠”式的难题作斗争,并渴望一种更具主动性的方法,既能鼓励用户表现出更亲社会的行为,又能将他们留在游戏中。这些结果的关键启示在于,利用像 GGWP 这样的主动式解决方案,不仅能实时拦截冒犯性聊天,还能起到强有力的威慑作用,促使玩家在发送冒犯性消息前三思而后行,并减少玩家重复聊天违规行为的再次发生。Omeda 公布的这些结果令人倍感振奋,它们展示了当开发者致力于在网络游戏中营造更具包容性和尊重的环境时所能实现的成果。我们期待看到,随着越来越多的游戏社区采用这种更具主动性的方法,未来会呈现怎样的变化。