此次使用政策更新还新增了有关宣传活动、监控和武器研发的规定。
Anthropic 一年多来首次更新使用政策,以应对新出现的高风险滥用行为,包括干预选举、研发武器、监控,以及在医疗和金融领域的应用。
其中最重要的一项变化,是禁止用户持续且无端地辱骂或虐待 Claude。
去年八月,Anthropic 宣布,作为“模型福祉”研究的一部分,如果用户持续表现出有害或辱骂行为,Claude 可以结束对话。最新政策更新称,结束对话仍是主要的执行措施。Anthropic 未回应是否会采取其他措施,例如封禁用户。
Anthropic 表示,这项政策更新“仅适用于极端情况:用户反复无故残酷对待我们的模型。用户常见的沮丧情绪、提出异议、创作黑暗题材内容,以及测试和研究模型,都不在适用范围内。”
除了调整模型福利政策,Anthropic 还将几项原本分散的限制整合起来,新增一项禁令,禁止开展欺骗性的商业或政治宣传活动,以应对 AI 生成宣传内容日益增多的问题。新规禁止“隐瞒信息发布者的身份,或利用虚假账号、帖子扩大内容传播”。Anthropic 还表示,其选举相关规定禁止欺骗选民、扰乱选举,包括散布有关候选人或投票方式的错误信息、冒充候选人或选举官员,以及试图压低投票率。
Anthropic 表示,其使用政策一直明确禁止利用 Claude 开发武器,但该公司发现,有人多次尝试借助 Claude 编写武器操作指南和控制软件。为此,新版政策扩大了禁令范围,明确禁止开发“让武器得以运作的软件和组件”,也禁止为无人机及其他自主车辆等装备武器。
此外,Anthropic 最新的威胁情报报告指出,人们越来越多地利用 Claude 驱动的监控技术识别和追踪“政治异见人士”,因此公司也进一步明确了监控相关禁令。
Anthropic 写道:“未经他人同意追踪其行踪是被禁止的,无论是实时追踪,还是分析此前收集的数据来追踪。Claude 不得用于在执法或刑事司法程序中决定或建议调查、逮捕或起诉哪些人。我们也禁止使用 Claude 来开发或改进监控工具。”
Anthropic 表示,对于“与某些政府客户签订的合同……”,如果公司认为合同中的使用限制及相关保障措施足以降低潜在风险,这些规则可能会有所调整。该公司此前曾与美国军方签订合同。
Anthropic 还新增了一项规定:如果其 AI 模型“连接到能够自主行动且可能造成伤害的硬件”,就“必须确保有合格的操作人员可以观察设备,并在必要时将其停下”。目前尚不清楚这名操作人员是否必须由人类担任。这项规定反映出 AI 实验室日益加大对机器人等硬件的投入,试图让 AI 系统拥有实体形态;也可能暗示 Anthropic 未来会在这一领域展开哪些合作。