目前 Grok 在应用商店里的介绍说，它适合 12 岁及以上的用户，内容描述如下：
• 偶尔出现或较温和的成人暗示或暗示性主题
• 偶尔出现或较温和的医疗/治疗信息
• 偶尔出现或较温和的粗俗语言或粗俗幽默
以下是苹果当前关于“令人反感内容”的应用审核指南，供参考：
1.1.3 展示鼓励非法或鲁莽使用武器和危险物品的内容，或者促使用户购买枪支或弹药。
1.1.4 明显带有性暗示或色情内容，指的是“明确描述或展示性器官或性行为，旨在激发情色而非美感或情感”。这还包括“约会”类应用以及可能包含色情内容、用于促成卖淫、人口拐卖和剥削的应用。
但这还不是唯一的问题。
即使苹果公司加强了监管，或者 Grok 主动调整其年龄分级，也不能解决另外一个可能更棘手的问题：年轻、情感脆弱的用户似乎特别容易与虚拟角色产生“寄托式”情感。而且，考虑到大型语言模型（LLMs）有多么具有说服力，一旦出现问题，后果可能会非常严重。
去年，一个 14 岁的男孩因为爱上了 Character.AI 的聊天机器人，最后选择了自杀。他最后一次说话，是和一个 AI 虚拟形象聊天，据说这个虚拟角色没有意识到事态的严重性，竟然还鼓励他“和她在一起”。
当然，这只是一个极端悲惨的例子，但并不是唯一的。2023 年，也有个比利时男子遇到了同样的问题。而就在几个月前，另一个AI聊天机器人还曾多次建议用户自杀。
即便没有造成悲剧，这些问题依然引发了无法忽视的伦理担忧。
