他表示,公司确实“在一定程度上”使用了模型蒸馏来提升 xAI 的模型。
周四在加利福尼亚州的一家联邦法院内,马斯克作证说,他自己的AI初创公司 xAI 使用了 OpenAI 的模型来提升其自身能力。
模型蒸馏——这在业界非常常见:由一个规模更大的 AI 模型充当“教师”,将知识传授给更小的 AI 模型,也就是“学生”。这种方法往往被企业用于内部场景,用自家的一套模型去训练另一套;但它也有时被一些规模较小的 AI 实验室拿来,让自己的模型尽可能学到、模仿大型竞争对手模型的性能。
当被问到他是否知道什么是“模型蒸馏”时,马斯克说,这就是用一个 AI 模型去训练另一个 AI 模型。被问及 xAI 是否对 OpenAI 的技术进行了蒸馏时,他似乎回避了正面回答,只表示“通常所有的 AI 公司”都会做这种事。随后当被追问这是否代表“是”的意思时,他说:“某种程度上。”
当有人追问时,马斯克表示:“用其他人工智能来验证自己的人工智能,这是业内的常规做法。”