苹果的 MLX 机器学习框架,最初是为Apple Silicon 芯片设计的,现在加入了 CUDA 支持。
这意味着开发者可以直接在 NVIDIA 的显卡上运行 MLX 模型,这可是个非常重要的升级。
这项工作由 GitHub 上的开发者 @zcbenz 牵头(由 AppleInsider 报道)。他在几个月前开始尝试开发 CUDA 支持,从那之后,他把项目拆分成了几个小部分,然后逐步将它们合并到了苹果的 MLX 的主分支上。
后台还在开发中,但一些核心操作,比如矩阵乘法、softmax、归约、排序和索引,已经支持并经过测试了。
为什么苹果的 MLX 现在开始支持 CUDA 了呢?
由于 MLX 与苹果平台上的 Metal 紧密集成,它原本并不是为在 macOS 之外运行而设计的。
但加入支持 CUDA 后情况就不同了,这让研究人员和工程师可以在本地用 Mac 的 Metal 和Apple Silicon 芯片进行原型开发,然后再把同样的代码跑到大规模的 NVIDIA GPU 集群上,而 NVIDIA GPU 依然在机器学习训练任务中占据主导地位。
话说回来,还是有一些限制大部分还在开发中,比如并不是所有的 MLX 操作符都已经实现了,支持 AMD 显卡也还需要一段时间。
不过,将 MLX 代码直接移植到 NVIDIA 的 GPU 上,而不用重新编写,让人们可以更快地进行测试、试验和研究,这基本上是所有 AI 开发者都希望听到的好消息。