JetBrains开源发布Mellum 一种开放的AI编程模型
JetBrains 是一家开发一系列流行应用程序开发工具的公司，它发布了其首个用于编码的“开放” AI 模型。周三，JetBrains 将Mellum公开发布在 AI 开发平台 Hugging Face 上。Mellum 是该公司去年为其各种软件开发套件发布的代码生成模型。
Mellum 经过超过 4 万亿个标记的训练，包含 40 亿个参数，专为代码补全（即根据周围环境补全代码片段）而设计。参数大致对应于模型解决问题的能力，而标记则是模型处理的原始数据。一百万个标记相当于约 3 万行代码。
JetBrains 在一份技术报告中解释道：“Mellum 专为集成到专业开发人员工具（例如，集成开发人员环境中的智能代码建议）、人工智能编码助手以及代码理解和生成研究而设计，也非常适合教育应用和微调实验。 ”
JetBrains 表示，他们使用一系列数据集对 Mellum 进行了训练，该模型获得了 Apache 2.0 许可，其中包括来自 GitHub 和英文维基百科文章的许可代码。在 256 块 H200 NVIDIA GPU 集群上，训练耗时约 20 天。
Mellum 的启动和运行需要一些工作。基础模型无法开箱即用，必须先进行微调。虽然 JetBrians 提供了一些针对 Python 微调的 Mellum 模型，但该公司提醒称，这些模型旨在“评估潜在能力”，而非部署到生产环境中。
人工智能生成的代码无疑正在改变软件的构建方式，但它也带来了新的安全挑战。根据开发者安全平台 Snyk 在 2023 年末进行的一项调查，超过 50% 的组织有时或经常遇到人工智能生成的代码的安全问题。
事实上，JetBrains 指出，Mellum 可能“反映公共代码库中存在的偏见”（例如，生成与开源存储库风格相似的代码），并且其代码建议不一定“安全或没有漏洞”。
JetBrains 在一篇博客文章中写道：“这仅仅是个开始。我们不追求通用性——我们只是在建立焦点。如果 Mellum 能够激发哪怕一次有意义的实验、贡献或合作，我们都会认为这是一次胜利。”
