9 月 8 日，外滩大会分论坛上，蚂蚁团体首次开源了代码大模型 CodeFuse。
支付宝小程序云负责人李铮发表 CodeFuse 正式开源
这是蚂蚁自研的代码生成专属大模型，依据开发者的输出提供智能倡议和实时反对，帮忙开发者主动生成代码、主动减少正文，主动生成测试用例，修复和优化代码等，以晋升研发效率。无论用户是初学者还是有教训的开发者，CodeFuse 都可能极大地提高编程效率和准确性，让人人可编程、可翻新成为事实。
CodeFuse 基于蚂蚁根底大模型研发，在近期代码补全的 HumanEval 评测中，CodeFuse 得分 74.4%，超过 GPT-4 (67%) 的问题，也超过了 WizardCoder-34B 73.2% 的得分，在开源模型中位于国际前列。本次开源内容包含代码框架、模型等，现已上架相干平台，模型可在 HuggingFace 下载。
代码框架局部包含自研的多任务微调 (Multi-task fine-tuning，缩写为 MFT) 框架。MFT 反对代码生成、代码翻译、测试用例生成、bug 修复等数 10 个工作一起微调，它充分利用多任务之间的信息互补，通过翻新的 loss 设计解决不同工作之间收敛难易不平衡的难题，最终获得比单任务微调 SFT 更好的成果。
MFT 微调框架反对蚂蚁自研模型，以及多个开源大模型的代码能力微调。同时，框架内含翻新的微调数据打包技术，晋升微调速度约 8 倍；并应用多重部署优化技术，使推理减速约 2 倍。
模型局部包含 CodeFuse-13B、CodeFuse-CodeLlaMa34B-MFT 两个大模型。模型训练过程中，CodeFuse 应用了程序剖析校验技术，对高质量代码数据进行筛选，并构建了代码畛域专用字典，编码均匀长度低 10%+。
早在 2022 年 1 月，蚂蚁团体外部成立了代码智能生成专项，随着公司整体策略的推动，在对立软硬件基础设施反对下，从零到一训练了多个代码大模型，最终基于 13B 版本，打造了 CodeFuse，并在往年 6 月开始内测，用以实在开发环境，能够助力开发者低门槛编程，例如用自然语言编写 H5 小游戏、疾速开发支付宝小程序等。
基于 CodeFuse 的利用场景有开发助手、IDE 插件、数据分析器等，笼罩了目前研发工作的次要需要，在蚂蚁团体外部研发流程中陆续失去验证。
CodeFuse 的目标是从新定义下一代 AI 研发，提供全生命周期 AI 辅助工具。蚂蚁团体冀望通过开源 CodeFuse，和社区一起推动软件工程畛域的范式跃迁，重塑软件研发的各个领域，减速各行各业的数字化过程。
此外，外滩大会上蚂蚁团体还公布了工业级金融大模型，两大利用产品将在实现相干备案工作后上线，包含面向消费者的利用产品—智能金融助理 ” 支小宝 2.0″，以及面向金融行业专家的智能业务助手 ” 支小助 1.0″，展现了蚂蚁在大模型畛域从技术到行业利用的全面布局和停顿。
CodeFuse 我的项目地址：
点击阅览
点击阅览
点击阅览