PG电子

蚂蚁集团AI技术新突破:低成本高效训练大PG电子APP模型引领行业竞争

2025-06-09
浏览次数:
返回列表

  PG电子(Pocket Games Soft )全球首屈一指的电子游戏供货商[永久网址:363050.com],首位跨足线下线上电子游戏开发。PG电子,pg娱乐,PG电子试玩平台,pg电子app,pg电子外挂,pg电子接口,pg电子技巧,pg电子下载,欢迎注册体验!

蚂蚁集团AI技术新突破:低成本高效训练大PG电子APP模型引领行业竞争

  在当今飞速发展的人工智能(AI)领域,蚂蚁集团正通过其在AI技术上的持续努力而逐步崭露头角。近日,该公司在基于中国AI芯片的模型技术上取得了重要突破,标志着其在AI科技竞争中迈出了关键一步。

  蚂蚁集团的CTO兼平台技术事业群总裁何征宇所领导的LingTeam团队,成功推出了两个名为Ling-Lite和Ling-Plus的开源MoE模型。Ling-Lite的参数规模达到168亿,而Ling-Plus的基座模型则更为强大,参数规模高达2900亿。尽管与行业巨头如GPT-4.5的1.8万亿参数和DeepSeek-R1的6710亿参数相比,仍有一定差距,但蚂蚁团队在预训练阶段使用较低规格的硬件系统,成功将计算成本降低了约20%,仅花费508万元人民币,同时实现了与阿里通义Qwen2.5-72B-Instruct和DeepSeek-V2.5-1210-Chat相当的性能。

  这一技术成就不仅体现在模型参数和计算成本上,更在于蚂蚁团队在AI基础设施技术上的创新。团队构建了一套包含约9万亿token的高质量语料库,采用创新的MoE架构并实施多阶段训练和优化策略,从而显著提升了训练效率。

  在AI异构计算平台上,蚂蚁团队将多个训练框架集成到统一的分布式深度学习框架中,即开源项目DLRover。同时开发的轻量级调试工具XPUTimer和弹性分布式训练EDiT,进一步提高了整体的训练效率和性能。

  在存储优化方面,蚂蚁团队运用了存储与训练流程的协同设计,提升了MoE场景中的I/O效率。在5000个加速器MoE训练任务中,他们成功将检查点写入延迟缩减了50%,有效减少了培训时间,同时将训练节点的峰值内存消耗降低了60%。这一系列成果不仅证明了在性能相对较低的硬件上训练大规模MoE模型的可能性,同时为基础模型的发展提供了更灵活且经济的解决方案。

  更重要的是,蚂蚁团队在训练中并不完全依赖英伟达的芯片,而是引入了国产AI/GPGPU芯片产品,这一战略举措不仅降低了对外国技术的依赖,同时也为中国的AI产业构建了更加自主可控的发展格局。根据彭博社的报道,蚂蚁团队最终得出的结果与英伟达芯片(如H800)的表现相似,进一步证明了国产芯片在AI领域的可观潜力与实力。

  模型性能方面,Ling-Lite和Ling-Plus均展现出卓越的表现。在英语理解方面,Ling-Lite在关键基准测试中表现超过了Meta的Llama3.1-8B模型。而在中文基准测试中,这两个模型同样超越了DeepSeek的同类产品。Ling-Plus在安全性和错误拒绝方面展现出更好的整体平衡,取得了最佳的结果。

  蚂蚁集团表示,Ling-Plus和Ling-Lite将来会开源,并将应用于医疗、金融等多个行业。目前,蚂蚁已推出三款AI助手,包括生活助手“支小宝”、金融管家“蚂小财”以及新近发布的AI医生助手等,这些产品的推出旨在提升用户体验,进一步推动AI技术在多个领域的应用与发展。

  尽管进展显著,但蚂蚁团队承认大模型的训练仍面临挑战,这是一项资源密集型的过程。训练过程中,他们遇到了稳定性等多方面的难题,甚至微小的硬件或模型结构变化都可能导致模型错误率的显著上升。但通过不断的技术创新与优化,蚂蚁团队逐步克服了这些困难,最终实现了如今天的成就。

  蚂蚁集团的这一系列技术突破,不仅展示了中国在AI创新能力上的持续增强,也加快了中国科技进步的步伐。如果这些成果得到进一步验证,无疑将表明中国正朝着AI自给自足的方向迈进。随着AI技术的不断发展和应用场景的不断扩展,预计蚂蚁集团将在AI领域继续发挥重要的作用,为推动中国AI产业的发展贡献更大的力量。返回搜狐,查看更多

搜索