Ling-1T— 蚂蚁集团开源的大型语言模型

2025-10-10 人工智能

Ling-1T是什么

ling-1t 是由蚂蚁集团推出的开源万亿级参数语言模型，定位为“旗舰级非思考型模型”。该模型采用 moe（mixture of experts）架构，总参数规模高达 1 万亿，单次推理仅激活约 510 亿参数，具备 128k 的上下文长度支持能力，特别适合处理长文本任务。ling-1t 致力于在有限输出 token 的条件下快速输出高质量的推理结果，具备极高的推理效率。在编程、数学推导、知识理解、创意写作等多个领域表现卓越，处于当前开源大模型的领先行列。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Ling-1T的主要功能

高效推理能力：可在少量输出 token 内迅速生成精准的推理结论，响应速度快，适用于需要即时反馈的场景。
超长上下文支持：支持高达 128K 的上下文输入，能够有效处理法律文书、金融报告、科研论文等长文档任务。
创意内容生成：擅长撰写广告文案、剧本、诗歌等创意性文本，满足营销推广和内容创作需求。
多语言处理能力：可处理英文等多种语言任务，具备良好的跨语言理解与生成能力。
多任务适应性：在代码生成、数学解题、知识问答、多轮对话等多样化任务中均有出色表现，能输出高质量的技术方案与设计思路。
工具集成能力：可嵌入支付应用、理财助手、健康管理等实际业务系统中，增强智能服务能力。

Ling-1T的技术原理

MoE 混合专家架构：基于 Mixture of Experts 架构构建，整体包含 1 万亿参数和 256 个专家模块。每次推理动态激活约 510 亿参数，大幅降低计算开销的同时维持高性能。模型前几层采用密集连接结构（Dense），后续切换至 MoE 结构，缓解浅层网络中的负载不均衡问题。
高密度推理语料训练：使用超过 20T token 的高质量、高逻辑密度数据进行预训练，强化模型的思维深度与推理能力。预训练分为三个阶段：
- 第一阶段预训练：使用 10T 高知识密度语料进行基础能力构建。
- 第二阶段预训练：引入 10T 高推理密度语料，提升逻辑推理能力。
- 中期训练阶段：扩展上下文至 128K，并融入思维链（Chain-of-Thought）相关语料，增强复杂任务处理能力。
FP8 高效训练技术：全程采用 FP8 精度进行训练，在显存占用和训练速度上显著优于 BF16。实验表明，在训练量达 1T token 时，其 Loss 偏差仅为 0.1%，保证了精度稳定性。
LPO 优化策略：采用 Linguistics-Unit Policy Optimization（LPO）方法，以句子为单位进行策略优化，更贴合自然语言的语义结构，有效提升生成质量与逻辑连贯性。