免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

Kimi K3 发布:史上最大开源模型来了

发布日期:2026-07-17 11:35:23 浏览次数: 2149
作者:Monolith砺思资本

微信搜一搜,关注“Monolith砺思资本”

推荐语

Kimi K3作为全球首个开源的3万亿级模型,以2.8万亿参数和前沿架构,为长程编程与知识工作设定了新标杆。

核心内容:
1. 模型核心能力:2.8万亿参数、KDA混合注意力机制、原生视觉理解与100万token上下文窗口
2. 性能与定位:在评测中展现前沿水平,专为长程编程、知识工作与推理设计
3. 发布与生态:即刻可通过多平台使用,完整权重与技术细节将后续公开

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家

犯其至难而图其至远者,发之以勇,守之以专,达之以强。

今天,我们正式推出 Kimi K3,我们迄今能力最强的模型。
Kimi K3 是一个 2.8 万亿参数模型,基于 KDA 混合线性注意力机制(Kimi Delta Attention)和注意力残差(Attention Residuals)技术构建,原生支持视觉理解,并拥有 100 万 token 上下文窗口。它是全球首个开源的 3 万亿级别模型,面向长程编程、知识工作和推理等前沿智能场景而设计。
虽然 Kimi K3 的整体表现仍落后于最强的闭源模型 Claude Fable 5 和 GPT-5.6 Sol,但它在我们的整套评测中展现出前沿水平的能力,并稳定超过了其他所有模型。
Kimi K3 的发布只是开始,我们会继续挖掘 K3 模型的潜力,持续提升它在真实任务中的性能表现。
即日起,可通过 kimi.com、最新版 Kimi 手机App、最新版 Kimi Work 桌面客户端、Kimi Code 和 Kimi API,使用 Kimi K3 模型。当前默认思考强度为 max(极致),后续更新后会增加 low 和 high 两种模式。
我们目前正与推理合作伙伴和开源维护者密切协作,对齐技术细节,确保模型能在整个生态中可靠上线。完整模型权重将于 2026 年 7 月 27 日前发布。关于架构、训练和评测的更多细节,将随 Kimi K3 技术报告一同公布。
3 万亿级开源模型
Kimi K3 是首个达到 2.8 万亿参数规模的开源模型。这是 Kimi 持续推进模型规模边界的最新一步:在过去 12 个月中的 9 个月里,Kimi 模型都保持着开源模型的规模上限。
Kimi K3 基于 Kimi Delta Attention(KDA) Attention Residuals(AttnRes)构建。这两项架构更新,都是为了让信息在更长序列和更深模型中流动得更顺畅。我们也进一步扩大了 Mixture of Experts(MoE)的稀疏度:结合 Stable LatentMoE 框架后,模型可以在 896 个专家中高效激活 16 个。再加上训练方法和数据配方的优化,这些结构性改进让 Kimi K3 相比 K2 的整体扩展效率提升约 2.5 倍,能更有效地把算力转化为能力。
编程
Kimi K3 具备很强的长程编码能力。在极少人工监督的情况下,它可以持续完成长时间工程任务,理解和处理大型代码库,并协调使用终端工具。
Kimi K3 也擅长结合软件工程与视觉推理的任务。它能够利用截图和视觉反馈,优化游戏开发、前端和 CAD 等场景。
下面的案例展示了 Kimi K3 如何将编码能力转化为开放式软件开发和科学研究能力。
■ Kernel 优化
我们搭了一个内核优化竞技场,想看 Kimi K3 能不能真正把 GPU 内核从头到尾优化好。每个模型都在自己的 GPU 沙箱里独立运行,任务、测试框架和生产负载完全一致。最多 24 小时内,模型可以分析现有实现、重写内核,并反复跑分验证效果。
竞技场包含两种硬件平台、三类内核、四个任务:在 NVIDIA H200 GPU 上的 Attention Residuals、KDA 线性注意力,一个从零实现的 512 头维度 MLA 内核,以及一个在某国产GPU上的 KDA 任务。在最大思考强度下,Kimi K3 的表现接近 Fable-5(含回退机制),并明显领先 Opus 4.8、GPT-5.6 Sol 和 GPT 5.5。
■ GPU 编译器开发
我们进一步测试了 Kimi K3 能否从零构建一套 GPU 编程系统。Kimi K3 开发了 MiniTriton:一款紧凑的类 Triton 编译器。它基于 MLIR 构建了自己的 tile 级中间表示层,并实现了完整的优化 pass 到 PTX 代码生成流水线。
在其支持的 Roofline 基准测试中,MiniTriton 的性能达到或超越 Triton 和 torch.compile,并在部分工作负载上优于 Triton。目前它支持 FP32 和 FP64 计算,TF32 和 BF16 还在开发中。我们并不期待它早期的 Tensor Core 实现能超过已经高度优化的 Triton,但结果说明:在没有针对 benchmark 走捷径、也没有明显硬编码优化的情况下,MiniTriton 已经能生成有竞争力的 GPU 代码。
作为端到端验证,我们用 TensorLite 训练了 nanoGPT,并观察到正常收敛。这说明 Kimi K3 做的不只是生成几个孤立内核,而是搭起了一套真正可用的编译器栈:包括编程抽象、中间表示、优化 pass、后端代码生成,以及接入真实训练负载的能力。
■ 创作数字作品
Kimi K3 融合强大的 3D 推理、编程与视觉能力,可将概念、图像和视频转化为完全可玩的交互体验。Kimi K3 在代码与实时截图之间无缝迭代,实现真正的视觉闭环(vision in the loop)——即时看见输出,即刻优化。
我们看一些示例:
▼3D 模拟长征十号火箭发射与回收
▼3D 开放世界游戏
▼ 3D GBA模拟器
黑洞卡冈图雅复刻过程

访问网页:https://blackhole-visualizer.ok.kimi.link/

■ 芯片设计
作为早期概念验证,Kimi K3 设计了一款芯片,用于运行一个基于自身架构构建的 nano 模型。在连续 48 小时的自主 Agent 运行中,K3 基于开源 EDA 工具和 Nangate 45nm 工艺库,独立完成了芯片的构建、优化与验证。该芯片面积 4 mm²,集成 146 万个标准单元、0.277 MB SRAM 以及带融合反量化的 INT4 MAC 阵列,在 100 MHz 下完成时序收敛,仿真解码吞吐持续超过每秒 8,700 个 token。一颗由模型设计、为模型服务的芯片,正是 K3 长程 Agent 能力的写照。

(视频由接入 Blender MCP 的 Kimi K3 模型生成)

■ 科研编程
Kimi K3 可以打通科学文献与可执行代码,自主完成复杂计算研究流程的实现、验证和分析。
在一个案例中,Kimi K3 用约两小时完成了通常需要一名资深研究人员一到两周才能完成的工作。为了复现计算天体物理中的 I-Love-Q 普适关系,它阅读并交叉验证了 20 多篇论文,实现了完整的数值流程,评估了 300 多种状态方程,发现了已发表公式中的不一致之处,生成了 3,000 多行 Python 代码,并产出了一个用于探索结果的交互式 HTML 仪表盘。
知识工作
Kimi K3 推动了端到端知识工作的进展。除了公开基准外,Kimi K3(max)在我们的内部评测中也展现出稳定提升。这些评测来自真实用户与智能体协作流程中反复出现的任务模式和挑战。Kimi K3 在不同生产场景导向的工作流中都表现出一致优势,说明其智能体知识工作能力得到了全面提升。
■ 研究及其可视化
下面是几个例子,展示 Kimi Work 中的 K3 在金融咨询和科研场景中能完成什么。
推理芯片行业研究:覆盖 ASIC 行业 42 年历史,由 K3 经过 120 多轮递归自我改进生成。K3 将证据转化为定制图表、动画示意图和交互式视觉叙事。整个过程中,它完成了 2800 多次网页搜索与抓取、1100 多次终端数据拉取,处理了 87 份季报和 99 份原始 PDF,合计超过 11000 页资料。
查看完整交互式报告 https://asic42cn.ok.kimi.link/
可控核聚变产业研究:这是 K3 制作的一份咨询报告风格的行业研究,包含时间线、树状图、瀑布图、甘特图,以及达到发布质量的演示文稿。
GWTC-5 引力波分析:一次对 391 个引力波事件的分析,使用 20 多个并发 subagents,产出 7 张科学可视化图、2 张表格,并综合了 10 多篇论文的文献内容。
■ 小组件和看板
在 Kimi Work 中,我们推出了两个新功能:小组件(Widgets)看板(Dashboard),让用户与 Kimi K3 的交互更加可视化,也更具持续性。小组件可以在对话中直接生成交互式组件,并连接本地数据或外部插件,实现持续更新。看板则可以把你最关心的小组件汇总到一个长期保留的个性化视图中,并围绕某个主题、项目或目标进行组织。
■ 视频剪辑
Kimi K3 擅长动效设计、动画和视频剪辑,因为它原生的多模态架构可以在同一个模型中理解文字、图像和视频。
在一个案例中,K3 制作了一支介绍自己架构的「3Blue1Brown 」风格动态图形讲解视频,把技术概念转化为动画图示和转场,时长 4 分半:

另一个案例中,Kimi K3 用 56 段原始素材剪出了自己的品牌视频,完成了选片、动作匹配剪辑、逐帧卡点、音频处理,以及多轮修改。像这样信息密度很高的短视频,通常需要有经验的剪辑师花 1 到 2 个工作日完成;新手则可能需要 3 到5 天。

架构和基础设施
Kimi K3 基于 Kimi Delta Attention(KDA) Attention Residuals(AttnRes)构建。KDA 为注意力扩展提供了高效基础,AttnRes 则不是简单地在各层均匀累积表示,而是有选择地跨深度检索表示。二者共同构成了 Kimi K3 的架构骨架,使模型能够扩展到万亿参数以上的规模。
Kimi K3 采用 Stable LatentMoE,在 896 个专家中实际激活 16 个。在这样的稀疏度下,路由和优化成为关键挑战。Quantile Balancing 直接根据路由分数的分位数分配专家,避免启发式更新和敏感的平衡超参数;Per-Head Muon 则将 Muon 扩展到按注意力头独立优化,让大规模训练中的学习过程更自适应。Sigmoid Tanh Unit(SiTU)和 Gated MLA 分别增强激活控制和注意力选择性。这些改进共同支持了 2.8 万亿参数规模下稳定、高效的训练。
Kimi K3 从 SFT 阶段开始采用量化感知训练,使用 MXFP4 权重和 MXFP8 激活,以适配更广泛的硬件。为避免在大规模专家并行中因专家负载不均影响吞吐,我们引入了完全均衡的专家并行训练方法,使用静态形状,并且关键路径上不需要主机同步。由于推理效率同样受益于更大的高带宽通信域,我们建议在 64 个或更多加速器组成的 supernode 配置上部署 Kimi K3。最后,由于 KDA 给传统 prefix caching 带来了新的挑战,我们已向 vLLM 社区贡献了对应实现,并将随模型一同发布。借助带 prefill cache 的 KDA,即使在大模型规模和长上下文条件下,我们也能以很有竞争力的 token 价格提供 Kimi K3 服务。
更多技术细节将在后续技术报告中公布。
开始使用 Kimi K3
使用 Kimi K3 Agents:到手机应用商店搜索下载或升级到最新版 Kimi app,支持 iOS、Android 和鸿蒙系统,或直接访问 kimi.com。
与 Kimi K3 一起工作:下载最新版 Kimi Work 桌面客户端(3.1.0 及以上的版本),支持 Windows 和 Apple 芯片的 Mac 电脑。
用 Kimi K3 辅助编程:Kimi Code 运行在你的电脑终端里,通过 /model 命令选择 K3 模型即可开始体验。
接入 Kimi API 开发应用:访问 Kimi API 开放平台,模型选择 kimi-k3,价格为每百万 Token 输入:2 元(命中缓存)和 20 元(未命中缓存),输出:100 元。借助 Mooncake 分离式推理架构,Kimi 官方 API 编程场景的缓存率超过 90%,实际输入价格仅为标准输入价格的 1/4。最高 30% 的充赠活动同步进行中。
为员工提供 Kimi 订阅:Kimi 企业版支持企业级数据隐私保护、成员管理,个人账号与企业账号数据完全隔离。点击这里,找到「开通企业版」按钮,即可在线为员工订阅 Kimi 会员。
此外,我们即将面向企业推出托管 Agent 平台:Kimi Hosted Agent,提供 Agent harness、隔离沙箱和长任务运行环境,欢迎加入 Waitlist,第一时间参与测试。
局限性
1. 对历史思考内容敏感: Kimi K3 在后训练过程中全程使用思考历史保留模式,如果 agent 框架未按要求回传全部历史思考内容,或从其他模型正在进行的会话中切换到 Kimi K3,则有可能引发上下文干扰,导致内容生成质量不稳定。建议使用 Kimi Code 等经过兼容性验证的 Agent 框架,并避免在会话中途切换到 Kimi K3。 
2. 过于主动:Kimi K3 的训练重点优化了长程、高难任务。因此,在任务执行过程中遇到小问题或用户意图模糊时,它可能会替用户做出非预期的决定。如果你的应用希望 agent 更有边界感、不要过于自由发挥,请在 system prompt 或 AGENTS.md 中对 Kimi K3 施加更明确的行为约束。 
3. 尽管 Kimi K3 总体上是一个非常有竞争力的模型,但与 Claude Fable 5 和 GPT-5.6 Sol 相比,在用户体验上仍有一定差距。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅