DeepSeek V4 架构已验证:4项预测命中3项,缺少 Engram 模块

Gate 新闻消息,4月24日——DeepSeek 今天发布了 V4 模型卡,证实了此前通过对昨日发布的 TileKernels 内核库进行分析所做的架构预测 (4月23日)。根据 Beating 的监测,已确认三个核心组件:mHC (Manifold-Constrained Hyper-Connections) 取代字节跳动原始的 HyperConnection,采用带 Top-k 专家路由的 MoE 架构,以及 FP4+FP8 混合精度权重存储。预测的 Engram 条件记忆模块未出现在模型卡中。

模型卡还揭示了 TileKernels 未覆盖的新组件:混合注意力机制 (CSA + HCA) 推动了 V4 的长上下文效率提升,将在 1M 上下文窗口下的推理 FLOPs 降至仅为 V3.2 水平的 27%,并将 KV 缓存降至 10%。训练现在使用 Muon 优化器。

该验证展示了生产级内核实现如何在官方规范发布之前揭示底层模型架构。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

小米披露 MiMo-V2-Pro 训练细节:1T 模型参数,部署成千上万台 GPU

Gate News 消息,4月24日——小米的大语言模型团队负责人罗福丽在一场深入采访中透露,MiMo-V2-Pro 模型的总参数量达到 1 万亿,并且训练过程中需要成千上万台 GPU。她表示,1T 规模代表要实现接近 Claude Opus 4.6 等级的性能,并为下一阶段 AI 智能体抢占具备竞争力的入场券所达到的最低门槛

GateNews1 分钟前

DeepSeek V4 在 Putnam-2025 上取得满分成绩,与 Axiom 在形式化数学推理中并列第一

Gate News 消息,4月24日——DeepSeek V4 已发布来自形式化数学推理评测的结果,在 Putnam-2025 上获得满分 120/120,与 Axiom 并列第一。 在使用 LeanExplore 和受约束采样的实际模式下,V4-Flash-Max 在 Putnam-200 Pass@8 基准测试中得分 81.00,显著优于 Seed-2.0-Prover 35.50、Gemini 3 Pro 26.50 和 Seed-1.5-Prover 26.50。前沿模式的结果显示,V4 在 Seed-1.5-Prover 110/120 与 Aristotle 100/120 之前。 V4 采用混合的形式化-非形式化推理方法:非形式化推理生成候选自然语言解答,自我验证用于筛选结果,而形式化智能体在 Lean 中完成严格证明。前沿结果采用了大规模计算扩展,而实际模式分数更能反映标准部署能力。

GateNews9 分钟前

用什么 AI 最能彰显身份地位?研究揭露 Claude 用户收入远超同业,Meta AI 垫底

Epoch AI 的调查显示,Claude 用户多为高收入群体,80% 年收超过 10 万美元;Meta AI 收入分布最广,36.5% 在 10 万以上,低收入占比最高;Claude 价格上涨且分层计费,成本可能提高,Meta 入门较容易。未来用哪款 AI 可能成为隐性身份标签。

鏈新聞abmedia14 分钟前

V4-Pro 在内部自用测试中实现 67% 编码通过率,逼近 Opus 4.5 性能

Gate News 消息,4月24日——V4 已公开披露其 V4-Pro 模型的内部自用(dogfooding)数据。该公司从 50 多名工程师处收集了约 200 项真实的工程任务,覆盖特性开发、错误修复、重构以及跨技术栈的诊断,包括

GateNews28 分钟前

英国瞄准安特罗匹(Anthropic)人工智能以加强银行网络安全

英国正在与人工智能公司 Anthropic 合作,探索金融网络安全方面的一大步。早期讨论显示,政府可能会在银行和金融机构中部署 Anthropic 的先进 Claude Mythos 模型。此举旨在加强防御,以应对网络威胁

CryptoMeter io33 分钟前

中国知识产权局将 AI、半导体和脑机接口纳入快速通道保护计划

Gate News 消息,4月24日——中国国家知识产权局在4月24日宣布,将通过机构改革、强化服务以及扩大应用,为新兴技术建立全面的知识产权保护体系。该局将优化专利审查政策,在人工智能、半导体及相关领域的创新方面,提供多种路径,包括优先审查和加速审查。

GateNews40 分钟前
评论
0/400
暂无评论