Gate News 消息,4月23日——DeepSeek 已在 MIT 许可下开源了 TileKernels,这是一款使用 TileLang 编写的 GPU 内核库,面向大型语言模型的训练与推理。TileLang 是 tile-ai 团队开发的领域专用语言,用于在 Python 中表达高性能 GPU 内核。DeepSeek 表示,该库中的大多数内核已接近在计算密度与内存带宽方面的硬件性能上限,其中部分内容已部署到内部的训练与推理操作中。
该库包含六类内核:MoE (专家混合) 的门控与路由,包括 Top-k 专家选择、token 到专家的映射,以及带权重归一化的融合 expand/shrink;量化支持 FP8、FP4 和 E5M6 格式,提供按 token、按块和按通道的量化,并包含融合的 SwiGLU+量化操作;批量转置;Engram 门控,融合 RMSNorm 的前向/反向传播与权重梯度归约;Manifold HyperConnection,使用 Sinkhorn 归一化并进行混合的 split/apply;以及将底层内核封装为可训练层的高级 autograd 接口。
Engram 和 Manifold HyperConnection 是 DeepSeek 模型架构的专有组件,其实现细节首次向公众披露。该库需要 NVIDIA SM90 或 SM100 架构的 GPU (H100/H200 或 Blackwell 系列),CUDA Toolkit 13.1 或更高版本,以及 PyTorch 2.10 或更高版本。
免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
Frax 加入 DeFi United 支持行动以支持 Aave,并就 rsETH 事件提出治理方案
Gate News 消息,4月24日——Frax Finance 在 X 上宣布,作为 Aave V4 合作伙伴,它正与 Aave 进行直接沟通,以处理 rsETH 事件。尽管 Frax 没有直接的风险敞口,它
GateNews1 分钟前
CoW DAO 提议补偿 cow.fi 域名劫持受害者,最高 100% 赔付损失
CoW DAO 于 4 月 23 日在治理论坛发布补偿提案(CIP),提议设立酌情补助计划,为 4 月 14 日 cow.fi 域名劫持事件的受害者提供最高 100% 的损失补偿。事件估计造成用户损失约 120 万美元 USDC,CoW DAO 强调,补偿属于自愿发放的特惠性质,不代表承认任何法律责任。
Market Whisper1 分钟前
Telegram 创办人:TON 手续费降至 0.0005 美元,迈向零费率
Telegram 创办人 Pavel Durov 于 4 月 23 日在 X 平台发文宣布,TON 网络交易费用将在一周内降低 6 倍,降至每笔交易 0.00039 TON(约 0.0005 美元),费率固定,不受网络负载影响。Durov 同时公告,费用降低后,大部分交易将进一步走向完全免费的零手续费模式。
Market Whisper10 分钟前
CoW DAO 提出酌情拨款计划以补偿域名劫持受害者
Gate News 消息,4月24日——CoW DAO 已提出设立一项酌情拨款计划,用于补偿在 4 月 14 日 cow.fi 域名劫持事件中遭受损失的用户。该计划将通过从法律维权储备基金进行一次性拨付,为符合条件的受害者提供最高 100% 的损失补偿
GateNews38 分钟前
Cardano NFT 市场 JPG Store 宣布将于 5 月 23 日关闭
Gate News 消息,4 月 24 日——JPG Store 作为一个 Cardano 生态系统 NFT 市场,已在 X 上宣布将于 5 月 23 日关闭,原因是运营不可持续。JPG Store 以及其 Comet 平台将停止网站服务,尽管底层智能合约将保持
GateNews1小时前
EtherFi 提议注入 5000 ETH 到 rsETH 救助池,防止坏账蔓延 DeFi 生态
EtherFi Foundation 于 4 月 24 日提出治理提案,授权从 DAO 金库拨出最多 5,000 枚 ETH,注入 rsETH 漏洞事件的跨协议救助池,填补抵押缺口,防止 Aave 及其他 DeFi 借贷市场出现坏账。此举是 EtherFi 作为“DeFi United”联合救助行动的一部分。
Market Whisper1小时前