DeepSeek phát hành mã nguồn mở TileKernels, thư viện kernel GPU cho đào tạo và suy luận mô hình lớn

Tin tức cổng, ngày 23 tháng 4 — DeepSeek đã phát hành mã nguồn mở TileKernels theo giấy phép MIT, một thư viện kernel GPU được viết bằng TileLang cho đào tạo và suy luận mô hình ngôn ngữ lớn. TileLang là ngôn ngữ chuyên biệt do nhóm tile-ai phát triển để diễn đạt các kernel GPU hiệu năng cao trong Python. DeepSeek cho biết hầu hết các kernel trong thư viện đã tiến gần đến giới hạn hiệu năng phần cứng về mật độ tính toán và băng thông bộ nhớ, với một phần đã được triển khai trong các tác vụ đào tạo và suy luận nội bộ.

Thư viện gồm sáu nhóm kernel: MoE (hỗn hợp các chuyên gia) phân luồng và định tuyến, bao gồm chọn chuyên gia Top-k, ánh xạ token sang chuyên gia, và mở rộng/thu gộp kèm chuẩn hoá trọng số; lượng tử hoá hỗ trợ các định dạng FP8, FP4 và E5M6 với lượng tử hoá theo từng token, theo từng block và theo từng kênh, bao gồm các tác vụ lượng tử hoá gộp SwiGLU+; chuyển vị theo lô (batch transpose); Engram gating với lan truyền xuôi/ngược RMSNorm gộp và giảm gradient trọng số; Manifold HyperConnection với chuẩn hoá Sinkhorn và tách/áp dụng trộn; và các giao diện autograd cấp cao bọc các kernel mức thấp thành các lớp có thể huấn luyện.

Engram và Manifold HyperConnection là các thành phần độc quyền trong kiến trúc mô hình của DeepSeek, với chi tiết triển khai lần đầu tiên được công bố công khai. Thư viện yêu cầu GPU thuộc kiến trúc NVIDIA SM90 hoặc SM100 (H100/H200 hoặc dòng Blackwell), CUDA Toolkit 13.1 trở lên và PyTorch 2.10 trở lên.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.

Bài viết liên quan

Hiệp hội Morpho sẽ thực hiện một loạt giao dịch chuyển tiền từ ví trong những tuần tới để quản lý quỹ

Tin Gate News, ngày 23 tháng 4 — Hiệp hội Morpho sẽ thực hiện một loạt giao dịch chuyển tiền từ ví thuộc sở hữu của hiệp hội trong những tuần tới như một phần của các hoạt động quản lý quỹ thường quy.

GateNews6phút trước

Lido Tiết Lộ Tác Động của Sự Cố Bảo Mật Kelp: EarnETH Đối Mặt với ~9% TVL Phơi Nhiễm rsETH, Tài Sản Staking Cốt Lõi Vẫn An Toàn

Tin tức từ Gate, ngày 23 tháng 4 — Lido đã phát hành một bản cập nhật về sự cố bảo mật Kelp, nêu rằng các vault thuộc dòng Earn của họ đang phối hợp với ban quản lý để giải quyết hai yếu tố rủi ro lớn: phơi nhiễm rsETH và tình trạng thanh khoản bị siết chặt trong các thị trường cho vay. Lido nhấn mạnh rằng giao thức staking cốt lõi của họ vẫn không bị ảnh hưởng

GateNews11phút trước

ENS công bố ENSv2, hạ tầng tên miền mới cho tích hợp quy mô lớn và mở rộng tên miền con

Tin tức từ Gate News, ngày 23 tháng 4 — ENS đã công bố kế hoạch ra mắt ENSv2 sắp tới, một hạ tầng tên miền mới được thiết kế cho việc tích hợp quy mô lớn và mở rộng hệ thống tên miền con. Hệ thống được nâng cấp này đại diện cho thế hệ kiến trúc đặt tên miền tiếp theo của ENS, được xây dựng để hỗ trợ mức độ áp dụng rộng hơn và khả năng mở rộng được cải thiện trên toàn bộ hệ sinh thái.

GateNews23phút trước

MoonPay Ra Mắt Tài khoản Ảo Được Hỗ Trợ Bởi Iron Tại New York, Cho Phép Thanh Toán Stablecoin Được Quản Lý Cho Doanh Nghiệp

Tin tức từ Gate, 23 tháng 4 — MoonPay đã công bố việc ra mắt Tài khoản Ảo được hỗ trợ bởi công nghệ Iron tại Bang New York, cung cấp hạ tầng thanh toán fiat sang stablecoin được quản lý cho các công ty fintech, các nền tảng crypto, neobank, công ty môi giới và các tổ chức tài chính. Dịch vụ này cho phép

GateNews1giờ trước

Đồng sáng lập MetaMask Dan Finlay rời Consensys sau 10 năm, nêu lý do kiệt sức

Tin tức Gate, 23 tháng 4 — Dan Finlay, đồng sáng lập và nhà phát triển lâu năm của MetaMask, đã thông báo vào hôm thứ Tư rằng ông sẽ rời Consensys, cho biết mình bị kiệt sức sau một thập kỷ xây dựng ví tiền điện tử. Finlay cho biết ông dự định dành thời gian cho gia đình và chúc đội ngũ những điều tốt đẹp nhất trên chặng đường tương lai. Me

GateNews1giờ trước

Aurise Foundation Ra Mắt Token Lợi Suất Vàng XAUE với $76M Quỹ Dự Trữ Ban Đầu

Tin tức Gate, ngày 23 tháng 4 — Aurise Foundation công bố việc ra mắt XAUE, một token lợi suất vàng dựa trên Ethereum, được định vị như một lớp kho lưu trữ cho Tether Gold (XAUT). Các đối tác hệ sinh thái Aurelion và Antalpha cùng đóng góp 16,052 XAU, trị giá xấp xỉ $76 triệu, làm quỹ dự trữ ban đầu. XAUE

GateNews1giờ trước
Bình luận
0/400
Không có bình luận