DeepSeek เปิดซอร์ส TileKernels ไขลบรารีเคอร์เนล GPU สำหรับการฝึกและการอนุมานของโมเดลขนาดใหญ่

ข้อความข่าวจาก Gate วันที่ 23 เมษายน — DeepSeek ได้เปิดซอร์ส TileKernels ภายใต้สัญญาอนุญาต MIT ซึ่งเป็นไลบรารีเคอร์เนลสำหรับ GPU ที่เขียนด้วย TileLang สำหรับการฝึกและการอนุมานของโมเดลภาษาขนาดใหญ่ TileLang เป็นภาษาเฉพาะทางที่ทีม tile-ai พัฒนาขึ้น เพื่อใช้ในการแสดงเคอร์เนล GPU ประสิทธิภาพสูงใน Python DeepSeek ระบุว่าเคอร์เนลส่วนใหญ่ในไลบรารีได้เข้าใกล้ขีดจำกัดด้านประสิทธิภาพของฮาร์ดแวร์แล้ว ทั้งในความหนาแน่นในการคำนวณและแบนด์วิดท์หน่วยความจำ โดยบางส่วนได้ถูกนำไปใช้งานแล้วในกระบวนการฝึกและการอนุมานภายใน

ไลบรารีประกอบด้วยเคอร์เนลหกหมวดหมู่: MoE (การผสมผู้เชี่ยวชาญ) สำหรับการแบ่งเกตและการกำหนดเส้นทาง รวมถึงการเลือก Top-k ของผู้เชี่ยวชาญ การแมปโทเคนต่อผู้เชี่ยวชาญ และการขยาย/ลดขนาดแบบรวม (fused) พร้อมการทำ normalization ของค่าน้ำหนัก; การทำควอนไทซ์ที่รองรับรูปแบบ FP8, FP4 และ E5M6 พร้อมการควอนไทซ์แบบต่อโทเคน ต่อบล็อก และต่อช่องทาง (channel) รวมถึงการทำงานแบบรวมสำหรับ SwiGLU+quantization; การ transpose แบบเป็นชุด (batch transpose); Engram gating พร้อมการส่งผ่านต่อไป/ย้อนกลับของ RMSNorm แบบรวมและการลดทอนเกรเดียนต์น้ำหนัก; Manifold HyperConnection พร้อมการทำ normalization แบบ Sinkhorn และการ split/apply แบบผสม; และอินเทอร์เฟซ autograd ระดับสูงที่ห่อเคอร์เนลระดับต่ำให้อยู่ในเลเยอร์ที่ฝึกได้

Engram และ Manifold HyperConnection เป็นองค์ประกอบที่เป็นกรรมสิทธิ์ของสถาปัตยกรรมโมเดลของ DeepSeek โดยรายละเอียดการใช้งานถูกเปิดเผยต่อสาธารณะเป็นครั้งแรก ไลบรารีต้องใช้ GPU สถาปัตยกรรม NVIDIA SM90 หรือ SM100 (H100/H200 หรือกลุ่ม Blackwell), CUDA Toolkit 13.1 หรือสูงกว่า และ PyTorch 2.10 หรือสูงกว่า

news.article.disclaimer

btc.bar.articles

Shytoshi Kusama กลับมาที่ X หลังเงียบไป 13 วัน พร้อมประกาศการหารือของชุมชนในวันเสาร์ ขณะที่ SHIB ร่วงลง 1.8%

ข้อความข่าว Gate ประจำวันที่ 23 เมษายน — Shytoshi Kusama เอกอัครราชทูตนำของระบบนิเวศ Shiba Inu กลับมาที่ X วันนี้ หลังจากเงียบไป 13 วัน ซึ่งเริ่มต้นเมื่อวันที่ 9 เมษายน เขายืนยันว่ามีการหารือของชุมชนตามกำหนดในวันเสาร์ ส่งสัญญาณถึงพัฒนาการใหม่ที่จะเกิดขึ้นต่อไป ชีวประวัติที่อัปเดตของเขาตอนนี้ระบุว่า: "ถัดไป: มาตั้งวันที่สำหรับ Rapture โดยใช้เพียงหลักฐานภายในพระคัมภีร์เท่านั้น เจอกันวันเสาร์เมื่อการเปลี่ยนเวรกะครั้งถัดไปเริ่มขึ้น"

GateNews1 ชั่วโมง ที่แล้ว

Girin Labs เปิดตัววอลเล็ตสำหรับการชำระเงินด้วย XRP พร้อมการผสาน Doppler Finance ทำให้การตั้งชำระ XRPL แบบเรียลไทม์เกิดขึ้นได้

ข้อความ Gate News วันที่ 23 เมษายน — Girin Labs ได้เปิดตัว Girin Wallet โดยผสานชั้นผลตอบแทนระดับสถาบันของ Doppler Finance เพื่อรองรับการชำระเงินด้วย XRP และ RLUSD ในธุรกรรมประจำวัน ผู้ใช้สามารถใช้จ่าย XRP และ RLUSD ได้แล้วที่ร้านค้าทุกรายที่รับชำระด้วย Visa โดยธุรกรรมจะถูกตั้งชำระทันทีบน XRP Ledger โดยไม่กระทบต่อการเก็บรักษาด้วยตนเองของผู้ใช้

GateNews1 ชั่วโมง ที่แล้ว

การทะลุขณะของ XRP ยังคงอยู่ ขณะที่การลงคะแนนกู้ยืมบน XRPL ได้แรงผลักดันมากขึ้น

ข้อมูลเชิงลึก XRP ยังคงความแข็งแกร่งรายสัปดาห์เหนือสกุลเงินดิจิทัลชั้นนำ โดยราคายังคงอยู่เหนือ EMA ที่สำคัญ ซึ่งสะท้อนถึงโมเมนตัมที่ต่อเนื่อง แม้จะมีการปรับลงเล็กน้อยในแต่ละวันในช่วงการซื้อขาย วัลิดเชอร์ XRPL เดินหน้าการอัปเกรดการให้กู้ยืมผ่าน XLS-65 และ XLS-66 โดยนำเสนอพูลลิควิดิตี้แวลต์สำหรับการจัดกลุ่ม และ f

CryptoNewsLand2 ชั่วโมง ที่แล้ว

การทะลุกรอบของ XRP ยังคงอยู่ ขณะที่การลงคะแนนกู้ยืมบน XRPL ได้แรงส่งเพิ่มขึ้น

XRP แสดงถึงความแข็งแกร่งรายสัปดาห์ โดยซื้อขายเหนือเส้น EMA หลังจากทะลุออกจากกรวยขาลง; XRPL ก้าวหน้าในการอัปเกรดการให้กู้ยืม XLS-65/66 พร้อมด้วยกลุ่มวอลต์แบบรวมสภาพและเงินกู้ระยะคงที่; อนุพันธ์เพิ่มขึ้นทั้งในด้านปริมาณการซื้อขาย สถานะคงค้าง (open interest) และกิจกรรมออปชัน บทคัดย่อ: รายงานฉบับนี้ระบุถึงโมเมนตัมรายสัปดาห์ที่ต่อเนื่องและความแข็งแกร่งของราคาของ XRP หลังจากการฝ่าวงล้อมจากกรวยขาลง โดยซื้อขายอยู่เหนือค่าเฉลี่ยเคลื่อนที่สำคัญ นอกจากนี้ยังกล่าวถึงผู้ตรวจสอบ (validators) ของ XRPL ที่ลงคะแนนเสียงสำหรับ XLS-65 และ XLS-66 ซึ่งช่วยให้การให้กู้ยืมแบบพื้นเมือง วอลต์สภาพคล่องแบบรวม และเงินกู้ระยะคงที่ ช่วยขยายกิจกรรมการเงินบนเชน ทั้งยังรายงานถึงการเข้าร่วมในตลาดอนุพันธ์ที่เพิ่มขึ้น โดยมีปริมาณการซื้อขายที่สูงขึ้น สถานะคงค้าง (open interest) ที่มากขึ้น และการพุ่งสูงของกิจกรรมออปชัน ซึ่งบ่งชี้ว่าผู้เทรดมีการจัดวางสถานะมากขึ้นสำหรับการฝ่าวงล้อมที่อาจยังคงดำเนินต่อไป

CryptoNewsLand2 ชั่วโมง ที่แล้ว

MagicBlock เปิดตัว Mirage เครื่องมือชำระเงินเพื่อความเป็นส่วนตัวแบบบรรทัดคำสั่งสำหรับ Solana

ข้อความจาก Gate News วันที่ 23 เมษายน — MagicBlock ได้เปิดตัว Mirage ซึ่งเป็นเครื่องมือชำระเงินเพื่อความเป็นส่วนตัวแบบบรรทัดคำสั่ง ออกแบบมาสำหรับเครือข่าย Solana เครื่องมือนี้ช่วยให้ผู้ใช้สร้างวอลเล็ต ฝากเงิน และส่งธุรกรรมแบบเป็นส่วนตัวผ่านคำสั่งในเทอร์มินัล บอท หรือเอเจนต์ AI Mirage ถูกสร้างบน Private

GateNews3 ชั่วโมง ที่แล้ว

Aave ระงับการดำเนินการเงินสำรอง rsETH บน Ethereum, Arbitrum และเครือข่ายอื่น ๆ เพื่อบรรเทาความเสี่ยงเชิงระบบ

ข่าวจาก Gate วันที่ 23 เมษายน — Aave ประกาศว่าจะระงับการดำเนินการที่เกี่ยวข้องกับเงินสำรอง rsETH บนเครือข่าย Ethereum mainnet, Arbitrum, Base, Mantle และ Linea เพื่อบรรเทาความเสี่ยงเชิงระบบระหว่างกระบวนการกู้คืนสินทรัพย์. มาตรการดังกล่าวมีเป้าหมายเพื่อรักษาเงินทุนเพิ่มเติมไว้ในขณะที่แผนการกู้คืนกำลัง

GateNews3 ชั่วโมง ที่แล้ว
แสดงความคิดเห็น
0/400
ไม่มีความคิดเห็น