Bagaimana memahami: biaya token yang Anda bayarkan dalam model besar AI, sebenarnya adalah biaya menyewa daya komputasi GPU?

Singkatnya, token adalah 'unit paling kecil dari makanan' model besar AI.
Sama seperti saat kita kecil belajar mengenali karakter, pertama kali mempelajari karakter individual, kemudian langsung mengingat frasa umum yang lebih efisien.

AI sebenarnya tidak mengenali karakter Cina atau Inggris, ia hanya mengenali angka. Saat Anda memasukkan sebuah kalimat, pertama-tama dipotong menjadi beberapa token, setiap token sesuai dengan nomor pengidentifikasi numerik, dan AI sebenarnya memproses rangkaian angka ini. Saat output juga sebaliknya: pertama-tama menghasilkan nomor pengidentifikasi, kemudian diterjemahkan kembali ke teks untuk Anda lihat.

🔹Jadi bagaimana AI tahu kata berikutnya mungkin apa?

Bergantung pada pelatihan teks besar-besaran, mengingat probabilitas tertinggi apa yang mengikuti setiap token, semua probabilitas ini disimpan dalam ratusan miliar parameter, seperti 'buku panduan pengetahuan' model besar.

Saat menghasilkan jawaban, AI sebenarnya 'melompat token demi token', setiap kali melompat, harus membalik seluruh buku panduan, memberi skor semua kata berikutnya yang mungkin dalam kamus, dan memilih yang skornya tertinggi untuk dihasilkan.

🔹Jadi pekerjaan ini sangat memakan daya komputasi, pentingnya GPU

CPU seperti profesor pintar tetapi single-thread, tidak peduli seberapa cepat membalik halaman juga ada batasnya, GPU seperti ribuan anak sekolah dasar bekerja secara bersamaan, membagi buku panduan menjadi ribuan bagian, semua orang menghitung secara paralel, dalam sekejap menyelesaikan parameter ratusan juta.

Jadi kartu grafis memiliki dua hal kunci: semakin banyak inti, semakin kuat daya komputasi paralel. Sekarang seluruh dunia berebutan mengonsumsi token, intinya adalah tidak terbilang kartu grafis di latar belakang gila-gilaan membalik buku panduan, memberi skor👇

Jadi dikatakan, biaya token yang Anda bayarkan, sebenarnya adalah biaya menyewa daya komputasi GPU.

Dan kartu grafis yang berjalan membutuhkan listrik, penyimpanan, jadi industri merangkum dalam satu kalimat:

AI kekurangan daya komputasi dalam jangka pendek, kekurangan energi dalam jangka panjang, selamanya kekurangan penyimpanan.