Stanford University merilis model "indikator transparansi" berbasis AI, Llama 2 berada di puncak tetapi "gagal" dengan 54%

Menurut IT House yang dilaporkan pada 20 Oktober, Universitas Stanford baru-baru ini merilis model dasar AI “indikator transparansi”, di mana indikator tertinggi adalah Lama 2 Meta, tetapi “transparansi” yang relevan hanya 54%, sehingga para peneliti percaya bahwa hampir semua model AI di pasar “kurang transparansi”.

Dilaporkan bahwa penelitian ini dipimpin oleh Rishi Bommasani, kepala Pusat Penelitian Model Dasar HAI (CRFM), dan menyelidiki 10 model dasar paling populer di luar negeri. Rishi Bommasani percaya bahwa “kurangnya transparansi” selalu menjadi masalah yang dihadapi oleh industri AI, dan dalam hal “indikator transparansi” model tertentu, IT House menemukan bahwa konten evaluasi yang relevan terutama berkisar pada “hak cipta dataset pelatihan model”, “sumber daya komputasi yang digunakan untuk melatih model”, “kredibilitas konten yang dihasilkan oleh model”, “kemampuan model itu sendiri”, “risiko model diinduksi untuk menghasilkan konten berbahaya”, “privasi pengguna yang menggunakan model”, dll., Total 100 item.

Survei terakhir menunjukkan bahwa Lama 2 Meta menduduki puncak dengan transparansi 54%, sementara transparansi GPT-4 OpenAI hanya 48%, dan PaLM 2 Google berada di peringkat kelima dengan 40%.