Alasan GPT-4 lebih mirip manusia! Akademi Ilmu Pengetahuan Tiongkok mengusulkan "Berpikir Komunikasi", pemikiran analogis sepenuhnya mengalahkan CoT, plug and play

Sumber asli: Xinzhiyuan

Sumber gambar: Dihasilkan oleh AI Tanpa Batas

Saat ini, model jaringan saraf raksasa seperti GPT-4 dan PaLM telah muncul dan menunjukkan kemampuan pembelajaran beberapa sampel yang luar biasa.

Dengan diberikan petunjuk sederhana, mereka dapat bertukar pikiran tentang teks, menulis cerita, menjawab pertanyaan, memprogram…

Namun, LLM sering kali kalah dari manusia dalam tugas penalaran multi-langkah yang kompleks, dan perjuangannya tidak membuahkan hasil.

Berkaitan dengan hal tersebut, peneliti dari Chinese Academy of Sciences dan Yale University mengusulkan kerangka kerja baru “Thought Propagation” yang dapat meningkatkan penalaran LLM melalui “pemikiran analogis”.

Alamat kertas:

“Penyebaran pemikiran” terinspirasi dari kognisi manusia, yaitu ketika kita menghadapi suatu masalah baru, kita sering membandingkannya dengan masalah serupa yang telah kita selesaikan untuk mendapatkan strategi.

Oleh karena itu, inti dari metode ini adalah membiarkan LLM mengeksplorasi masalah “serupa” yang terkait dengan masukan sebelum menyelesaikan masalah masukan tersebut.

Terakhir, solusi mereka dapat digunakan secara langsung atau mengekstrak wawasan untuk perencanaan yang bermanfaat.

Dapat diperkirakan bahwa “komunikasi berpikir” mengusulkan ide-ide baru untuk mengatasi keterbatasan yang melekat pada kemampuan logis LLM, memungkinkan model besar menggunakan “analogi” untuk memecahkan masalah seperti manusia.

Penalaran multi-langkah LLM, dikalahkan oleh manusia

Jelas bahwa LLM bagus dalam penalaran dasar berdasarkan petunjuk, namun masih mengalami kesulitan ketika menangani masalah multi-langkah yang kompleks, seperti optimasi dan perencanaan.

Manusia, sebaliknya, memanfaatkan intuisi dari pengalaman serupa untuk memecahkan masalah baru.

Model besar tidak dapat melakukan hal ini karena keterbatasan yang melekat pada model tersebut.

Karena pengetahuan LLM sepenuhnya berasal dari pola-pola yang ada pada data pelatihan, maka tidak dapat benar-benar memahami bahasa atau konsepnya. Oleh karena itu, sebagai model statistik, sulit untuk melakukan generalisasi kombinatorial yang kompleks.

Yang paling penting adalah LLM kurang memiliki kemampuan penalaran yang sistematis dan tidak dapat berpikir selangkah demi selangkah seperti manusia untuk memecahkan masalah yang menantang.

Selain itu, penalaran model besar bersifat lokal dan “picik”, sehingga sulit bagi LLM untuk menemukan solusi terbaik dan menjaga konsistensi penalaran dalam jangka waktu yang lama.

Singkatnya, kekurangan model besar dalam pembuktian matematis, perencanaan strategis, dan penalaran logis terutama berasal dari dua masalah inti:

**- Ketidakmampuan untuk menggunakan kembali wawasan dari pengalaman sebelumnya. **

Manusia mengumpulkan pengetahuan dan intuisi yang dapat digunakan kembali dari praktik yang membantu memecahkan masalah baru. Sebaliknya, LLM mendekati setiap masalah “dari awal” dan tidak meminjam dari solusi sebelumnya.

**- Kesalahan gabungan dalam penalaran multi-langkah. **

Manusia memantau rantai penalarannya sendiri dan mengubah langkah awal bila diperlukan. Namun kesalahan yang dibuat oleh LLM pada tahap awal penalaran semakin besar karena kesalahan tersebut mengarahkan penalaran selanjutnya ke jalur yang salah.

Kelemahan di atas sangat menghambat penerapan LLM dalam menghadapi tantangan kompleks yang memerlukan optimalisasi global atau perencanaan jangka panjang.

Dalam hal ini, para peneliti telah mengusulkan komunikasi pemikiran solusi yang benar-benar baru.

Kerangka TP

Melalui pemikiran analogis, LLM dapat bernalar lebih seperti manusia.

Menurut peneliti, penalaran dari awal tidak dapat menggunakan kembali wawasan dari penyelesaian masalah serupa, dan kesalahan akan terakumulasi pada tahap penalaran menengah.

“Penyebaran pemikiran” dapat mengeksplorasi permasalahan serupa yang berkaitan dengan masukan masalah dan mendapatkan inspirasi dari solusi permasalahan serupa.

Gambar di bawah menunjukkan perbandingan antara “Propagasi Pemikiran” (TP) dan teknologi representatif lainnya.Untuk masalah input p, IO, CoT dan ToT akan bernalar dari awal untuk sampai pada solusi s.

Secara khusus, TP mencakup tiga tahap:

**1. Ajukan pertanyaan serupa: **LLM menghasilkan serangkaian pertanyaan serupa yang memiliki kesamaan dengan pertanyaan masukan melalui petunjuk. Hal ini akan memandu model untuk mengambil pengalaman sebelumnya yang berpotensi relevan.

**2. Menyelesaikan masalah serupa: ** Biarkan LLM menyelesaikan setiap masalah serupa melalui teknologi prompt yang ada, seperti CoT.

**3. Meringkas solusi: **Ada 2 pendekatan berbeda - secara langsung menyimpulkan solusi baru terhadap masalah masukan berdasarkan solusi analog; menurunkan rencana atau strategi tingkat tinggi dengan membandingkan solusi analog dengan masalah masukan.

Hal ini memungkinkan model besar untuk menggunakan kembali pengalaman dan heuristik sebelumnya, dan juga memeriksa ulang alasan awalnya dengan solusi analogis untuk menyempurnakan solusi tersebut.

Perlu disebutkan bahwa “penyebaran pemikiran” tidak ada hubungannya dengan model dan dapat melakukan satu langkah pemecahan masalah berdasarkan metode cepat apa pun.

Kebaruan utama dari metode ini adalah merangsang pemikiran analogis LLM untuk memandu proses penalaran yang kompleks.

Apakah “komunikasi berpikir” dapat menjadikan LLM lebih seperti manusia bergantung pada hasil sebenarnya.

Peneliti dari Chinese Academy of Sciences dan Yale melakukan evaluasi dalam 3 tugas:

**- Penalaran jalur terpendek: **Kebutuhan untuk menemukan jalur terbaik antar node dalam grafik memerlukan perencanaan dan pencarian global. Bahkan pada grafik sederhana, teknik standar gagal.

**- Penulisan Kreatif: ** Menghasilkan cerita yang koheren dan kreatif adalah sebuah tantangan terbuka. Ketika diberikan petunjuk garis besar tingkat tinggi, LLM sering kali kehilangan konsistensi atau logika.

- Perencanaan Agen LLM: Agen LLM yang berinteraksi dengan lingkungan tekstual berjuang dengan strategi jangka panjang. Rencana mereka seringkali “melayang” atau terjebak dalam siklus.

Penalaran jalur terpendek

Pada tugas penalaran jalur terpendek, permasalahan yang dihadapi dengan metode yang ada tidak dapat diselesaikan.

Meskipun grafik pada (a) sangat sederhana, karena inferensi dimulai dari 0, metode ini hanya memungkinkan LLM menemukan solusi suboptimal (b, c) atau bahkan mengunjungi node perantara (d) berulang kali.

Berikut contoh penggabungan TP dan ToT.

ToT (b) tidak dapat menyelesaikan masalah pada (a) karena akumulasi kesalahan pada langkah-langkah penalaran perantara. Berdasarkan solusi terhadap permasalahan serupa, TP© menyempurnakan solusi awal yang suboptimal dan akhirnya menemukan solusi optimal.

Dibandingkan dengan baseline, kinerja TP dalam memproses tugas jalur terpendek meningkat secara signifikan sebesar 12%, sehingga menghasilkan jalur terpendek yang optimal dan efektif.

Selain itu, karena OLR yang paling rendah, maka jalur efektif yang dihasilkan TP paling dekat dengan jalur optimal dibandingkan dengan baseline.

Pada saat yang sama, para peneliti mempelajari lebih lanjut dampak jumlah lapisan TP terhadap kompleksitas dan kinerja tugas jalur terpendek.

Dalam pengaturan yang berbeda, biaya token TP lapisan 1 serupa dengan ToT. Namun, Layer 1 TP telah mencapai kinerja yang sangat kompetitif dalam menemukan jalur terpendek yang optimal.

Selain itu peningkatan kinerja TP layer 1 juga sangat signifikan dibandingkan dengan TP layer 0 (IO). Gambar 5(a) menunjukkan peningkatan biaya token untuk TP lapisan 2.

Menulis Kreatif

Tabel 2 di bawah menunjukkan performa TP dan baseline pada GPT-3.5 dan GPT-4. Dari segi konsistensi, TP melebihi baseline. Selain itu, dalam studi pengguna, TP meningkatkan preferensi manusia dalam menulis kreatif sebesar 13%.

Perencanaan agen LLM

Dalam evaluasi tugas ketiga, para peneliti menggunakan rangkaian permainan ALFWorld untuk membuat contoh tugas perencanaan agen LLM di 134 lingkungan.

TP meningkatkan tingkat penyelesaian tugas sebesar 15% dalam perencanaan agen LLM. Hal ini menunjukkan keunggulan TP reflektif untuk keberhasilan perencanaan ketika menyelesaikan tugas serupa.

Hasil eksperimen di atas menunjukkan bahwa “penyebaran pemikiran” dapat digeneralisasikan ke berbagai tugas penalaran yang berbeda dan bekerja dengan baik dalam semua tugas tersebut.

Kunci Inferensi LLM yang Ditingkatkan

Model “penyebaran pemikiran” menyediakan teknologi baru untuk penalaran LLM yang kompleks.

Pemikiran analogis merupakan ciri kemampuan pemecahan masalah manusia dan dapat menghasilkan serangkaian keuntungan sistemik, seperti pencarian yang lebih efisien dan koreksi kesalahan.

Demikian pula, LLM juga dapat mengatasi kelemahannya sendiri dengan lebih baik, seperti kurangnya pengetahuan yang dapat digunakan kembali dan kesalahan lokal yang terus meningkat, dengan mendorong pemikiran analogis.

Namun, ada beberapa keterbatasan pada temuan ini.

Menghasilkan pertanyaan analogi yang berguna secara efisien tidaklah mudah, dan rantai jalur penalaran analogis yang lebih panjang bisa menjadi sulit. Pada saat yang sama, pengendalian dan koordinasi rantai penalaran multi-langkah masih sulit dilakukan.

Namun, “propagasi pemikiran” masih memberi kita metode yang menarik dengan memecahkan kelemahan penalaran LLM secara kreatif.

Dengan pengembangan lebih lanjut, pemikiran analogis mungkin membuat alasan LLM menjadi lebih kuat. Dan ini juga menunjukkan cara untuk mencapai penalaran yang lebih mirip manusia dalam model bahasa yang besar.

tentang Penulis

Lari Dia

Beliau adalah seorang profesor di National Experimental Key Laboratory of Pattern Recognition di Institute of Automation, Chinese Academy of Sciences dan University of Chinese Academy of Sciences, Anggota IAPR dan anggota senior IEEE.

Sebelumnya, beliau memperoleh gelar sarjana dan magister dari Dalian University of Technology, dan gelar PhD dari Institute of Automation, Chinese Academy of Sciences pada tahun 2009.

Minat penelitiannya adalah algoritma biometrik (pengenalan dan sintesis wajah, pengenalan iris mata, identifikasi ulang orang), pembelajaran representasi (jaringan pra-pelatihan menggunakan pembelajaran lemah/diawasi sendiri atau transfer), pembelajaran generatif (model generatif, pembuatan gambar, terjemahan gambar ).

Beliau telah menerbitkan lebih dari 200 makalah di jurnal dan konferensi internasional, termasuk jurnal internasional ternama seperti IEEE TPAMI, IEEE TIP, IEEE TIFS, IEEE TNN, dan IEEE TCSVT, serta konferensi internasional terkemuka seperti CVPR, ICCV, ECCV, dan sarafIPS.

Beliau adalah anggota dewan editorial IEEE TIP, IEEE TBIOM dan Pattern Recognition, dan pernah menjabat sebagai ketua regional untuk konferensi internasional seperti CVPR, ECCV, NeurIPS, ICML, ICPR dan IJCAI.

Junchi Yu（俞UN驰）

Yu Junchi adalah mahasiswa doktoral tahun keempat di Institute of Automation, Chinese Academy of Sciences, dan pembimbingnya adalah Profesor Heran.

Sebelumnya, beliau magang di Tencent Artificial Intelligence Laboratory dan bekerja dengan Dr. Tingyang Xu, Dr. Yu Rong, Dr. Yatao Bian dan Profesor Junzhou Huang. Saat ini, dia adalah mahasiswa pertukaran di Departemen Ilmu Komputer Universitas Yale, belajar di bawah bimbingan Profesor Rex Ying.

Tujuannya adalah mengembangkan metode Trustworthy Graph Learning (TwGL) dengan interpretabilitas dan portabilitas yang baik serta mengeksplorasi penerapannya dalam biokimia.

Referensi: