Penelitian Anthropic menemukan bahwa pengguna akan berulang kali berinteraksi dengan AI tetapi kurang mempertanyakan hasil output saat pemrograman

LootboxPhobia · 2026-02-24T08:52:41+00:00

Penelitian Anthropic menunjukkan bahwa pengguna yang melakukan iterasi berulang dengan asisten AI Claude menunjukkan kinerja yang lebih baik dalam perilaku terampil, tetapi kemampuan penilaian kritis pengguna menurun saat menghasilkan kode atau dokumen. Analisis ini didasarkan pada 9830 percakapan, menunjukkan bahwa percakapan iteratif secara signifikan lebih terampil dibandingkan percakapan non-iteratif.

LootboxPhobia

2026-02-24 08:52:41

Pembuatan abstrak sedang berlangsung

Investing.com - Pengguna yang melakukan iterasi dengan asisten Claude AI-nya menunjukkan kemahiran lebih dari dua kali lebih banyak daripada mereka yang menerima respons awal, tetapi pengguna kurang kritis ketika alat tersebut menghasilkan kode atau dokumentasi, menurut penelitian yang dirilis Senin.

Perusahaan AI menganalisis 9.830 percakapan anonim di Claude.ai selama periode tujuh hari pada Januari 2026 menggunakan kerangka kerja kemahiran AI 4D-nya, yang melacak 11 perilaku yang dapat diamati, termasuk iterasi, pemeriksaan fakta, dan penalaran pertanyaan. Studi ini menemukan bahwa 85,7% percakapan menunjukkan perilaku berulang dan halus, dan pertukaran ini menunjukkan rata-rata 2,67 perilaku kemahiran tambahan, dibandingkan dengan hanya 1,33 dalam percakapan non-iteratif.

Percakapan yang melibatkan produk seperti kode, dokumentasi, atau alat interaktif menyumbang 12,3% dari sampel dan menunjukkan tingkat perilaku direktif yang lebih tinggi. Dalam bursa ini, pengguna lebih cenderung menentukan tujuan, menentukan format, dan memberikan contoh, dengan peningkatan masing-masing 14,7, 14,5, dan 13,4 poin persentase.

Demikian pula, percakapan produk yang dihasilkan ini menunjukkan tingkat evaluasi kritis yang lebih rendah. Pengguna 5,2 poin persentase lebih kecil kemungkinannya untuk mengidentifikasi informasi latar belakang yang hilang, 3,7 poin persentase lebih kecil kemungkinannya untuk memverifikasi fakta, dan 3,1 poin persentase lebih kecil kemungkinannya untuk mempertanyakan penalaran Claude dibandingkan dengan percakapan non-produk.

Anthropic mengatakan penelitian ini menetapkan garis dasar untuk melacak perkembangan kemahiran AI dari waktu ke waktu. Perusahaan berencana untuk melakukan analisis kohort untuk membandingkan pengguna baru dan berpengalaman serta mengevaluasi perilaku yang terjadi di luar antarmuka obrolan menggunakan metode kualitatif.

_This artikel diterjemahkan dengan bantuan kecerdasan buatan. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan kami. _

Lihat Asli

Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.