Stanford và Berkeley đề xuất LLM-as-a-Verifier, đồng thời thiết lập lại vị trí hàng đầu của Terminal-Bench và SWE-Bench

Tin tức ME News, ngày 14 tháng 4 (UTC+8), theo dõi của 1M AI News, khi AI lập trình xử lý một nhiệm vụ, chạy nhiều lần thường có thể thu được các giải pháp khác nhau, trong đó có thể có đúng hoặc sai. Nếu có thể tự động chọn ra giải pháp tốt nhất, tỷ lệ thành công tổng thể sẽ vượt quá lần chạy đơn lẻ. Vấn đề là làm thế nào để chọn: để một mô hình khác làm trọng tài đánh giá (tức là LLM-as-a-Judge) là phương pháp chủ đạo hiện nay, nhưng việc đánh giá theo độ chi tiết quá thô, thường cho các giải pháp khác nhau cùng một điểm số, không thể phân biệt cao thấp. Phòng thí nghiệm AI Stanford và Phòng thí nghiệm Sky Computing của Berkeley phối hợp với Nvidia đề xuất LLM-as-a-Verifier, cải tiến quá trình lựa chọn này. Không còn chỉ dựa vào điểm số cuối cùng do trọng tài đưa ra, mà đọc phân phối xác suất của mô hình ở mỗi mức điểm để tính ra một giá trị thưởng liên tục. Đồng thời, để loại bỏ sai lệch ngẫu nhiên, trọng tài sẽ lặp lại nhiều lần và lấy trung bình, và toàn bộ đánh giá được chia thành ba chiều độc lập (đáp ứng yêu cầu nhiệm vụ, định dạng đầu ra đúng, có tín hiệu lỗi) để xác minh riêng biệt. Trong thử nghiệm, sử dụng Gemini 2.5 Flash làm bộ xác minh, độ chính xác xác minh một lần đạt 74,7%, trong khi Judge truyền thống chỉ 57,0%; sau 16 lần lặp lại, Verifier đạt 77,4%, Judge là 70,2%. Judge truyền thống có 26,5% các trường hợp kết thúc hòa, trong khi Verifier không có tỷ lệ hòa ở mọi cấu hình. Hiệu quả thực tế: Trên Terminal-Bench 2, để GPT-5.4 chạy 5 lần cùng một nhiệm vụ, tỷ lệ thành công của một lần chọn ngẫu nhiên là 81,8%, sau khi dùng Verifier để chọn, nâng lên 86,4%. Trên SWE-Bench Verified, từ Claude Opus 4.5, Claude Opus 4.6 và Gemini 3 Flash mỗi loại lấy 1 giải pháp (tổng cộng 3 giải pháp), sau khi chọn, tỷ lệ nâng từ 76,1% lên 77,8%. Tính đến ngày 9 tháng 4 khi công bố, cả hai đều đứng đầu bảng xếp hạng. Khung framework đã mở mã nguồn. (Nguồn: BlockBeats)