Một sự chia rẽ rõ rệt về tương lai của trí tuệ nhân tạo đã diễn ra trong tuần này khi bốn nhà công nghệ và nhân loại học chuyển đổi nổi bật tranh luận liệu việc xây dựng trí tuệ nhân tạo tổng quát, hay AGI, có cứu rỗi nhân loại hay tiêu diệt nó. Hội thảo do tổ chức phi lợi nhuận Humanity+ tổ chức đã quy tụ một trong những “Người dự báo tận thế” AI nổi bật nhất, Eliezer Yudkowsky, người đã kêu gọi đóng cửa phát triển AI tiên tiến, cùng với triết gia và nhà tương lai học Max More, nhà thần kinh học tính toán Anders Sandberg, và Chủ tịch danh dự của Humanity+ Natasha Vita‑More. Cuộc thảo luận của họ đã tiết lộ những bất đồng cơ bản về việc liệu AGI có thể phù hợp với sự sống còn của con người hay việc tạo ra nó sẽ khiến sự tuyệt chủng trở nên không thể tránh khỏi. Vấn đề “hộp đen”
Yudkowsky cảnh báo rằng các hệ thống AI hiện đại về cơ bản là không an toàn vì quá trình ra quyết định nội bộ của chúng không thể hiểu hoặc kiểm soát hoàn toàn. “Bất cứ thứ gì là hộp đen có khả năng sẽ gặp phải những vấn đề tương tự như công nghệ hiện tại,” Yudkowsky cảnh báo. Ông lập luận rằng nhân loại cần phải tiến xa “rất, rất xa khỏi các mô hình hiện tại” trước khi có thể phát triển AI tiên tiến một cách an toàn. Trí tuệ nhân tạo tổng quát đề cập đến một dạng AI có thể lý luận và học hỏi trên nhiều nhiệm vụ khác nhau, thay vì chỉ được xây dựng cho một công việc như tạo nội dung văn bản, hình ảnh hoặc video. AGI thường liên quan đến ý tưởng về điểm kỳ dị công nghệ, vì đạt đến mức độ trí tuệ đó có thể cho phép máy móc tự cải thiện nhanh hơn con người có thể theo kịp. Yudkowsky chỉ ra phép ẩn dụ “người tối ưu hóa kẹp giấy” nổi tiếng do triết gia Nick Bostrom phổ biến để minh họa rủi ro. Thí nghiệm tư duy này mô tả một AI giả định chuyển đổi tất cả vật chất có sẵn thành kẹp giấy, thúc đẩy sự ám ảnh của nó về một mục tiêu duy nhất bất chấp nhân loại. Thêm các mục tiêu khác, Yudkowsky nói, sẽ không cải thiện đáng kể độ an toàn.
Dựa trên tiêu đề cuốn sách gần đây của ông về AI, “Nếu Ai đó xây dựng nó, Mọi người đều chết,” ông nói, “Tiêu đề của chúng tôi không phải là có thể giết bạn,” Yudkowsky nói. “Tiêu đề của chúng tôi là, nếu ai đó xây dựng nó, mọi người chết.” Nhưng More phản bác giả thuyết rằng sự thận trọng cực đoan là kết quả an toàn nhất. Ông lập luận rằng AGI có thể cung cấp cơ hội tốt nhất cho nhân loại để vượt qua lão hóa và bệnh tật. “Điều quan trọng nhất đối với tôi là, AGI có thể giúp chúng ta ngăn chặn sự tuyệt chủng của mọi người đang sống do lão hóa,” More tuyên bố. “Chúng ta đều đang chết. Chúng ta đang hướng tới một thảm họa, từng người một.” Ông cảnh báo rằng sự kiểm soát quá mức có thể đẩy các chính phủ hướng tới các chế độ độc tài như là cách duy nhất để ngăn chặn sự phát triển AI trên toàn thế giới. Sandberg tự đặt mình giữa hai phe, mô tả bản thân là “lạc quan hơn” trong khi vẫn cẩn trọng hơn các nhà nhân loại học chuyển đổi lạc quan. Ông kể lại một trải nghiệm cá nhân khi gần như đã sử dụng một mô hình ngôn ngữ lớn để hỗ trợ thiết kế vũ khí sinh học, một tập episode mà ông mô tả là “đáng sợ.” “Chúng ta đang đến điểm mà việc tăng cường các tác nhân độc hại cũng sẽ gây ra một rối loạn lớn,” Sandberg nói. Tuy nhiên, ông lập luận rằng an toàn một phần hoặc “gần đúng” có thể đạt được. Ông bác bỏ ý tưởng rằng an toàn phải hoàn hảo để có ý nghĩa, gợi ý rằng con người ít nhất có thể đồng thuận về các giá trị tối thiểu như sự sống còn. “Vì vậy, nếu bạn đòi hỏi an toàn hoàn hảo, bạn sẽ không đạt được nó. Và điều đó nghe có vẻ rất tồi từ góc độ đó,” ông nói. “Ngược lại, tôi nghĩ chúng ta thực sự có thể có an toàn gần đúng. Điều đó đã đủ tốt.” Hoài nghi về sự phù hợp Vita-More chỉ trích chính cuộc tranh luận về sự phù hợp rộng hơn, lập luận rằng khái niệm này giả định một mức độ đồng thuận không tồn tại ngay cả trong số các cộng tác viên lâu năm. “Khái niệm phù hợp là một kế hoạch Pollyanna,” bà nói. “Nó sẽ không bao giờ phù hợp. Ý tôi là, ngay cả ở đây, tất cả chúng ta đều là những người tốt. Chúng ta đã quen biết nhau hàng thập kỷ, và chúng ta vẫn chưa phù hợp.”
Bà mô tả tuyên bố của Yudkowsky rằng AGI sẽ tất yếu giết chết tất cả mọi người là “suy nghĩ cực đoan” không để lại chỗ cho các kết quả khác. “Tôi có vấn đề với tuyên bố rộng rãi rằng mọi người đều chết,” bà nói. “Tiếp cận vấn đề này như một nhà tương lai học và người thực dụng, nó không để lại hậu quả, không có phương án thay thế, không có kịch bản khác. Đó chỉ là một khẳng định thô thiển, và tôi tự hỏi liệu nó có phản ánh một dạng suy nghĩ cực đoan hay không.” Cuộc thảo luận còn tranh luận về khả năng tích hợp chặt chẽ hơn giữa con người và máy móc có thể giảm thiểu rủi ro do AGI gây ra—một điều mà CEO Tesla Elon Musk đã đề xuất trong quá khứ. Yudkowsky bác bỏ ý tưởng hợp nhất với AI, so sánh nó với “cố gắng hợp nhất với lò nướng bánh mì của bạn.” Sandberg và Vita-More lập luận rằng, khi các hệ thống AI ngày càng trở nên khả năng hơn, con người sẽ cần tích hợp hoặc hợp nhất chặt chẽ hơn với chúng để thích nghi tốt hơn với thế giới sau AGI. “Toàn bộ cuộc thảo luận này là một bài kiểm tra thực tế về chúng ta là ai như những con người,” Vita-More nói.