Anthropic ủng hộ kiến nghị an toàn AI do lo ngại về tự cải tiến đệ quy
Anthropic đã công bố sự ủng hộ đối với một kiến nghị về an toàn AI được ký bởi CEO, các nhà đồng sáng lập và nhân sự cấp cao của công ty. Công ty nhấn mạnh nhu cầu cần chủ động điều phối tốc độ phát triển AI tiên tiến, dựa trên nghiên cứu gần đây của họ về tự cải tiến đệ quy. Khi các hệ thống AI tiến gần đến khả năng tự thiết kế và xây dựng các thế hệ kế cận một cách tự chủ, nguy cơ xảy ra bùng nổ trí tuệ ngoài tầm kiểm soát sẽ tăng lên. Kiến nghị này nhấn mạnh sự đồng thuận ngày càng tăng giữa các phòng nghiên cứu AI hàng đầu rằng các khung quản trị phải thích ứng để quản lý quá trình chuyển đổi sang trí tuệ nhân tạo tổng hợp (AGI). Nghiên cứu của Anthropic cảnh báo rằng AI có thể sớm bắt đầu tự cải tiến đệ quy, chuyển đổi từ nghiên cứu do AI hỗ trợ hiện tại sang các chu kỳ tự cải tiến hoàn toàn tự chủ. Tuy nhiên, các bằng chứng hiện tại cho thấy quá trình tự cải tiến mở vẫn bị giới hạn bởi các ràng buộc về tính toán, yêu cầu thực tế và động lực suy giảm hiệu năng.
## KIẾN THỨC NỀN
Tự cải tiến đệ quy (RSI) là quá trình một hệ thống AI tự viết lại mã nguồn của chính nó hoặc thiết kế các thế hệ kế cận, có khả năng dẫn đến sự gia tăng nhanh chóng về năng lực. Trong khi việc tự tinh chỉnh có giới hạn đã phổ biến trong ngành, RSI mở lại đặt ra những lo ngại lớn về an toàn do các hệ thống có thể vượt quá tầm kiểm soát của con người. Nghiên cứu của Anthropic phác thảo các kịch bản khác nhau của công nghệ này, kêu gọi xã hội chuẩn bị cho các vòng lặp phản hồi tự chủ này.