OpenAI triển khai hệ thống 'phòng điều khiển' nhằm chặn đứng AI thông minh mất kiểm soát
OpenAI đã triển khai hệ thống "phòng điều khiển" nội bộ, cho phép định tuyến các tác vụ huấn luyện, đánh giá và xử lý dữ liệu của AI thông qua một dịch vụ tập trung. Hệ thống này có thể chủ động dừng các tác vụ AI rủi ro hoặc mất kiểm soát bằng cách từ chối các yêu cầu suy luận tiếp theo với độ trễ tối đa là 35 giây. Bước tiến này đánh dấu một cột mốc quan trọng trong vấn đề an toàn và quản治 trí tuệ nhân tạo (AI), bằng cách thiết lập cơ chế giám sát vận hành thời gian thực cho các hệ thống AI tiên tiến. Khi các tác nhân AI ngày càng trở nên tự chủ và phức tạp hơn, việc sở hữu một cơ chế đáng tin cậy để cắt đứt ngay lập tức hành vi bất thường là vô cùng thiết yếu nhằm ngăn ngừa các rủi ro tiềm ẩn. Các nhà nghiên cứu phải yêu cầu một mã định danh nhiệm vụ (ID) duy nhất khi khởi tạo một tác vụ; mã này sau đó sẽ được đính kèm vào các yêu cầu gửi tới cỗ máy suy luận để xác minh quyền hạn. Độ trễ ngắt kết nối 35 giây hiện tại xuất phát từ các lớp bộ đệm trong yêu cầu ủy quyền suy luận, và OpenAI đang nỗ lực giảm độ trễ này xuống mức bằng 0.
## KIẾN THỨC NỀN
Tác nhân AI là các chương trình phần mềm tự chủ có khả năng theo đuổi mục tiêu và thực hiện các tác vụ nhiều bước một cách độc lập thông học mô hình ngôn ngữ lớn và các công cụ bên ngoài. Học tăng cường là một phương pháp học máy trong đó các mô hình học hỏi thông qua tương tác với môi trường để tối đa hóa phần thưởng, thường đòi hỏi sự giám sát cẩn thận để ngăn chặn các hành vi không mong muốn trong quá trình huấn luyện.