OpenAI hợp tác với Goodfire trong dự án đánh giá an toàn AI nhúng
OpenAI đã hợp tác với Goodfire cùng các tổ chức an toàn khác để khởi动 giai đoạn đầu tiên của dự án đánh giá nhúng, tập trung vào khả năng giải thích và đánh giá an toàn của mô hình. Trước thỏa thuận này, OpenAI từng thảo luận việc mua lại Goodfire với giá hơn 5 tỷ USD, dù các cuộc đàm phán mua lại cuối cùng đã không thành công. Sự hợp tác này làm nổi bật tầm quan trọng cốt lõi ngày càng tăng của khả năng giải thích cơ chế và pháp y mô hình trong việc phát triển trí tuệ nhân tạo tiên tiến. Bằng cách tích hợp các chuyên gia độc lập trực tiếp vào các phòng thí nghiệm nội bộ, các công ty AI hàng đầu nhằm mục đích giải quyết các rủi ro ẩn giấu và cải thiện việc căn chỉnh mô hình trước khi triển khai. Các nhà nghiên cứu của Goodfire sẽ có quyền truy cập sâu vào các mô hình nội bộ, các điểm kiểm tra, mã nguồn và tín hiệu huấn luyện của OpenAI để theo dõi hành vi và phát hiện điểm bất thường. Trong khi đó, Goodfire đã chọn giữ độc lập để phục vụ nhiều nhà phát triển AI khác, và đối thủ cạnh tranh Anthropic trước đó từng đầu tư 1 triệu USD vào công ty khởi nghiệp này.
## KIẾN THỨC NỀN
Khả năng giải thích cơ chế là một lĩnh vực con trong an toàn AI, tìm cách kỹ thuật đảo ngược mạng lưới thần kinh bằng cách phân tích các thành phần và phép tính bên trong của chúng, qua đó nhìn thấu 'hộp đen' của các mô hình ngôn ngữ. Việc căn chỉnh AI tập trung vào việc định hướng các hệ thống AI theo ý định của con người và các nguyên tắc đạo đức, đảm bảo rằng các mô hình tiên tiến không phát triển hành vi lừa dối hoặc có hại trong quá trình huấn luyện.