~/OPENAI/openai-chief-scientist-clarifies-model-opacity-concerns-and-computation-depth

Giám đốc Khoa học OpenAI bác bỏ quan ngại về sự thiếu minh bạch của mô hình AI

Giám đốc Khoa học OpenAI Jakub Pachocki đã lên tiếng phản hồi về mối lo ngại quanh tính thiếu minh bạch của mô hình AI, làm rõ rằng các mô hình tiên tiến như Astra không gặp phải sự tăng đột biến về độ phức tạp kiến trúc. Ông cho biết chiều sâu đồ thị tính toán của Astra chưa gấp hai lần GPT-4 và khẳng định việc giám sát chuỗi tư duy (Chain-of-Thought) vẫn là ưu tiên nghiên cứu hàng đầu. Khi các mô hình AI tiên tiến áp dụng kiến trúc như độ sâu tuần hoàn (recurrent depth), xuất hiện lo ngại rằng quá trình suy luận nội bộ có thể bị ẩn trong các trạng thái mạng thần kinh thay vì hiển thị thành văn bản dễ đọc. Tuyên bố của Pachocki trấn an cộng đồng an toàn AI rằng OpenAI đang tích cực ưu tiên khả năng giải thích và giám sát sự căn chỉnh khi mô hình phát triển. Các báo cáo truyền thông trước đó cho rằng kỹ thuật độ sâu tuần hoàn—nơi mô hình tái sử dụng các lớp mạng để cập nhật biểu diễn nội bộ—có thể làm che khuất chuỗi tư duy của AI. Pachocki thừa nhận khả năng giám sát chuỗi tư duy hiện khá mong manh do các yếu tố ngoài kiến trúc, nhưng nhấn mạnh rằng củng cố giám sát chuỗi tư duy là mục tiêu cốt lõi trong nghiên cứu hiện tại của OpenAI.

## KIẾN THỨC NỀN

Kiến trúc Transformer tiêu chuẩn xử lý thông tin qua một chuỗi các lớp mạng thần kinh tuyến tính, thường xuất quá trình suy luận từng bước bằng ngôn ngữ tự nhiên, được gọi là Chuỗi tư duy (Chain of Thought - CoT). Kỹ thuật độ sâu tuần hoàn (recurrent depth) cho phép mô hình tái sử dụng lặp đi lặp lại cùng một nhóm lớp mạng để cải thiện biểu diễn nội bộ, điều này có thể giữ suy luận trong các trạng thái ẩn thay vì xuất thành văn bản rõ ràng. Giám sát chuỗi tư duy là kỹ thuật quan trọng trong an toàn AI, giúp các nhà nghiên cứu đánh giá ý định và lập luận của AI trước khi nó thực hiện hành động.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#OpenAI#AI Safety#Model Interpretability#Transformer Architecture#Artificial Intelligence

$ subscribe --daily

Giám đốc Khoa học OpenAI bác bỏ quan ngại về sự thiếu minh bạch của mô hình AI | Daily News