Tin đồn OpenAI hoàn thành tiền huấn luyện mô hình 10 nghìn tỷ tham số 'Bel'
Theo các tin đồn trực tuyến, OpenAI đã hoàn thành giai đoạn tiền huấn luyện cho mô hình AI thế hệ tiếp theo mang mật danh "Bel". Mô hình này được cho là phiên bản kế nhiệm của "Doug" và sở hữu hơn 10 nghìn tỷ tham số. Nếu là sự thật, "Bel" có thể đóng vai trò là nền tảng cho các mô hình sau GPT-6 và thúc đẩy ranh giới hướng tới Trí tuệ nhân tạo tổng hợp (AGI). Quy mô khổng lồ này cũng có thể gây áp lực lên các đối thủ cạnh tranh như Anthropic, vốn được cho là đang đối mặt với những hạn chế về năng lực tính toán. Tin đồn này bắt nguồn từ một người dùng trên mạng xã hội X, và OpenAI vẫn chưa chính thức xác nhận mô hình, công bố tài liệu hệ thống (system card) hay công bố quyền truy cập API. Quy mô 10 nghìn tỷ tham số của mô hình này tương đương với các tin đồn về GPT-4.5 và sẽ cần thêm quá trình học tăng cường (RL) để trở thành sản phẩm hoàn chỉnh.
## KIẾN THỨC NỀN
Tiền huấn luyện (pre-training) là giai đoạn ban đầu của việc đào tạo một mô hình ngôn ngữ lớn trên các tập dữ liệu khổng lồ để học các cấu trúc ngôn ngữ, sau đó sẽ được tinh chỉnh bằng phương pháp học tăng cường (reinforcement learning). Tham số (parameters) là các biến số nội bộ xác định năng lực của mô hình, trong đó số lượng tham số lớn hơn thường giúp mô hình có khả năng suy luận phức tạp và ghi nhớ kiến thức tốt hơn.