Alex Zhang Thảo Luận Về Mô Hình Ngôn Ngữ Đệ Quy Và Hoài Bão Nghiên Cứu AI

Nhà nghiên cứu Alex Zhang từ MIT, tác giả chính của nghiên cứu Mô hình Ngôn ngữ Đệ quy (RLM), đã chia sẻ góc nhìn về mô hình RLM, hoài bão học thuật và tương lai của các khung đánh giá LLM. Nghiên cứu nhấn mạnh cách RLM vượt qua giới hạn cửa sổ prompt cố định bằng cách lưu trữ ngữ cảnh dưới dạng các biến lập trình được trong môi trường REPL. RLM đề xuất một bước chuyển dịch quan trọng trong việc xử lý ngữ cảnh cực lớn bằng cách cho phép mô hình truy vấn đệ quy và tự quản lý môi trường thực thi mà không phụ thuộc vào việc tóm tắt văn bản làm mất thông tin. Hướng đi này có thể thay đổi cách các nhà nghiên cứu huấn luyện mô hình suy luận ngữ cảnh dài và thiết kế lại các khung đánh giá cho những quy trình xử lý LLM nhiều bước phức tạp. Trong kiến trúc RLM, ngữ cảnh được duy trì bên trong môi trường Python REPL dưới dạng một biến, cho phép mô hình thực hiện các truy vấn con đệ quy tới chính nó hoặc các mô hình khác để phân tích các tập dữ liệu khổng lồ. Cuộc phỏng vấn cũng đề cập đến những hạn chế của các công cụ đánh giá hiện tại khi kiểm thử các hệ thống mô hình ngôn ngữ dạng đại lý (agentic) hoặc sử dụng công cụ phức tạp.