Tranh luận về chưng cất mô hình và việc dùng mô hình trọng số mở

Một cuộc thảo luận trên Reddit nhấn mạnh rủi ro của việc phụ thuộc vào API đóng trong bối cảnh Anthropic gặp rắc rối pháp lý, kêu gọi chuyển sang các mô hình trọng số mở tự lưu trữ. Tác giả cũng lập luận rằng việc dùng dữ liệu đầu ra từ API để huấn luyện đang bị gắn nhãn sai là "chưng cất" (distillation), vốn là kỹ thuật đòi hỏi quyền truy cập vào logit của mô hình gốc. Khi các doanh nghiệp đối mặt với rủi ro tuân thủ, lộ lọt IP và rò rỉ dữ liệu từ các nhà cung cấp LLM đóng, việc chuyển sang mô hình trọng số mở tự lưu trữ trở thành giải pháp thay thế khả thi. Tuy nhiên, quá trình chuyển đổi này đòi hỏi phải áp dụng các biện pháp quản trị thực thi nghiêm ngặt để ngăn chặn việc thực thi mã trái phép và rò rỉ dữ liệu. Tác giả chỉ ra rằng chưng cất tri thức thực sự phụ thuộc vào việc sử dụng toàn bộ logit để truyền tải biểu diễn nội bộ của mô hình gốc, điều mà các API đóng như Claude không cung cấp. Do đó, việc sử dụng dữ liệu đầu ra để huấn luyện mô hình mới chỉ đơn thuần là tạo dữ liệu, một phương pháp mà ngay cả các nhà cung cấp độc quyền cũng có thể đang sử dụng.