ByteDance cam kết tự phát triển AI, tránh sử dụng phương pháp chưng cất mô hình
ByteDance đã công bố cam kết chiến lược ngừng sử dụng phương pháp chưng cất AI từ các mô hình của đối thủ cạnh tranh, thay vào đó chọn tự phát triển độc lập các mô hình AI của riêng mình. Sự chuyển dịch này giải quyết các lo ngại về sở hữu trí tuệ và vi phạm điều khoản dịch vụ liên quan đến việc huấn luyện mô hình bằng dữ liệu đầu ra của đối thủ, đồng thời nhấn mạnh xu hướng chung của ngành hướng tới dữ liệu độc quyền và tự huấn luyện các mô hình tiên phong. Bằng cách tránh chưng cất mô hình, ByteDance đặt mục tiêu xây dựng các mô hình của mình bằng các tập dữ liệu gốc và kiến trúc riêng, giảm thiểu rủi ro pháp lý và các hạn chế tiềm ẩn kế thừa từ mô hình của đối thủ.
## KIẾN THỨC NỀN
Chưng cất tri thức (knowledge distillation) là một kỹ thuật học máy trong đó một mô hình 'học sinh' nhỏ hơn được huấn luyện để bắt chước hành vi và kết quả đầu ra của một mô hình 'giáo viên' lớn hơn đã được huấn luyện trước. Mặc dù hiệu quả trong việc nén mô hình, việc sử dụng các mô hình của đối thủ cạnh tranh làm giáo viên để huấn luyện các LLM thương mại đã gây ra nhiều tranh cãi lớn liên quan đến quyền sở hữu trí tuệ và điều khoản dịch vụ API.