Felix Rieseberg ra mắt ứng dụng macOS miễn phí giúp huấn luyện mô hình dạng GPT-2 cục bộ
Felix Rieseberg, một nhà phát triển tại Anthropic, đã phát hành "Language Model Builder", một ứng dụng macOS miễn phí được thiết kế để giúp người dùng tự huấn luyện các mô hình ngôn ngữ quy mô GPT-2 từ đầu trên phần cứng cục bộ. Công cụ này cho phép người dùng huấn luyện các mô hình quy mô nhỏ mà không cần thiết lập đám mây phức tạp. Ứng dụng này giúp giảm rào cản gia nhập cho các nhà phát triển và những người đam mê AI muốn trực tiếp tìm hiểu cơ chế huấn luyện LLM. Bằng cách cho phép huấn luyện cục bộ trên phần cứng tiêu dùng, nó dân chủ hóa quyền tiếp cận giáo dục thực hành về học máy. Sử dụng các cài đặt mặc định, người dùng có thể huấn luyện một mô hình viết văn bản mạch lạc trong khoảng một ngày, trong khi một mô hình dạng GPT-2-small với 100–150 triệu tham số mất khoảng một tuần trên MacBook Pro M5 Max. Tác giả lưu ý rằng công cụ này phục vụ cho mục đích giáo dục và không thể dùng để huấn luyện các mô hình biên quy mô lớn.
## KIẾN THỨC NỀN
GPT-2 là một mô hình ngôn ngữ dựa trên kiến trúc transformer được OpenAI phát hành ban đầu vào năm 2019, với phiên bản "small" chứa khoảng 124 triệu tham số. Việc huấn luyện các mô hình như vậy thường đòi hỏi phải hiểu các khung học máy phức tạp và quản lý tài nguyên GPU. Huấn luyện cục bộ trên macOS gần đây đã trở nên khả thi hơn nhờ kiến trúc bộ nhớ thống nhất của Apple và các bộ tăng tốc phần cứng chuyên dụng.