ornith-ai Phát Hành Mô Hình Qwen Tinh Chỉnh Ornith-1.5-122B Với Vòng Lặp Tự Cải Thiện
ornith-ai vừa giới thiệu Ornith-1.5-122B, một mô hình tinh chỉnh Qwen lớn giúp mở rộng vòng lặp tự cải thiện toàn diện bằng cách tối ưu hóa đồng thời việc tạo tác vụ, xây dựng hệ thống hỗ trợ và triển khai giải pháp. Mô hình này phát triển dựa trên các phiên bản trước bằng cách liên tục tạo ra các tác vụ huấn luyện của riêng mình và cải thiện chính sách thông qua học tăng cường mà không chỉ dựa vào dữ liệu do con người biên soạn. Bản phát hành này đánh dấu một bước tiến quan trọng trong việc giảm sự phụ thuộc vào các tập dữ liệu do con người chú thích mở rộng, bằng cách cho phép mô hình ngôn ngữ lớn tự phát triển kỹ năng và tự cải thiện đệ quy. Những khả năng như vậy giúp các mô hình mã nguồn mở tiến hóa năng động hơn trong các lĩnh vực chuyên môn. Ornith-1.5-122B có sẵn ở định dạng GGUF trên Hugging Face, cho phép các nhà phát triển cộng đồng chạy và triển khai cục bộ. Mô hình mở rộng các công việc trước đó bằng cách tự động khám phá các chiến lược hiệu quả để giải quyết các tác vụ tự tạo thay vì dựa vào các khung cố định.
## KIẾN THỨC NỀN
Vòng lặp tự cải thiện trong các mô hình ngôn ngữ lớn cho phép hệ thống tự tạo ra các bài tập thực hành và đánh giá các giải pháp của chính nó, thiết lập một quy trình huấn luyện khép kín. Việc triển khai giải pháp học tăng cường liên quan đến việc tạo ra nhiều đường dẫn thử nghiệm hoặc đầu ra và sử dụng các tín hiệu phần thưởng để hướng dẫn mô hình đạt được các chiến lược tối ưu.