~/OPEN SOURCE /proposal-to-separate-major-model-releases-from-fine-tunes-on-r-localllama

Đề xuất phân biệt rõ mô hình lớn phát hành mới và bản finetune trên r/LocalLLaMA

Một người dùng trên subreddit r/LocalLLaMA đã đề xuất cập nhật quy định thẻ bài viết và tiêu đề để phân biệt rõ ràng giữa các phát hành mô hình nền tảng lớn với các biến thể finetune. Người dùng này gợi ý giữ lại thẻ 'new model' cho các mô hình tiền huấn luyện mới hoặc trải qua post-training quy mô lớn, đồng thời bổ sung thẻ 'new finetune' hoặc tiền tố '[Finetune]' cho các điều chỉnh nhỏ. Khi AI mã nguồn mở phát triển nhanh chóng, hàng trăm biến thể mô hình finetune được chia sẻ thường xuyên khiến việc nhận biết các cột mốc kiến trúc hoặc tiền huấn luyện lớn trở nên khó khăn. Việc chuẩn hóa thẻ bài viết sẽ giúp các thành viên cộng đồng dễ dàng lọc ra các mô hình nền tảng quan trọng so với những tinh chỉnh tác vụ thông thường. Đổi mới được đề xuất giải quyết tình trạng nhiễu thông tin trong cộng đồng bằng cách phân loại bài viết dựa trên mức độ tốn tài nguyên tính toán và nguồn gốc mô hình, chẳng hạn như phân biệt các bản tiền huấn luyện lớn như phiên bản Qwen hoặc DeepSeek mới với các bản finetune nhỏ. Theo quy trình này, người đọc có thể nhanh chóng đánh giá liệu bài viết đang giới thiệu một phát hành mô hình căn bản hay một sự điều chỉnh nhỏ.

## KIẾN THỨC NỀN

Tiền huấn luyện (pre-training) một mô hình ngôn ngữ lớn (LLM) đòi hỏi tài nguyên tính toán khổng lồ để dạy mô hình nền tảng cấu trúc ngôn ngữ và kiến thức tổng quát từ đầu. Ngược lại, tinh chỉnh (fine-tuning) hoặc post-training sử dụng một mô hình đã qua tiền huấn luyện và điều chỉnh các tham số trên tập dữ liệu nhỏ hơn để phù hợp với các tác vụ hoặc hướng dẫn cụ thể.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#Open Source AI#LLM Fine-tuning#Community#LocalLLaMA

$ subscribe --daily

Đề xuất phân biệt rõ mô hình lớn phát hành mới và bản finetune trên r/LocalLLaMA | Daily News