Arcon: Khám phá khung tác tử cho các mô hình nhỏ 4B cục bộ

Lập trình viên /u/Feathered-Beast đã giới thiệu Arcon, một dự án mã nguồn mở khám phá cách biến mô hình ngôn ngữ nhỏ 4B chạy cục bộ thành một trợ lý AI hiệu quả. Dự án sử dụng mô hình nền Qwen 4B được tinh chỉnh bằng LoRA, bao bọc bởi một khung phần mềm giúp quản lý bộ nhớ dài hạn, trạng thái tính cách, sử dụng công cụ và xử lý thông tin trước khi phản hồi. Các mô hình nhỏ 4B đủ nhẹ để chạy cục bộ trên phần cứng cá nhân, nhưng chúng thường thiếu khả năng suy luận tự nhiên của các mô hình lớn. Việc chứng minh rằng khung tác tử (agentic scaffolding)—như hệ thống bộ nhớ và vòng lặp lập kế hoạch—có thể nâng cao đáng kể năng lực của mô hình nhỏ sẽ thúc đẩy việc áp dụng các trợ lý AI cục bộ vừa riêng tư vừa tiết kiệm tài nguyên. Arcon dựa vào kỹ thuật tinh chỉnh LoRA để tùy biến mô hình nền Qwen 4B cho các hành vi tác tử mà không tốn nhiều chi phí tính toán. Kiến trúc này bao gồm việc theo dõi trạng thái nội bộ về tính cách và tâm trạng, cho phép mô hình thực hiện các bước suy luận ngầm và gọi công cụ trước khi đưa ra câu trả lời cuối cùng.