Quy trình kết hợp mô hình AI đám mây và LLM cục bộ trong phát triển phần mềm

Một nhà phát triển trong cộng đồng r/LocalLLaMA đã chia sẻ mô hình phát triển AI kết hợp, phối hợp giữa mô hình đám mây nhiều tham số cho việc lập kế hoạch kiến trúc với các mô hình mã nguồn mở cục bộ cho việc tạo mã nguồn. Quy trình này dùng mô hình đám mây để lên kế hoạch và đánh giá, đồng thời giao các nhiệm vụ lập trình lặp đi lặp lại cho mô hình cục bộ như Qwen. Chiến lược này phản ánh một quy trình làm việc kết hợp đang ngày càng phổ biến nhằm cân bằng giữa hiệu quả chi phí API và chất lượng tạo mã nguồn. Việc giao phần thực thi cho phần cứng cục bộ và chỉ dành các mô hình cao cấp đắt đỏ cho khâu suy luận giúp các nhà phát triển vận hành vòng lặp lập trình bán tự động với chi phí tối thiểu. Kiến trúc đề xuất tuân theo vòng lặp phản hồi, trong đó mô hình đám mây lập kế hoạch kiến trúc ban đầu, mô hình cục bộ (như phiên bản Qwen 27B) viết mã nguồn, và mô hình đám mây đánh giá kết quả trước khi yêu cầu sửa lỗi. Thách thức kỹ thuật chính khi triển khai quy trình này là việc quản lý truyền ngữ cảnh và tích hợp công cụ điều phối mượt mà giữa giao diện đám mây độc quyền với công cụ chạy LLM cục bộ.