Các kỹ sư phần mềm tranh luận về tính hữu ích của LLM cục bộ trong lập trình tự động

Một kỹ sư phần mềm đã khơi mào cuộc thảo luận trên Reddit về những hạn chế thực tế khi sử dụng các LLM cục bộ (từ 30B đến 120B tham số) cho quy trình lập trình tự động (agentic coding). Họ nhấn mạnh các vấn đề như làm tăng nợ kỹ thuật (technical debt), không tuân thủ hướng dẫn ở ngữ cảnh sâu và đòi hỏi quá nhiều sự quản lý chi tiết. Mặc dù phát triển phần mềm hỗ trợ bởi AI được quảng cáo rầm rộ như tương lai của ngành, phản ánh này phơi bày khoảng cách giữa kỳ vọng truyền thông và hiệu suất thực tế của các mô hình cục bộ, mã nguồn mở trong các quy trình phức tạp. Điều này nhấn mạnh những thách thức mà các nhà phát triển phải đối mặt khi cố gắng triển khai các tác nhân AI tự trị để bảo trì mã nguồn thực tế. Nhà phát triển lưu ý rằng ngay cả khi sử dụng các bản lượng tử hóa chất lượng cao, giữ nguyên KV cache không lượng tử hóa và giới hạn ngữ cảnh ở mức 90k token, các mô hình như Qwen và Nemotron vẫn bỏ qua hướng dẫn ở độ sâu trên 50k token. Các tác nhân AI thường xuyên tạo ra mã nguồn thừa thãi, viết các bài kiểm thử hời hợt và không thực hiện các bước tái cấu trúc mã nguồn cần thiết.