Gemma 4 31B liên tục lỗi khi chỉnh sửa tệp do không khớp định dạng văn bản gốc
Một nhà phát triển báo cáo rằng mô hình Gemma 4 31B, được chạy ở định dạng bf16 qua vLLM, liên tục thất bại trong các tác vụ chỉnh sửa tệp trên nhiều công cụ hỗ trợ lập trình khác nhau. Mô hình này bị lặp vô hạn do tạo ra các lỗi nhỏ không khớp, chẳng hạn như sai khoảng cách thụt lề, khi cố gắng trích dẫn và thay thế các khối mã nguồn gốc. Vấn đề này làm nổi bật một lỗi phổ biến ở các tác nhân lập trình AI (coding agents), nơi cơ chế tìm kiếm và thay thế nghiêm ngặt từ chối các chỉnh sửa do sai lệch định dạng nhỏ. Điều này nhấn mạnh nhu cầu về các công cụ chỉnh sửa linh hoạt hơn, có thể bỏ qua các khác biệt nhỏ về cú pháp hoặc thụt lề khi sửa đổi mã nguồn. Người dùng đã gặp phải lỗi này trên nhiều công cụ lập trình như Goose, Copilot và Little Coder, mặc dù đã sử dụng mẫu trò chuyện (chat template) cập nhật giúp cải thiện điểm benchmark. Giải pháp được đề xuất là phát triển các công cụ chỉnh sửa có khả năng bỏ qua sự khác biệt về thụt lề hoặc khoảng trắng khi đối khớp các khối mã.
## KIẾN THỨC NỀN
Các trợ lý lập trình AI thường chỉnh sửa tệp bằng cách xác định một khối mã nguồn hiện có và thay thế nó bằng mã mới. vLLM là một công cụ máy chủ hiệu năng cao dùng để chạy các mô hình ngôn ngữ lớn cục bộ, trong khi bf16 (bfloat16) là định dạng số thực dấu phẩy động 16-bit giúp tối ưu hóa việc sử dụng bộ nhớ khi suy luận. Goose là một tác nhân lập trình AI mã nguồn mở được thiết kế để tự động hóa các tác vụ lập trình thông qua tương tác với thư mục cục bộ và API.