Dùng LLM hỗ trợ thị giác để phát hiện lỗi giao diện cho agent lập trình tự động

Một nhà phát triển đã chia sẻ hiệu quả vượt trội khi bật tính năng thị giác trên các LLM cục bộ cho agent lập trình tự động, thay vì chỉ dùng phiên bản văn bản để tiết kiệm VRAM. Việc tích hợp khả năng xử lý hình ảnh như mô hình Qwen 27B cho phép agent tự động chụp ảnh màn hình và kiểm tra giao diện trực quan để sửa lỗi. Phát triển giao diện (frontend) thường gặp các lỗi ẩn—như vỡ bố cục hoặc lệch phần tử—mà các bài kiểm thử mã nguồn thông thường không phát hiện được. Việc bổ sung vòng lặp phản hồi trực quan giúp các AI agent tự phát hiện và sửa lỗi giao diện trước khi hoàn thành công việc, nâng cao đáng kể độ tin cậy. Chạy cục bộ thông qua ứng dụng Hermes trên GPU Nvidia RTX 5090, hệ thống cho phép agent chỉnh sửa mã, chụp ảnh màn hình trình duyệt và đánh giá kết quả trực quan cho đến khi giao diện hiển thị chuẩn xác. Dù mô hình ngôn ngữ thị giác tiêu tốn nhiều VRAM hơn, lợi ích trong việc ngăn ngừa lỗi giao diện hoàn toàn vượt trội so với chi phí phần cứng.