Tinh chỉnh mô hình ngôn ngữ thị giác 450M trên 50.000 ảnh chụp màn hình trình duyệt

Một nhà phát triển đã tinh chỉnh thành công một mô hình ngôn ngữ thị giác (VLM) nhỏ với 450 triệu tham số bằng cách sử dụng tập dữ liệu gồm 50.000 ảnh chụp màn hình trình duyệt. Quá trình huấn luyện này đã cải thiện đáng kể hiệu suất của mô hình trong các tác vụ giao diện người dùng (GUI) và trình duyệt, nâng điểm chuẩn từ 1/100 lên 44/100. Thử nghiệm này chứng minh rằng các mô hình quy mô nhỏ và hiệu quả cao có thể đạt được mức tăng trưởng hiệu suất đáng kể cho các tác vụ chuyên biệt mà không cần tài nguyên tính toán khổng lồ. Điều này làm nổi bật tiềm năng vận hành các tác nhân AI cục bộ, gọn nhẹ có khả năng điều hướng các giao diện web. Quá trình tinh chỉnh tập trung cụ thể vào các tác vụ dựa trên giao diện đồ họa (GUI) và trình duyệt, cho thấy bước nhảy vọt về độ chính xác của điểm chuẩn. Việc sử dụng mô hình chỉ có 450 triệu tham số giúp nó có tính khả thi cao khi triển khai trên phần cứng tiêu dùng thông thường.