Đánh giá VLM mã nguồn mở trên dữ liệu góc nhìn thứ nhất bằng HFlow
Các nhà nghiên cứu đã đánh giá các mô hình ngôn ngữ-thị giác (VLM) mã nguồn mở gần đây như Gemma 4 và Qwen 3.8 trên dữ liệu video góc nhìn thứ nhất (egocentric) bằng công cụ HFlow. Kết quả đánh giá cho thấy Gemma 4 26B-A4B đạt tỷ lệ tương đồng 90,87% so với mức cơ sở của Gemini 2.5 Flash (91,65%) trong khi tiết kiệm chi phí gấp 19 lần. Thử nghiệm này chứng minh rằng các VLM mã nguồn mở hiện đại đã đủ khả năng để xử lý dữ liệu góc nhìn thứ nhất trên quy mô lớn, một yếu tố quan trọng cho robot và AI vật lý. Điều này cho phép các tổ chức tự vận hành (self-host) mô hình để bảo mật dữ liệu và giảm đáng kể chi phí API so với các mô hình thương mại đóng. Đánh giá đã sử dụng tập dữ liệu Egocentric-10k của Build AI để đo lường khả năng hiển thị của tay và các thao tác thực tế. Trong khi Gemini 2.5 Flash thiết lập mức cơ sở là 91,65%, GLM 5.3 Flash đạt 91,00%, Qwen 3.8 27B đạt 90,79%, và Inkling Small xếp sau với 85,21%.
## KIẾN THỨC NỀN
Thị giác góc nhìn thứ nhất (egocentric vision) liên quan đến việc phân tích hình ảnh và video được ghi lại bằng camera đeo trên người (như thiết bị gắn trên đầu) để mô phỏng trường nhìn của con người. Tập dữ liệu Egocentric-10k là một bộ sưu tập video quy mô lớn về công nhân nhà máy được thiết kế để đánh giá khả năng nhận diện tay và thao tác. HFlow là một bộ công cụ phát triển phần mềm (SDK) mã nguồn mở do Hebbian Robotics phát triển nhằm xây dựng các luồng xử lý dữ liệu đa phương thức cho robot.