~/LLM/h2o-ai-releases-h2o-lightning-4b-an-open-weight-decision-model

H2O.ai Ra Mắt H2O-Lightning-4B, Mô Hình Ra Quyết Định Mã Nguồn Mở

H2O.ai đã phát hành H2O-Lightning-4B, mô hình ra quyết định mã nguồn mở (giấy phép Apache-2.0) được tinh chỉnh từ Qwen3.5-4B và đạt điểm tổng hợp cao nhất 72.5 trên bảng xếp hạng JevBench. Không giống các LLM sinh văn bản truyền thống, mô hình này trả về xác suất được hiệu chuẩn cho các câu hỏi định kiểu chỉ trong một lượt truyền tiến (forward pass) duy nhất mà không cần sinh token. Phát hành này cho phép tự động hóa quá trình ra quyết định với tốc độ cực nhanh và chi phí thấp cho quy trình làm việc của doanh nghiệp, đồng thời cho phép triển khai cục bộ hoàn toàn mà không tốn phí API hay rủi ro về quyền riêng tư dữ liệu. Nó mang đến cho các nhà phát triển một giải pháp thay thế mã nguồn mở hiệu năng cao cho các mô hình AI chuyên ra quyết định độc quyền như Jev. Được xây dựng trên Qwen3.5-4B và vận hành qua vLLM tiêu chuẩn cùng một shim nhẹ, mô hình xử lý các quyết định chỉ mất khoảng 30 miligiây trên GPU NVIDIA H100. H2O.ai cũng thông báo rằng các phiên bản mã nguồn mở lớn hơn như 12B và 31B hiện đang được phát triển.

## KIẾN THỨC NỀN

Các mô hình ngôn ngữ lớn tiêu chuẩn thường sinh câu trả lời theo từng token, gây ra độ trễ cao và tốn công phân tích cú pháp đầu ra cho các tác vụ phân loại có cấu trúc. Các mô hình ra quyết định hoạt động như bộ đánh giá nhanh, nạp ngữ cảnh cùng tiêu chí định sẵn để trả về trực tiếp phân phối xác suất trên các lựa chọn cố định chỉ trong một bước. JevBench là bảng kiểm chuẩn chuyên dụng dùng để đo lường độ thông minh, độ hiệu chuẩn, tốc độ và chi phí của các mô hình ra quyết định không sinh văn bản này.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#LLM#Open Source AI#Machine Learning#Inference Optimization#H2O.ai

$ subscribe --daily

H2O.ai Ra Mắt H2O-Lightning-4B, Mô Hình Ra Quyết Định Mã Nguồn Mở | Daily News