Bonsai-Llama-Jev: Động cơ ra quyết định AI chuẩn kiểu, hỗ trợ thị giác chạy cục bộ tốc độ cao

Một nhà phát triển đã phát hành Bonsai-Llama-Jev, một bản fork llama.cpp tùy chỉnh cho phép các mô hình thị giác-ngôn ngữ 27B chạy cục bộ hoạt động như một động cơ ra quyết định System One tương thích với TypeSafe AI chỉ với dưới 10 GB VRAM. Hệ thống đạt độ chính xác khoảng 76% trên bộ kiểm thử 22.000 yêu cầu ra quyết định với độ trễ trung bình khoảng 171 ms. Phát triển này cho phép các nhà phát triển thực hiện các tác vụ ra quyết định chuẩn kiểu, được hiệu chỉnh tốt và xử lý thị giác với tốc độ cao ngay trên GPU cá nhân mà không cần phụ thuộc vào API đám mây. Bằng cách hợp nhất API trò chuyện OpenAI truyền thống với API ra quyết định cấu trúc System One vào một mô hình duy nhất, nó loại bỏ nhu cầu vận hành nhiều mô hình cục bộ chuyên biệt. Hệ thống giới thiệu phương pháp hiệu chỉnh mô hình sau huấn luyện (post-hoc calibration) thông qua chuẩn `calibration.json` được đề xuất, đạt Sai số hiệu chỉnh kỳ vọng (ECE-15) là 13%. Nó hỗ trợ đầu vào đa thức (văn bản, JSON, hình ảnh base64/URL) qua điểm cuối `POST /v1/systemone` mới trong khi vẫn duy trì tương thích 100% với SDK chính thức của TypeSafe và các điểm cuối API OpenAI tiêu chuẩn.