jinfer: Engine suy luận AI mã nguồn mở thuần JVM dành cho Java

Nhà phát triển mukel90 đã ra mắt jinfer, một engine suy luận AI mã nguồn mở thuần Java theo giấy phép Apache 2.0 cho phép chạy các mô hình AI đa thức cục bộ trên JVM mà không cần môi trường Python hay C++ wrapper. Engine này tự xử lý việc tách từ (tokenization), đọc định dạng mô hình GGUF và Safetensors, cũng như thực hiện các phép toán ma trận định lượng cho các tác vụ trò chuyện, thị giác, phiên âm âm thanh, nhúng, xếp hạng lại và tổng hợp tiếng nói. Lịch sử cho thấy các ứng dụng Java khi tích hợp AI thường phải phụ thuộc vào các tiến trình Python cồng kềnh, C++ wrapper hoặc các dịch vụ web bên ngoài, gây phức tạp cho quá trình triển khai và tăng độ trễ. Bằng cách tương thích trực tiếp với các framework doanh nghiệp như Spring AI, LangChain4j cùng khả năng hỗ trợ GraalVM Native Image, jinfer giúp các lập trình viên Java đóng gói trực tiếp khả năng AI cục bộ vào các tệp JAR tiêu chuẩn. Đối với các tác vụ trên CPU, jinfer tận dụng Vector API của Java cùng các thuật toán ma trận định lượng tùy chỉnh để đạt hiệu năng cạnh tranh với llama.cpp, trong khi khả năng tăng tốc GPU thông qua API tensor Jota đi kèm hiện đang được phát triển. Bộ công cụ này cũng giới thiệu các thành phần mô-đun như Tok'n'Roll để tách từ không phụ thuộc thư viện ngoài và Jam cho các phép toán tensor định lượng.