HardenedLinux Phát Hành SonicBoom v0.0.3, Runtime Suy Luận AI Hướng Trình Biên Dịch
HardenedLinux đã phát hành SonicBoom v0.0.3, một runtime suy luận AI mã nguồn mở hoàn toàn không dùng Python được xây dựng trên MLIR và tuyên bố đạt hiệu năng giải mã vượt trội hơn llama.cpp. Phiên bản mới mang lại những cải tiến lớn trong các tác vụ agent nhiều lượt hội thoại, giúp giảm đáng kể thời gian sinh token đầu tiên (time-to-first-token) nhờ tính năng tái sử dụng tiền tố (prefix reuse) và lưu đệm kế hoạch (plan caching). Bản phát hành này cung cấp một giải pháp thay thế mới lạ, không dùng Python và hướng trình biên dịch cho việc suy luận LLM cục bộ, thu hút cộng đồng mã nguồn mở và tối ưu hóa cấp thấp. Bằng cách kêu gọi cộng đồng chạy benchmark trên nhiều dòng GPU NVIDIA khác nhau, dự án hướng tới việc kiểm chứng các tuyên bố về hiệu năng trên nhiều kiến trúc phần cứng. SonicBoom v0.0.3 hoạt động thông qua một thư viện chia sẻ duy nhất có giao diện C ABI và sử dụng ngôn ngữ Guile Scheme làm ngôn ngữ bậc nhất. Quá trình tối ưu hóa đồ thị và tạo kernel diễn ra trên Boom IR (một nhánh của MLIR), trong khi các phép nhân ma trận lượng tử hóa nóng chạy dưới dạng các kernel có thuộc tính bắt nguồn từ ggml.
## KIẾN THỨC NỀN
llama.cpp là một thư viện phần mềm mã nguồn mở phổ biến được đồng phát triển cùng dự án GGML, chuyên thực hiện suy luận LLM hiệu quả và đóng vai trò là tiêu chuẩn thực tế cho các công cụ chạy cục bộ. GGUF là định dạng tệp nhị phân được tối ưu hóa để lưu trữ và chạy các mô hình ngôn ngữ lớn lượng tử hóa, trong khi MLIR là một dự án hạ tầng trình biên dịch có khả năng mở rộng, cung cấp một tầng biểu diễn trung gian mới.