Microsoft nâng cấp khung Windows ML trên Windows 11 với hỗ trợ nguyên bản GGUF và ONNX
Microsoft đã cập nhật khung làm việc Windows ML trên Windows 11 để thử nghiệm hỗ trợ nguyên bản các định dạng mô hình GGUF và ONNX thông qua tích hợp llama.cpp. Cùng với sự tích hợp này, Microsoft cũng ra mắt Windows ML Runtime API cùng các bộ API chuyên dụng cho việc tạo văn bản và nhận dạng giọng nói. Việc tích hợp ở cấp độ hệ điều hành này giúp đơn giản hóa quá trình triển khai AI cục bộ cho các nhà phát triển Windows, cho phép ứng dụng máy tính chạy các mô hình mã nguồn mở một cách hiệu quả mà không cần phụ thuộc vào dịch vụ đám mây. Nhờ chuẩn hóa các API suy luận cục bộ, Microsoft giúp việc xây dựng các tính năng AI bảo mật và có độ trễ thấp trực tiếp trên thiết bị của người dùng trở nên dễ dàng hơn nhiều. Microsoft đã hợp tác với Nvidia và cộng đồng mã nguồn mở llama.cpp để đóng góp mã tối ưu hóa hiệu năng, cho phép nhập mượt mà các mô hình GGUF từ Hugging Face. Mặc dù các ONNX Runtime API hiện tại vẫn tiếp tục được hỗ trợ, những tối ưu hóa hiệu năng dành riêng cho Windows trong tương lai sẽ ưu tiên cho Windows ML Runtime API mới.
## KIẾN THỨC NỀN
GGUF là định dạng tệp nhị phân đơn gọn nhẹ được thiết kế cho việc suy luận mô hình ngôn ngữ lớn cục bộ, sử dụng kỹ thuật lượng tử hóa để giảm dung lượng bộ nhớ và rất phổ biến nhờ công cụ llama.cpp. Trong khi đó, ONNX (Open Neural Network Exchange) là định dạng hệ sinh thái mở cho phép các mô hình máy học chuyển đổi linh hoạt giữa các khung làm việc và nền tảng phần cứng khác nhau.