Google AI Edge Mở Mã Nguồn ML Drift - Engine Tính Toán GPU Cho AI
Nhóm Google AI Edge đã chính thức mở mã nguồn ML Drift theo giấy phép Apache 2.0, mang đến một engine tính toán GPU đa nền tảng, hiệu năng cao phục vụ suy luận AI và học máy thời gian thực trên thiết bị. Nhờ trừu tượng hóa các API đồ họa GPU cấp thấp, ML Drift giúp các nhà phát triển dễ dàng chạy các mô hình AI tạo sinh phức tạp và ứng dụng thị giác máy tính thời gian thực cục bộ trên nhiều phần cứng di động, web và thiết bị biên. ML Drift hỗ trợ các backend OpenGL ES, OpenCL, Metal và WebGPU, đóng vai trò là engine tăng tốc GPU cốt lõi trong LiteRT (trước đây là TensorFlow Lite) đồng thời hoạt động như một thư viện độc lập cho các bộ thực thi suy luận tùy chỉnh.
## KIẾN THỨC NỀN
Việc chạy các mô hình học máy trực tiếp trên các thiết bị biên giúp giảm độ trễ, cải thiện quyền riêng tư của người dùng và giảm bớt sự phụ thuộc vào hạ tầng đám mây. LiteRT, phiên bản kế thừa của TensorFlow Lite, là khung làm việc cốt lõi của Google nhằm triển khai các mô hình ML và AI tạo sinh trên thiết bị di động và hệ thống nhúng.