Kỹ sư kết nối hai điện thoại Android cũ để chạy mô hình ngôn ngữ lớn 27B cục bộ

Một kỹ sư đã thành công kết nối hai chiếc điện thoại Android cũ lại với nhau bằng một động cơ RPC C++ tùy chỉnh và kỹ thuật lượng tử hóa tam phân Hadamard để chạy mô hình Ternary-Bonsai 27B cục bộ. Giải pháp phần cứng phân tán này đã vượt qua các giới hạn bộ nhớ cục bộ và đạt được tốc độ ổn định khoảng 2,8 token mỗi giây. Dự án này thể hiện kỹ thuật hệ thống ấn tượng trong lĩnh vực trí tuệ nhân tạo biên, chứng minh rằng các thiết bị di động có tài nguyên hạn chế vẫn có thể chạy các mô hình khổng lồ mà không bị quá nhiệt. Nó mở ra một hướng đi sáng tạo cho các nhà phát triển muốn vượt qua giới hạn RAM và VRAM truyền thống trên phần cứng phổ thông. Thiết lập này sử dụng các trọng số tam phân (-1, 0, 1) được tích hợp trong định dạng GGUF cùng với một bản vá tùy chỉnh áp dụng phép biến đổi Hadamard tại thời gian chạy trên CPU ARM, thay thế các phép toán MAC nặng bằng phép cộng và trừ. Nhờ đó, mức tiêu thụ điện năng được giữ ở mức thấp, giúp nhiệt độ tối đa của thiết bị duy trì quanh mức 30°C.