AMD mua lại startup chip AI Taalas để tăng cường hiệu suất suy luận
AMD đã mua lại Taalas, một startup chuyên phát triển silicon tùy chỉnh bằng cách tích hợp trực tiếp các mô hình AI cụ thể vào bóng bán dẫn. Thương vụ này nhằm tăng cường đáng kể hiệu suất suy luận AI, với các bản thử nghiệm ban đầu cho thấy tốc độ lên tới 17.000 token mỗi giây. Khi ngành công nghiệp AI chuyển hướng tập trung vào việc tối ưu chi phí suy luận, silicon chuyên dụng cho từng mô hình mang lại một giải pháp thế hiệu quả cao so với GPU đa dụng. Thương vụ mua lại này củng cố vị thế của AMD trước Nvidia bằng cách cung cấp phần cứng chuyên dụng giúp giảm đáng kể chi phí vận hành các mô hình ngôn ngữ lớn. Kiến trúc của Taalas hợp nhất bộ nhớ lưu trữ và tính toán trên một chip duy nhất ở mật độ tương đương DRAM, giúp loại bỏ các nút thắt cổ chai về băng thông bộ nhớ truyền thống. Mặc dù có hiệu suất cực cao, các chip này được thiết kế cứng cho một mô hình cụ thể, nghĩa là chúng thiếu tính linh hoạt của các bộ xử lý đa dụng.
## KIẾN THỨC NỀN
Suy luận AI (inference) là quá trình chạy các mô hình học máy đã được huấn luyện để đưa ra dự đoán hoặc tạo văn bản, một quá trình tiêu tốn nhiều tài nguyên tính toán trên các GPU đa dụng. Taalas giải quyết vấn đề này bằng cách khắc trực tiếp các trọng số của một mô hình AI cụ thể vào mạch phần cứng của chip. Phương pháp vi mạch tích hợp chuyên dụng (ASIC) này loại bỏ nhu cầu liên tục tải trọng số mô hình từ bộ nhớ ngoài, giúp giảm đáng kể mức tiêu thụ điện năng và độ trễ.