Tencent ra mắt mô hình Hy4 Flash với hiệu suất chi phí cao
Tencent đã phát hành Hy4 flash, một mô hình ngôn ngữ lớn đa modal với tổng số tham số là 224B, 12B tham số hoạt động cho mỗi token và hỗ trợ độ dài ngữ cảnh 1 triệu token. Mô hình này giảm đáng kể chi phí suy luận cho mỗi tác vụ xuống còn khoảng 5% so với mô hình Hy4 tiêu chuẩn thông qua việc tối ưu hóa phối hợp giữa quá trình huấn luyện và suy luận. Việc ra mắt này đánh dấu một bước đột phá quan trọng trong hiệu quả của mô hình ngôn ngữ lớn, đạt hiệu suất công việc hàng ngày cao trong khi cung cấp giá API và chi phí vận hành thấp hơn nhiều. Bằng cách tối ưu hóa các điểm nghẽn bộ nhớ và tốc độ tạo sinh, nó cho phép triển khai thương mại rộng rãi hơn cho các tác vụ hàng ngày phức tạp. Hy4 flash tích hợp các cải tiến về kiến trúc như LatentMoE và các tham số Engram, cắt giảm đáng kể kích thước bộ nhớ đệm KV, đồng thời sử dụng megakernel, lượng tử hóa 4bit và dflash để đạt tốc độ giải mã vượt 150 token mỗi giây. Mô hình hiện đã được triển khai trên nhiều sản phẩm của Tencent và dự kiến sẽ sớm có mặt trên OpenRouter.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn thường gặp phải các điểm nghẽn về tính toán và bộ nhớ trong quá trình suy luận, mà kiến trúc Chuyên gia hỗn hợp (MoE) và các tối ưu hóa bộ nhớ đệm KV giúp giảm thiểu. Các kỹ thuật như LatentMoE định tuyến token qua không gian ẩn nén để tối đa hóa độ chính xác trên mỗi FLOP, trong khi các mô-đun Engram sử dụng bộ nhớ dạng tra cứu có thể mở rộng để tăng dung lượng hiệu quả.