SK Hynix dự đoán hiệu năng cơ sở hạ tầng AI sẽ tăng khoảng 20 lần vào năm 2030
Tại triển lãm SEDEX 2026, Giám đốc phát triển SK Hynix Ahn Hyun dự đoán rằng hiệu năng của cơ sở hạ tầng AI sẽ cần phải tăng khoảng 20 lần vào năm 2030. Sự bùng nổ này được thúc đẩy bởi sự mở rộng nhanh chóng của nhu cầu suy luận AI, độ dài ngữ cảnh và độ phức tạp của tác vụ. Khi khối lượng công việc suy luận AI bùng nổ, việc di chuyển dữ liệu giữa các tầng trong hệ thống phân cấp bộ nhớ đã trở thành nút thắt cổ chai lớn làm hạn chế hiệu năng và gia tăng tiêu thụ năng lượng. Việc giải quyết vấn đề này đòi hỏi các giải pháp kiến trúc tổng thể thay vì chỉ nâng cấp từng chip nhớ riêng lẻ. SK Hynix đang thúc đẩy các công nghệ bộ nhớ thế hệ tiếp theo bao gồm DRAM xếp chồng 3D, đặt bộ nhớ trực tiếp lên chip logic để giảm tiêu thụ điện năng và tăng băng thông, cùng với Flash băng thông cao (HBF) mang công nghệ xếp chồng qua qua lỗ dập silicon (TSV) lên bộ nhớ flash NAND.
## KIẾN THỨC NỀN
KV Cache (Bộ nhớ đệm khóa-giá trị) là một kỹ thuật tối ưu hóa quan trọng trong các mô hình ngôn ngữ lớn, giúp lưu trữ các phép tính trung gian của cơ chế chú ý để tăng tốc độ tạo văn bản, mặc dù dung lượng ngày càng lớn của nó đang gây áp lực lên hệ thống bộ nhớ. HBF (High Bandwidth Flash - Flash băng thông cao) là một tầng bộ nhớ mới nổi nằm giữa HBM và SSD nhằm cung cấp dung lượng lớn và băng thông cao cho các khối lượng công việc AI.