SK hynix và SanDisk công bố tiêu chuẩn High Bandwidth Flash (HBF) cho suy luận AI
SK hynix và SanDisk đã giới thiệu tiêu chuẩn High Bandwidth Flash (HBF), một công nghệ bộ nhớ dựa trên NAND mới hướng tới băng thông lên đến 3TB/s. Tiêu chuẩn này được thiết kế đặc biệt nhằm giảm thiểu tình trạng nghẽn cổ chai bộ nhớ trong các tác vụ suy luận AI. Bằng cách cung cấp dung lượng lớn gấp 8 đến 16 lần so với Bộ nhớ băng thông cao (HBM) với mức chi phí tương đương, HBF có thể bình dân hóa việc suy luận AI quy mô lớn bằng cách cho phép các mô hình khổng lồ chạy hiệu quả mà không cần phụ thuộc vào HBM đắt đỏ. HBF tận dụng công nghệ CMOS liên kết trực tiếp với mảng (CBA) của SanDisk và mang lại hiệu suất trong khoảng sai số 2,2% so với HBM dung lượng không giới hạn. Công nghệ này nhằm mục đích thu hẹp khoảng cách giữa HBM tốc độ cao và các giải pháp lưu trữ dung lượng lớn.
## KIẾN THỨC NỀN
Quá trình suy luận AI, đặc biệt là đối với các Mô hình ngôn ngữ lớn (LLM), phụ thuộc rất nhiều vào băng thông bộ nhớ vì các trọng số của mô hình phải được tải liên tục vào bộ xử lý. Mặc dù Bộ nhớ băng thông cao (HBM) cung cấp tốc độ cần thiết, nhưng nó lại cực kỳ đắt đỏ và bị giới hạn về dung lượng. Bộ nhớ flash NAND truyền thống có dung lượng cao nhưng lại thiếu băng thông cần thiết cho việc xử lý AI theo thời gian thực.