Samsung được cho là đang phát triển bộ nhớ flash zNAND-T và zNAND-I
Samsung Electronics được cho là đang phát triển hai sản phẩm bộ nhớ flash NAND chuyên dụng mới là zNAND-T và zNAND-I, bên cạnh zNAND-O đã được công bố trước đó nhằm hướng tới các khối lượng công việc trí tuệ nhân tạo khác nhau. Những sản phẩm này đánh dấu sự chuyển dịch chiến lược sang việc tùy chỉnh phần cứng lưu trữ để đáp ứng các yêu cầu chuyên biệt của trung tâm dữ liệu. Khi các hoạt động trí tuệ nhân tạo quy mô lớn đặt ra những yêu cầu chưa từng có đối với trung tâm dữ liệu, các giải pháp lưu trữ đa dụng truyền thống ngày càng tỏ ra không đáp ứng đủ. Việc thiết kế các biến thể bộ nhớ flash NAND tối ưu hóa cho thông lượng và hiệu năng xuất nhập ngẫu nhiên giúp giảm bớt các nút thắt cổ chai lớn trong điện toán hiệu năng cao và suy luận mô hình ngôn ngữ lớn. Biến thể zNAND-T tập trung vào thông lượng bằng cách sử dụng công nghệ đóng gói xếp chồng TSV trên các die NAND nhằm nâng cao băng thông đọc và ghi cho phần cứng AI tại trung tâm dữ liệu. Trong khi đó, zNAND-I hướng tới các chỉ số hiệu năng ngẫu nhiên như IOPS để tối ưu hóa trong các hoạt động đọc ghi dữ liệu nhỏ thường xuyên như việc giảm tải KV cache.
## KIẾN THỨC NỀN
Trong quá trình suy luận mô hình ngôn ngữ lớn, việc giảm tải KV cache liên quan đến việc lưu trữ các cặp khóa-giá trị của các token trước đó để tăng tốc độ tạo văn bản, nhưng đòi hỏi độ trễ thấp và hiệu năng truy cập ngẫu nhiên cao từ hệ thống lưu trữ. Xếp chồng TSV (Throughput Silicon Via) là công nghệ đóng gói bán dẫn tiên tiến cho phép tạo các kết nối điện theo chiều dọc xuyên qua các die silicon, giúp gia tăng đáng kể tốc độ truyền dữ liệu và mật độ linh kiện.