Samsung công bố kiến trúc zHBM nhằm tăng tốc độ phản hồi của AI gấp 10 lần

Samsung đã trình bày lộ trình bộ nhớ zHBM (bộ nhớ xếp chồng 3D), hướng tới việc nâng tốc độ phản hồi của bộ tăng tốc AI từ 100 lên 1.000 token mỗi giây cho mỗi người dùng. Bằng cách gắn trực tiếp HBM theo chiều dọc lên bộ tăng tốc AI, thiết kế này hướng tới tốc độ gấp 8 lần và hiệu suất năng lượng gấp 3 lần so với HBM5. Khi các ứng dụng AI tác tử (agentic AI) đòi hỏi băng thông chưa từng có cho quá trình suy luận thời gian thực, điểm nghẽn bộ nhớ truyền thống sẽ làm hạn chế tốc độ xử lý. Việc xếp chồng trực tiếp theo chiều dọc giúp tối thiểu hóa khoảng cách truyền dữ liệu, củng cố vị thế dẫn đầu của Samsung trong mảng bộ nhớ hiệu năng cao thế hệ mới. Samsung cũng có kế hoạch cung cấp mẫu giải pháp lưu trữ 3D zNAND-O bắt đầu từ năm 2028. Ngoài ra, các chuyên gia từ OpenAI và Intel lưu ý rằng dù Compute Express Link (CXL) giúp mở rộng dung lượng dữ liệu ít truy cập với chi phí hợp lý, nó vẫn không thể thay thế HBM trong việc truyền dữ liệu tốc độ cao cho GPU.