Startup Hàn Quốc HyperAccel Sản xuất Hàng loạt Chip Suy luận AI Bertha 4nm
Startup chip AI Hàn Quốc HyperAccel, hợp tác cùng công ty giải pháp thiết kế SEMIFIVE, đã bắt đầu sản xuất hàng loạt chip suy luận LLM Bertha 500 trên tiến trình 4nm của Samsung Foundry. Con chip này sở hữu kích thước die lớn vượt quá 500mm², được thiết kế riêng cho các tác vụ suy luận LLM tại trung tâm dữ liệu. Cột mốc này phản ánh đà tăng trưởng của các bộ tăng tốc AI tùy chỉnh chuyên biệt nhằm cạnh tranh với GPU đa năng về chi phí và hiệu suất năng lượng trong suy luận. Điều này cũng thể hiện năng lực của Samsung Foundry và SEMIFIVE trong việc cung cấp các giải pháp silicon tùy chỉnh die lớn trọn gói cho các startup phần cứng mới nổi. Bertha 500 cung cấp sức mạnh tính toán 768 TFLOPS FP8 với mức tiêu thụ điện TDP 250W, tích hợp 256MB SRAM trên chip và bộ nhớ LPDDR5X lên tới 256GB (băng thông 546GB/s). HyperAccel tuyên bố bộ gia tốc chuẩn PCIe này đạt thông lượng cao gấp 2 lần, hiệu quả chi phí gấp 19 lần và tiết kiệm năng lượng gấp 12 lần so với GPU NVIDIA H100 trong nhiệm vụ suy luận LLM.
## KIẾN THỨC NỀN
Quá trình suy luận của các mô hình ngôn ngữ lớn (LLM) đòi hỏi băng thông bộ nhớ cao và độ trễ thấp để sinh các token đầu ra một cách hiệu quả ở quy mô lớn. Mặc dù các GPU đa năng như NVIDIA H100 đang thống trị các tác vụ AI, các vi mạch tích hợp chuyên dụng (ASIC) được tối ưu hóa riêng cho việc sinh token có thể mang lại lợi thế lớn về chi phí và tiết kiệm điện năng. SEMIFIVE đóng vai trò là nhà cung cấp nền tảng thiết kế SoC, giúp các công ty khởi nghiệp đưa các con chip tùy chỉnh phức tạp vào sản xuất thương mại trên quy trình bán dẫn tiên tiến của Samsung.