Giá bộ nhớ DDR5 tăng vọt 500% trong 12 tháng, ảnh hưởng phần cứng chạy LLM cục bộ
Giá bộ nhớ DDR5 được báo cáo đã tăng vọt 500% trong vòng một năm qua, với các bộ kit dung lượng cao 128GB hiện có giá lên tới 3.399 USD. Sự gia tăng giá cả mạnh mẽ này làm tăng đáng kể rào cản tài chính đối với việc vận hành các mô hình ngôn ngữ lớn (LLM) cục bộ, vốn đòi hỏi dung lượng RAM rất lớn. Mức tăng giá này cao gấp mười lần so với mức giá thấp nhất từng được ghi nhận của bộ nhớ DDR5, gây ảnh hưởng nặng nề đến việc xây dựng các cấu hình máy trạm và máy chủ.
## KIẾN THỨC NỀN
Việc chạy các mô hình ngôn ngữ lớn (LLM) cục bộ đòi hỏi bộ nhớ hệ thống (RAM) hoặc bộ nhớ video (VRAM) lớn để lưu trữ trọng số mô hình trong quá trình suy luận. Bộ nhớ DDR5 dung lượng cao, bao gồm cả ECC RDIMM, thường được sử dụng trong các máy trạm để chạy các mô hình lớn vượt quá giới hạn bộ nhớ của GPU phổ thông.