Liệu bong bóng đầu tư AI vỡ có giúp phần cứng chạy LLM cục bộ rẻ hơn?
Một cuộc thảo luận trên Reddit làm nổi bật những suy đoán ngày càng tăng rằng sự đổ vỡ tiềm tàng của bong bóng đầu tư AI có thể kéo giá phần cứng tiêu dùng và RAM xuống. Người dùng này chỉ ra những khó khăn tài chính tại các công ty AI lớn như OpenAI và Anthropic, cùng với các khoản đầu tư cơ sở hạ tầng bị định giá quá cao, như những dấu hiệu của một đợt điều chỉnh thị trường sắp tới. Nếu bong bóng AI vỡ và nhu cầu của doanh nghiệp đối với phần cứng trung tâm dữ liệu giảm xuống, điều này có thể giải phóng năng lượng sản xuất và làm tràn ngập thị trường các GPU và bộ nhớ cũ giá rẻ. Sự thay đổi này sẽ giảm đáng kể rào cản gia nhập đối với những người đam mê và nhà phát triển chạy các mô hình ngôn ngữ lớn (LLM) cục bộ. Suy đoán này dựa trên ý tưởng rằng giá phần cứng cao hiện tại là do các doanh nghiệp đầu tư quá mức vào các trung tâm dữ liệu AI. Tuy nhiên, việc chạy các LLM cục bộ vẫn đòi hỏi lượng VRAM lớn, trong đó các GPU tiêu dùng như RTX 3090 hoặc 4090 vẫn là lựa chọn được ưu tiên nhờ dung lượng 24 GB của chúng.
## KIẾN THỨC NỀN
LLM cục bộ là các mô hình AI được chạy trực tiếp trên phần cứng của người dùng thay vì thông qua API đám mây, đòi hỏi lượng RAM video (VRAM) đáng kể để lưu trữ trọng số mô hình trong quá trình suy luận. Token là các đơn vị văn bản cơ bản (từ hoặc cụm từ) mà LLM xử lý, và người dùng thường phải trả tiền cho các nhà cung cấp API trên mỗi token, khiến việc tự vận hành cục bộ trở thành một giải pháp thay thế hấp dẫn và tiết kiệm chi phí nếu phần cứng có giá cả phải chăng.