Mô hình LLM cục bộ nén cực độ chèn kiến thức không liên quan vào chuỗi suy luận

Một người dùng báo cáo rằng mô hình ngôn ngữ cục bộ nén ở mức cực thấp (`strata-swift-iq3_xxs`) đã ngẫu nhiên chèn tiểu sử của nhà lãnh đạo Singapore Lý Quang Diệu vào chuỗi suy luận nội bộ khi đang làm tác vụ lập trình. Dù gặp phải hiện tượng ảo giác bất ngờ này trong luồng suy nghĩ, mô hình vẫn quay lại phân tích ký tự xuống dòng của tệp và hoàn thiện tác vụ một cách bình thường. Sự cố này cho thấy việc lượng thể hóa quá mức (như chuẩn IQ3_XXS chỉ dùng độ chính xác khoảng 3-bit) có thể làm suy giảm khả năng định tuyến nội bộ của mô hình, gây ra rò rỉ bộ nhớ hoặc ảo giác trong luồng suy luận. Điều này làm nổi bật sự đánh đổi giữa tốc độ, mức tiêu thụ VRAM và độ ổn định khi vận hành các mô hình lớn trên phần cứng cá nhân. Mô hình được chạy qua công cụ thực thi Strata trên card đồ họa Nvidia RTX 5070 Ti để tăng gấp đôi tốc độ so với các biến thể 4-bit. Trong khi tạo kế hoạch từng bước để phát hiện ký tự xuống dòng bằng kịch bản Node, mô hình đã in ra nhiều câu chi tiết về học vấn và sự nghiệp chính trị của Lý Quang Diệu ngay giữa hai dòng lệnh lập trình.