Mô phỏng hiện tượng đảo bit do bức xạ trên các mô hình ngôn ngữ lớn

Một nhà phát triển đã mô phỏng tác động của bức xạ lên các mô hình ngôn ngữ lớn (LLM) bằng cách đưa vào các lỗi đảo bit ngẫu nhiên, và phát hiện ra rằng các mô hình này bị suy giảm hiệu năng và hỏng rất nhanh trong các điều kiện đó. Thử nghiệm này mô phỏng hành vi tiềm ẩn của LLM khi chạy trên phần cứng trong các môi trường như Quỹ đạo Trái Đất thấp (LEO). Khi các mô hình AI ngày càng được triển khai nhiều trong hàng không vũ trụ, truyền thông vệ tinh và môi trường tính toán biên (edge computing), việc hiểu rõ khả năng chịu lỗi của chúng trước bức xạ vũ trụ là vô cùng quan trọng. Nghiên cứu này nêu bật tính dễ bị tổn thương của các LLM tiêu chuẩn và nhu cầu về các kiến trúc chịu lỗi chuyên dụng hoặc kỹ thuật lượng tử hóa cho các ứng dụng không gian. Phép mô phỏng này bắt chước các Sự cố đảo bit đơn lẻ (SEU), nơi các tia vũ trụ làm đảo các bit riêng lẻ trong bộ nhớ hoặc bộ xử lý. Mặc dù các mạng thần kinh có một số độ dư thừa nội tại, ngay cả những lỗi đảo bit nhỏ trong các tham số mô hình cũng có thể dẫn đến những thay đổi lớn về chất lượng đầu ra và làm hỏng mô hình.