Mistral AI Phát Hành Dòng Mô Hình Nền Tảng Chuỗi Thời Gian Timestral
Mistral AI đã ra mắt Timestral, một dòng mô hình nền tảng transformer dựa trên bản vá (patch-based) được thiết kế cho dự báo chuỗi thời gian không cần huấn luyện lại (zero-shot), có sẵn ở các kích thước từ 5 triệu đến 209 triệu tham số. Các mô hình này hỗ trợ cả dự báo đơn biến và đa biến, bối cảnh dài lên đến 32.768 bước lịch sử và dự đoán xác suất qua 21 phân vị. Việc phát hành này mở rộng danh mục của Mistral AI vượt ra ngoài các mô hình văn bản và ngôn ngữ để đi vào dự báo số liệu chuyên dụng, mang lại các năng lực tiên tiến dựa trên transformer cho phân tích chuỗi thời gian doanh nghiệp. Việc cung cấp trọng số mở cho phép các nhà nghiên cứu và nhà phát triển dễ dàng chạy dự báo zero-shot và tái tạo các điểm chuẩn trên nhiều lĩnh vực công nghiệp khác nhau. Mô hình chủ lực 209 triệu tham số có kiến trúc transformer dựa trên bản vá 24 lớp với chiều nhúng 768, xử lý 32 bước thời gian cho mỗi bản vá. Nó có thể dự báo tới 1.024 bước trong một lần truyền thuận duy nhất, đồng thời xử lý các khoảng thời gian dài hơn theo từng khối bằng PyTorch trên CPU hoặc GPU.
## KIẾN THỨC NỀN
Dự báo chuỗi thời gian liên quan đến việc dự đoán các giá trị tương lai dựa trên các điểm dữ liệu được ghi nhận trước đó, đóng vai trò quan trọng trong các lĩnh vực như tài chính, năng lượng và quản lý chuỗi cung ứng. Dự báo zero-shot cho phép một mô hình được huấn luyện trước đưa ra các dự đoán chính xác trên các tập dữ liệu hoàn toàn mới mà không cần tinh chỉnh riêng cho tác vụ đó. Các biến phụ thuộc (covariate) là các biến phụ trợ bên ngoài—chẳng hạn như điều kiện thời tiết hoặc lịch khuyến mại—có thể ảnh hưởng đến các giá trị mục tiêu chính đang được dự báo.