~/DIFFUSION MO/nvidia-releases-nemotron-labs-sigma-8b-and-3b-continuous-diffusion-language-models

NVIDIA phát hành các mô hình ngôn ngữ khuếch tán liên tục Nemotron-Labs-Sigma 8B và 3B

NVIDIA đã giới thiệu các mô hình Nemotron-Labs-Sigma-8B-instruct và 3B, đây là các mô hình ngôn ngữ khuếch tán liên tục được thiết kế để tạo văn bản song song. Thay vì tạo token tự hồi quy truyền thống, chúng khử nhiễu Gaussian trong không gian nhúng token liên tục 16 chiều bằng cách sử dụng các bộ lấy mẫu DDPM hoặc DDIM. Bản phát hành này đánh dấu một sự thay đổi kiến trúc đáng kể trong lĩnh vực LLM mã nguồn mở, chuyển từ phương pháp tự hồi quy từng token truyền thống sang giải mã khối song song. Nó giúp tăng tốc độ tạo văn bản thông qua việc lấy mẫu song song theo khối mà vẫn duy trì độ chính xác suy luận cạnh tranh. Các mô hình sử dụng kiến trúc Transformer chỉ giải mã theo phong cách Ministral kết hợp với phần đầu tạo khuếch tán liên tục hỗ trợ độ dài ngữ cảnh 8.192 token. Chúng được triển khai bằng PyTorch thuần túy và tải qua các thư viện transformers tiêu chuẩn mà không yêu cầu nhân tùy chỉnh hay các framework huấn luyện phức tạp.

## KIẾN THỨC NỀN

Mô hình ngôn ngữ khuếch tán liên tục áp dụng các khái niệm từ mô hình khuếch tán tạo sinh hình ảnh vào văn bản bằng cách hoạt động trong không gian nhúng liên tục thay vì các danh mục token rời rạc. Các mô hình khuếch tán xác suất khử nhiễu (DDPM) và mô hình khuếch tán ẩn khử nhiễu (DDIM) là các kỹ thuật lấy mẫu lặp đi lặp lại được sử dụng để làm sạch nhiễu dần dần nhằm tạo ra các đầu ra mạch lạc.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#Diffusion Models#Large Language Models#NVIDIA#Machine Learning#Open Source AI

$ subscribe --daily