Lập trình viên tinh chỉnh DiffusionGemma thành bộ tạo văn bản thành hình ảnh trừu tượng
Một lập trình viên đã tinh chỉnh thành công DiffusionGemma—một mô hình khuếch tán văn bản dựa trên nền tảng Gemma—thành một hệ thống tạo và chỉnh sửa hình ảnh thô sơ bằng cách sử dụng lượng dữ liệu và tài nguyên tính toán nhỏ. Bằng cách tái sử dụng các đầu ra và điền trước câu lệnh, mô hình đã được điều hướng để xuất ra các biểu diễn ẩn trực quan nguyên bản. Thử nghiệm vui tươi này cho thấy tính linh hoạt của các kiến trúc thử nghiệm như mô hình khuếch tán văn bản, chứng minh rằng chúng có thể được tái sử dụng một cách sáng tạo ngoài các thông số thiết kế ban đầu. Nó cung cấp cái nhìn về cách những người có sở thích tận dụng các quy trình do LLM hỗ trợ để khám phá các khả năng ngoài ý muốn trong các mô hình trọng số mở. Dự án liên quan đến việc huấn luyện một bộ giải mã tầm nhìn để diễn giải các mã thông báo mềm của mô hình, vá một lỗi thượng nguồn trong Transformers về sự chú ý của hình ảnh, và sử dụng quá trình tạo tự hồi quy khối để cải thiện các tác vụ thao tác hình ảnh.
## KIẾN THỨC NỀN
DiffusionGemma là một mô hình trí tuệ nhân tạo tạo sinh trọng số mở thử nghiệm do Google DeepMind phát hành, sử dụng quá trình khuếch tán rời rạc song song để tạo văn bản thay vì phương pháp tự hồi quy theo từng mã thông báo truyền thống. Các mô hình khuếch tán văn bản áp dụng các quá trình tinh chỉnh nhiễu lặp đi lặp lại vốn phổ biến trong việc tạo hình ảnh để tạo và xử lý dữ liệu văn bản nhanh hơn nhiều.