JD.com nguồn mở hóa JoyAI-Video-Edit, mô hình chỉnh sửa video luồng thời gian thực

JD.com đã mở nguồn JoyAI-Video-Edit, một mô hình chỉnh sửa video luồng thời gian thực cho phép người dùng sửa đổi nhân vật và cảnh quan ngay khi video đang phát. Mô hình này hỗ trợ các video có độ dài bất kỳ và đạt tốc độ suy luận 30 khung hình/giây ở độ phân giải 720p. Mô hình này chuyển dịch việc sáng tạo video từ hậu kỳ sang chỉnh sửa tương tác thời gian thực, mở ra những khả năng mới cho livestream, thiết kế nội thất và tạo dữ liệu tổng hợp cho trí tuệ nhân tạo hiện thân (embodied AI). Nó vượt trội hơn các mô hình hiện có như LiveEdit và SANA Streaming trên các bài kiểm tra tiêu chuẩn như OpenVE-Bench. Được xây dựng trên mô hình JoyAI-Video tự phát triển, JoyAI-Video-Edit có thể chuyển đổi chuyển động tay của con người trong video thành hành động của cánh tay robot trong khi vẫn giữ nguyên các mối quan hệ không gian, giúp mở rộng quy mô dữ liệu huấn luyện robot. Mã nguồn và trọng số của mô hình đã được công bố công khai trên GitHub và Hugging Face.