~/AUDIO AI/xiaomi-open-sources-midashenglm-spatial-for-end-to-end-spatial-audio-understanding

Xiaomi mã nguồn mở MiDashengLM-Spatial cho mô hình hiểu âm thanh không gian đầu cuối

Xiaomi đã chính thức mã nguồn mở mô hình MiDashengLM-Spatial theo giấy phép Apache 2.0, đây là mô hình ngôn ngữ lớn hiểu âm thanh không gian đầu cuối đầu tiên trong ngành. Được xây dựng dựa trên mô hình nền tảng MiDashengLM-7B, mô hình này tích hợp một mô-đun điều kiện hóa ngữ cảnh sang không gian phân cấp (HSSC) để nhận diện cả nội dung âm thanh lẫn sự phân bố không gian của chúng. Sự ra mắt này đánh dấu bước chuyển dịch của trí tuệ nhân tạo âm thanh từ việc chỉ hiểu nội dung ngữ nghĩa sang việc nhận thức môi trường vật lý và vị trí của âm thanh. Trí thông minh không gian như vậy đóng vai trò cốt lõi trong việc nâng cao trải nghiệm tương tác trong hệ sinh thái nhà thông minh và buồng lái xe thông minh. Mô hình công bố toàn bộ trọng số (weights) và mã suy luận (inference code), nổi bật với các tính năng được xây dựng thông qua mô-đun điều kiện hóa ngữ cảnh sang không gian phân cấp giúp thu thập và tích hợp dữ liệu ngữ nghĩa và không gian một cách riêng biệt. Nó được thiết kế để tích hợp vào hệ sinh thái 'Người-Xe-Nhà' của Xiaomi.

## KIẾN THỨC NỀN

Hiểu âm thanh không gian mở rộng khả năng AI âm thanh truyền thống bằng cách xử lý các tín hiệu đa kênh để xác định không chỉ nội dung đang được nói hay phát ra, mà còn chính xác vị trí phát sinh âm thanh trong không gian 3 chiều. Các mô hình ngôn ngữ lớn đa phương thức kết hợp đầu vào văn bản, âm thanh và hình ảnh để suy luận về các môi trường thực tế phức tạp.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#Audio AI#Large Language Models#Open Source#Spatial Audio#Xiaomi

$ subscribe --daily

Xiaomi mã nguồn mở MiDashengLM-Spatial cho mô hình hiểu âm thanh không gian đầu cuối | Daily News