Simon Willison khám phá khả năng tạo âm nhạc Web Audio của LLM với Scrimshaw Jukebox

Simon Willison đã chia sẻ một thử nghiệm trong đó mô hình Claude của Anthropic thiết kế một định dạng ghi chú âm nhạc dạng văn bản tùy chỉnh và xây dựng trình phát nhạc tổng hợp Web Audio cổ điển có tên Scrimshaw Jukebox. Artifact web được tạo ra bao gồm sáu bản nhạc trò chơi phiêu lưu gốc đi kèm với bản ký âm dạng văn bản có thể chỉnh sửa và các bộ điều khiển trực quan. Thử nghiệm này làm nổi bật khả năng ngày càng mở rộng của các mô hình ngôn ngữ lớn (LLM) trong việc xử lý các tác vụ sáng tạo đa phương thức phức tạp bằng cách kết nối biểu diễn văn bản, mã ứng dụng web và tổng hợp âm thanh trên trình duyệt. Nó cho thấy LLM có thể vừa sáng tác nhạc đa bề phức tạp vừa xây dựng các công cụ web hoạt động được chỉ từ một câu lệnh bằng văn bản. Bộ tổng hợp nhạc trên web được tạo ra có thể phát các bản nhạc đa âm hỗ trợ tới 16 giọng nhạc riêng biệt—như trống thép, marimba, sáo và bộ gõ tổng hợp—sử dụng Web Audio API tiêu chuẩn mà không cần tệp mẫu âm thanh. Người dùng có thể chỉnh sửa bản ký âm dạng văn bản thô, tắt tiếng từng kênh nhạc cụ, điều chỉnh tốc độ phát và lặp lại, cũng như theo dõi trực quan hóa piano-roll theo thời gian thực.