Library of Layers (LoL): Sắp xếp thích ứng các lớp Transformer khi chạy

Một bài báo nghiên cứu mới giới thiệu phương pháp 'Library of Layers' (LoL), cho phép sắp xếp động các khối transformer trong quá trình suy luận để điều chỉnh tính toán theo các tác vụ cụ thể. Cách tiếp cận này cho phép tái sử dụng tham số, độ thưa (sparsity) và định tuyến có thể diễn giải trên nhiều cài đặt suy luận, đa ngôn ngữ và an toàn. Phương pháp này mang lại một cách tiếp cận đổi mới đối với hiệu suất mô hình và tối ưu hóa kiến trúc bằng cách thay đổi cách các lớp transformer thực thi khi chạy. Nó có tiềm năng giúp các mô hình ngôn ngữ lớn trở nên hiệu quả và đa năng hơn mà không đòi hỏi các thiết kế mạng tĩnh hoàn toàn mới. Kỹ thuật này tập trung vào định tuyến thích ứng và sắp xếp thứ tự khối khi chạy, cho phép mô hình tận dụng động các lớp tham số của mình dựa trên nhu cầu tính toán tức thời. Các chi tiết bổ sung về điểm chuẩn hiệu năng cụ thể và chi phí phần cứng sẽ rất quan trọng cho việc triển khai thực tế.