Thomson Reuters Ra Mắt Thomson-1.0-Small, Mô Hình LLM Chuyên Biệt Cho Ngành Luật Và Thuế
Thomson Reuters đã phát hành Thomson-1.0-Small, một mô hình ngôn ngữ lớn dạng Mixture-of-Experts (MoE) 35B được tối ưu hóa riêng cho lĩnh vực luật và thuế. Mô hình này được phát triển với sự hợp tác của Safe Sign, một startup AI được công ty mua lại, và được huấn luyện trên một phần dữ liệu pháp lý độc quyền của Thomson Reuters. Sự kiện ra mắt này đánh dấu một bước tiến quan trọng trong lĩnh vực AI chuyên biệt, cung cấp cho các chuyên gia pháp lý một công cụ chuyên sâu có khả năng vượt trội hơn các mô hình đa dụng trong lập luận pháp lý. Nó cũng chứng minh cách các nhà xuất bản lớn có thể tận dụng tập dữ liệu độc quyền để xây dựng các mô hình chuyên ngành hiệu quả về chi phí và có hiệu suất cao. Mô hình này sở hữu cửa sổ ngữ cảnh lên tới 262.144 token, đạt điểm trung bình 74,6 trên các bài kiểm tra của Hugging Face và được phát hành theo giấy phép Polyform Strict 1.0.0. Chi phí huấn luyện mô hình khoảng 40 triệu USD, sử dụng chưa đến 10% dữ liệu pháp lý của Thomson Reuters, và bước đầu được triển khai trong tính năng Tabular Analysis của CoCounsel Legal.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn đa dụng thường gặp khó khăn với các thuật ngữ phức tạp, lập luận chặt chẽ và các yêu cầu tuân thủ của các lĩnh vực chuyên biệt như luật pháp và tài chính. Các LLM chuyên biệt giải quyết những hạn chế này bằng cách huấn luyện hoặc tinh chỉnh mô hình trên các tập dữ liệu đặc thù của ngành, giúp chúng thực hiện các tác vụ chuyên môn với độ chính xác cao hơn và ít xảy ra hiện tượng "ảo tưởng" hơn.