~/LLAMA CPP/llama-cpp-release-b12233-adds-external-ple-file-loading

Bản phát hành b12233 của llama.cpp bổ sung khả năng tải tệp PLE bên ngoài

Bản phát hành b12233 của llama.cpp giới thiệu tính năng hỗ trợ tải các tệp PLE bên ngoài bằng cách tích hợp chúng vào đường dẫn tải mô hình đa phân đoạn (multi-shard). Cập nhật này coi tùy chọn --ple là một biệt danh (alias) của --shard, cho phép người dùng chỉ định nhiều vị trí phân đoạn và tải các tệp chia tách một cách tường minh. Bản cập nhật này giúp đơn giản hóa việc quản lý các mô hình lớn được phân phối trên nhiều tệp hoặc các vị trí tùy chỉnh, tạo điều kiện thuận lợi hơn cho các kỹ sư chạy các mô hình ngôn ngữ cục bộ phức tạp. Việc quản lý mô hình đa phân đoạn được cải thiện giúp tăng tính linh hoạt khi xử lý các trọng số tensor khổng lồ vượt quá giới hạn của một tệp duy nhất. Cập nhật này biến `--ple` thành một biệt danh cho `--shard`, trong đó cả hai đều chấp nhận danh sách phân tách bằng dấu phẩy và có thể được sử dụng nhiều lần. Ngoài ra, các tệp tường minh nằm ngoài tập hợp tự động phát hiện sẽ được đính kèm dưới dạng các phân đoạn bổ sung, được miễn các kiểm tra số lượng chia tách nghiêm ngặt trừ khi áp dụng các cờ bỏ qua cụ thể.

## KIẾN THỨC NỀN

llama.cpp là một thư viện mã nguồn mở cho phép thực thi suy luận hiệu quả cho các mô hình ngôn ngữ lớn như Llama của Meta cục bộ bằng ngôn ngữ C/C++. Phân đoạn mô hình (model sharding) là một kỹ thuật được sử dụng để chia các mô hình trí tuệ nhân tạo nguyên khối thành các phần nhỏ hơn, dễ phân phối hơn nhằm quản lý các giới hạn về bộ nhớ trên các thiết bị hoặc hệ thống lưu trữ khác nhau.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#llama.cpp#llm#ai#machine-learning#open-source

$ subscribe --daily