Llama.garden Ra Mắt BitTorrent và Web Seed Giúp Phân Phối LLM Phi Tập Trung
Nhà phát triển của llama.garden đã cập nhật dự án nhằm cho phép phân phối các mô hình ngôn ngữ lớn (LLM) nhanh chóng và phi tập trung bằng BitTorrent và web seed. Các cập nhật chính bao gồm một API giúp phân giải và lưu bộ nhớ đệm các URL CDN của Hugging Face, mã nguồn mở cho các tập lệnh quản lý seed box, và cải thiện khả năng tương thích với các ứng dụng torrent. Việc tải xuống các tệp LLM dung lượng lớn thường gây quá tải băng thông và các máy chủ trung tâm như Hugging Face. Bằng cách tận dụng mạng ngang hàng torrent và web seed, dự án này cung cấp một giải pháp thay thế có khả năng mở rộng, chống giả mạo và nhanh hơn để cộng đồng AI chia sẻ và tải xuống các mô hình. Hệ thống sử dụng các web seed dựa trên HTTP để tăng tốc độ gieo hạt (seeding) ban đầu trước khi dựa vào phân phối ngang hàng, và các tệp torrent được liên kết chặt chẽ với các commit cụ thể trên Hugging Face để ngăn chặn giả mạo. Mặc dù khả năng tương thích với qBittorrent đã được cải thiện, ứng dụng Transmission hiện vẫn được khuyến nghị sử dụng nhờ khả năng xử lý web seed vượt trội.
## KIẾN THỨC NỀN
BitTorrent là một giao thức ngang hàng phi tập trung được sử dụng để chia sẻ các tệp tin lớn, trong đó "web seed" cho phép các ứng dụng tải xuống các phần của torrent trực tiếp từ các máy chủ web HTTP truyền thống. Hugging Face là kho lưu trữ hàng đầu để lưu trữ các mô hình AI mã nguồn mở, nhưng việc tải xuống các trọng số mô hình nặng hàng gigabyte từ Mạng phân phối nội dung (CDN) của họ có thể chậm và tốn tài nguyên. Việc kết hợp các công nghệ này cho phép người dùng tải xuống các mô hình từ cả mạng ngang hàng và máy chủ chính thức cùng một lúc.