~/AI/edge0-145b-open-source-on-device-ai-with-145b-parameters

Edge0-145B: Mô hình AI mã nguồn mở chạy trên thiết bị với 145 tỷ tham số

Edge0 đã ra mắt Edge0-145B, mô hình AI mã nguồn mở chạy trên thiết bị đầu tiên trên thế giới có 145 tỷ tham số. Được phát hành vào ngày 12 tháng 11 năm 2026 cùng với Edge0-120B, mô hình này mang lại các khả năng lập trình, suy luận và tác nhân nâng cao trực tiếp cho máy tính cá nhân. Sự ra mắt này thách thức quan niệm cho rằng các mô hình quy mô lớn cấp độ biên phải cần các trung tâm dữ liệu đám mây tập trung để vận hành. Bằng cách cho phép các mô hình có tham số cao chạy cục bộ trên phần cứng tiêu dùng thông thường, nó nâng cao quyền riêng tư của người dùng, giảm sự phụ thuộc vào đám mây và đẩy mạnh giới hạn của điện toán biên. Mô hình này sử dụng các tính năng kiến trúc đổi mới như Hỗn hợp chuyên gia tiềm ẩn (Latent MoE), trọng số được phát trực tuyến qua SSD và một bộ định tuyến tải dự đoán để chạy hiệu quả trên một GPU duy nhất hoặc máy tính xách tay. Các nhà phát triển có thể truy cập trọng số trên Hugging Face cùng với các công cụ suy luận chuyên dụng như edge0-infer và edge0-strata trên GitHub.

## KIẾN THỨC NỀN

AI trên thiết bị đề cập đến việc chạy các mô hình trí tuệ nhân tạo cục bộ trên các thiết bị tiêu dùng như máy tính xách tay hoặc điện thoại thông minh thay vì các máy chủ từ xa. Các Mô hình Ngôn ngữ Lớn (LLM) có số lượng tham số cao trước đây đòi hỏi phần cứng cấp máy chủ nặng nề, nhưng các kỹ thuật nén và phát trực tuyến hiện nay đã giúp việc thực thi cục bộ trở nên khả thi.

## TÀI LIỆU THAM KHẢO

## TỪ KHÓA

#AI#Large Language Models#Open Source#Edge Computing

$ subscribe --daily