Sentient OS: Agent AI nội bộ chủ động và mã nguồn mở dành cho macOS
Một nhà phát triển đã giới thiệu Sentient OS, một agent AI nội bộ mã nguồn mở chạy trực tiếp trên thiết bị để lập chỉ mục dữ liệu cá nhân như email, tin nhắn và ảnh chụp màn hình. Hệ thống này chủ động đề xuất và thực hiện các tác vụ vào ban đêm bằng cách tự động đánh thức máy Mac lúc 3 giờ sáng để xây dựng cơ sở tri thức cục bộ. Dự án này chứng minh một trường hợp sử dụng thực tế cho các LLM chạy cục bộ, giải quyết các mối lo ngại về quyền riêng tư và chi phí API cao liên quan đến các agent AI dựa trên đám mây. Bằng cách giữ dữ liệu thô trên thiết bị, nó mang lại một trợ lý cá nhân hóa cao có thể tương tác an toàn với thông tin nhạy cảm của người dùng. Sentient OS chạy một mô hình Gemma 4 tùy chỉnh trên một nhánh rẽ (fork) của LiteRT-LM cho 90% khối lượng công việc, và dựa vào một mô hình tiên tiến (frontier model) do người dùng cung cấp (như Qwen 3.7 hoặc Kimi K3) cho 10% lập luận phức tạp còn lại. Ứng dụng yêu cầu chip Apple Silicon (M1 trở lên), hệ điều hành macOS 15+ và tối thiểu 8 GB RAM.
## KIẾN THỨC NỀN
Suy luận LLM cục bộ (local inference) cho phép các mô hình ngôn ngữ chạy trực tiếp trên phần cứng của người dùng mà không cần gửi dữ liệu đến các máy chủ bên ngoài. LiteRT-LM là lớp điều phối hiệu năng cao của Google được thiết kế để chạy các LLM trên thiết bị, trong khi Gemma là dòng mô hình trọng số mở, dung lượng nhẹ của Google.