Xây dựng Lamplight: Bài học từ hệ thống trợ lý AI cục bộ tùy chỉnh
Một lập trình viên giàu kinh nghiệm đã chia sẻ các bài học kiến trúc từ việc tạo ra 'Lamplight', một hệ thống trợ lý AI cục bộ (local-first) tùy chỉnh chạy trên PC trang bị RTX 5090 và MacBook Pro M5 Max. Thiết lập này xử lý khoảng 95% công việc lập trình, nghiên cứu và sở thích hàng ngày của nhà phát triển tại chỗ thông qua git worktrees và một hệ thống tác vụ hướng sự kiện. Dự án này chứng minh tính khả thi thực tế của kiến trúc AI cục bộ đa thiết bị đạt chuẩn sản xuất cho các quy trình kỹ thuật phần mềm phức tạp. Nó cho thấy việc kết hợp phần cứng người dùng cao cấp với một hệ thống điều phối được thiết kế tốt có thể đạt được hiệu suất và chất lượng mã nguồn sánh ngang với các giải pháp dựa trên đám mây. Hệ thống sử dụng Pi-Bolt kết hợp với các tiện ích mở rộng tùy chỉnh, chạy các mô hình như Qwen 3.8 Flash-Next trên cả hai máy với cửa sổ ngữ cảnh 262K. Các bài kiểm tra hiệu suất cho thấy tốc độ giải mã vượt quá 300 token mỗi giây trên RTX 5090 và đạt điểm độ chính xác cao trên các bộ benchmark lập trình như HumanEval và LiveCodeBench.
## KIẾN THỨC NỀN
Kiến trúc phần mềm cục bộ (local-first) lưu trữ dữ liệu và thực thi các tác vụ chủ yếu trên thiết bị của người dùng thay vì các máy chủ đám mây từ xa, đảm bảo tính riêng tư và khả năng hoạt động ngoại tuyến. Hệ thống trợ lý AI đóng vai trò là lớp điều phối thời gian chạy giúp vận hành các mô hình ngôn ngữ, quản lý trạng thái hội thoại và ngữ cảnh, cũng như thực thi các lệnh gọi công cụ.