~/LOCAL FIRST/building-lamplight-lessons-from-a-custom-local-first-ai-harness

Building Lamplight: Lessons from a Custom Local-First AI Harness

An experienced developer shared architectural lessons from creating 'Lamplight,' a custom local-first AI harness running across an RTX 5090 PC and an M5 Max MacBook Pro. The setup handles about 95% of the developer's daily coding, research, and hobby tasks locally using git worktrees and an event-driven job system. This project demonstrates the practical viability of production-grade, multi-device local AI architectures for complex software engineering workflows. It proves that combining high-end consumer hardware with a well-designed orchestration harness can achieve performance and code quality rivaling cloud-based solutions. The harness utilizes Pi-Bolt with custom extensions, running models like Qwen 3.8 Flash-Next on both machines with a 262K context window. Performance benchmarks showed decoding speeds of over 300 tokens per second on the RTX 5090 and high accuracy scores on coding benchmarks like HumanEval and LiveCodeBench.

## BACKGROUND

Kiến trúc phần mềm cục bộ (local-first) lưu trữ dữ liệu và thực thi tác vụ chủ yếu trên thiết bị riêng của người dùng thay vì các máy chủ đám mây từ xa, đảm bảo quyền riêng tư và khả năng ngoại tuyến. Hệ thống trợ lý AI (agent harness) đóng vai trò là tầng điều phối thời gian chạy giúp vận hành các mô hình ngôn ngữ, quản lý trạng thái và ngữ cảnh hội thoại, cũng như thực thi các lệnh gọi công cụ.

## REFERENCES

## KEYWORDS

#Local-First#LLM#Hardware Architecture#AI Agents

$ subscribe --daily