Ứng dụng tác vụ AI máy tính để bàn mã nguồn mở chạy cục bộ trên Ollama

Nhà phát triển của ứng dụng máy tính để bàn mã nguồn mở dodaios đã trình diễn việc chạy các tác vụ AI cục bộ sử dụng Ollama với các mô hình Qwen trên GPU 16GB. Buổi trình diễn làm nổi bật các quy trình làm việc đa tác vụ, công cụ giọng nói cục bộ và những thách thức hiện tại khi gọi công cụ bằng mô hình cục bộ. Màn trình diễn này chứng minh tính khả thi của việc sử dụng phần cứng phổ thông để chạy các quy trình làm việc AI đa tác vụ riêng tư hoàn toàn ngoại tuyến mà không phụ thuộc vào dịch vụ đám mây. Nó làm rõ các năng lực và hạn chế hiện tại của việc vận hành các mô hình mã nguồn mở cỡ trung bình cho các tác vụ phức tạp. Được thử nghiệm trên card đồ họa RTX 5070 Ti với 16GB VRAM, ứng dụng sử dụng các mô hình Qwen mất từ 71 đến 116 giây để phản hồi, mặc dù các mô hình cục bộ gặp lỗi khi thực hiện các quy trình gọi công cụ phức tạp. Ứng dụng được xây dựng với backend Python FastAPI và frontend React, đi kèm tính năng bộ nhớ wiki cục bộ và kiểm tra rủi ro đa cấp độ.