Phó Chủ tịch Microsoft GitHub mã nguồn mở công cụ giám sát GPU 'gputaskman'
Phó Chủ tịch Microsoft và GitHub Scott Hanselman đã mã nguồn mở công cụ 'gputaskman', một tiện ích giám sát GPU mới cung cấp chi tiết cấp độ tiến trình chi tiết, bao gồm cả hoạt động của mô hình ngôn ngữ lớn cục bộ (LLM), trên các nền tảng Windows, Linux, WSL và macOS. Công cụ này khắc phục những hạn chế của các trình giám sát hệ thống thông thường như Trình quản lý tác vụ Windows bằng cách cung cấp khả năng hiển thị chi tiết hơn về những gì các tiến trình cụ thể và khối lượng công việc AI đang thực hiện với phần cứng đồ họa. Tiện ích thử nghiệm ban đầu này theo dõi mức sử dụng GPU, VRAM, nhiệt độ, công suất, tần số xung nhịp, hoạt động của bộ mã hóa/giải mã, lưu lượng PCIe và các thông tin chi tiết cụ thể cho các LLM chạy cục bộ như môi trường thời gian chạy và phương pháp lượng tử hóa.
## KIẾN THỨC NỀN
Trình quản lý tác vụ Windows và các màn hình theo dõi của nhà sản xuất thường hiển thị tổng mức sử dụng GPU và việc sử dụng VRAM cơ bản của tiến trình, nhưng lại thiếu các thông tin chi tiết chuyên sâu dành riêng cho ứng dụng. Các công cụ LLM cục bộ chạy các mô hình AI lớn trực tiếp trên phần cứng của người dùng, khiến việc theo dõi tài nguyên chuyên specialized trở nên thiết yếu để tối ưu hóa hiệu suất.