01CUDA Megakernel Tùy Chỉnh Giúp Mô Hình 27B Đạt 140 tok/s Trên RTX 3090REDDIT · /u/Adorable_Weakness_39 · reddit.com · 13:01 10 thg 1015d
02Suy luận LLM cục bộ tốc độ cao trên iPadOS qua GPU AMD gắn ngoàiREDDIT · /u/TheOriginalG2 · reddit.com · 01:20 09 thg 1016d
03Nhà phát triển dựng dàn PC 256GB VRAM giá 2.800 USD bằng GPU Radeon Pro V620 cùng bản fork vLLM tùy chỉnhREDDIT · /u/_TheWolfOfWalmart_ · reddit.com · 17:12 08 thg 1017d
04Huấn luyện lại DFlash 2 Drafter giúp tăng tốc Ternary Bonsai 2 27B lên đến 3,2xREDDIT · /u/naklitechie · reddit.com · 08:13 07 thg 1018d
05Động Cơ Strata Cho Phép Chạy Mô Hình MoE Qwen3.8 125B Trên GPU 12GBRSS · IT HOME · ithome.com · 07:45 06 thg 1019d
06Tốc độ giải mã LLM cục bộ cực nhanh khiến nút thắt hiệu năng chuyển sang CPUREDDIT · /u/BringTea_666 · reddit.com · 18:21 05 thg 1020d
07Qwen3.8-Flash-Next (125B) chạy đạt 59 tok/s trên Mini PC AMD Strix HaloREDDIT · /u/Yaniss916 · reddit.com · 15:25 05 thg 1020d
08Chạy mô hình Qwen MoE 176B trên laptop VRAM 16GB với TensorSharpREDDIT · /u/fuzhongkai · reddit.com · 20:06 03 thg 1021d
09Xu hướng mới của các bộ thực thi suy luận LLM chuyên biệt hóa caoREDDIT · /u/carteakey · reddit.com · 18:24 03 thg 1022d
10Động Cơ Strata Tăng Tốc Độ Suy Luận LLM Cục Bộ Lên 1.500 Token/GiâyREDDIT · /u/MLDataScientist · reddit.com · 04:01 30 thg 925d
11LlamAmpere v0.4 Đạt Trên 95 TPS Cho LLM 27B Trên Một Card RTX 3090 Duy NhấtREDDIT · /u/Brief-Tap-6616 · reddit.com · 18:35 28 thg 927d
12Tích hợp OpenVINO tăng tốc độ suy luận CPU của Laya lên 3,4 lầnREDDIT · /u/simpleuserhere · reddit.com · 00:37 25 thg 930d
13Engine Strata Đạt 65 Token/Giây Trên VRAM 12GB Nhờ Offloading Sang RAM Hệ ThốngREDDIT · /u/KnownAd4832 · reddit.com · 17:30 24 thg 931d
14ExllamaV3 và EXL3 Đạt Tốc Độ Thử Nghiệm Ấn Tượng Cho Mô Hình Flash NextREDDIT · /u/youcloudsofdoom · reddit.com · 18:10 20 thg 935d
15Tối ưu hóa suy luận LLM cục bộ trên cặp GPU NVIDIA Tesla V100 không đối xứngREDDIT · /u/OkBase5453 · reddit.com · 20:16 19 thg 935d
16Tối ưu hóa tốc độ Gemma TPS thông qua các bản vá mã nguồn vLLM tùy chỉnhREDDIT · /u/metalvendetta · reddit.com · 20:38 19 thg 935d
17Tìm kiếm công cụ suy luận LLM tốc độ cao như NInfer cho GPU 16GB VRAMREDDIT · /u/FerLuisxd · reddit.com · 12:31 19 thg 936d
18SGLang v0.5.20 Ra Mắt Hỗ Trợ Mô Hình Mới Và Tối Ưu Suy LuậnGITHUB · Qiaolin-Yu · github.com · 22:41 18 thg 936d
19CrofAI Bị Vạch Trần Là Kẻ Mạo Danh OpenRouter Trước Khi Xóa Toàn Bộ Dấu VếtREDDIT · /u/SorosAhaverom · reddit.com · 10:19 15 thg 940d
20Nhà phát triển ra mắt llamAmpere, bản fork llama.cpp tối ưu cho GPU AmpereREDDIT · /u/Brief-Tap-6616 · reddit.com · 01:32 15 thg 940d