Nhà phát triển tạo mô hình ngôn ngữ "viết tay" để nghiên cứu ảo tưởng về trí thông minh

Một nhà phát triển AI từ Starpower Technology đang tạo ra một mô hình ngôn ngữ siêu nhỏ với tập dữ liệu huấn luyện được viết tay hoàn toàn bởi một người duy nhất. Phát triển dựa trên mô hình 43 triệu tham số trước đó, dự án này nhằm mục đích thiết kế thủ công từng phản hồi để quan sát cách dữ liệu được trau dồi ảnh hưởng đến cảm giác thông minh của mô hình. Thử nghiệm này thách thức xu hướng của ngành công nghiệp vốn phụ thuộc vào các tập dữ liệu tiền huấn luyện tự động khổng lồ và số lượng tham số lớn để tạo ra hành vi thông minh. Bằng cách chứng minh việc tinh chỉnh dữ liệu thủ công tỉ mỉ có thể mô phỏng trí thông minh trên các mô hình cực nhỏ, dự án làm nổi bật tầm quan trọng vượt trội của chất lượng dữ liệu so với quy mô thuần túy. Mô hình sắp ra mắt được thiết kế nhỏ hơn mức 43 triệu tham số, sử dụng tập dữ liệu cực nhỏ nhằm phục vụ việc thử nghiệm nhanh chóng. Năng lực của mô hình sẽ bị giới hạn nghiêm ngặt ở các tác vụ trò chuyện cơ bản, giải thích khái niệm dự đoán token và các ví dụ lập trình đơn giản như viết vòng lặp đếm đến 10.