Kỹ sư DeepSeek suy ngẫm về việc AI tự động hóa tối ưu hóa toán tử GPU

Một kỹ sư hệ thống ML tại DeepSeek đã chia sẻ những suy ngẫm về việc các mô hình AI đang nhanh chóng làm chủ kỹ thuật tối ưu hóa toán tử CUDA, PTX và SASS cấp thấp, có nguy cơ tự động hóa các vai trò lập trình hệ thống chuyên sâu chỉ trong vài tháng. Kỹ sư này, người trực tiếp viết toán tử Attention chính cho DeepSeek v4.1, ghi nhận sự tiến bộ của AI từ một công cụ hỗ trợ lập trình đơn giản thành một hệ thống tối ưu hóa tự thấu hiểu thời gian trễ của lệnh. Góc nhìn từ người trong cuộc này minh họa sự bắt đầu của quá trình tự cải tiến đệ quy thực tế, nơi các hệ thống AI thúc đẩy sự phát triển của hạ tầng thực thi của chính mình. Điều này nhấn mạnh áp lực khốc liệt của cuộc đua AI, buộc ngay cả các kỹ sư hệ thống hàng đầu cũng phải dự đoán sự thay đổi nghề nghiệp khi LLM tự động hóa các tối ưu hóa phần cứng cấp thấp. Tác giả ghi nhận rằng các tác vụ AI có thể kiểm tra các lệnh GPU cấp hợp ngữ, phân tích thời gian trễ phần cứng và thực hiện vòng lặp sinh mã nhanh hơn nhiều so me với kỹ sư con người. Dù nhận thức được sự cay đắng khi viết ra mã nguồn đẩy nhanh quá trình thay thế công việc của chính mình, kỹ sư này coi việc tham gia vào vòng lặp cạnh tranh này là điều không thể tránh khỏi.