Nhìn Lại Tranh Cãi Về An Toàn Của GPT-2 Từ OpenAI Vào Năm 2019
Một bài đăng trên Reddit gần đây đã thu hút sự chú ý vào một bài báo năm 2019 của tờ Guardian, trong đó nêu chi tiết quyết định ban đầu của OpenAI về việc giữ lại mô hình GPT-2 hoàn chỉnh do những lo ngại về an toàn bị phóng đại đối với việc tạo văn bản độc hại. Việc chia sẻ lại này mang đến một góc nhìn hài hước về sự tiến hóa của nhận thức công cộng và sự thận trọng trong ngành công nghệ. Việc nhìn lại các mốc quan trọng thời kỳ đầu giúp làm nổi bật sự tăng tốc chóng mặt của các khả năng AI và cách mà các cuộc tranh luận về an toàn đã thay đổi theo thời gian khi các mô hình ngôn ngữ lớn trở nên phổ biến. Nó cung cấp bối cảnh lịch sử có giá trị cho các cuộc thảo luận hiện đại xung quanh quy định AI và chiến lược phát hành mã nguồn mở. Bài báo năm 2019 lưu ý rằng GPT-2 có 1,5 tỷ tham số và được huấn luyện trên tập dữ liệu dung lượng 40 GB lấy từ các liên kết trên Reddit. OpenAI ban đầu đã phá vỡ truyền thống bằng cách phát hành mô hình theo từng giai đoạn thay vì tung ra tất cả cùng lúc để có thời gian thảo luận về khả năng lạm dụng tiềm ẩn.
## KIẾN THỨC NỀN
GPT-2 là một mô hình ngôn ngữ lớn dựa trên kiến trúc transformer do OpenAI phát triển, đánh dấu một bước mở rộng quy mô đáng kể so với phiên bản tiền nhiệm bằng cách dự đoán token tiếp theo trên một tập dữ liệu khổng lồ gồm các trang web. Vào thời điểm ra mắt năm 2019, khả năng tạo văn bản giống con người của nó đã châm ngòi cho các cuộc tranh luận gay gắt trong ngành về những mối nguy hiểm của tin giả tự động.