Phát hành Heretic 2.0: Khung chỉnh sửa mô hình ngôn ngữ lớn đa mục đích
Heretic 2.0 đã được phát hành như một bản cập nhật lớn, chuyển hóa từ một công cụ gỡ bỏ kiểm duyệt thành khung chỉnh sửa mô hình ngôn ngữ lớn (LLM) đa mục đích. Phiên bản này giới thiệu phương pháp Khử nhiễu bậc tùy ý (ARA) để thay thế kỹ thuật abliteration định hướng truyền thống và áp dụng kiến trúc mô-đun xoay quanh các plugin Python. Bản phát hành này mở rộng đáng kể khả năng tinh chỉnh mô hình mã nguồn mở bằng cách cho phép các nhà phát triển loại bỏ nội dung rườm rác, giảm tính ba hoa nịnh bợ (sycophancy) và thay đổi sự căn chỉnh cảm xúc bên cạnh việc gỡ bỏ kiểm duyệt thông thường. Nó trao quyền cho cộng đồng tinh chỉnh hành vi của mô hình một cách hiệu quả mà không cần huấn luyện lại nặng nhọc. Heretic 2.0 giới thiệu phương pháp Khử nhiễu bậc tùy ý (ARA) sử dụng bộ tối ưu hóa L-BFGS để điều hướng biểu diễn của mô hình mà không bị giới hạn bậc. Phần mềm đã được cấu trúc lại hoàn toàn dựa trên các plugin chấm điểm và sửa đổi có thể tùy chỉnh, mặc dù nó không tương thích ngược với các cấu hình của Heretic 1.x.
## KIẾN THỨC NỀN
Các mô hình ngôn ngữ lớn thường được căn chỉnh bằng các kỹ thuật như Học tăng cường từ phản hồi của con người (RLHF), điều này có thể dẫn đến các hành vi từ chối cứng nhắc hoặc các đặc điểm hội thoại không mong muốn như tính nịnh bợ. Nghiên cứu khả năng diễn giải cơ học trước đây cho thấy các phản xạ từ chối an toàn thường được trung gian bởi các hướng tuyến tính cụ thể trong không gian kích hoạt của mô hình, một khái niệm mà các công cụ như Heretic can thiệp để thay đổi hành vi mô hình.