KAIST phát triển công nghệ xác minh an toàn tìm ra 7 lần nhiều điểm yếu ẩn của AI

Nhóm nghiên cứu tại Học viện Khoa học và Công nghệ Hàn Quốc (KAIST) đã phát triển công nghệ xác minh an toàn có khả năng tìm ra các điểm yếu ẩn của trí tuệ nhân tạo (AI) đa dạng hơn khoảng 7 lần so với trước đây.

KAIST cho biết, nhóm nghiên cứu do Giáo sư Kim Jun-mo thuộc Khoa Kỹ thuật Điện và Điện tử dẫn dắt đã phát triển một khung công nghệ mới mang tên 'Stable-GFlowNet' nhằm cải thiện những hạn chế của công nghệ đội đỏ trong việc xác minh an toàn của mô hình ngôn ngữ lớn (LLM).

Công nghệ đội đỏ là một kỹ thuật xác minh an toàn, trong đó các prompt tấn công được nhập vào để khiến AI tạo ra các câu trả lời có hại hoặc nguy hiểm, từ đó phát hiện các điểm yếu ẩn của mô hình. Việc phát hiện nhiều loại tấn công khác nhau sẽ giúp loại bỏ nhiều điểm yếu trước khi chúng bị khai thác, vì vậy tỷ lệ thành công của tấn công và sự đa dạng của các cuộc tấn công đều là những yếu tố đánh giá quan trọng.

Công nghệ đội đỏ hiện tại dựa trên học tăng cường, có tỷ lệ thành công cao nhưng lại gặp khó khăn trong việc tìm ra nhiều loại tấn công khác nhau. Ngược lại, mạng lưới dòng sinh (GFlowNet) có sự đa dạng trong các cuộc tấn công nhưng lại gặp vấn đề về tính ổn định trong quá trình học. Nhóm nghiên cứu đã áp dụng GFlowNet vào mô hình ngôn ngữ lớn (LLM) để nâng cao tính ổn định trong học tập và thành công trong việc phát hiện hiệu quả nhiều điểm yếu khác nhau.

Để giải quyết vấn đề này, nhóm nghiên cứu đã phát triển ba công nghệ cốt lõi: △ 'Cân bằng quỹ đạo đối chứng' (CTB) để ổn định quá trình học tập, △ 'Cắt tỉa độ dốc nhiễu' (NGP) để loại bỏ thông tin không cần thiết, và △ 'Thiết bị ổn định lưu loát' (MKS) để hỗ trợ tạo ra các prompt tấn công tự nhiên.

Kết quả là, Stable-GFlowNet đã phát hiện được khoảng 134 loại tấn công, gấp 7 lần so với 17 loại tấn công mà công nghệ trước đó tìm ra, đồng thời duy trì tỷ lệ thành công tấn công cao tới 92%. Mô hình phòng thủ được đào tạo bằng công nghệ này đã chứng minh khả năng phòng thủ hiệu quả trước các cuộc tấn công chéo sử dụng các kỹ thuật tấn công khác nhau, với hiệu suất tổng quát cao.

Nhóm nghiên cứu kỳ vọng công nghệ này có thể được ứng dụng trong nhiều lĩnh vực tạo ra AI khác nhau, bao gồm thiết kế các hợp chất ứng viên thuốc.

Giáo sư Kim cho biết: "Công nghệ này có ý nghĩa trong việc phát hiện các điểm yếu đa dạng của AI một cách ổn định ngay cả trong môi trường có ít dữ liệu và nhiều nhiễu" và nhấn mạnh rằng "nó sẽ trở thành công nghệ nền tảng quan trọng cho việc phát triển AI an toàn và đáng tin cậy trước khi được áp dụng vào dịch vụ thực tế."




* Bài viết này được dịch tự động bằng AI.

• #mô hình ngôn ngữ lớn
• #công nghệ đội đỏ
• #an toàn AI