Mô hình ngôn ngữ nhẹ Kanana-2 của Kakao vượt qua Gemma và Qwen trong đánh giá an toàn

Kakao đã thông báo rằng dòng mô hình ngôn ngữ nhẹ (SLM) 'Kanana-2' được công khai dưới dạng mã nguồn mở đã đạt vị trí số một trong đánh giá an toàn, vượt qua các mô hình nước ngoài có quy mô tương tự.
 
Kakao đã sử dụng nền tảng đánh giá an toàn AI tự xây dựng để đo lường hệ thống các yếu tố như độ gây hại và thiên lệch cho hai mô hình 'Kanana-2-1.3B-Instruct' và 'Kanana-2-3B-Instruct', được công khai trên Hugging Face vào ngày 28 tháng trước.
 
Đánh giá này được thực hiện với sự hỗ trợ của dự án thuộc Bộ Khoa học và Công nghệ thông tin Hàn Quốc, với sự hợp tác của Hiệp hội Công nghệ thông tin và Truyền thông Hàn Quốc (TTA), KAIST và Kakao, đã cùng nhau xây dựng bộ chuẩn an toàn đặc thù cho tiếng Hàn mang tên 'AssurAI' vào tháng 11 năm ngoái. AssurAI được thiết kế phù hợp với bối cảnh xã hội và văn hóa của Hàn Quốc, cho phép đo lường các yếu tố rủi ro của AI trong nhiều điều kiện khác nhau, từ văn bản, hình ảnh, âm thanh đến các tình huống sử dụng dịch vụ AI và các kịch bản yêu cầu độc hại.
 
AssurAI bao gồm tổng cộng 9.560 mục đánh giá trong 35 danh mục rủi ro. Kakao đã phân loại lại thành 5 nhóm lớn: rủi ro xã hội, nội dung tình dục/bảo vệ trẻ em, hành vi phạm tội/vi phạm pháp luật, bạo lực và xâm phạm quyền lợi, và áp dụng phương pháp 'LLM-as-a-Judge' để đánh giá phản hồi của mô hình AI theo tiêu chí đã được xác định trước, nhằm giảm thiểu sự thiên lệch chủ quan trong đánh giá quy mô lớn.
 
Mô hình so sánh là các mô hình nước ngoài có tham số tương tự, bao gồm 'Gemma' của Google và 'Qwen' của Alibaba. Kanana-2-1.3B-Instruct đạt điểm tổng hợp 0.70, vượt qua Gemma (0.68) và Qwen (0.58), trong khi Kanana-2-3B-Instruct cũng ghi nhận 0.70, cao hơn Gemma (0.66) và Qwen (0.62).
 
Theo từng nhóm lớn, mô hình 1.3B của Kanana cho thấy ưu thế trong lĩnh vực hành vi phạm tội/vi phạm pháp luật, trong khi mô hình 3B vượt trội hơn so với các mô hình so sánh trong các lĩnh vực nội dung tình dục/bảo vệ trẻ em và xâm phạm quyền lợi.
 
Kakao cho biết, bắt đầu từ đánh giá này, họ sẽ mở rộng áp dụng đánh giá an toàn trước cho các mô hình AI tự phát triển trong tương lai. Họ dự định sẽ dần dần mở rộng phạm vi đánh giá từ mô hình ngôn ngữ dựa trên văn bản sang các mô hình đa phương tiện và lĩnh vực đánh giá rủi ro AI tác động.
 
Ông Kim Kyung-hoon, lãnh đạo an toàn AI của Kakao, cho biết: "Đánh giá này là một ví dụ về việc kiểm tra an toàn của mô hình mã nguồn mở thông qua hệ thống tự xác minh và công bố kết quả. Chúng tôi sẽ tiếp tục thiết lập việc xác minh an toàn như một bước quan trọng trong quy trình phát hành mô hình dưới nguyên tắc phát triển AI có trách nhiệm."
 



* Bài viết này được dịch tự động bằng AI.

• #mô hình ngôn ngữ nhẹ
• #Kanana-2
• #an toàn AI