KT, công nghệ định tuyến mô hình AI đứng thứ hai toàn cầu, chứng minh sức cạnh tranh của công nghệ Token Factory

KT đã công bố rằng công nghệ định tuyến mô hình trí tuệ nhân tạo (AI) tự phát triển mang tên 'AutoModelRouter' đã đạt vị trí thứ hai trong bảng xếp hạng tổng thể của benchmark công khai chuyên về mô hình ngôn ngữ lớn (LLM) 'RouterArena' vào ngày 27 tháng 9.

RouterArena là nền tảng đánh giá định tuyến LLM được phát triển bởi nhóm nghiên cứu tại Đại học Rice, Hoa Kỳ. Nền tảng này sử dụng khoảng 8.400 câu hỏi để đánh giá độ chính xác phản hồi, hiệu quả chi phí và độ bền vững trước sự thay đổi đầu vào của các bộ định tuyến AI.

Công nghệ 'AutoModelRouter' được công bố lần này đã được đăng ký trên bảng xếp hạng công khai với tên gọi 'KT-ModelRouter'. Nó đã đạt vị trí thứ hai trong lĩnh vực đánh giá độ chính xác và chi phí, được gọi là 'Acc-Cost Arena'.

KT cho biết, AutoModelRouter được thiết kế để đáp ứng các tiêu chí chất lượng mà doanh nghiệp yêu cầu trong khi vẫn nâng cao hiệu quả chi phí. Ví dụ, đối với các tác vụ như dịch thuật đơn giản hoặc xác minh thông tin, mô hình đáp ứng chất lượng cần thiết sẽ được sử dụng, trong khi các tác vụ yêu cầu phân tích chuyên sâu hoặc suy luận cao sẽ kết nối với các mô hình hiệu suất cao. Người dùng sẽ sử dụng một dịch vụ AI, nhưng trong hệ thống thực tế, các mô hình khác nhau sẽ được sử dụng tùy theo đặc điểm yêu cầu.

AutoModelRouter lần này cũng sẽ được áp dụng cho chức năng định tuyến mô hình 'Token Factory' mà KT đang triển khai. Qua đó, KT dự kiến sẽ tối ưu hóa chất lượng dịch vụ AI và giảm chi phí sử dụng token.

KT có kế hoạch tiếp tục nâng cao AutoModelRouter và xây dựng một môi trường vận hành đa mô hình có thể linh hoạt thêm các mô hình AI mới.

Ông Kim Jun-seok, Giám đốc phòng thí nghiệm AI của KT (giám đốc điều hành), cho biết: "Trong thời đại AI, không chỉ việc sở hữu một mô hình đơn lẻ xuất sắc mà còn việc sử dụng một cách thông minh mô hình tối ưu phù hợp với từng tình huống là rất quan trọng". Ông cũng nhấn mạnh rằng AutoModelRouter là công nghệ thể hiện khả năng điều phối AI, sẽ trở thành công nghệ cốt lõi hỗ trợ sức cạnh tranh của dịch vụ AI của KT trong tương lai.

Ngoài ra, KT cũng có kế hoạch áp dụng phương pháp định tuyến mô hình này cho dịch vụ 'AI cho mọi người' của chính phủ, dự kiến sẽ công bố phiên bản beta vào tháng 10 tới.



* Bài viết này được dịch tự động bằng AI.

• #công nghệ định tuyến
• #mô hình AI
• #KT