Sự gia tăng chi phí token thúc đẩy sự phát triển của AI FinOps… Krafton xây dựng bảng điều khiển chi phí
Chênh lệch giá token giữa các đại lý AI lớn… Kết hợp mô hình AI theo độ khó công việc
Các phương pháp tiết kiệm chi phí như API đơn và lưu trữ prompt cũng được chú ý
Quản lý chi phí token trí tuệ nhân tạo (AI) đang trở thành một thách thức mới cho các doanh nghiệp. Khác với việc đẩy nhanh việc áp dụng các mô hình AI hiệu suất cao trước đây, hiện nay, khả năng tối ưu hóa chi phí AI cho cùng một công việc đã trở thành một yếu tố cạnh tranh mới cho các doanh nghiệp.
Theo thông tin từ ngành công nghệ thông tin (IT) vào ngày 25, các bộ phận liên quan đến cơ sở hạ tầng IT của các doanh nghiệp lớn đang bắt đầu xây dựng hệ thống AI FinOps (quản lý và kiểm soát chi phí AI và đám mây theo đơn vị bộ phận và dịch vụ).
Hệ thống này cho phép theo dõi tình trạng gọi API của các ứng dụng AI trong công ty theo thời gian thực, điều chỉnh giới hạn sử dụng và ưu tiên của các đại lý dựa trên mức sử dụng và đóng góp công việc của từng bộ phận.
Điều này xuất phát từ nhận định rằng việc quản lý chi phí chỉ dựa vào việc sử dụng token AI của từng cá nhân trong tổ chức là không đủ để đối phó với sự gia tăng chi phí. Việc quản lý hiện tượng "token maxing" - khi nhân viên lặp đi lặp lại các công việc không cần thiết trên AI, cũng như các chi phí phát sinh không lường trước trong quá trình hợp tác, đã trở nên quan trọng.
Nexon đang kiểm tra hiệu quả sử dụng token AI ở cấp độ nhóm và xây dựng mô hình dự đoán chi phí cho toàn công ty và từng dự án. Điều này nhằm xác định quy mô token và ngân sách cần thiết cho các dự án mới dựa trên dữ liệu sử dụng trong quá khứ.
Krafton đã thông báo rằng họ đang xây dựng bảng điều khiển để quản lý tình trạng chi phí AI của tổ chức thông qua Hội nghị Nhà phát triển Nexon (NDC) vào ngày 18. Họ cũng đang lên kế hoạch điều chỉnh cách sử dụng AI tùy theo mức độ trưởng thành trong việc áp dụng AI của từng tổ chức.
Cách sử dụng mô hình AI của các nhân viên cũng đang thay đổi. Tại các địa điểm phát triển, phương pháp "mô hình hỗn hợp (routing)" - lựa chọn hoặc phân phối tự động mô hình phù hợp theo độ khó và tầm quan trọng của yêu cầu - đang nổi lên như một phương pháp tiết kiệm chi phí. Các công việc lập kế hoạch và suy luận phức tạp được phân bổ cho các mô hình cao cấp, trong khi các công việc lặp đi lặp lại đơn giản hoặc lập trình cơ bản được xử lý bằng các mô hình tương đối rẻ hơn.
Giá đầu vào cho 1 triệu token là 2,50 USD cho GPT-5 của OpenAI, trong khi DeepSeek V3.2 chỉ khoảng 0,14 USD, thấp hơn khoảng 94%. Đối với giá đầu ra, sự chênh lệch còn lớn hơn. Do đó, khi việc sử dụng các đại lý AI gia tăng, tầm quan trọng của việc phân bổ mô hình càng trở nên rõ ràng.
Một đại diện từ một công ty phần mềm trong nước sử dụng cả hai mô hình Claude và Gemini cho biết: "Trước đây, chúng tôi thường sử dụng các mô hình suy luận đắt tiền cho mọi công việc, nhưng gần đây do vấn đề chi phí, chúng tôi đã bắt đầu sử dụng các mô hình AI khác nhau tùy theo độ khó của công việc".
Cấu trúc mua API mô hình AI cũng được xem là một trong những phương pháp quản lý chi phí. Thay vì ký hợp đồng và quản lý nhiều mô hình AI sinh ra riêng lẻ, các dịch vụ tích hợp cho phép sử dụng nhiều mô hình thông qua một API duy nhất đã xuất hiện. Đối với các doanh nghiệp có mức sử dụng AI vượt quá một quy mô nhất định, cấu trúc hợp đồng và phương thức vận hành cũng có ảnh hưởng lớn đến chi phí bên cạnh việc lựa chọn mô hình.
Các giải pháp mô hình dịch vụ (MaaS - Model as a Service) cho phép sử dụng nhiều mô hình AI sinh ra thông qua một API duy nhất.
Một phương pháp tiết kiệm chi phí kỹ thuật là lưu trữ prompt. Khi doanh nghiệp nhập lại các hướng dẫn, mô tả cơ sở mã, đường dẫn dữ liệu, cấu trúc tài liệu giống nhau, chi phí token đầu vào sẽ bị tích lũy trùng lặp. Việc lưu trữ tạm thời các ngữ cảnh và mẫu prompt lặp lại để tái sử dụng giúp giảm thiểu các phép toán không cần thiết.
Ngành công nghiệp nhận định rằng quản lý chi phí AI đang mở rộng thành vấn đề năng lực vận hành của doanh nghiệp. Sau khi cuộc cạnh tranh trong việc áp dụng các mô hình hiệu suất cao bắt đầu, khả năng quản lý việc sử dụng đại lý AI đã trở thành một nhiệm vụ cốt lõi trong việc sử dụng AI của doanh nghiệp. Một đại diện trong ngành cho biết: "Khi việc áp dụng AI của doanh nghiệp trở nên phổ biến, không chỉ hiệu suất mô hình mà cả chi phí vận hành và sự thuận tiện trong quản lý sẽ trở thành những tiêu chí quan trọng".
* Bài viết này được dịch tự động bằng AI.
© Bản quyền thuộc về Thời báo Kinh tế AJU & www.ajunews.com: Việc sử dụng các nội dung đăng tải trên vietnam. kyungjeilbo.com phải có sự đồng ý bằng văn bản của Aju News Corporation.



