Huawei đã thành công trong việc nâng cao khả năng xử lý token của AI suy luận dài (long-sequence) lên tới 372% trong môi trường mạng thương mại đầu tiên tại Trung Quốc.
Vào ngày 24 tháng 6, Huawei đã công bố kết quả xác thực của giải pháp 'AI suy luận tăng tốc' cùng với China Mobile Hồ Bắc tại 'MWC Thượng Hải 2026' vào ngày 28 tháng 6.
Giải pháp này được xây dựng dựa trên hệ thống lưu trữ OceanStore A800 và siêu máy tính Ascend A3, cùng với bộ quản lý bộ nhớ tích hợp. Đây được đánh giá là nền tảng công nghệ cốt lõi giúp các nhà mạng triển khai dịch vụ tính toán AI quy mô lớn một cách hiệu quả.
Gần đây, khi dịch vụ AI phát triển theo hướng tập trung vào tác nhân, các kịch bản dài liên quan đến việc tạo mã hay đối thoại nhiều lượt đang gia tăng. Tuy nhiên, do giới hạn của bộ nhớ trên chip và DRAM, hiện tượng tắc nghẽn trong xử lý dữ liệu đã xảy ra.
Để giải quyết vấn đề này, Huawei đã áp dụng công nghệ UCM sử dụng lưu trữ hiệu suất cao bên ngoài, triển khai bộ nhớ KV dung lượng lớn lên tới petabyte (PB) và loại bỏ các phép toán trùng lặp, giảm đáng kể chi phí suy luận.
Cuộc xác thực này được thực hiện trên mạng thương mại của China Mobile Hồ Bắc, mô phỏng đầu vào dài từ 8K đến 190K token với các mô hình AI chính như MiniMax M2.5 và GLM-5.1.
Kết quả xác thực cho thấy thời gian tạo token đầu tiên (TTFT) của mô hình GLM-5.1 đã được rút ngắn tới 93%. Số lượng token mỗi giây (TPS) đã tăng tối đa 372% trong môi trường dài 128K. Mô hình MiniMax M2.5 cũng ghi nhận TPS tăng 78% trong môi trường 128K, cho thấy hiệu ứng tăng tốc rõ rệt hơn khi kích thước ngữ cảnh dài hơn.
Michael Chu, Giám đốc Marketing và Bán hàng Giải pháp Lưu trữ Dữ liệu Toàn cầu của Huawei, nhấn mạnh: "Giải pháp tăng tốc AI suy luận không chỉ giảm đáng kể thời gian phản hồi mà còn giúp tiết kiệm chi phí token. Chúng tôi sẽ không ngừng hỗ trợ các nhà mạng xây dựng cơ sở hạ tầng tính toán AI hiệu quả và thân thiện với môi trường."
* Bài viết này được dịch tự động bằng AI.
© Bản quyền thuộc về Thời báo Kinh tế AJU & www.ajunews.com: Việc sử dụng các nội dung đăng tải trên vietnam. kyungjeilbo.com phải có sự đồng ý bằng văn bản của Aju News Corporation.



