Thứ Ba, ngày 17 tháng 11 năm 2026
Huawei, giải quyết 'nút thắt AI suy luận dài' với tốc độ tăng tối đa 372%

Huawei, giải quyết 'nút thắt AI suy luận dài' với tốc độ tăng tối đa 372%

KIM NA YOON 10:32 28-06-2026
Công bố giải pháp tăng tốc AI suy luận tại 'MWC Thượng Hải 2026'
Huawei đã tham gia 'MWC Thượng Hải 2026' diễn ra tại Trung Quốc vào ngày 24 tháng 6, công bố thành quả của giải pháp tăng tốc AI suy luận. Ảnh: Huawei Korea
Huawei đã tham gia 'MWC Thượng Hải 2026' diễn ra tại Trung Quốc vào ngày 24 tháng 6, công bố thành quả của giải pháp tăng tốc AI suy luận. [Ảnh: Huawei Korea]


Huawei đã thành công trong việc nâng cao khả năng xử lý token của AI suy luận dài (long-sequence) lên tới 372% trong môi trường mạng thương mại đầu tiên tại Trung Quốc.

Vào ngày 24 tháng 6, Huawei đã công bố kết quả xác thực của giải pháp 'AI suy luận tăng tốc' cùng với China Mobile Hồ Bắc tại 'MWC Thượng Hải 2026' vào ngày 28 tháng 6.

Giải pháp này được xây dựng dựa trên hệ thống lưu trữ OceanStore A800 và siêu máy tính Ascend A3, cùng với bộ quản lý bộ nhớ tích hợp. Đây được đánh giá là nền tảng công nghệ cốt lõi giúp các nhà mạng triển khai dịch vụ tính toán AI quy mô lớn một cách hiệu quả.

Gần đây, khi dịch vụ AI phát triển theo hướng tập trung vào tác nhân, các kịch bản dài liên quan đến việc tạo mã hay đối thoại nhiều lượt đang gia tăng. Tuy nhiên, do giới hạn của bộ nhớ trên chip và DRAM, hiện tượng tắc nghẽn trong xử lý dữ liệu đã xảy ra.

Để giải quyết vấn đề này, Huawei đã áp dụng công nghệ UCM sử dụng lưu trữ hiệu suất cao bên ngoài, triển khai bộ nhớ KV dung lượng lớn lên tới petabyte (PB) và loại bỏ các phép toán trùng lặp, giảm đáng kể chi phí suy luận.

Cuộc xác thực này được thực hiện trên mạng thương mại của China Mobile Hồ Bắc, mô phỏng đầu vào dài từ 8K đến 190K token với các mô hình AI chính như MiniMax M2.5 và GLM-5.1.

Kết quả xác thực cho thấy thời gian tạo token đầu tiên (TTFT) của mô hình GLM-5.1 đã được rút ngắn tới 93%. Số lượng token mỗi giây (TPS) đã tăng tối đa 372% trong môi trường dài 128K. Mô hình MiniMax M2.5 cũng ghi nhận TPS tăng 78% trong môi trường 128K, cho thấy hiệu ứng tăng tốc rõ rệt hơn khi kích thước ngữ cảnh dài hơn.

Michael Chu, Giám đốc Marketing và Bán hàng Giải pháp Lưu trữ Dữ liệu Toàn cầu của Huawei, nhấn mạnh: "Giải pháp tăng tốc AI suy luận không chỉ giảm đáng kể thời gian phản hồi mà còn giúp tiết kiệm chi phí token. Chúng tôi sẽ không ngừng hỗ trợ các nhà mạng xây dựng cơ sở hạ tầng tính toán AI hiệu quả và thân thiện với môi trường."





* Bài viết này được dịch tự động bằng AI.