AIDC nâng cao hiệu suất GPU trong bối cảnh nhu cầu AI gia tăng

Nhu cầu tính toán trí tuệ nhân tạo (AI) đang gia tăng nhanh chóng, đặt ra thách thức mới cho việc sử dụng hiệu quả các bộ xử lý đồ họa (GPU) trong các trung tâm dữ liệu.

Theo phân tích từ McKinsey dựa trên dữ liệu từ các công ty nghiên cứu thị trường như Gartner, IDC và NVIDIA, nhu cầu về khối lượng công việc AI trong các trung tâm dữ liệu toàn cầu dự kiến sẽ tăng từ 44GW vào năm 2025 lên 156GW vào năm 2030, tức là tăng khoảng 3,5 lần. Tổng nhu cầu trung tâm dữ liệu cũng được dự đoán sẽ tăng từ 82GW lên 219GW trong cùng thời gian. Đặc biệt, nhu cầu suy diễn AI dự kiến sẽ tăng trung bình 35% mỗi năm, từ 20,9GW vào năm 2025 lên 93,3GW vào năm 2030, vượt qua tỷ lệ tăng trưởng nhu cầu học tập (22%).

Chỉ việc tăng cường số lượng GPU cũng không đủ để đáp ứng nhu cầu tính toán ngày càng tăng. Việc lắp đặt GPU hiệu suất cao với quy mô lớn đã làm tăng mật độ điện năng trên mỗi giá đỡ và tạo ra áp lực làm mát lớn hơn. Trong các trung tâm dữ liệu AI, đã xuất hiện xu hướng áp dụng các công nghệ làm mát mới như làm mát bằng chất lỏng để đối phó với môi trường GPU có mật độ cao.

Ngành công nghiệp đang chú ý đến việc phân bổ GPU một cách hiệu quả dựa trên hai khối lượng công việc chính của AI là học tập và suy diễn. Học tập yêu cầu thực hiện các phép toán quy mô lớn nhưng có thể chấp nhận một mức độ trễ hoặc ngừng hoạt động nhất định, trong khi suy diễn cần cung cấp kết quả cho người dùng trong thời gian thực, do đó yêu cầu thời gian trễ thấp và khả năng xử lý ổn định.

McKinsey phân tích rằng sự khác biệt này sẽ ảnh hưởng đến vị trí và thiết kế của các trung tâm dữ liệu cũng như chiến lược cung cấp điện.
  Đặc biệt, một giải pháp được đề xuất là sử dụng GPU cho suy diễn vào những khoảng thời gian có lưu lượng dịch vụ thời gian thực thấp. Trong những thời điểm nhu cầu suy diễn cao, GPU sẽ được ưu tiên cho dịch vụ thời gian thực, còn trong những thời điểm nhu cầu giảm, GPU không sử dụng sẽ được đưa vào các công việc học tập, tái học tập và phân bổ.

Trong báo cáo được Red Hat công bố vào tháng 3, phương pháp này được trình bày dưới dạng chiến lược "suy diễn vào ban ngày, học tập vào ban đêm". Red Hat giải thích rằng công việc suy diễn cần thời gian trễ thấp và khả năng sẵn có liên tục để đáp ứng thời gian thực, trong khi công việc học tập có thể chấp nhận độ trễ hoặc ngừng hoạt động, do đó thích hợp để thực hiện vào ban đêm khi nhu cầu suy diễn giảm. Họ cũng đề xuất rằng việc phân bổ tài nguyên GPU một cách linh hoạt theo nhu cầu thời gian thực có thể giúp giảm thiểu GPU không sử dụng.

Tại Hàn Quốc, phương pháp này đang nổi lên như một giải pháp để nâng cao hiệu quả GPU. Kakao đang xem xét cách thức vận hành cơ sở hạ tầng AI tiếp theo và cũng đang xem xét cách sử dụng GPU theo thời gian. Ông Kim Se-woong, Phó Chủ tịch Kakao AI Synergy, cho biết: "Máy chủ suy diễn yêu cầu phản hồi thời gian thực sẽ được sử dụng vào ban ngày theo lưu lượng, và GPU dư thừa sẽ được tập hợp lại để sử dụng cho học tập vào ban đêm, đây là cách vận hành GPU kiểu Hàn Quốc mà tôi nghĩ".

Các công ty cơ sở hạ tầng AI trong nước không chỉ tập trung vào việc phân bổ tài nguyên theo thời gian mà còn thiết kế các trung tâm dữ liệu phù hợp với đặc điểm của khối lượng công việc. Nhóm Ellice đang thiết kế các trung tâm dữ liệu mô-đun AI (PMDC) khác nhau để đáp ứng các yêu cầu của học tập và suy diễn. Học tập sẽ sử dụng GPU và cụm siêu độ trễ để đạt hiệu suất tối đa, trong khi suy diễn sẽ nhấn mạnh vào NPU và tính khả dụng cao, hiệu quả chi phí.

Một đại diện trong ngành cho biết: "Trong các trung tâm dữ liệu AI, không chỉ việc có bao nhiêu GPU mà còn việc sử dụng hiệu quả GPU đã có cho các phép toán thực tế trở nên quan trọng. Do sự khác biệt giữa đặc điểm của suy diễn và học tập, việc phân bổ GPU một cách linh hoạt theo lưu lượng và tình hình điện năng, cũng như nâng cao hiệu quả cơ sở hạ tầng như làm mát, sẽ quyết định sức cạnh tranh trong việc vận hành các trung tâm dữ liệu trong tương lai".



* Bài viết này được dịch tự động bằng AI.

• #trung tâm dữ liệu
• #suy diễn
• #GPU