SKT và Rebellion hợp tác với NVIDIA xây dựng hạ tầng AI độc lập tại Hàn Quốc

SK Telecom (SKT) và Rebellion đã hợp tác với NVIDIA để xây dựng hạ tầng AI độc lập tại Hàn Quốc. Họ dự định phát triển một hệ thống tính toán tích hợp liên kết GPU và bộ xử lý mạng nơ-ron (NPU) nhằm nâng cao hiệu suất suy diễn và giảm đáng kể mức tiêu thụ điện năng.

Bộ Khoa học và Công nghệ thông tin Hàn Quốc đã thông báo vào ngày 9 tháng 11 tại sự kiện 'NVIDIA AI Day' diễn ra tại Seoul COEX rằng ba bên đã ký kết thỏa thuận hợp tác (MOU) với nội dung như vậy. Thỏa thuận này được thực hiện trong khuôn khổ dự án liên kết NPU nội địa dựa trên công nghệ NV-Link Fusion mà Bộ Khoa học và Công nghệ thông tin và NVIDIA đã thảo luận trước đó.

Ba bên sẽ sử dụng công nghệ NV-Link Fusion của NVIDIA để xây dựng hệ thống tính toán AI đa dạng. NPU thế hệ tiếp theo 'R200' đang được Rebellion phát triển sẽ được kết nối với NV-Link Fusion của NVIDIA, và họ sẽ áp dụng tiêu chuẩn giá đỡ máy chủ MGX của NVIDIA để hoàn thiện hệ thống tích hợp GPU và NPU theo đơn vị giá đỡ máy chủ.

Gần đây, trọng tâm của ngành công nghiệp AI đã chuyển từ phát triển mô hình sang suy diễn, do đó, hiệu quả năng lượng và tiết kiệm chi phí của trung tâm dữ liệu AI (AIDC) đã trở thành những vấn đề quan trọng. Do đó, ba bên sẽ áp dụng phương pháp 'suy diễn tách biệt', trong đó quá trình suy diễn được chia thành hai giai đoạn: phân tích câu hỏi (pre-fill) và tạo câu trả lời (decode), mỗi giai đoạn sẽ được giao cho các loại vi mạch khác nhau.

Giai đoạn pre-fill với khối lượng tính toán lớn sẽ được xử lý bởi GPU hiệu suất cao của NVIDIA, trong khi giai đoạn decode, nơi tạo ra câu trả lời tuần tự, sẽ được đảm nhiệm bởi NPU của Rebellion, nhằm tối đa hóa tốc độ xử lý và hiệu quả năng lượng.

Ông Jeong Seok-geun, CTO của SKT, cho biết: "Việc kết hợp sức mạnh của GPU và NPU để nâng cao hiệu suất suy diễn và hiệu quả năng lượng là điều có ý nghĩa trong việc xác minh khả năng của hạ tầng AI độc lập tại Hàn Quốc".

Bộ Khoa học và Công nghệ thông tin cũng cho biết sẽ mở rộng hệ sinh thái hạ tầng cho AI độc lập và chính sách phát triển vi mạch AI nội địa trong cả khu vực công và tư. Ông Lee Do-kyu, Trưởng phòng Chính sách Thông tin và Truyền thông, nhấn mạnh: "Chúng tôi sẽ tiếp tục hỗ trợ việc hình thành hệ sinh thái để các doanh nghiệp NPU nội địa có thể thách thức và thành công trên thị trường toàn cầu".