Giải pháp vượt qua giới hạn bộ nhớ là HBF… Google cũng chú ý đến bộ nhớ AI thế hệ tiếp theo

Công nghệ bộ nhớ thế hệ tiếp theo, High Bandwidth Flash (HBF), đang nổi lên như một giải pháp cho vấn đề tắc nghẽn bộ nhớ (Memory Wall) trong thời đại trí tuệ nhân tạo (AI). Đặc biệt, Google DeepMind đã đề cập đến HBF như "giải pháp bộ nhớ tối ưu cho thời đại suy diễn AI", làm tăng sự quan tâm trong ngành công nghiệp.
Vào ngày 6 tháng 8, tại hội nghị bộ nhớ lớn nhất thế giới FMS 2026 được tổ chức tại California, SK Hynix, Google DeepMind và SanDisk đã tham gia một buổi thảo luận chung với chủ đề "Vượt qua Memory Wall bằng HBF".
Trước đó, vào ngày 4 tháng 8, SK Hynix và SanDisk đã công bố tiêu chuẩn đầu tiên cho HBF, và đây là dịp để các công ty dịch vụ AI và công ty bộ nhớ thảo luận về hướng đi thương mại hóa.
HBF là một lớp bộ nhớ mới nằm giữa DRAM siêu tốc HBM và SSD dung lượng lớn. Nó có khả năng truyền tải dữ liệu với tốc độ cao tương đương HBM, nhưng lại có thể mở rộng dung lượng đáng kể nhờ vào nền tảng NAND flash. HBF không thay thế HBM mà bổ sung dung lượng bộ nhớ còn thiếu khi kết hợp với HBM.
Sự tham gia của Google DeepMind, một công ty phát triển và vận hành mô hình AI, trong cuộc thảo luận này có ý nghĩa quan trọng. Việc một công ty có nhu cầu thực tế công khai đề cập đến sự cần thiết của HBF đã làm tăng khả năng mở rộng thị trường trong tương lai.
Nghiên cứu viên Xiao Yu Ma của Google DeepMind cho biết ngành công nghiệp AI đang nhanh chóng chuyển từ tập trung vào đào tạo (Training) sang suy diễn (Inference). Ông dự đoán rằng quy mô thị trường chip suy diễn AI sẽ tăng gấp hơn 10 lần từ năm 2024 đến 2034, và cho rằng cấu trúc bộ nhớ hiện tại sẽ không đủ để đáp ứng nhu cầu này.
Ông giải thích rằng số lượng tham số (Parameter) của mô hình AI đang gia tăng nhanh chóng, cùng với sự phát triển của AI đa phương thức xử lý hình ảnh, video và âm thanh. Khi cuộc hội thoại kéo dài, lưu lượng xử lý KV cache cũng tăng vọt, dẫn đến nhu cầu phải đảm bảo cả dung lượng và băng thông bộ nhớ.
Nghiên cứu viên Xiao Yu cho biết: "Trước đây, khi tăng dung lượng bộ nhớ, băng thông lại giảm, và khi tăng băng thông, chi phí và tiêu thụ điện năng lại tăng lên, tạo ra một mối quan hệ đối kháng. HBF là một giải pháp mới có thể đảm bảo băng thông cao và hiệu suất năng lượng tốt hơn so với các giải pháp lưu trữ hiện tại."
SanDisk nhấn mạnh tính kinh tế của HBF trong hệ thống suy diễn AI. Phó giám đốc Rajiv Nagavira cho biết việc áp dụng HBF có thể quản lý KV cache một cách hiệu quả, nâng cao tỷ lệ nhận diện KV (KV Aware) lên hơn 2 lần, từ đó rút ngắn thời gian tạo token và giảm mức sử dụng GPU cũng như chi phí vận hành.
Ngoài ra, do dựa trên nền tảng NAND flash, HBF có đặc tính không bay hơi, giúp duy trì dữ liệu ngay cả khi mất điện, cho phép lưu trữ dữ liệu trong thời gian dài. Trong môi trường như suy diễn AI, nơi có tỷ lệ đọc cao, vấn đề độ bền của NAND cũng có thể được khắc phục.
SK Hynix nhấn mạnh rằng để thương mại hóa HBF, không chỉ cần cải tiến bộ nhớ mà còn cần đổi mới toàn bộ hệ thống.
Phó giám đốc Lim Ui-cheol của SK Hynix cho biết: "NAND flash có giới hạn về độ trễ (Latency) và hiệu suất ghi thấp. Do đó, cần có một cách tiếp cận đồng thiết kế (Co-design) giữa phần cứng và phần mềm như Prefetching, Moving Window Memory và kiến trúc bộ nhớ lai (Hybrid Memory Architecture)."
Ông cũng nhấn mạnh rằng để thực sự tận dụng HBF trong các hệ thống AI, các bên tham gia trong hệ sinh thái như các công ty thiết kế xPU, nhà phát triển LLM và kỹ sư phần mềm cần cùng nhau xây dựng các tiêu chuẩn chất lượng cao.
Trước đó, SK Hynix và SanDisk đã thành lập liên minh tiêu chuẩn HBF vào tháng 2 và chỉ sau 6 tháng đã công bố tiêu chuẩn đầu tiên. Tiêu chuẩn này hỗ trợ dung lượng lên đến 512 gigabyte (GB) dựa trên cấu trúc NAND 8 lớp và 16 lớp, với băng thông được chia thành ba cấp độ, từ 0,4 terabyte (TB/s) đến 3,0 TB/s. Hiện tại, liên minh này bao gồm SK Hynix, SanDisk, Google, Tenstorrent và các công ty khác.