Nowe wąskie gardło AI: pamięć zamiast GPU [00:00:06]

• Wraz z przechodzeniem sztucznej inteligencji z fazy trenowania do masowej inferencji (obsługa zapytań, długie okna kontekstowe, agenci), głównym problemem staje się przepustowość i pojemność pamięci [00:03:13].
• Niewystarczająca pamięć sprawia, że drogie akceleratory marnują moc obliczeniową, czekając na transfer danych [00:01:33].

Ograniczenia pamięci HBM (High Bandwidth Memory) [00:01:43]

• HBM jest niezwykle szybka, lecz bardzo droga, fizycznie ograniczona przestrzennie obok GPU oraz trudna w zaawansowanym pakowaniu warstwowym [00:01:51].
• Deficyt HBM pozwala producentom (Samsung, SK Hynix, Micron) dyktować wyższe ceny, co odbija się również na podwyżkach i ograniczonej dostępności standardowego DRAM-u [00:02:11].

HBF (High Bandwidth Flash) jako nowa warstwa pamięci [00:00:16]

• Nowy standard rozwijany wspólnie przez SK Hynix i SanDisk (w ramach Open Compute Project), angażujący także firmy takie jak Google, Meta czy Tenstorrent [00:04:14].
• HBF łączy ideę pionowo ułożonych warstw komórek NAND (flash) z architekturą umożliwiającą masowy odczyt równoległy [00:04:32].
• Specyfikacja przewiduje pakiety o pojemności do 512 GB (w stosach 8 lub 16 warstw), przepustowość od 0,4 do 3 TB/s oraz interfejs UCIe [00:05:16].
• Szacuje się, że HBF zaoferuje 8–16 razy większą pojemność niż HBM przy porównywalnym koszcie pakietu [00:06:04].

Wielopoziomowa architektura pamięci [00:06:57]

• HBF nie ma na celu zastąpienia HBM, lecz wprowadzenie pośredniej warstwy pamięci: HBM dla danych krytycznych pod kątem latencji, HBF dla dużych wag modeli i pamięci podręcznej (KV cache), a niżej DRAM i tradycyjne SSD [00:07:06].
• Inne koncepcje rynkowe (np. Samsung) to m.in. pionowe układanie pamięci bezpośrednio nad GPU (zHBM) czy obliczenia w pamięci (LPDDR5X-PIM) [00:08:01].

Horyzont czasowy i wdrożenie [00:10:04]

• Projekt pierwszego układu HBF zaliczył tape-out w sierpniu 2026 r., a pierwsze próbki urządzeń spodziewane są w 2027 r. [00:10:13].
• Jednocześnie SK Hynix inwestuje ponad 4 mld USD w nowy zakład HBM w Indianie (planowane uruchomienie w 2029 r.), co potwierdza wieloletnią koegzystencję obu technologii [00:10:49].