NVIDIA GB10 — how to connect multiple DGX Spark units into an AI cluster

This English page is a published stub. The full technical guide is maintained in Polish.

Polish article: /wiedza/nvidia-gb10-dgx-spark-klaster-ai.

NVIDIA reference: Running Frontier-Class AI Models Across 8 NVIDIA DGX Spark Nodes.

Skalowanie od jednego GB10 do ośmiu urządzeń

Poniższa tabela pokazuje, jak rośnie łączna dostępna pamięć przy dodawaniu kolejnych urządzeń DGX Spark (GB10).

To nie jest jedna fizyczna przestrzeń pamięci GPU. Pamięć pozostaje rozproszona między urządzeniami. Aplikacja musi obsługiwać przetwarzanie wielowęzłowe — na przykład przez równoległość tensorową lub potokową w silniku inferencyjnym takim jak vLLM.

W praktyce oznacza to, że „1 TB” opisuje sumę zasobów klastra dostępnych dla prawidłowo skonfigurowanego workloadu rozproszonego, a nie lokalny VRAM pojedynczego akceleratora.

Jak połączyć urządzenia?

Do komunikacji między węzłami DGX Spark wykorzystywane są karty NVIDIA ConnectX-7 oraz Ethernet 200 Gb/s z obsługą RDMA/RoCE. Dzięki temu transfer danych między urządzeniami może odbywać się z niskim opóźnieniem, co jest kluczowe przy równoległym wnioskowaniu i dzieleniu modelu.

Możliwe topologie połączeń:

• 2 urządzenia – bezpośrednie połączenie QSFP między portami wysokiej przepustowości.
• 3 urządzenia – bezpośrednie połączenia między węzłami lub przełącznik 200 GbE.
• 4 urządzenia – połączenie przez przełącznik 200 GbE obsługiwane przez NVIDIA Sync; ręcznie możliwa również topologia pierścienia.
• 8 urządzeń – zaawansowana konfiguracja klastra, wymagająca odpowiedniej topologii i ręcznej konfiguracji sieci.

Według informacji dostępnych na 2 listopada 2026 r. NVIDIA Sync Cluster Assistant automatyzuje konfigurację maksymalnie czterech urządzeń. Obsługa ośmiu węzłów została zapowiedziana do końca 2026 roku.

Co jest potrzebne?

Do uruchomienia klastra DGX Spark / GB10 potrzebujesz:

1. Minimum dwa kompatybilne urządzenia NVIDIA DGX Spark / GB10.
2. Odpowiednie przewody QSFP.
3. Opcjonalnie przełącznik Ethernet 200 Gb/s, zależnie od topologii.
4. Aktualny system DGX OS.
5. Sieć zarządzająca LAN.
6. Konfiguracja SSH i komunikacji międzywęzłowej.
7. Oprogramowanie do obliczeń rozproszonych: vLLM, Ray, NCCL lub PyTorch.

Konfiguracja klastra krok po kroku

Ogólny proces wdrożenia wygląda następująco:

1. Aktualizacja oprogramowania na wszystkich urządzeniach.
2. Fizyczne połączenie portów QSFP.
3. Konfiguracja sieci ConnectX-7.
4. Konfiguracja SSH.
5. Testowanie połączeń i przepustowości.
6. Uruchomienie środowiska Ray i vLLM.
7. Uruchomienie testowego modelu AI.
8. Weryfikacja wydajności i wykorzystania zasobów.

NVIDIA Sync konfiguruje sieć, ale samo uruchomienie modeli wymaga dodatkowej konfiguracji — m.in. instalacji i ustawienia silnika inferencyjnego (np. vLLM multi-node), wyboru strategii równoległości oraz testów obciążeniowych.

Jakie korzyści daje klaster?

Połączenie kilku urządzeń DGX Spark otwiera m.in.:

• Uruchamianie modeli większych niż pamięć pojedynczego urządzenia — dzięki podziałowi wag i stanów między węzłami.
• Zwiększenie przepustowości obsługi zapytań AI — więcej równoległych żądań lub dłuższych kontekstów przy odpowiedniej konfiguracji.
• Pracę z wieloma modelami — rozłożenie usług inferencyjnych na węzłach klastra.
• Lokalne systemy agentowe — większe zasoby dla agentów korzystających z narzędzi i długiego kontekstu.
• RAG i przetwarzanie dokumentów — lokalne LLM z firmowymi źródłami wiedzy przy większej skali.
• Eksperymenty z dostrajaniem i treningiem — testy LoRA/QLoRA i pipeline’ów rozproszonych w kontrolowanym środowisku.

NVIDIA w swoich testach wykazała ponad czterokrotny wzrost przepustowości dekodowania przy ośmiu urządzeniach dla określonego modelu i konfiguracji. Nie każdy model uzyska taką samą poprawę wydajności — wynik zależy od architektury modelu, kwantyzacji, długości kontekstu, topologii sieci i parametrów silnika inferencyjnego.

Podsumowanie

Rozwój platformy DGX Spark umożliwia stopniowe skalowanie infrastruktury lokalnego AI — od pojedynczego GB10 do klastra z łącznie nawet 1 TB pamięci przy ośmiu urządzeniach.

Zalecanym pierwszym krokiem jest przetestowanie dwóch urządzeń połączonych bezpośrednio QSFP i porównanie wyników z pojedynczym GB10: jakość odpowiedzi, przepustowość tokenów, stabilność sieci oraz złożoność utrzymania.

Alterkom wspiera przedsiębiorstwa w projektowaniu, wdrażaniu i rozwijaniu infrastruktury sztucznej inteligencji — od pojedynczych stacji roboczych NVIDIA GPU po zaawansowane środowiska serwerowe, klastry AI oraz lokalne platformy modeli językowych.