Komputer do lokalnych modeli AI — ile VRAM naprawdę trzeba

Rozmowa o komputerze do lokalnego AI prawie zawsze zaczyna się od pytania, która karta jest najszybsza. To pytanie zadane o krok za wcześnie.

Przy lokalnych modelach językowych prędkość jest parametrem komfortu, a pamięć — parametrem wykonalności. Model albo mieści się w pamięci karty w całości, albo nie. Jeśli się nie mieści, część wag zostaje w RAM-ie systemowym i przy generowaniu każdego kolejnego słowa musi wędrować do karty przez PCIe. W tym momencie przestaje mieć znaczenie, jak szybki jest sam układ graficzny — wąskim gardłem nie jest już karta.

Najpierw trzeba więc ustalić, co konkretnie ma chodzić lokalnie — dopiero z tego wynika sprzęt. W praktyce dwie osoby z identycznym budżetem powinny kupić dwie zupełnie różne konfiguracje.

Co ma chodzić na tej maszynie

Asystent do tekstu, notatek i prostego kodu. Modele 7–14B. Chodzą szybko, mieszczą się na jednej niedrogiej karcie i to jest sensowny punkt wejścia dla większości ludzi.

Poważniejsza praca — dłuższe dokumenty, lepsze rozumowanie, podpowiedzi do kodu, na których da się polegać. Modele 22–35B. Tu zaczyna się realna potrzeba pamięci.

Modele 70B. To nie jest „trochę mocniejszy komputer". To inna klasa maszyny: inne zasilanie, inna obudowa, inne chłodzenie, w praktyce dwie karty.

Różnica między pierwszym a trzecim scenariuszem to nie jedna półka cenowa karty graficznej. To różnica w całej konstrukcji komputera.

VRAM, kwantyzacja i kontekst

Jeśli to dla Ciebie oczywistości — przeskocz do tabel niżej. Jeśli nie, to jest najważniejszy fragment całego artykułu.

VRAM to nie to samo co RAM

Model językowy to w praktyce ogromny plik pełen liczb. Te liczby nazywamy parametrami albo wagami — stąd nazwy w rodzaju „7B" czy „70B", które oznaczają po prostu 7 miliardów i 70 miliardów parametrów. Żeby model odpowiadał, karta musi przy generowaniu każdego kolejnego słowa sięgnąć po komplet tych liczb.

VRAM to pamięć wlutowana w kartę graficzną. Nie da się jej dołożyć, nie da się jej rozszerzyć i nie ma nic wspólnego z RAM-em na płycie głównej. Wyobraź sobie stolarza: VRAM to jego blat roboczy, a RAM systemowy i dysk to magazyn w piwnicy. Dopóki wszystkie narzędzia leżą na blacie, praca idzie płynnie. Kiedy blat jest za mały i po połowę narzędzi trzeba biegać do piwnicy, tempo nie spada o kilka procent — spada dramatycznie.

Skala tej różnicy jest brutalna. RTX 3090 czyta własną pamięć z przepustowością 936 GB/s, RTX 5090 — 1792 GB/s. Złącze PCIe 4.0 x16, którym karta rozmawia z resztą komputera, przenosi 31,5 GB/s. To nie jest różnica kilku procent, tylko inna skala. Dlatego zdanie „model się nie zmieścił" nie znaczy „będzie trochę wolniej" — znaczy, że prędkość drastycznie spada.

Z tej samej przyczyny nie działa popularna rada „dołóż RAM-u, model się zmieści". Zmieści się. Tylko przestanie być używalny.

Kwantyzacja, czyli JPEG dla modelu

Model w pełnej precyzji (FP16) zajmuje około 2 GB VRAM na każdy miliard parametrów. Model 70B to w tej postaci około 140 GB — czyli poza zasięgiem domowego sprzętu.

Kwantyzacja to zapisanie tych samych wag z mniejszą dokładnością. Analogia jest bliska fotografii: zdjęcie w formacie RAW waży kilkadziesiąt megabajtów, ten sam kadr w JPEG kilka — i na ekranie telefonu nie widzisz różnicy, choć część informacji bezpowrotnie zniknęła. Q8 zajmuje połowę tego co FP16, Q4 — jedną czwartą.

Domowym punktem odniesienia jest Q4_K_M. Przyjęło się jako rozsądny punkt równowagi — poniżej niego jakość odpowiedzi zaczyna zauważalnie siadać, powyżej płacisz pamięcią za różnicę, której w codziennej pracy zwykle nie wychwycisz. Dla tego formatu działa prosta reguła kciuka:

“

VRAM w GB ≈ liczba parametrów w miliardach × 0,6

Kwantyzacja sprowadza model 70B ze 140 GB do czterdziestu. To wciąż dużo, ale nagle jesteśmy w świecie sprzętu, który da się kupić i postawić pod biurkiem.

Kontekst zjada pamięć osobno

Kontekst to wszystko, co model „widzi" naraz: Twoje pytanie, historia rozmowy, wklejony dokument. Zajmuje pamięć poza samym modelem. Dla modelu 7B narzut wygląda tak:

Model 7B w Q4_K_M to 4–5 GB — czyli teoretycznie „spokojnie wejdzie na ósemkę". Ale ten sam model ze 128k kontekstu to już 14–15 GB. Karta z 8 GB przestaje go obsługiwać dokładnie w chwili, w której wkleisz do niego duży dokument. Jeśli zamierzasz pracować na długich dokumentach, kupuj kartę z zapasem, a nie na styk.

Ile modelu zmieści się na ilu gigabajtach

Do każdej pozycji dolicz zapas na kontekst. Karta zapełniona w stu procentach to karta, która za chwilę zacznie sprawiać problemy.

Cena — ale liczona za gigabajt

Skoro o wykonalności decyduje pojemność, uczciwą miarą nie jest cena karty, tylko koszt jednego gigabajta pamięci.

Ceny sprawdzone: sierpień 2026. To widełki orientacyjne, a nie oferta — rynek kart używanych potrafi się ruszyć o kilkaset złotych w ciągu tygodnia.

Z tej tabeli wynikają dwie rzeczy, które przesądzają o całym zakupie.

Po pierwsze: dwie używane RTX 3090 to 48 GB za około 7 000–8 000 zł — więcej pamięci niż w RTX 5090 (32 GB), za mniej więcej jedną trzecią ceny, i dokładnie tyle, ile potrzebuje model 70B w Q4.

Po drugie: 64 GB DDR5 (2×32, CL30–32) kosztuje od 3 749 zł, czyli mniej więcej tyle co używana 3090 z 24 GB VRAM. Za te same pieniądze możesz mieć albo dużo pamięci, która modelowi niewiele pomoże, albo mniej pamięci wielokrotnie szybszej. To ostatecznie zamyka temat dokładania RAM-u zamiast VRAM-u.

Trzy konfiguracje i to, co każda z nich poświęca

Warianty nie różnią się półką cenową. Każdy z nich świadomie coś oddaje.

Rozsądne minimum

RTX 5060 Ti 16 GB. Nowa karta, gwarancja, kultura pracy i pobór prądu bez dramatów. Na modelu 8B osiąga około 51 tokenów na sekundę, czyli szybciej, niż zdążysz czytać. Spokojnie obsłuży modele 12–14B, a przy 16 GB da się ostrożnie podejść do 22B.

Co poświęcasz: sufit wielkości modelu i długi kontekst. Powyżej 22B ta karta się kończy i żadna sztuczka tego nie obejdzie.

Co zachowujesz: gwarancję, cichą pracę, zwykłą obudowę i zwykły zasilacz. Przez resztę dnia to po prostu dobry komputer do pracy.

Nasz wybór

Używana RTX 3090 24 GB. Około 154 zł za gigabajt pamięci to najlepszy stosunek pojemności do ceny na rynku i nic nowego się do tego nie zbliża. 24 GB otwiera modele do 32B, a 936 GB/s przepustowości nadal jest przyzwoite.

Co poświęcasz: gwarancję i przewidywalność. To karta z drugiej ręki, po latach pracy, z realną słabością konstrukcyjną — piszemy o niej niżej, bo przy lokalnym AI ma większe znaczenie niż przy graniu. Do tego jest gorąca, głośna pod obciążeniem i pije prąd. Taką kartę kupujesz we własnym zakresie — my nie handlujemy sprzętem używanym, ale złożymy wokół niej resztę maszyny.

Co zachowujesz: dostęp do najlepszych modeli, jakie da się sensownie trzymać na jednej karcie.

Bez kompromisów

Dwie używane RTX 3090, razem 48 GB. Llama 3.3 70B w Q4_K_M osiąga na takim zestawie 15–25 tokenów na sekundę — w pełni użyteczną prędkość do pracy.

Co poświęcasz: ciszę, rachunek za prąd, miejsce i prostotę. To już nie jest „komputer", tylko projekt: duża obudowa z sensownym przepływem powietrza, mocny zasilacz, płyta z odpowiednim rozstawem slotów i świadomość, że serwisowanie takiego zestawu jest trudniejsze.

Co zachowujesz: jedyną domową drogę do modeli 70B.

Zwróć uwagę, że wariantem „bez kompromisów" nie jest pojedyncza RTX 5090. Ona jest wyborem dla kogoś innego — dla osoby, która chce maksymalnej szybkości na modelach mieszczących się w 32 GB i nie potrzebuje 70B. Model 70B w Q4 potrzebuje około 40 GB, więc na 32 GB się nie mieści: wagi zaczynają przelewać się do RAM-u systemowego przez PCIe i prędkość drastycznie spada. Najdroższa karta w zestawieniu nie uruchomi sensownie modelu, który uruchamiają dwie starsze karty za około jedną trzecią tej kwoty.

Dwie karty i więcej — uczciwie

Dzielenie modelu na warstwy między karty działa. llama.cpp i Ollama robią to od dawna i nie jest to żadna egzotyka.

Mechanizm jest prosty: model dzieli się na warstwy, pierwszą ich część liczy karta numer jeden, kolejną karta numer dwa. Ale one nie liczą równocześnie — pracują po kolei, jak dwie osoby przy taśmie. Dokładając drugiego pracownika do taśmy nie sprawiasz, że pierwszy pracuje szybciej. Sprawiasz, że taśma może być dłuższa.

“

Druga karta daje dostęp do większych modeli. Nie przyspiesza modelu, który i tak mieścił się w jednej karcie.

Jeśli jesteś zadowolony z modelu 14B na 12 GB, dołożenie drugiej takiej karty nie sprawi, że ten sam model zacznie odpowiadać szybciej. Sprawi, że będziesz mógł uruchomić model 32B. To zupełnie inna korzyść i warto sobie odpowiedzieć, czy właśnie tej potrzebujesz.

Stąd też najpopularniejsze pytanie o NVLink. Liczby wyglądają imponująco: mostek na 3090 daje 112,5 GB/s dwukierunkowo wobec 31,5 GB/s przez PCIe 4.0 x16. Tylko że przy inferencji między kartami wędrują same aktywacje przekazywane na granicy warstw, a nie całe wagi — llama.cpp płaci za to około 5–10% narzutu opóźnienia, a realny zysk z mostka to 10–20%. Jeśli wpada w zestaw za rozsądne pieniądze, można go wziąć. Budowanie całej konfiguracji wokół niego nie ma sensu.

Praktyczna zasada brzmi więc: jeśli model, którego chcesz używać, mieści się w jednej karcie — kup jedną lepszą kartę, nie dwie słabsze.

Kiedy naprawdę nie warto dopłacać

• Gdy Twój model już się mieści. Więcej VRAM-u nie przyspiesza tego, co i tak działa w całości na karcie. Dopłata kupuje dostęp do większych modeli, nie wyższe liczby.
• Gdy nie pracujesz na długim kontekście. Pamięć „na zapas" pod 128k ma sens tylko wtedy, gdy faktycznie wrzucasz do modelu duże dokumenty.
• Gdy 70B ma być okazjonalną ciekawostką. Zestaw z dwiema kartami, mocnym zasilaczem i dużą obudową po to, żeby raz w tygodniu zadać pytanie dużemu modelowi, przegrywa z płatnym API. Lokalnie buduje się wtedy, gdy liczą się prywatność danych, praca bez internetu, stały koszt albo ciągłe, intensywne użycie.
• Gdy kusi Cię najdroższa karta „na wszelki wypadek". Wróć do akapitu o 40 GB kontra 32 GB.

Na co uważać przy kupnie używanej karty

RTX 3090 to konstrukcja z 2020 roku. Każdy egzemplarz jest dziś po gwarancji, a spora część przeszła już przez czyjeś ręce — czasem przez koparkę, czasem przez warsztat. Mówimy o tym wprost, bo to karta, którą sami polecamy.

Ma jedną udokumentowaną słabość. 24 GB GDDR6X jest rozłożone po obu stronach laminatu, a kości od spodu chłodzi wyłącznie backplate. Temperatura złącza pamięci pod obciążeniem to zwykle 96–108°C, a potrafi dobić do 110–115°C. Skutek to throttling i spadek wydajności. Przyczyna zwykle siedzi w padach termicznych: z czasem twardnieją, wysychają i tracą kontakt, a fabryczne bywają za cienkie albo po prostu słabej jakości.

Przy lokalnych modelach ten problem uderza mocniej niż w grach, bo pamięć pracuje pod pełnym obciążeniem ciągle, a nie w krótkich zrywach. Naprawa jest znana: wymiana padów termicznych, a miedziane radiatorki na odsłoniętych kościach dokładają jeszcze 5–10°C zapasu.

Oglądając kartę przed zakupem, zwróć uwagę na:

• porysowane łby śrub oraz brak lub naruszoną plombę gwarancyjną — karta była rozkręcana,
• brakujące albo niepasujące do siebie śruby,
• pozostałości topnika na laminacie wokół układów — ślad po lutowaniu,
• olej albo wyciek pasty na laminacie,
• kości pamięci w odcieniu żółtawym lub brązowawym — znak długiej pracy w wysokiej temperaturze,
• przebarwienia laminatu od przegrzewania,
• zapach spalonej elektroniki przy złączu zasilania,
• korozję na backplate albo śledziu.

Sam ślad rozkręcania nie musi dyskwalifikować karty — wymiana padów to normalny zabieg serwisowy i część użytkowników robi go świadomie. Chodzi o to, żeby wiedzieć, co się kupuje, i nie płacić ceny sprzętu nietkniętego za sprzęt po przejściach. Kartę warto sprawdzić przed zakupem albo tuż po nim — także wtedy, gdy kupujesz ją prywatnie i chcesz po prostu wiedzieć, w jakim jest stanie. Naprawą kart graficznych — od padów i pasty po reballing i sekcję zasilania — zajmujemy się na co dzień. Bezpłatna wstępna diagnoza to godzina pracy serwisanta bez opłaty; jeśli uda się po niej ustalić przyczynę, podajemy wycenę, a w bardziej zagmatwanych przypadkach konieczna bywa dodatkowa, płatna diagnostyka.

Pułapki, które widać dopiero przy składaniu

Zasilanie. Karty pokroju 3090 potrafią generować bardzo krótkie skoki poboru, na które słaba jednostka reaguje wyłączeniem komputera w środku pracy. Przy dwóch kartach margines musi być jeszcze większy, a osobne linie zasilania to nie jest miejsce na oszczędności. Policz to zanim kupisz — mamy kalkulator zasilacza, a jeśli wolisz gotową odpowiedź pod konkretny model karty, przygotowaliśmy poradniki „jaki zasilacz do…" dla kilkudziesięciu GPU.

Fizyka obudowy. Dwie karty obok siebie na typowej płycie ATX albo się nie zmieszczą, albo górna zacznie się dusić, wdmuchując gorące powietrze w sąsiadkę. Płyta z odpowiednim rozstawem slotów PCIe i obudowa z realnym przepływem powietrza to tu część konfiguracji, a nie dodatek.

Chłodzenie i hałas. Maszyna do modeli lokalnych pracuje długimi ciągami, nie w krótkich zrywach jak w grach. Wentylatory, które podczas grania są do zniesienia, po godzinie takiej pracy zaczynają irytować.

Dysk. Sam model 70B w Q4 zajmuje na dysku około 40 GB, a rzadko kto trzyma jeden. Jeśli chcesz mieć kilka do wyboru, zaplanuj miejsce na szybkim NVMe od razu.

Procesor ma mniejsze znaczenie, niż wszyscy zakładają. Gdy model mieści się w całości na karcie, CPU praktycznie nie pracuje. Nie ma sensu przepłacać za procesor kosztem gigabajtów VRAM-u — to najczęstszy błąd w budżecie, jaki widzimy.

Jeśli wolisz, żeby ktoś to złożył

Składamy komputery na zamówienie od 2009 roku i maszyny pod modele lokalne dobieramy tak samo jak każde inne: od zastosowania, nie od listy podzespołów. Pytanie, od którego zaczynamy, brzmi zawsze tak samo — jaki największy model chcesz uruchamiać i jak długie dokumenty będziesz mu wklejać. Z tych dwóch odpowiedzi wychodzi liczba gigabajtów, a z niej dopiero karta, zasilacz i obudowa. Cały proces opisujemy na stronie budujemy PC.

Jedną rzecz warto postawić jasno: nie handlujemy sprzętem używanym. Komputery składamy z nowych podzespołów i na taki zestaw dajemy gwarancję. Jeśli po lekturze tego tekstu zdecydujesz się na używaną kartę, kupujesz ją sam — a my złożymy wokół niej resztę maszyny i skonfigurujemy ją równie starannie. Gwarancja obejmuje wtedy nowe podzespoły i samo złożenie; na kartę z drugiej ręki rozciągnąć się nie da, bo nie mamy pojęcia, co się z nią działo przez ostatnie lata.

A jeśli masz już kartę i coś się z nią dzieje — artefakty, wyłączenia pod obciążeniem, brak obrazu — zacznij od bezpłatnej wstępnej diagnozy. Proste naprawy zamykamy w 1–3 dni, złożone zajmują 7 dni lub dłużej, a dokładny termin podajemy dopiero wtedy, gdy wiemy, co jest uszkodzone.