Benchmarki lokalnego AI
Sprzęt i modele, które wdrażamy w firmach, testujemy na własnych maszynach. Do każdego raportu dołączamy surowe dane oraz opis sprzętu i ustawień, żeby można było sprawdzić nasze wnioski albo powtórzyć test.
Raporty
Listopad 2026 · modele decyzyjne w grze
Wyścig: benchmark wizualny modeli decyzyjnych
Model widzi tylko zrzut ekranu gry wyścigowej i co 0,1 s wybiera: w lewo, prosto, w prawo albo hamulec. Trzy trasy, siedmiu kierowców, z autopilotem i jazdą „prosto” jako punktami odniesienia.
Listopad 2026 · modele decyzyjne (system 1)
Benchmark modeli decyzyjnych: przeglądarka wyników
Małe modele, które zamiast tekstu zwracają prawdopodobieństwa, sprawdzone w dziewięciu zadaniach: routing zgłoszeń, moderacja, bezpieczeństwo agentów i inne. Dokładność, kalibracja pewności, opóźnienie i pamięć, z filtrem pod Twoją kartę graficzną.
Listopad 2026 · lokalne LLM
Benchmark lokalnych LLM: przeglądarka wyników
Lokalne modele uruchomione na tych samych promptach z kilkunastu kategorii, oceniane w pięciu wymiarach przez model Claude Haiku. Wyniki można filtrować i porównywać w przeglądarce.
Październik 2026 · modele do kodowania
Lokalny model do kodowania: test 7 modeli na RTX 3090
Siedem otwartych modeli, to samo zadanie i 42 strony sprawdzone w przeglądarce. Najlepszą treść przy dobrej prędkości dał Qwen3.8-27B: 84 tokeny na sekundę.
Sprzęt: NVIDIA GeForce RTX 3090, 24 GB. Ollama 0.35, kwantyzacja Q4_K_M.
Maj 2026 · baza wiedzy RAG
RAG Ingest: ładowanie dokumentów do bazy wiedzy
Dziesięć polskich dokumentów prawnych w PDF, wysyłanych po kolei i naraz. ThinkStation PGX załadował całość w 89,2 s, 3,55 raza szybciej niż komputer biurowy.
Sprzęt: Lenovo ThinkStation PGX (NVIDIA GB10, 128 GB) i Intel NUC7i5DNHE (i5-7300U, 16 GB).
Listopad 2026 · modele decyzyjne w grze
Wyścig: benchmark wizualny modeli decyzyjnych
Model dostaje tylko zrzut ekranu gry wyścigowej (640×400 px) i co 0,1 s czasu gry odpowiada jednym słowem: left, straight, right albo brake. Czas gry stoi w trakcie decyzji, więc szybkość modelu nie wpływa na jazdę. Trzy trasy, jedno okrążenie, limit 150 s. Kraksa z drzewem lub znakiem zatrzymuje auto na 3 s. Wynik to 100 punktów za przejechaną część trasy, do 50 za szybki finisz, minus 2 za każde zderzenie z autem i 5 za każde drzewo. Wynik poniżej kierowcy, który nigdy nie skręca, oznacza, że model nie steruje z obrazu.
| Kierowca | Wynik | Względem „prosto” | Ukończone trasy | Czas decyzji |
|---|---|---|---|---|
| oracle (autopilot czytający stan gry, nie obraz) | 128,8 | +102,0 | 3 z 3 | – |
| basal-omni-1.0-max, FP8 (vLLM) | 60,8 | +34,0 | 3 z 3 | 253 ms |
| d3:4b (Ollama) | 57,5 | +30,7 | 2 z 3 | 142 ms |
| d3:9b (Ollama) | 44,3 | +17,5 | 1 z 3 | 200 ms |
| straight (nigdy nie skręca) | 26,8 | 0 | 1 z 3 | – |
| random | 20,6 | −6,2 | 0 z 3 | – |
| basal-omni-1.0-mini, bf16 (basal-serve) | 17,2 | −9,6 | 1 z 3 | 284 ms |
- Prawie remis na czele: basal-omni-1.0-max i d3:4b dzielą 3 punkty na trzech trasach, więc to za mało, żeby wskazać zwycięzcę. Oba jeżdżą wyraźnie lepiej niż kierowca, który nigdy nie skręca.
- Hamowanie: basal-omni-1.0-max i mini ani razu nie zahamowały. d3:4b zahamował 31 razy, d3:9b 98 razy, a oracle 131. Mini nie skręcił też ani razu w prawo, max skręca w obie strony.
- Ograniczenia: trzy trasy to mała próba. Max jechał w FP8 (vLLM w WSL, RTX 3090), mini w bf16 (basal-serve), a zgodności FP8 z bf16 na obrazach nikt nie mierzył. Czasów decyzji nie porównuj między środowiskami (vLLM, Ollama, basal-serve).
Nagrania przejazdów
Pod każdą klatką widać decyzję modelu i prawdopodobieństwa czterech odpowiedzi, a obok, co zrobiłby autopilot. Każde nagranie pokazuje wszystkie trzy trasy jednego modelu, w sumie kilka minut jazdy.
Co jest w każdym raporcie
- Sprzęt i oprogramowanie: model karty lub komputera, ilość pamięci, wersje narzędzi i ustawienia modeli.
- Metoda: co dokładnie mierzymy, na jakich danych wejściowych i w ilu podejściach.
- Surowe wyniki w CSV, z których powstały wykresy i wnioski.
- Ograniczenia: czego test nie mierzy. Na przykład benchmark RAG mierzy ładowanie dokumentów, a nie szybkość odpowiedzi modelu.
Dane udostępniamy na licencji CC BY 4.0: możesz je wykorzystać, także komercyjnie, jeśli podasz jako źródło AI Transformation z linkiem do raportu.
Chcesz, żebyśmy sprawdzili konkretny model albo sprzęt? Napisz do nas. Najbliższe testy wybieramy pod pytania, które słyszymy od klientów.