Benchmarki

Benchmarki lokalnego AI

Sprzęt i modele, które wdrażamy w firmach, testujemy na własnych maszynach. Do każdego raportu dołączamy surowe dane oraz opis sprzętu i ustawień, żeby można było sprawdzić nasze wnioski albo powtórzyć test.

Raporty

Listopad 2026 · modele decyzyjne w grze

Wyścig: benchmark wizualny modeli decyzyjnych

Model widzi tylko zrzut ekranu gry wyścigowej i co 0,1 s wybiera: w lewo, prosto, w prawo albo hamulec. Trzy trasy, siedmiu kierowców, z autopilotem i jazdą „prosto” jako punktami odniesienia.

Dane: wyniki wyścigu (JSON)

Listopad 2026 · modele decyzyjne (system 1)

Benchmark modeli decyzyjnych: przeglądarka wyników

Małe modele, które zamiast tekstu zwracają prawdopodobieństwa, sprawdzone w dziewięciu zadaniach: routing zgłoszeń, moderacja, bezpieczeństwo agentów i inne. Dokładność, kalibracja pewności, opóźnienie i pamięć, z filtrem pod Twoją kartę graficzną.

Dane: wyniki (JSON)

Listopad 2026 · lokalne LLM

Benchmark lokalnych LLM: przeglądarka wyników

Lokalne modele uruchomione na tych samych promptach z kilkunastu kategorii, oceniane w pięciu wymiarach przez model Claude Haiku. Wyniki można filtrować i porównywać w przeglądarce.

Dane: wyniki (JSON)

Październik 2026 · modele do kodowania

Lokalny model do kodowania: test 7 modeli na RTX 3090

Siedem otwartych modeli, to samo zadanie i 42 strony sprawdzone w przeglądarce. Najlepszą treść przy dobrej prędkości dał Qwen3.8-27B: 84 tokeny na sekundę.

Sprzęt: NVIDIA GeForce RTX 3090, 24 GB. Ollama 0.35, kwantyzacja Q4_K_M.

Dane: 42 podejścia (CSV)

Maj 2026 · baza wiedzy RAG

RAG Ingest: ładowanie dokumentów do bazy wiedzy

Dziesięć polskich dokumentów prawnych w PDF, wysyłanych po kolei i naraz. ThinkStation PGX załadował całość w 89,2 s, 3,55 raza szybciej niż komputer biurowy.

Sprzęt: Lenovo ThinkStation PGX (NVIDIA GB10, 128 GB) i Intel NUC7i5DNHE (i5-7300U, 16 GB).

Dane: czasy dla 10 plików (CSV)

Listopad 2026 · modele decyzyjne w grze

Wyścig: benchmark wizualny modeli decyzyjnych

Model dostaje tylko zrzut ekranu gry wyścigowej (640×400 px) i co 0,1 s czasu gry odpowiada jednym słowem: left, straight, right albo brake. Czas gry stoi w trakcie decyzji, więc szybkość modelu nie wpływa na jazdę. Trzy trasy, jedno okrążenie, limit 150 s. Kraksa z drzewem lub znakiem zatrzymuje auto na 3 s. Wynik to 100 punktów za przejechaną część trasy, do 50 za szybki finisz, minus 2 za każde zderzenie z autem i 5 za każde drzewo. Wynik poniżej kierowcy, który nigdy nie skręca, oznacza, że model nie steruje z obrazu.

KierowcaWynikWzględem „prosto”Ukończone trasyCzas decyzji
oracle (autopilot czytający stan gry, nie obraz)128,8+102,03 z 3–
basal-omni-1.0-max, FP8 (vLLM)60,8+34,03 z 3253 ms
d3:4b (Ollama)57,5+30,72 z 3142 ms
d3:9b (Ollama)44,3+17,51 z 3200 ms
straight (nigdy nie skręca)26,801 z 3–
random20,6−6,20 z 3–
basal-omni-1.0-mini, bf16 (basal-serve)17,2−9,61 z 3284 ms
  • Prawie remis na czele: basal-omni-1.0-max i d3:4b dzielą 3 punkty na trzech trasach, więc to za mało, żeby wskazać zwycięzcę. Oba jeżdżą wyraźnie lepiej niż kierowca, który nigdy nie skręca.
  • Hamowanie: basal-omni-1.0-max i mini ani razu nie zahamowały. d3:4b zahamował 31 razy, d3:9b 98 razy, a oracle 131. Mini nie skręcił też ani razu w prawo, max skręca w obie strony.
  • Ograniczenia: trzy trasy to mała próba. Max jechał w FP8 (vLLM w WSL, RTX 3090), mini w bf16 (basal-serve), a zgodności FP8 z bf16 na obrazach nikt nie mierzył. Czasów decyzji nie porównuj między środowiskami (vLLM, Ollama, basal-serve).

Nagrania przejazdów

Pod każdą klatką widać decyzję modelu i prawdopodobieństwa czterech odpowiedzi, a obok, co zrobiłby autopilot. Każde nagranie pokazuje wszystkie trzy trasy jednego modelu, w sumie kilka minut jazdy.

basal-omni-1.0-max, FP8: 3 z 3 tras, wynik 60,8
d3:4b: 2 z 3 tras, wynik 57,5
d3:9b: 1 z 3 tras, wynik 44,3
basal-omni-1.0-mini, bf16: 1 z 3 tras, wynik 17,2

Dane: wyniki wyścigu (JSON)

Co jest w każdym raporcie

  • Sprzęt i oprogramowanie: model karty lub komputera, ilość pamięci, wersje narzędzi i ustawienia modeli.
  • Metoda: co dokładnie mierzymy, na jakich danych wejściowych i w ilu podejściach.
  • Surowe wyniki w CSV, z których powstały wykresy i wnioski.
  • Ograniczenia: czego test nie mierzy. Na przykład benchmark RAG mierzy ładowanie dokumentów, a nie szybkość odpowiedzi modelu.

Dane udostępniamy na licencji CC BY 4.0: możesz je wykorzystać, także komercyjnie, jeśli podasz jako źródło AI Transformation z linkiem do raportu.

Chcesz, żebyśmy sprawdzili konkretny model albo sprzęt? Napisz do nas. Najbliższe testy wybieramy pod pytania, które słyszymy od klientów.

Zaproponuj test

Masz pytanie o metodę albo sprzęt, który chcesz sprawdzić przed zakupem? Porozmawiajmy.