RAG Ingest: ładowanie dokumentów do bazy wiedzy na ThinkStation PGX
Ile trwa załadowanie dokumentów firmy do lokalnej bazy wiedzy? Wysłaliśmy 10 polskich dokumentów prawnych do naszego serwisu RAG na dwóch maszynach: na komputerze z układem NVIDIA GB10 i na zwykłym komputerze biurowym. Raz po kolei, raz wszystkie naraz.
Jak testowaliśmy
Testowaliśmy serwis RAG z naszego frameworka CerebrOS, na którym działa też Firmaris Legal Studio. Serwis dostaje plik, wyciąga z niego tekst, dzieli go na fragmenty, liczy embeddingi lokalnym modelem i zapisuje je w bazie wektorowej. Ta praca obciąża głównie procesor.
- Dane: 10 polskich dokumentów prawnych w PDF, po około 100 KB i 20 stron: umowy, statut spółki, pełnomocnictwo, ugoda, regulamin.
- Dwa tryby: po kolei, gdy każdy plik czeka na zakończenie poprzedniego, i naraz, gdy wszystkie pliki trafiają do serwisu jednocześnie.
- Ten sam model embeddingów na obu maszynach, więc różnice wynikają ze sprzętu.
- Mierzymy średni czas jednego pliku od wysłania do zapisu w bazie, średni czas samego przetwarzania na serwerze i czas całej paczki. Nie mierzymy szybkości odpowiedzi modelu językowego.
Komputer do AI
Lenovo ThinkStation PGX
NVIDIA GB10, 20 rdzeni ARM (Cortex-X925 i Cortex-A725), 128 GB pamięci wspólnej dla procesora i GPU, Ubuntu 24.04 w wersji od NVIDIA.
Komputer biurowy
Intel NUC7i5DNHE
Intel Core i5-7300U, 16 GB DDR4, Ubuntu 24.04.
Wyniki
| Maszyna i tryb | Średnio na plik | Średnio przetwarzanie | Cała paczka |
|---|---|---|---|
| ThinkStation PGX, po kolei | 15,0 s | 10,3 s | 150 s |
| ThinkStation PGX, naraz | 73,2 s | 17,4 s | 89,2 s |
| Intel NUC, po kolei | 51,8 s | 39,1 s | 518 s |
| Intel NUC, naraz | 261,8 s | 119,9 s | 317 s |
Czasy dla każdego pliku
Czas od wysłania pliku do zapisu w bazie, w sekundach. Ostatnia kolumna pokazuje, ile razy dłużej ten sam plik ładował się na NUC przy ładowaniu naraz.
| Plik | KB | PGX po kolei | PGX naraz | NUC po kolei | NUC naraz | NUC / PGX naraz |
|---|---|---|---|---|---|---|
| 01 umowa najmu | 104 | 26,8 | 58,9 | 54,8 | 142,0 | 2,4× |
| 02 umowa o prace | 104 | 13,4 | 59,0 | 51,4 | 141,9 | 2,4× |
| 03 akt sprzedazy | 95 | 13,7 | 55,8 | 52,3 | 247,3 | 4,4× |
| 04 statut spolki | 91 | 13,7 | 55,8 | 49,0 | 280,0 | 5,0× |
| 05 umowa dzierzawy | 101 | 13,7 | 62,2 | 51,7 | 266,1 | 4,3× |
| 06 pelnomocnictwo | 102 | 13,7 | 89,2 | 52,2 | 313,4 | 3,5× |
| 07 umowa zlecenia | 99 | 13,8 | 86,2 | 48,5 | 296,1 | 3,4× |
| 08 ugoda cywilna | 102 | 13,7 | 86,3 | 48,6 | 307,4 | 3,6× |
| 09 umowa kredytu | 103 | 13,7 | 89,0 | 55,0 | 306,9 | 3,4× |
| 10 regulamin kancelarii | 108 | 13,7 | 89,2 | 54,9 | 317,0 | 3,6× |
Wnioski
- ThinkStation PGX jest 3,45–3,55 raza szybszy od komputera biurowego: 150 s zamiast 518 s po kolei i 89,2 s zamiast 317 s naraz.
- Ładowanie naraz przyspiesza całą paczkę 1,68 raza na PGX i 1,63 raza na NUC.
- Komputer biurowy dławi się przy wielu plikach naraz. Średnie przetwarzanie pliku na serwerze wyniosło 119,9 s wobec 17,4 s na PGX, a faza wysyłki ostatniego pliku trwała 141,9 s wobec 55,7 s.
- Do produkcji potrzebny jest sprzęt z akceleratorem. NUC wystarczy do testów, ale firmie, która codziennie dokłada dokumenty do bazy wiedzy, polecamy DGX Spark albo ThinkStation PGX. Więcej o doborze w artykule Jaki serwer do lokalnego LLM.
Pytania i odpowiedzi
Ile trwa ładowanie 10 dokumentów PDF do lokalnej bazy RAG?
Na Lenovo ThinkStation PGX, przy wysyłce wszystkich plików naraz, całość zajęła 89,2 sekundy. Na komputerze biurowym Intel NUC7i5DNHE (i5-7300U, 16 GB) ten sam zestaw zajął 317 sekund. Dokumenty miały po około 100 KB, a cały proces działał lokalnie, bez wysyłania danych do chmury.
Czym różni się ładowanie po kolei od ładowania naraz?
Po kolei każdy plik czeka, aż serwis skończy poprzedni. Naraz wszystkie pliki trafiają do serwisu jednocześnie, a serwer przetwarza je równolegle. Na ThinkStation PGX ładowanie naraz było 1,68 raza szybsze (89,2 s zamiast 150 s), na NUC 1,63 raza (317 s zamiast 518 s).
Czy ładowanie naraz jest zawsze lepsze?
Dla całej paczki tak, bo nie ma przerw między plikami. Pojedynczy plik czeka jednak dłużej, bo serwer dzieli moc między wszystkie żądania. Na ThinkStation PGX średni czas jednego pliku wzrósł z 15,0 s do 73,2 s. Ładowanie naraz opłaca się, gdy liczy się czas całej paczki, a nie pierwszego dokumentu.
Jak wypada zwykły komputer biurowy w porównaniu z ThinkStation PGX?
Intel NUC7i5DNHE był 3,45 raza wolniejszy przy ładowaniu po kolei (518 s wobec 150 s) i 3,55 raza wolniejszy przy ładowaniu naraz (317 s wobec 89,2 s). Wąskim gardłem jest procesor: średni czas przetwarzania pliku na serwerze wyniósł 119,9 s wobec 17,4 s na PGX. Taki komputer wystarczy do testów, ale nie do pracy z większą liczbą dokumentów.
Czym jest serwis RAG w CerebrOS?
CerebrOS to nasz framework, który łączy lokalną bazę wiedzy RAG, interfejs, CRM i agentów AI. Na nim działa Firmaris Legal Studio. Ładowanie dokumentu polega na wysłaniu pliku do lokalnego serwisu RAG, który wyciąga tekst, dzieli go na fragmenty, liczy embeddingi lokalnym modelem i zapisuje je w bazie wektorowej. Dane nie opuszczają infrastruktury klienta. Serwis udostępnia API zgodne z LiteLLM Proxy.
Jakie formaty plików obsługuje serwis RAG?
PDF, DOCX, TXT i Markdown, obrazy JPG i PNG (tekst odczytywany przez OCR) oraz nagrania audio, które przed indeksowaniem zamieniamy na tekst. Każdy plik trafia do tej samej bazy wektorowej, więc w jednym miejscu można trzymać umowy, notatki, skany i nagrania ze spotkań.
Jaki sprzęt wybrać do firmowej bazy wiedzy RAG?
Sam procesor, jak w NUC z i5, nie wystarczy przy większej liczbie dokumentów: przetwarzanie trwało prawie 7 razy dłużej niż na PGX. Firmom, które ładują dziesiątki dokumentów dziennie, na przykład kancelariom, polecamy komputer klasy NVIDIA DGX Spark lub Lenovo ThinkStation PGX. Paczkę 10 dokumentów ładuje w mniej niż 2 minuty.
Czy wyniki zależą od modelu językowego?
Nie. Benchmark mierzy ładowanie dokumentów: wyciąganie tekstu, podział na fragmenty, embeddingi i zapis do bazy. Nie mierzy szybkości odpowiedzi modelu językowego. Obie maszyny używały tego samego modelu embeddingów, więc różnica wynika z mocy sprzętu, a nie z ustawień.
Dane
Dane udostępniamy na licencji CC BY 4.0: możesz je wykorzystać, także komercyjnie, jeśli podasz jako źródło AI Transformation z linkiem do raportu.