Tokenizer i dane
Własny tokenizer BPE, pipeline czyszczenia, podział danych oraz raport jakości.
Fabryka AI · LLM od zera · edycja 2 · pre-sale
Zbuduj model językowy. Na sprzęcie, który kupimy razem.
12 tygodni budowania własnego polskiego modelu: od tokenizera, przez trening i ewaluację, po działające API. To kameralna grupa z bezpośrednim kontaktem do prowadzących — seminarium, nie masowy kurs. 15 miejsc w pre-sale po 1 900 zł. Z tych wpłat kupujemy NVIDIA DGX Spark: 128 GB pamięci pod trening, inferencję i ewaluacje. Po programie Spark zostaje w laboratorium Slayer — do dalszych badań i dla ciekawych projektów, wedle uznania prowadzącego.
0z 15 miejsc zarezerwowanych
- Pre-sale
- 1 900 zł
- Regular
- 2 900 zł
- Koniec
- 30.09.2026
15 × 1 900 zł = 28 500 zł. DGX Spark 128 GB / 4 TB kosztuje u polskiego dystrybutora 25 699 zł (superstorage.pl, 10.09.2026). Reszta idzie na prąd i dysk. Licznik rośnie po zaksięgowaniu wpłaty.
- 12
- tygodni wspólnej pracy nad jednym modelem
- 14
- osób w edycji 1 — wyprzedana w kilka godzin
- 128
- GB pamięci Sparka do dyspozycji kohorty
- Mała
- grupa z bezpośrednim kontaktem do prowadzących — seminarium, nie masowy kurs
01 · edycja 1 → 2
Edycja 1 kosztowała 700 zł. Tej ceny już nie będzie.
Pierwsze 14 miejsc poszło do znajomych i alumnów w kilka godzin. To był dowód, że program ma sens, a nie cena rynkowa. Edycja 2 jest większa i widać to w konkretach, nie w przymiotnikach.
01DGX Spark w cenie
128 GB zunifikowanej pamięci na trening, inferencję i ewaluacje kohorty. Każdy dostaje przydział czasu w harmonogramie, większe joby idą w soboty, a obecny RTX 3090 pracuje jako druga maszyna. Po programie Spark zostaje w laboratorium Slayer — do dalszych badań i ciekawych projektów, wedle uznania prowadzącego.
02TA z alumnów edycji 1
Twoje repo czyta ktoś, kto trzy miesiące temu przeszedł tę samą drogę i pamięta, gdzie się wywraca loss.
03Kameralna grupa
Bezpośredni kontakt z prowadzącymi, nie wykład dla tłumu. Wielkość grupy dopasowujemy do zapisów — bliżej seminarium niż masowego szkolenia.
04Soboty warsztatowe
Długie sesje na trening i debugowanie, nie tylko wieczory po pracy. Wtedy uruchamiamy większe eksperymenty na Sparku.
05Praca na arXiv
Edycja 1 skończyła się wspólnym artykułem. Edycja 2 celuje w to samo, tym razem z ewaluacjami policzonymi na własnym sprzęcie.
Dowody z edycji 1 · kliknij
DanePolish DynaWord9,64 mld tokenów · 18 źródeł · Hugging Face ↗ ModeleSlayerLab na Hugging FaceGoLLeM-110M-PL, slayer-scratch, tokenizery BPE 32k/65k ↗ RepoGPT + tokenizer od zeracheckpoint 136M, skrypty treningowe, dokumentacja odtworzenia ↗ArtykułWorking paper kohortyszkic w SlayerLab, cel: koniec września 2026
Kto prowadzi
Kacper WikiełBuduje dane pretreningowe, tokenizery i pipeline'y ewaluacji dla polskich i niskozasobowych modeli w SlayerLab (Fabryka AI). Wcześniej ML Engineer w PwC, ML/CV Engineer u krajowego operatora infrastruktury przesyłowej i Software Engineer od generatywnego AI w Procter & Gamble. Autor Polish DynaWord, CodeSOTA i Hardparse. O polskich modelach mówił w TVN24.
- 18
- otwarcie licencjonowanych źródeł
- 4,3 mln
- dokumentów w wydaniu v0.2.5
- 6
- współautorów przez pull requesty
- CC-BY-SA-4.0
- jedna wspólna licencja całości
Polski wariant frameworku Dynaword (Enevoldsen i in., 2025): każde źródło ma osobny datasheet i jawnie wykluczone kandydatury, a nie sam zrzut bajtów. Artykuł zespołu jest wciąż szkicem — celujemy w zamknięcie go do końca września 2026.
02 · sprzęt
Co kupujemy. I po co.
NVIDIA DGX Spark to komputer wielkości książki z układem GB10 Grace Blackwell. Dużo pamięci, umiarkowana przepustowość: 128 GB mieści modele, których 3090 nie udźwignie, ale nie jest dwa razy szybszy. Dlatego Spark pracuje na harmonogramie, a 3090 zostaje jako druga maszyna.
# NVIDIA DGX Spark · GB10 Grace Blackwell
memory = 128 GB unified LPDDR5X · 273 GB/s
compute = 1 PFLOP FP4 · 20 rdzeni Arm · 240 W
storage = 4 TB NVMe · ConnectX-7 200 GbE
inference: modele do 200B parametrów (FP4)
fine-tuning: do 70B (QLoRA) · pretraining: małe modele kursu
# harmonogram: sloty w tygodniu · duże joby w soboty
# po programie: 12 mies. dla labu Slayer i fundatorów
- Trening
- Slot to przydział czasu w harmonogramie, nie cała maszyna. Modele kursowe są małe i mieszczą się kilka naraz; dłuższe runy planujemy na soboty i noce. Nie liczysz godzin w chmurze i nie kupujesz GPU.
- Inferencja
- Spark serwuje modele kohorty i modele-sędziów do 70B. Sędzia 70B w FP4 na tej przepustowości liczy kilka tokenów na sekundę, więc ewaluacje idą w tle, nie na żywo. Capstone dostaje publiczne demo na naszym sprzęcie.
- Ewaluacje
- Polskie benchmarki liczone lokalnie i powtarzalnie. KLEJ, LLMzSzŁ, ZusWaveBench dla wszystkich na tym samym sprzęcie, więc wyniki da się porównać i opublikować.
- Po kursie
- Spark zostaje w laboratorium Slayer. Dalsze badania, ciekawe projekty, ewentualny dostęp fundatorów czy edycja 3 — o tym decyduje prowadzący, bez z góry ustalonego okresu ani gwarancji. Nie ląduje w niczyim domu i nie idzie na sprzedaż.
- Czego nie robi
- Nie wytrenuje 7B od zera w 12 tygodni. I nie po to jest. Model kursowy ma dziesiątki milionów parametrów z wyboru: ma się dać zrozumieć w całości, macierz po macierzy.
03 · rezultat
Nie oglądasz budowy modelu. Zostawiasz repo, które działa.
Program prowadzi przez cały łańcuch pracy. Rezultatem nie jest certyfikat, lecz kod, decyzje, pomiary i model, który potrafisz wyjaśnić.
Model bazowy
Mały GPT napisany i wytrenowany od podstaw, z manifestem konfiguracji i checkpointami.
Ewaluacja
Held-out loss, próbki generacji i mini-benchmark z opisanym protokołem oraz ograniczeniami.
Wdrożenie
Dostrojenie, kwantyzacja i lokalne API z pomiarem szybkości oraz kosztu inferencji.
04 · program
Jeden model. Pięć warstw pracy.
Każdy tydzień rozwija ten sam projekt. Kliknij moduł, aby zobaczyć temat i artefakt końcowy.
Blok IFundamenty
01TokenizerBPE · polszczyzna
Byte-level BPE, kompresja i pułapki polskiej morfologii.
Artefakt: własny tokenizer i raport porównawczy.02Danejakość · deduplikacja
Źródła, licencje, filtrowanie jakości, MinHash/LSH, PII i deterministyczne splity.
Artefakt: pipeline danych z manifestem pochodzenia.03Język jako prawdopodobieństwobigram · MLP
Od zliczeń do sieci, embeddingi, backprop i negative log likelihood.
Artefakt: bigram i MLP generujące pierwsze próbki.Blok IITransformer
04AttentionQ · K · V
Self-attention krok po kroku, maska przyczynowa, multi-head i pozycje.
Artefakt: single-head attention bez gotowego modułu.05Pełna architektura GPTresidual · norm · MLP
Bloki transformera, pre-norm, RMSNorm, SwiGLU, GQA i świadome decyzje architektoniczne.
Artefakt: model robiący pełny forward pass.06Treningoptymalizacja · debug
Batching, AdamW, harmonogram LR, mixed precision, checkpointing i diagnostyka lossa. Pierwszy dłuższy run na Sparku.
Artefakt: wytrenowany checkpoint i karta przebiegu.Blok IIISkala i pomiar
07Skalowaniecompute · DDP
Scaling laws, budżet tokenów, multi-GPU i ekonomia treningu.
Artefakt: policzony plan większego eksperymentu.08Ewaluacjaprotokół · PL
Held-out loss, zadania downstream, benchmarki polskie i ryzyko kontaminacji. Modele-sędziowie uruchamiane lokalnie na Sparku.
Artefakt: własny mały benchmark z kartą metodologiczną.Blok IVOd base do instruct
09SFT, LoRA i QLoRAdostrajanie
Dane instrukcyjne, chat templates i adaptacja niskiego rzędu.
Artefakt: porównanie modelu przed i po dostrojeniu.10Preferencje i DPOalignment
Dane preferencyjne, funkcja celu DPO i typowe błędy alignowania małych modeli.
Artefakt: kontrolowany eksperyment DPO.Blok VProdukcja
11InferencjaGGUF · API
KV-cache, batching, kwantyzacja, llama.cpp i pomiar tokenów na sekundę.
Artefakt: lokalne API z benchmarkiem wydajności.12Capstonedemo · publikacja
Projekt end-to-end: dane, trening lub dostrojenie, ewaluacja i wdrożenie. Wspólny artykuł kohorty.
Artefakt: publiczne demo na Sparku i dokumentacja decyzji.05 · metoda
Rygor bez marketingowych procentów.
Nie obiecujemy wyniku bez pomiaru. Ustalamy rytm, kryteria artefaktu i sposób review, a postęp jest widoczny w kodzie.
Teoria → praktyka → artefakt
Zajęcia porządkują temat, sobota warsztatowa uruchamia większy eksperyment, a zadanie kończy się sprawdzalnym plikiem, kodem lub wynikiem.
Człowiek czyta decyzje
Liczy się nie tylko to, czy kod działa. Opisujesz założenia, porównujesz warianty i bronisz wniosków na podstawie pomiaru. Czyta TA z edycji 1 i Kacper.
Manifesty zamiast magii
Źródła danych, konfiguracje, checkpointy, metryki i ograniczenia pozostają w repo. Da się odtworzyć drogę do wyniku.
06 · cena
Trzy ceny. Jedna jest już historią.
Cena rośnie, bo produkt urósł: sprzęt w cenie, TA, kameralna grupa, soboty. Pre-sale jest tańszy, bo płacisz zanim Spark stoi na biurku i to twoja wpłata go kupuje. To seminarium z bezpośrednim kontaktem do prowadzących, nie masowy kurs — wielkość grupy po pre-sale ustalamy wedle zapisów. Ceny są końcowe, faktura na firmę na życzenie.
Znajomi i alumni
700 zł
- 14 miejsc, poszły w kilka godzin
- Wspólny artykuł na arXiv
- Tej ceny już nie będzie
Fundator Sparka
1 900 zł
- 15 z 15 miejsc wolnych
- Twoja wpłata kupuje DGX Spark
- Możliwość korzystania ze Sparka po kursie na własne projekty — wedle uznania prowadzącego
- Pierwszeństwo do roli TA w edycji 3
- Imię na liście fundatorów w repo kohorty
- Pełny program, kameralna grupa, soboty, TA
Po pre-sale
2 900 zł
- Zapisy od października, w miarę wolnych miejsc
- Ten sam program i ten sam Spark w trakcie kursu
- Bez pierwszeństwa dostępu do Sparka po kursie
- Bez pierwszeństwa do roli TA i bez miejsca na liście fundatorów
W cenie każdego miejsca w edycji 2: 12 tygodni zajęć w kameralnej grupie, soboty warsztatowe, przydział czasu na Sparku przez cały program, review TA i Kacpra, nagrania, Discord kohorty, faktura na firmę na życzenie.
Gwarancja
Jeśli do 30.09.2026 nie zbierze się 15 wpłat, wybierasz: zwrot 100% albo miejsce w edycji na obecnym sprzęcie. Po starcie masz 14 dni na rezygnację bez pytań. Jeden mail wystarczy.
07 · rezerwacja
Formularz, przelew, miejsce.
Zostaw imię, e-mail i telefon. Kacper dzwoni albo pisze z linkiem do płatności (EasyTools) — telefon jest obowiązkowy, żeby nic nie zginęło w mailu. Miejsce trzymam trzy dni robocze na wpłatę, potem wraca do puli.
- Kwota
- 1 900 zł, cena końcowa; płatność linkiem EasyTools
- Telefon
- wymagany — link do płatności wysyłamy SMS-em lub dzwonimy
- Miejsca
- 15 z 15 wolnych
- Start
- Listopad 2026, termin potwierdzony po pre-sale
- Faktura
- Na firmę, odpisz z NIP-em
08 · dla kogo
Ambitny start. Jasne wymagania.
To ma sens, jeśli
- znasz podstawy Pythona;
- chcesz rozumieć modele, nie tylko wywoływać API;
- możesz pracować systematycznie nad jednym repo;
- interesuje cię polski język, open source i research.
To nie jest dobry moment, jeśli
- szukasz krótkiego kursu promptowania;
- nie chcesz pisać ani czytać kodu;
- nie masz czasu na regularną pracę własną;
- potrzebujesz gwarantowanego wyniku bez eksperymentów.
09 · ekosystem
Jedna droga: nauka, praca badawcza, dowody.
LLM od zera jest ścieżką edukacyjną Fabryka AI. Po kursie mapa się nie kończy: Spark zostaje w Slayerze, absolwenci wracają jako TA, a ewaluacje trafiają do CodeSOTA.
01 · organizacjaFabryka AI
Buduje polskie produkty, infrastrukturę i badania AI.
fabryka.ai ↗ 02 · laboratoriumSlayerOtwarte laboratorium modeli, danych i eksperymentów. Tu zamieszka Spark.
slayer.fabryka.ai ↗ 03 · pomiarCodeSOTAŹródła, protokoły i rygor oceny wyników.
codesota.com ↗ 04 · warsztatDiscordCodzienna rozmowa, pytania i współpraca społeczności.
dołącz ↗10 · FAQ
Zanim zarezerwujesz.
Dlaczego telefon jest obowiązkowy?
Bo miejsce rezerwujemy ręcznie i płacisz linkiem EasyTools, nie przelewem na dane ze strony. Telefon jest jedynym pewnym sposobem, żeby link do płatności do Ciebie dotarł i nie utknął w spamie.
Dlaczego 1 900 zł, skoro edycja 1 kosztowała 700 zł?
Bo 700 zł było ceną dla pierwszych 14 osób, znajomych i alumnów, i miało sprawdzić, czy program działa. Zadziałał: miejsca zniknęły w kilka godzin, a edycja skończyła się artykułem. Edycja 2 ma w cenie sprzęt, TA, kameralną grupę i soboty. Regular będzie kosztował 2 900 zł.
Co się stanie, jeśli nie zbierzecie 15 wpłat do 30.09?
Wybierasz: pełny zwrot albo miejsce w edycji prowadzonej na obecnym sprzęcie (RTX 3090 plus chmura na godziny). Nie kupujemy Sparka na kredyt i nie podnosimy ceny w trakcie.
Kiedy start edycji 2?
Listopad 2026. Dokładny termin potwierdzam mailem do wszystkich fundatorów po zamknięciu pre-sale, żeby Spark był na miejscu przed pierwszymi zajęciami.
Czy potrzebuję własnego GPU?
Nie. Laptop do pisania kodu i przydział czasu na Sparku wystarczą na cały program. Mniejsze eksperymenty puścisz lokalnie na CPU, większe na Sparku w swoim slocie albo w sobotę, a RTX 3090 laboratorium jest drugą maszyną.
Jak duża jest grupa?
Kameralna — to bliżej seminarium niż masowego kursu, każdy ma bezpośredni kontakt do prowadzących. Wielkość po pre-sale ustalamy wedle zapisów, bez z góry narzuconego planu na sztywną liczbę grup. Pre-sale finansuje Sparka, regular finansuje TA i prowadzenie.
Czyj jest Spark po kursie?
Laboratorium Slayer. Po programie służy dalszym badaniom i ciekawym projektom — o dostępie, także dla fundatorów, decyduje prowadzący, bez z góry ustalonego okresu ani gwarancji. Nie trafia do niczyjego domu i nie idzie na sprzedaż.
Ile muszę umieć na starcie?
Podstawy Pythona i gotowość do matematyki na poziomie licealnym. PyTorch i transformatory budujemy krok po kroku.
Ile czasu potrzeba tygodniowo?
Zajęcia w tygodniu, sobota warsztatowa i regularna praca własna nad repo. Realny zakres godzin potwierdzam przy rozmowie, zależnie od punktu startowego.
Czy dostanę fakturę?
Tak, na firmę. 1 900 zł to cena końcowa. Po rezerwacji odpisz na maila z NIP-em, a fakturę dostaniesz przez EasyTools razem z linkiem do płatności.
Co dokładnie zostaje po programie?
Repo projektu, tokenizer, konfiguracje, checkpointy, wyniki ewaluacji, dokumentacja decyzji, działające demo na Sparku i wspólny artykuł kohorty.