Michał Wiencek / Szkolenie / Program
Program szkolenia: agenci AI i automatyzacje
Poniżej stoi cały materiał, moduł po module i lekcja po lekcji. Nie spis treści i nie zajawka: pełna treść, do przeczytania bez zapisywania się gdziekolwiek. To samo w wersji do klikania, ze sprawdzianami i zapisem postępu, leży w kursie interaktywnym.
- 6modułów
- 23lekcji
- 69zadań
- 8 hmateriału
- 1:1na żywo
Czym różni się agent AI od automatyzacji, którą już masz?
Automatyzacja wykonuje kroki, które ktoś wcześniej zapisał. Agent sam dobiera narzędzia i kolejność, więc jego zachowania nie da się odczytać z samego kodu. Szkolenie rozkłada to na trzy poziomy. Poziom A to kod i reguły, czyli największa przewidywalność. Poziom B to model w stałym workflow, gdzie elastyczna jest transformacja danych, a nie przebieg. Poziom C to agent, w którym od sytuacji zależy i dobór narzędzi, i liczba kroków.
Wybór poziomu jest decyzją projektową, nie kwestią mody. Im wyżej, tym większa elastyczność i tym trudniej udowodnić, że system zachowa się jutro tak samo jak dziś.
Ile trwa zbudowanie agenta, który wchodzi na produkcję?
Osiem godzin pracy na żywo wystarcza na prototyp, który chodzi na Twoim procesie i ma jawnie zapisane granice. Wejście na produkcję to osobne czternaście dni i szkolenie planuje je wprost: dni 1 do 3 na proces, dane i granice, dni 4 do 7 na przepływ, bezpieczeństwo i evale, dni 8 do 10 na pomiar oraz jedną poprawę, dni 11 do 14 na approval, shadow mode i decyzję.
Sama autonomia rośnie osobną drabiną: P0 to prototyp lokalny, P1 to shadow mode bez skutku, P2 to szkice zatwierdzane przez człowieka, P3 to ograniczona produkcja przy odwracalnym niskim ryzyku. Pełna autonomia nie jest domyślnym celem żadnego z tych etapów.
Co musi być gotowe, żeby agent nie narobił szkód?
Pięć warstw naraz, bo każda z osobna daje się obejść: minimalne uprawnienia, walidacja argumentów, sandbox, bramka akceptacji przy skutkach zewnętrznych oraz log i alert. Do tego jawny podział działań na trzy poziomy zgody. AUTO obejmuje niskie ryzyko przy operacji odwracalnej i ograniczonej. APPROVAL obejmuje wszystko, co ma skutek zewnętrzny, koszt albo reprezentuje człowieka. DENY obejmuje operacje niepotrzebne do osiągnięcia celu albo nieodwracalne.
Bez tego podziału pierwsze zdanie wstrzyknięte z cudzej strony staje się poleceniem, a agent nie ma czym odróżnić danych od instrukcji.
Dlaczego moduły idą w tej kolejności
Kolejność nie jest kwestią gustu. Każdy moduł zamyka decyzję, bez której następny stoi w powietrzu.
- Najpierw proces, bo agent postawiony na procesie bez właściciela i bez definicji zakończenia tylko przyspiesza powstawanie przypadkowych wyników.
- Potem kontekst, bo model odpowiada na to, co dostał, a nie na to, co ktoś miał na myśli.
- Potem narzędzia i integracje, bo dopiero one pozwalają agentowi zrobić cokolwiek poza pisaniem tekstu.
- Potem trwałość i kontrola, bo od tego momentu agent ma czym zaszkodzić.
- Potem budowa na Twoim procesie, bo wszystkie wcześniejsze decyzje mają się teraz spotkać w jednym działającym przebiegu.
- Na końcu evale, koszty i plan na czternaście dni, bo bez pomiaru nie wiadomo, czy prototyp jest lepszy od tego, co było.
Pełny program
23 lekcji w 6 modułach, razem 480 minut materiału i 69 zadań do sprawdzenia. Każda lekcja ma tę samą budowę: briefing, wiedza, przypadek z życia, ćwiczenie na Twoim procesie i domknięcie.
Moduł 01 Workflow czy agent?
4 lekcje 45 min
01 Diagnoza procesu
10 min fundament 3 zadania
Dobry agent zaczyna się od dobrego problemu. Najpierw mierzymy proces, dopiero potem wybieramy technologię.
Nie automatyzuj chaosu
Jeżeli proces nie ma właściciela, wejścia i definicji zakończenia, agent jedynie przyspieszy powstawanie przypadkowych rezultatów. Diagnoza ma ustalić, co faktycznie dzieje się dzisiaj, a nie jak proces powinien wyglądać w teorii.
Przejdź przez jeden prawdziwy przypadek od początku do końca. Zapisz wszystkie oczekiwania, wyjątki, ręczne poprawki i miejsca, w których pracownik szuka dodatkowych informacji.
- Częstotliwość i średni czas jednego wykonania
- Najdroższy lub najczęstszy błąd
- Liczba wyjątków wymagających decyzji
- Źródła danych i system, w którym powstaje wynik
Metryka bazowa
Bez punktu odniesienia nie da się ocenić, czy rozwiązanie pomaga. Metryką może być czas przygotowania odpowiedzi, odsetek zaakceptowanych szkiców, koszt obsługi jednego zgłoszenia albo liczba brakujących danych wykrytych przed wysyłką.
Wybierz jedną metrykę wyniku i jedną metrykę bezpieczeństwa. Pierwsza mówi, czy powstaje wartość. Druga pilnuje, żeby nie kupować szybkości wzrostem ryzyka.
- Wynik: np. czas od briefu do gotowego szkicu
- Bezpieczeństwo: np. zero publikacji bez akceptacji
- Pomiar przed zmianą i po uruchomieniu prototypu
Przypadek: Proces przygotowania posta
Zamiast celu „zautomatyzować social media” opisujemy jeden mierzalny przebieg.
- Wejście: brief, materiały źródłowe i ton marki
- Dzisiaj: 55 minut pracy i średnio dwie rundy korekty
- Wynik: trzy warianty z listą źródeł w mniej niż 15 minut
- Granica: system nigdy nie publikuje bez ręcznej zgody
Ćwiczenie: Prześledź jeden prawdziwy przypadek
Opisz proces, który chcesz usprawnić. Użyj konkretnego przypadku z ostatnich 7 dni i dopisz obecny czas, błąd oraz mierzalny wynik.
Po tej lekcji
- odróżnić problem procesowy od problemu modelu
- zapisać punkt odniesienia przed automatyzacją
- wybrać wąski przypadek do pierwszego prototypu
02 Trzy poziomy automatyzacji
10 min fundament 3 zadania
Nie każde zadanie potrzebuje agenta. Wybór najprostszego działającego poziomu zmniejsza koszt, ryzyko i czas budowy.
Reguła, model czy agent?
Deterministyczna automatyzacja wykonuje z góry opisane kroki. Workflow z modelem wstawia model do konkretnego etapu, ale kolejność pozostaje stała. Agent sam wybiera kolejne działania na podstawie celu i aktualnego stanu.
Różnica nie polega na tym, czy system używa dużego modelu językowego. Polega na tym, kto kontroluje ścieżkę wykonania: programista, zdefiniowany przepływ czy model.
- Poziom A: kod i reguły, największa przewidywalność
- Poziom B: model w stałym workflow, elastyczna transformacja danych
- Poziom C: agent, dobór narzędzi i kroków zależny od sytuacji
Zacznij poziom niżej
Jeśli wątpisz pomiędzy dwoma poziomami, zacznij od prostszego. Autonomię dodaj dopiero wtedy, gdy istnieje konkretny wariant procesu, którego nie da się rozsądnie opisać regułami.
W systemie produkcyjnym te poziomy zwykle współistnieją: kod waliduje format, model interpretuje język, a agent decyduje, które bezpieczne narzędzie odczytowe wywołać.
- Kod do obliczeń i walidacji
- Model do interpretacji i generowania
- Agent do wyboru ścieżki przy zmiennym środowisku
Przypadek: Obsługa wiadomości od klienta
Ten sam proces może zostać rozwiązany na trzech poziomach.
- Reguła: formularz z kategorią kieruje zgłoszenie do kolejki
- Workflow z modelem: model klasyfikuje treść, potem stała reguła wybiera kolejkę
- Agent: pobiera historię, sprawdza zamówienie i dobiera kolejne narzędzie
- Decyzja: jeśli klasyfikacja wystarcza, agent byłby niepotrzebnym kosztem
Ćwiczenie: Wybierz poziom dla trzech kroków
Rozbij swój proces na minimum trzy kroki. Przy każdym zapisz: kod/reguła, model w workflow albo agent. Uzasadnij tylko te miejsca, w których wybierasz agenta.
Po tej lekcji
- rozpoznać trzy poziomy automatyzacji
- nie utożsamiać użycia modelu z agentem
- projektować system hybrydowy zamiast jednego wielkiego agenta
03 Granice autonomii
15 min projektowanie 3 zadania
Autonomia nie jest przełącznikiem. Każda akcja powinna mieć własny poziom uprawnień i warunek zatrzymania.
Trzy koszyki działań
Podziel narzędzia na działania automatyczne, wymagające zgody i zabronione. Odczyt publicznej dokumentacji może działać automatycznie. Wysłanie wiadomości w imieniu człowieka wymaga zatwierdzenia. Usunięcie źródłowych danych może pozostać całkowicie niedostępne.
Nie polegaj na zdaniu w promptcie: „zawsze pytaj o zgodę”. Granica powinna być wymuszana przez aplikację, która nie uruchomi narzędzia zapisu bez ważnego tokenu akceptacji.
- AUTO: niskie ryzyko, operacja odwracalna i ograniczona
- APPROVAL: skutek zewnętrzny, koszt lub reprezentowanie człowieka
- DENY: operacja niepotrzebna do osiągnięcia celu albo nieodwracalna
Budżet autonomii
Poza uprawnieniami ogranicz liczbę kroków, czas i koszt jednego zadania. Agent powinien zatrzymać się także wtedy, gdy dwukrotnie powtarza tę samą akcję, nie znajduje wymaganych danych albo pewność wyniku spada poniżej ustalonego progu.
Dobra eskalacja przekazuje człowiekowi nie tylko komunikat o błędzie, ale również zebrane dane, wykonane kroki i konkretną decyzję, która jest potrzebna.
- Maksymalna liczba kroków
- Maksymalny koszt lub liczba tokenów
- Limit czasu i prób
- Warunek powtórzenia, braku danych oraz konfliktu źródeł
Przypadek: Agent social media
Politykę ustalamy osobno dla każdego narzędzia.
- AUTO: odczytaj brief i publiczne źródła
- AUTO: przygotuj szkic i sprawdź limit znaków
- APPROVAL: zaplanuj publikację na konkretny kanał
- DENY: usuń posty albo zmień dane dostępowe konta
Ćwiczenie: Zbuduj własną politykę zgód
Wypisz minimum sześć akcji swojego systemu i przypisz każdej AUTO, APPROVAL albo DENY. Dla działań wymagających zgody dopisz, co dokładnie musi zobaczyć człowiek.
Po tej lekcji
- przypisywać uprawnienia do konkretnych narzędzi
- wymuszać zgodę poza promptem
- projektować bezpieczne zatrzymanie i eskalację
04 Mierzalna definicja wyniku
10 min projektowanie 3 zadania
Agent nie powinien optymalizować ogólnego celu. Potrzebuje obserwowalnego wyniku, kryteriów jakości i jasnej definicji końca.
Od życzenia do kontraktu
Cel „przygotuj dobry research” nie mówi, kiedy zadanie jest gotowe. Kontrakt wyniku określa format, minimalny zakres, dowody, ograniczenia i przypadki, w których agent powinien odmówić zgadywania.
Oddziel poprawność strukturalną od jakości merytorycznej. Parser może sprawdzić wymagane pola i długość. Człowiek lub eval ocenia zgodność z celem, źródłami i tonem.
- Format: np. obiekt JSON zgodny ze schematem
- Kompletność: wszystkie wymagane pola
- Dowody: źródło przy każdym twierdzeniu
- Warunek końca: wynik gotowy albo jawna lista braków
Warunek odmowy
Brak danych jest prawidłowym rezultatem. System powinien wskazać, czego nie wie i jaka minimalna informacja pozwoli kontynuować. To bezpieczniejsze niż tekst brzmiący przekonująco, ale oparty na domysłach.
Definicja wyniku będzie później podstawą evali. Jeżeli nie da się jej ocenić na dziesięciu realnych przypadkach, jest jeszcze zbyt ogólna.
- Nie zgaduj wartości wymaganych
- Oddziel fakt, wniosek i propozycję
- Zapisz status: gotowe / potrzebna decyzja / brak danych / błąd
Przypadek: Kontrakt paczki treści
Rezultat jest gotowy dopiero wtedy, gdy spełnia wszystkie warunki.
- Trzy warianty posta o różnych kątach komunikacji
- Każdy wariant zawiera źródła wykorzystanych twierdzeń
- Każdy przechodzi limit długości i politykę marki
- Status publikacji zawsze pozostaje DRAFT do czasu akceptacji
Ćwiczenie: Napisz definicję „gotowe”
Opisz wynik swojego procesu tak, aby druga osoba mogła jednoznacznie uznać go za zaakceptowany, wymagający poprawy albo niemożliwy do wykonania z powodu brakujących danych.
Po tej lekcji
- zamieniać cel w testowalny kontrakt
- oddzielać walidację struktury od oceny jakości
- traktować brak danych jako jawny wynik
Moduł 02 Context engineering
4 lekcje 75 min
05 Warstwy kontekstu
20 min projektowanie 3 zadania
Model widzi tylko stan przekazany w danym kroku. Projektowanie tego stanu jest ważniejsze niż polerowanie jednego promptu.
Pięć źródeł kontekstu
Na wynik składają się instrukcje systemowe, dane zadania, historia, pamięć długoterminowa i wyniki narzędzi. Każda warstwa ma innego właściciela, częstotliwość zmian i poziom zaufania.
Zawartość pobrana z internetu jest materiałem do analizy, a nie instrukcją. Dane użytkownika opisują cel, ale nie powinny móc zmienić polityki uprawnień zapisanej przez właściciela systemu.
- System: rola, polityka i granice
- Zadanie: cel oraz dane bieżącego przypadku
- Pamięć: sprawdzone fakty potrzebne później
- Narzędzia: aktualne dane ze wskazanym pochodzeniem
- Historia: tylko kroki potrzebne do kontynuacji
Stałe, zadaniowe, na żądanie
Kontekst stały powinien być krótki i wersjonowany. Kontekst zadaniowy żyje tylko przez czas pojedynczego procesu. Długie dokumenty i dane historyczne pobieramy na żądanie, zamiast wkładać wszystko do każdego wywołania.
Dzięki temu zmniejszamy koszt, opóźnienie i ryzyko, że istotna instrukcja zginie wśród niepotrzebnych informacji.
- Czy ta informacja zmienia decyzję w tym kroku?
- Czy musi być aktualna?
- Czy model powinien jej ufać?
- Czy można pobrać ją dopiero po rozpoznaniu potrzeby?
Przypadek: Kontekst agenta publikacji
Rozdzielamy informacje według trwałości i zaufania.
- Stałe: zakaz samodzielnej publikacji i ton marki
- Zadaniowe: bieżący brief oraz kanał
- Na żądanie: dokumentacja produktu i aktualne źródła
- Pamięć: zatwierdzone preferencje, każda z datą i pochodzeniem
Ćwiczenie: Podziel kontekst swojego systemu
Wypisz wszystkie informacje, które planowałeś umieścić w promptcie. Podziel je na stałe, zadaniowe, pobierane na żądanie i niepotrzebne.
Po tej lekcji
- rozpoznawać pięć źródeł kontekstu
- oddzielać instrukcje od nieufnych danych
- ograniczać kontekst bez utraty potrzebnych informacji
06 Kontrakt ustrukturyzowanego wyjścia
20 min techniczne 3 zadania
Tekst jest dobry dla człowieka. Kolejny krok systemu potrzebuje przewidywalnych pól, typów i statusów.
Najpierw schemat, potem prompt
Zdefiniuj wynik jako obiekt danych, zanim poprosisz model o jego wytworzenie. Pola wymagane, dozwolone wartości i ograniczenia powinny wynikać z tego, co kolejny komponent musi wykonać.
Nie twórz ogromnego schematu dla wygody raportu. Mały kontrakt łatwiej walidować, testować i zmieniać. Dodatkowe objaśnienie dla człowieka można wygenerować z poprawnych danych.
- Wymagane identyfikatory i status
- Enum zamiast dowolnego tekstu dla decyzji
- Tablica dowodów z URL i fragmentem wspierającym
- Osobne pole errors zamiast ukrywania problemu w odpowiedzi
Walidacja i naprawa
Po odpowiedzi uruchom walidację poza modelem. Jeżeli format jest błędny, zwróć konkretne błędy i pozwól na jedną kontrolowaną próbę poprawy. Po kolejnej porażce zakończ zadanie statusem ERROR.
Model nie powinien sam uznawać, że jego odpowiedź spełnia schemat. To odpowiedzialność deterministycznego kodu.
- Walidacja typów i pól wymaganych
- Walidacja reguł biznesowych
- Maksymalnie jedna lub dwie próby naprawy
- Pełny log poprzednich błędów bez publikowania częściowego wyniku
Przypadek: Szkic z dowodami
Kolejny krok potrzebuje danych, nie ładnego akapitu.
- status: READY albo NEEDS_INPUT
- drafts: lista trzech wariantów
- claims: twierdzenie, źródło i poziom pewności
- approval_required: zawsze true dla publikacji
Ćwiczenie: Zaprojektuj wynik dla następnego kroku
Zapisz 5-8 pól, które musi otrzymać kolejny komponent Twojego procesu. Dodaj status braku danych, błędy i informację o wymaganej akceptacji.
Po tej lekcji
- projektować kontrakt przed promptem
- walidować wynik deterministycznym kodem
- obsługiwać częściowe dane bez udawania sukcesu
07 Pamięć z pochodzeniem
20 min projektowanie 3 zadania
Pamięć nie jest archiwum całej rozmowy. To mały zbiór faktów, które zmienią przyszłe decyzje i mają znane pochodzenie.
Co warto zapamiętać
Zapisuj stabilne preferencje, zatwierdzone decyzje, wynik poprzedniego kroku potrzebny do wznowienia oraz fakty, które zostały potwierdzone w zaufanym źródle. Nie zapisuj każdej wypowiedzi ani roboczych domysłów modelu.
Każdy rekord powinien wskazywać podmiot, treść faktu, źródło, datę utworzenia, datę weryfikacji i opcjonalne wygaśnięcie. Dzięki temu agent może odróżnić wiedzę aktualną od historycznej.
- Preferencja zaakceptowana przez użytkownika
- Decyzja biznesowa z właścicielem
- Checkpoint potrzebny do wznowienia
- Fakt z zaufanego źródła i datą ważności
Pamięć krótkotrwała i długotrwała
Stan pojedynczego zadania nie powinien automatycznie stawać się pamięcią użytkownika. Najpierw kończymy proces, potem zapisujemy tylko wybrane informacje spełniające politykę retencji.
Użytkownik powinien móc zobaczyć, poprawić i usunąć trwałe informacje. Agent nie może budować ukrytego profilu z przypadkowych fragmentów rozmów.
- Task state: żyje do zakończenia procesu
- Session memory: pomaga w bieżącej serii działań
- Long-term memory: tylko jawnie wybrane, stabilne informacje
- Audit log: historia zdarzeń, ale nie kontekst do każdego wywołania
Przypadek: Preferencja tonu marki
Zamiast zachowywać całą korektę, zapisujemy zatwierdzoną regułę.
- Fakt: unikać wykrzykników w komunikacji B2B
- Źródło: korekta zaakceptowana przez właściciela marki
- Zakres: LinkedIn B2B
- Weryfikacja: po zmianie brandbooka lub za 90 dni
Ćwiczenie: Zaprojektuj pięć rekordów pamięci
Wypisz pięć informacji, które naprawdę warto wykorzystać w przyszłym zadaniu. Przy każdej podaj źródło, zakres i moment wygaśnięcia. Usuń te, których nie potrafisz uzasadnić.
Po tej lekcji
- oddzielać stan zadania od trwałej pamięci
- zapisywać pochodzenie i okres ważności
- unikać ukrytego profilowania użytkownika
08 Model dobrany do kroku
15 min optymalizacja 3 zadania
Najmocniejszy model w każdym kroku zwykle nie jest najlepszą architekturą. Liczy się jakość całej ścieżki przy akceptowalnym czasie i koszcie.
Rozdziel pracę według trudności
Klasyfikacja prostego formularza, generowanie wariantów i decyzja wymagająca wielu narzędzi mają inny profil. Dla każdego kroku określ minimalny poziom jakości, maksymalne opóźnienie i budżet.
Mały model może obsłużyć ekstrakcję oraz routing. Mocniejszy model uruchamiaj tylko dla złożonego planowania lub przypadków, które nie przechodzą progu pewności.
- Ekstrakcja i formatowanie: szybki, tani model
- Planowanie i konflikt źródeł: mocniejszy model
- Walidacja reguł: kod zamiast modelu
- Eskalacja jakościowa dopiero po wykryciu trudnego przypadku
Routing oparty na evalach
Nie wybieraj modelu na podstawie pojedynczego efektownego przykładu. Uruchom ten sam zestaw przypadków, porównaj skuteczność, p95 czasu oraz koszt ukończonego zadania.
Koszt jednego wywołania jest mniej ważny niż koszt poprawnego rezultatu. Tani model z trzema naprawami może być droższy od jednego poprawnego wykonania.
- Pass rate całego zadania
- Koszt przypadku zakończonego sukcesem
- p50 i p95 opóźnienia
- Liczba ponowień i eskalacji
Przypadek: Trójstopniowy routing
Model jest wybierany na podstawie rodzaju pracy i wyniku wcześniejszego kroku.
- Mały model wydobywa pola z briefu
- Kod sprawdza kompletność
- Mocniejszy model planuje tylko wtedy, gdy brief ma wiele źródeł lub konflikt
- Człowiek rozstrzyga działanie wysokiego ryzyka
Ćwiczenie: Zaprojektuj routing modeli
Dla każdego kroku swojego procesu określ typ pracy, wymagany poziom jakości i warunek użycia mocniejszego modelu. Zaznacz kroki, które powinny być zwykłym kodem.
Po tej lekcji
- dobierać model do rodzaju kroku
- mierzyć koszt poprawnego wyniku, nie wywołania
- eskalować trudne przypadki zamiast przepłacać za wszystkie
Moduł 03 Narzędzia i integracje
4 lekcje 90 min
09 Kontrakt dobrego narzędzia
20 min techniczne 3 zadania
Model wybiera narzędzie na podstawie nazwy, opisu i schematu. Niejasny kontrakt tworzy niejasne decyzje.
Jedna funkcja, jedna odpowiedzialność
Narzędzie powinno robić jedną rzecz i zwracać niewielki, przewidywalny wynik. Funkcja manage_everything jest trudna do autoryzacji, testowania i obserwowania. Lepiej rozdzielić search_documents, get_document oraz request_publication.
Opis mówi nie tylko co funkcja robi, ale też kiedy jej nie używać. Schemat wejścia ogranicza dozwolone wartości, a wynik zawsze zawiera status oraz dane albo ustrukturyzowany błąd.
- Nazwa opisująca działanie
- Wąski schemat wejścia
- Jawny typ operacji READ lub WRITE
- Timeout, możliwe błędy i limit wyniku
Błąd jest częścią kontraktu
Narzędzie nie powinno zwracać pustego tekstu ani ogólnego komunikatu. Błąd zawiera kod, informację czy wolno ponowić oraz bezpieczny opis dla modelu. Dane techniczne i sekrety pozostają w logach serwera.
Agent musi wiedzieć, czy poprosić użytkownika, spróbować ponownie, wybrać inną ścieżkę czy zakończyć zadanie.
- NOT_FOUND: zmień zapytanie albo poproś o dane
- UNAUTHORIZED: nie ponawiaj, eskaluj
- RATE_LIMITED: ponów po określonym czasie
- INVALID_INPUT: popraw tylko wskazane pola
Przypadek: search_sources
Wąskie narzędzie tylko do odczytu zamiast ogólnej przeglądarki ze wszystkimi uprawnieniami.
- Wejście: query, dozwolone domeny i limit wyników
- Wyjście: tytuł, URL, fragment i data
- Limit: maksymalnie 8 wyników i 8 sekund
- Błędy: INVALID_INPUT, TIMEOUT, RATE_LIMITED
Ćwiczenie: Napisz pierwszy kontrakt narzędzia
Wybierz jedną operację z procesu. Zdefiniuj nazwę, typ READ/WRITE, minimalne wejście, wynik, cztery błędy, timeout oraz decyzję, czy wolno ją ponowić.
Po tej lekcji
- projektować małe i jednoznaczne narzędzia
- traktować błędy jako część interfejsu
- ograniczać dane i uprawnienia na poziomie funkcji
10 API, webhooki i autoryzacja
25 min techniczne 3 zadania
Integracja to przepływ danych i odpowiedzialności. Klucze, retry i weryfikacja zdarzeń muszą pozostać poza promptem.
Żądanie i zdarzenie
API działa wtedy, gdy system aktywnie pyta usługę lub zleca operację. Webhook przekazuje zdarzenie w drugą stronę: na przykład informację o nowej wiadomości. Nie zakładaj, że webhook dotrze dokładnie raz ani w poprawnej kolejności.
Każde zdarzenie otrzymuje identyfikator, znacznik czasu i podpis. Odbiorca najpierw weryfikuje podpis, potem sprawdza, czy identyfikator nie został już przetworzony.
- API request: kontrolowane wywołanie
- Webhook: asynchroniczne zdarzenie
- Weryfikacja podpisu przed parsowaniem
- Deduplication key przed skutkiem ubocznym
Sekrety nie są kontekstem modelu
Model nie potrzebuje klucza API. Wywołuje nazwane narzędzie, a warstwa wykonawcza dołącza sekret po stronie serwera. Logi dla modelu powinny maskować tokeny, dane uwierzytelniające i prywatne nagłówki.
Uprawnienia konta testowego ogranicz do minimalnego zakresu. Oddziel środowisko demonstracyjne od produkcyjnego i nie kopiuj prawdziwych danych klienta do ćwiczeń.
- Sekret w menedżerze sekretów lub zmiennej środowiskowej
- Osobne konto i zakres OAuth dla integracji
- Rotacja i możliwość cofnięcia dostępu
- Brak tokenów w promptach, pamięci i komunikatach błędu
Przypadek: Nowy brief z formularza
Webhook rozpoczyna proces, ale nie omija walidacji ani polityki uprawnień.
- Formularz wysyła podpisane zdarzenie z event_id
- Odbiorca weryfikuje podpis i deduplikację
- Kod waliduje wymagane pola
- Dopiero poprawny rekord uruchamia workflow agenta
Ćwiczenie: Rozrysuj jedną integrację
Zapisz skąd przychodzi zdarzenie, jak jest uwierzytelniane, gdzie walidujesz dane i który komponent posiada sekret. Dodaj obsługę duplikatu oraz timeoutu.
Po tej lekcji
- odróżniać API od webhooka
- weryfikować i deduplikować zdarzenia
- utrzymywać sekrety poza kontekstem modelu
11 MCP oraz A2A
20 min architektura 3 zadania
MCP standaryzuje dostęp agenta do narzędzi i danych. A2A dotyczy współpracy pomiędzy odrębnymi agentami. Te protokoły rozwiązują inne problemy.
MCP: agent-narzędzie
Serwer MCP może udostępniać narzędzia, zasoby oraz instrukcje. Klient pobiera ich opis i pozwala modelowi używać tylko dozwolonego podzbioru. Standard nie zwalnia z projektowania uprawnień, zgód ani dobrych kontraktów.
MCP jest przydatny, gdy to samo źródło danych lub zestaw funkcji ma być dostępny w kilku aplikacjach agentowych. Dla jednej prostej integracji bezpośrednie API może pozostać łatwiejsze.
- Tools: działania z ustrukturyzowanym wejściem
- Resources: dane odczytywane jako kontekst
- Prompts/instructions: współdzielone procedury
- Host nadal kontroluje, co jest udostępnione modelowi
A2A: agent-agent
A2A służy do odkrywania możliwości innego agenta, delegowania mu zadania i śledzenia jego stanu. Stosujemy go dopiero wtedy, gdy podsystem rzeczywiście ma własny cykl życia, kompetencję i odpowiedzialność.
Nie rozdzielaj jednego workflow na wielu agentów tylko dlatego, że diagram wygląda nowocześnie. Każda granica dodaje opóźnienie, koszt, nowe błędy i trudniejszą obserwowalność.
- MCP: podłącz narzędzie lub dane
- A2A: deleguj rezultat innemu autonomicznemu systemowi
- Bezpośrednie API: najprostsza pojedyncza integracja
- Jeden agent: domyślny wybór dla pierwszego prototypu
Przypadek: System researchu
Najpierw prosty host z narzędziami MCP, bez sztucznego mnożenia agentów.
- Host udostępnia search_sources i get_document
- Jeden agent buduje ledger źródeł
- Osobny agent prawny pojawia się dopiero, gdy jest niezależną usługą z własnym SLA
- A2A przekazuje zadanie i odbiera status, nie daje bezpośredniego dostępu do bazy
Ćwiczenie: Wybierz API, MCP albo A2A
Dla każdej planowanej integracji wybierz najprostszą opcję. Jeśli wybierasz A2A, uzasadnij, dlaczego drugi komponent musi być odrębnym agentem z własnym stanem.
Po tej lekcji
- odróżniać MCP od A2A
- wybierać standard zgodnie z realną granicą systemu
- unikać niepotrzebnej architektury wieloagentowej
12 Odczyt kontra zapis
25 min bezpieczeństwo 3 zadania
Narzędzie czytające dane i narzędzie zmieniające świat zewnętrzny nie mogą mieć tej samej polityki wykonania.
Rozdziel funkcje fizycznie
Nie używaj jednego narzędzia manage_post z parametrem action. Osobne get_draft, request_publication i delete_post pozwalają nadać różne uprawnienia, limity i wymagania zgody.
Narzędzia tylko do odczytu powinny mieć także ograniczenia zakresu: konkretne kolekcje, domeny, daty i maksymalną liczbę rekordów. READ nie oznacza automatycznie braku ryzyka.
- READ: minimalny zakres danych i maskowanie pól
- WRITE: zgoda, idempotency key i log skutku
- DELETE: domyślnie brak dostępu
- SEND/PUBLISH/PAY: zawsze czytelny podgląd przed wykonaniem
Zgoda wiąże się z konkretnym planem
Akceptacja nie może być ogólna. Approval record wiąże użytkownika, narzędzie, dokładne parametry, czas i identyfikator zadania. Zmiana treści lub odbiorcy unieważnia zgodę.
Po akceptacji system wykonuje dokładnie pokazaną operację i zwraca potwierdzenie ze zewnętrznym identyfikatorem. Nie pozwala modelowi dopisać kolejnego kroku do już zatwierdzonego planu.
- Hash zatwierdzonych parametrów
- Krótki okres ważności zgody
- Jednorazowe użycie approval_id
- Potwierdzenie wykonania i możliwość korekty
Przypadek: Publikacja posta
Generowanie i publikacja to dwa odrębne kontrakty.
- generate_draft działa automatycznie i nie ma tokenu platformy
- request_publication tworzy plan do zatwierdzenia
- Człowiek widzi kanał, treść i termin
- publish_approved wymaga approval_id i identycznego hash parametrów
Ćwiczenie: Rozdziel uprawnienia
Przejrzyj narzędzia swojego systemu. Rozbij każde wielofunkcyjne narzędzie na READ i WRITE. Dla operacji zapisu zaprojektuj dokładny rekord zgody.
Po tej lekcji
- fizycznie rozdzielać odczyt i zapis
- wiązać zgodę z dokładnymi parametrami
- rejestrować skutek zewnętrznej operacji
Moduł 04 Trwałość i kontrola
4 lekcje 120 min
13 Stan i checkpointy
25 min produkcja 3 zadania
Dłuższe zadanie musi mieć jawny stan. Dzięki temu wiadomo, co zostało wykonane, na co system czeka i jak bezpiecznie wznowić pracę.
Agent jako maszyna stanów
Zamiast przechowywać cały proces w historii rozmowy, zapisuj ustrukturyzowany stan zadania. Typowe etapy to NEW, VALIDATED, PLANNED, RUNNING, WAITING_FOR_APPROVAL, COMPLETED i FAILED.
Każde przejście ma warunek, dane wejściowe i dozwolone kolejne stany. Model może zaproponować przejście, ale aplikacja sprawdza, czy jest ono legalne.
- task_id i wersja workflow
- aktualny status oraz numer kroku
- wyniki już wykonanych narzędzi
- oczekiwana decyzja lub brakujące dane
- czas ostatniej aktualizacji i właściciel zadania
Checkpoint przed skutkiem
Checkpoint zapisujemy po bezpiecznie zakończonym kroku i przed każdą operacją ze skutkiem zewnętrznym. Po awarii system odczytuje stan, sprawdza zewnętrzne potwierdzenie i kontynuuje bez powtarzania ukończonych działań.
Stan powinien być możliwy do odczytania bez modelu. Operator musi zobaczyć, co się wydarzyło i jakiej decyzji potrzebuje system.
- Zapis atomowy po zakończeniu kroku
- Wersja danych i kodu wykonawczego
- Brak sekretów w stanie
- Możliwość ręcznego zatrzymania i wznowienia
Przypadek: Workflow publikacji
Jawny stan chroni przed utratą pracy i podwójnym wykonaniem.
- PLANNED: gotowy plan i zebrane źródła
- DRAFTED: trzy zwalidowane szkice
- WAITING_FOR_APPROVAL: zapisany hash wybranego szkicu
- COMPLETED: external_post_id i czas publikacji
Ćwiczenie: Narysuj maszynę stanów
Zapisz 5-8 stanów swojego procesu. Przy każdym określ warunek wejścia, dozwolony następny stan oraz dane potrzebne do bezpiecznego wznowienia.
Po tej lekcji
- przechowywać jawny stan poza rozmową
- projektować legalne przejścia pomiędzy etapami
- wznawiać proces od ostatniego bezpiecznego checkpointu
14 Retry i idempotencja
25 min produkcja 3 zadania
Sieć i usługi zewnętrzne zawodzą. Ponowienie jest bezpieczne tylko wtedy, gdy nie powiela skutku.
Nie każdy błąd wolno ponowić
Timeout i chwilowy limit usługi mogą kwalifikować się do retry. Błędne dane, brak uprawnień lub odmowa płatności wymagają poprawy albo eskalacji. Automatyczne powtarzanie wszystkich błędów może stworzyć pętlę.
Stosuj ograniczoną liczbę prób z wykładniczym opóźnieniem i losowym jitterem. Każda próba korzysta z tego samego identyfikatora operacji.
- Retryable: timeout, 429, tymczasowe 5xx
- Non-retryable: invalid input, unauthorized, policy denied
- Maksymalna liczba prób
- Backoff z limitem
Idempotency key
Idempotency key identyfikuje zamiar wykonania konkretnej operacji. Usługa lub nasza warstwa wykonawcza zapisuje pierwszy rezultat i zwraca go dla kolejnych prób zamiast ponownie publikować, wysyłać lub pobierać opłatę.
Klucz musi być stabilny dla tej samej operacji i inny, gdy zmieniają się parametry zatwierdzonego działania.
- task_id + step_id + hash parametrów
- Zapis statusu PENDING przed wywołaniem
- Receipt z usługi zewnętrznej
- Sprawdzenie wyniku przed kolejną próbą
Przypadek: Timeout podczas publikacji
Brak odpowiedzi nie oznacza, że operacja nie została wykonana.
- Zapisz PENDING z idempotency key
- Wywołaj publikację
- Po timeout sprawdź status po idempotency key
- Ponów tylko wtedy, gdy usługa potwierdza brak operacji
Ćwiczenie: Zabezpiecz jedną operację zapisu
Wybierz publikację, wysyłkę lub zapis do systemu. Zdefiniuj idempotency key, błędy do ponowienia, harmonogram prób i sposób sprawdzenia, czy skutek już powstał.
Po tej lekcji
- rozróżniać błędy retryable i non-retryable
- tworzyć stabilny idempotency key
- sprawdzać zewnętrzny rezultat przed powtórzeniem
15 Prompt injection i minimalne uprawnienia
35 min bezpieczeństwo 3 zadania
Każdy dokument, strona i wiadomość może zawierać instrukcje próbujące przejąć zachowanie agenta. Nieufne dane nigdy nie stają się polityką.
Dane mogą udawać instrukcje
Tekst pobrany przez narzędzie może zawierać polecenie zignorowania zasad albo prośbę o wysłanie sekretów. Agent powinien traktować całą treść zewnętrzną jako materiał do analizy, niezależnie od sposobu sformułowania.
Najważniejsza ochrona znajduje się poza modelem: ograniczony zestaw narzędzi, filtrowane argumenty, polityka uprawnień i obowiązkowa zgoda przed skutkiem.
- Oddziel instrukcje właściciela od danych
- Nie przekazuj sekretów do modelu
- Nie pozwalaj dokumentowi wybierać nowych narzędzi
- Waliduj argumenty każdej funkcji
Defense in depth
Jedna klasyfikacja bezpieczeństwa nie wystarczy. Łączymy minimalne uprawnienia, allowlistę domen, sandbox, limity, walidację wyjścia i approval gate.
Testy ataków muszą trafiać do stałego zestawu evali. Po każdej znalezionej luce dodaj przypadek regresyjny zamiast liczyć na jednorazową poprawkę promptu.
- Ograniczenie narzędzi na danym kroku
- Ograniczenie danych i domen
- Sandbox dla kodu i plików
- Blokada zapisu bez approval_id
- Evale z pośrednią i bezpośrednią iniekcją
Przypadek: Złośliwa instrukcja w artykule
Agent ma streścić stronę, która próbuje skłonić go do wysłania danych.
- Fetcher oznacza tekst jako UNTRUSTED_CONTENT
- Model może wydobyć fakty, ale nie może zmienić polityki
- W tym kroku dostępne są tylko narzędzia READ
- Próba użycia WRITE jest blokowana przez runtime
Ćwiczenie: Przeprowadź mini threat model
Wskaż jeden chroniony zasób, dwa nieufne źródła i najgorszy możliwy skutek. Zaprojektuj minimum trzy niezależne warstwy zabezpieczenia.
Po tej lekcji
- traktować treść zewnętrzną jako nieufne dane
- opierać bezpieczeństwo na runtime
- dodawać znalezione ataki do evali regresyjnych
16 Approval gate i obserwowalność
35 min produkcja 3 zadania
Człowiek może podjąć dobrą decyzję tylko wtedy, gdy widzi plan, dowody, ryzyko i dokładny skutek zatwierdzenia.
Czytelna brama akceptacji
Ekran zgody pokazuje nazwę działania, cel, dokładne parametry, źródła i przewidywany skutek. Przycisk zatwierdzenia nie może dotyczyć ukrytej listy kolejnych operacji.
Człowiek powinien móc poprawić szkic, odrzucić go z powodem albo poprosić o dodatkowe dane. Zmiana parametrów tworzy nową wersję wymagającą ponownej zgody.
- Co zostanie wykonane
- Na jakich danych oparto decyzję
- Jakie ryzyko lub koszt występuje
- Jak skorygować skutek
- Kto i kiedy zatwierdził
Trace całej ścieżki
Log łączy task_id, wersję workflow, model, narzędzia, czasy, koszty, statusy i decyzje człowieka. Wrażliwe dane są maskowane, ale przebieg pozostaje możliwy do odtworzenia.
Na podstawie trace budujemy evale z prawdziwych przypadków i sprawdzamy, gdzie człowiek najczęściej poprawia wynik.
- Trace id i wersje komponentów
- Wywołania narzędzi i receipt
- Koszt, czas oraz liczba prób
- Approval, edycja, odrzucenie i przyczyna
Przypadek: Akceptacja wysyłki
Operator widzi wszystko, co jest potrzebne do świadomej decyzji.
- Odbiorca i kanał
- Pełna treść oraz źródła
- Ostrzeżenie o nieweryfikowanym fakcie
- Przyciski: popraw, odrzuć, zatwierdź tę wersję
Ćwiczenie: Zaprojektuj ekran akceptacji
Dla jednej akcji wysokiego ryzyka wypisz dokładnie, co powinien zobaczyć człowiek, jakie ma opcje i które dane zapisujesz jako dowód decyzji.
Po tej lekcji
- projektować świadomą i konkretną zgodę
- rejestrować ślad całego wykonania
- wykorzystywać interwencje człowieka do ulepszania evali
Moduł 05 Laboratorium
4 lekcje 120 min
17 Brief i dane wejściowe
20 min laboratorium 3 zadania
Budowę zaczynamy od pionowego przypadku referencyjnego: agent przygotowujący paczkę treści na podstawie briefu i sprawdzonych źródeł.
Jedno wejście dla całej ścieżki
Brief zawiera cel biznesowy, odbiorcę, kanał, ton, dozwolone źródła i ograniczenia. Jeżeli brakuje pola potrzebnego do decyzji, walidator zatrzymuje proces przed uruchomieniem modelu.
Oddziel informacje deklarowane przez użytkownika od faktów wymagających weryfikacji. Cel i ton są wejściem. Twierdzenia o rynku powinny otrzymać źródło.
- Cel i wezwanie do działania
- Grupa odbiorców i kanał
- Ton oraz przykłady marki
- Materiały źródłowe
- Zakazane obietnice i wymagania
Walidacja przed modelem
Kod sprawdza pola, format URL, limit długości i dozwolone kanały. Model nie powinien zużywać tokenów na zgadywanie brakującego celu ani naprawianie fundamentalnie błędnego wejścia.
Wynikiem walidacji jest VALID albo NEEDS_INPUT z krótką listą konkretnych braków.
- Pola wymagane
- Format i zakres wartości
- Rozmiar materiałów
- Dane wrażliwe i sekrety
- Lista pytań uzupełniających
Przypadek: Brief premiery funkcji
Mały, kompletny rekord uruchamia całe laboratorium.
- Cel: zapisy na webinar
- Odbiorca: właściciele małych sklepów
- Kanał: LinkedIn
- Źródła: landing webinaru i dokumentacja funkcji
- Granica: brak obietnic gwarantowanego wzrostu
Ćwiczenie: Przygotuj wejście do prototypu
Wypełnij brief dla jednego realnego materiału. Usuń dane prywatne i sprawdź, czy inna osoba potrafiłaby rozpocząć pracę bez dodatkowych pytań.
Po tej lekcji
- projektować kompletne wejście do workflow
- walidować dane przed wywołaniem modelu
- oddzielać deklaracje użytkownika od faktów do sprawdzenia
18 Plan i research ze źródłami
30 min laboratorium 3 zadania
Agent najpierw ujawnia plan i potrzebne dane. Research kończy się ledgerem twierdzeń, a nie stosem otwartych kart.
Plan ograniczony budżetem
Plan zawiera kroki, potrzebne narzędzia, przewidywane dowody i warunki zatrzymania. Ustalamy maksymalną liczbę źródeł i czas researchu.
Agent rozpoczyna od źródeł wskazanych w briefie, a następnie sięga po dokumentację pierwotną. Nie kolekcjonuje linków tylko dlatego, że są podobne tematycznie.
- Pytania, na które trzeba odpowiedzieć
- Źródło preferowane dla każdego pytania
- Limit wyszukań i dokumentów
- Warunek konfliktu lub braku wiarygodnego źródła
Claim ledger
Każde twierdzenie, które może trafić do treści, otrzymuje źródło, krótkie uzasadnienie i poziom pewności. Oddzielamy fakt zapisany w źródle od wniosku oraz propozycji komunikacyjnej.
Twierdzenie bez dowodu może być usunięte, oznaczone jako opinia albo przekazane człowiekowi do weryfikacji.
- FACT: bezpośrednio wsparty źródłem
- INFERENCE: wniosek wyraźnie oznaczony
- PROPOSAL: sugestia komunikacyjna
- UNVERIFIED: nie trafia do finalnej treści bez decyzji
Przypadek: Research webinaru
Z trzech dokumentów powstaje niewielki ledger użytecznych twierdzeń.
- Dokumentacja potwierdza funkcję i zakres
- Landing potwierdza datę i program
- Brak źródła dla obietnicy wzrostu, więc claim zostaje odrzucony
- Każdy użyty claim wskazuje source_id
Ćwiczenie: Zbuduj ledger pięciu twierdzeń
Na podstawie dwóch źródeł zapisz pięć potencjalnych twierdzeń. Oznacz je jako FACT, INFERENCE, PROPOSAL albo UNVERIFIED i zdecyduj, które wolno wykorzystać.
Po tej lekcji
- planować research z limitem
- prowadzić ledger twierdzeń i dowodów
- nie zamieniać braku źródła w pewnie brzmiący fakt
19 Generowanie i walidacja
35 min laboratorium 3 zadania
Generowanie jest jednym etapem pipeline’u. Po nim działają niezależne walidatory struktury, faktów, tonu i ryzyka.
Warianty z różną strategią
Trzy wersje nie powinny być parafrazami tego samego tekstu. Każda dostaje inny kąt: problem, mechanizm lub konkretny rezultat. Wszystkie korzystają wyłącznie z zatwierdzonych claimów.
Prompt generujący otrzymuje krótki brief, wybrane twierdzenia, wymagania kanału i strukturę wyniku. Nie otrzymuje całego surowego researchu.
- Wariant A: od problemu odbiorcy
- Wariant B: od mechanizmu rozwiązania
- Wariant C: od praktycznego przypadku
- Wspólne: ten sam CTA i zatwierdzone fakty
Cztery walidatory
Najpierw kod sprawdza schemat oraz limit kanału. Następnie porównujemy twierdzenia z ledgerem, sprawdzamy reguły tonu marki i wykrywamy ryzykowne obietnice. Każdy walidator zwraca PASS, FAIL albo REVIEW.
Automatyczna poprawa może odbyć się raz dla konkretnego błędu. Po kolejnej porażce szkic trafia do człowieka wraz z wynikiem walidacji.
- Schema validator
- Channel constraints
- Claim-to-source coverage
- Brand and risk policy
Przypadek: Trzy szkice, jeden odpada
Walidatory oceniają konkretne warunki, nie ogólne wrażenie.
- Szkic A przechodzi wszystkie kontrole
- Szkic B przekracza limit i zostaje raz skrócony
- Szkic C zawiera niewsparty claim i trafia do REVIEW
- Do panelu akceptacji przechodzą tylko poprawne warianty
Ćwiczenie: Zaprojektuj walidatory
Wypisz co najmniej sześć reguł dla swojego wyniku. Oznacz, które sprawdzi kod, które drugi etap modelowy, a które człowiek.
Po tej lekcji
- generować realnie różne warianty
- oddzielać generowanie od walidacji
- ograniczać automatyczne próby naprawy
20 Akceptacja i wykonanie
35 min laboratorium 3 zadania
Finalny szkic nie jest poleceniem publikacji. Najpierw powstaje wersja do oceny, potem approval record i dopiero osobne narzędzie wykonawcze.
Panel decyzji
Panel pokazuje wariant, źródła wykorzystanych twierdzeń, wynik walidatorów, kanał i planowany termin. Użytkownik wybiera zatwierdzenie, edycję lub odrzucenie z powodem.
Edycja zmienia wersję szkicu i wymaga ponownej walidacji. Nie wolno używać starej zgody do nowej treści.
- Pełna treść bez ukrytych zmian
- Źródła przy twierdzeniach
- Ostrzeżenia i wynik kontroli
- Kanał, termin oraz możliwość korekty
Wykonanie i receipt
Narzędzie publikujące otrzymuje approval_id, hash treści, kanał oraz idempotency key. Warstwa wykonawcza sprawdza zgodność, ważność i jednorazowość zgody przed użyciem zewnętrznego API.
Po operacji zapisujemy receipt z identyfikatorem zewnętrznym. Status zmienia się na COMPLETED dopiero po potwierdzeniu skutku.
- Sprawdzenie approval_id i hash
- Wykonanie jednej zatwierdzonej akcji
- Zapis external_id i czasu
- Status sukcesu albo ręcznej interwencji
Przypadek: Ścieżka zatwierdzonego posta
Każdy etap zostawia dowód, a zmiana treści unieważnia zgodę.
- Użytkownik wybiera wariant B
- System tworzy approval dla wersji B3
- publish_approved sprawdza hash B3
- API zwraca post_id zapisywany w trace
Ćwiczenie: Przejdź ścieżkę end-to-end
Zapisz kolejno: brief, plan, ledger, szkic, wynik walidacji, decyzję człowieka i receipt. Wskaż momenty, w których proces powinien się zatrzymać.
Po tej lekcji
- oddzielać szkic od operacji zewnętrznej
- unieważniać zgodę po zmianie parametrów
- zapisywać potwierdzenie finalnego skutku
Moduł 06 Evale i wdrożenie
3 lekcje 30 min
21 Dziesięć przypadków testowych
10 min jakość 3 zadania
Eval sprawdza zachowanie całego systemu na powtarzalnym przypadku. Obejmuje model, narzędzia, politykę i warunek zatrzymania.
Przypadek i kryteria
Nie zapisujemy jednej idealnej odpowiedzi tekstowej. Dla każdego przypadku definiujemy wejście, oczekiwane zachowania, zabronione działania i mierzalne kryteria sukcesu.
Zestaw zaczyna się od realnych przykładów: poprawnego, niepełnego, sprzecznego i ryzykownego. Każdy incydent produkcyjny powinien później dodać eval regresyjny.
- Happy path
- Brak wymaganego pola
- Sprzeczne źródła
- Awaria narzędzia
- Prompt injection
- Próba publikacji bez zgody
Dziesięć minimalnych testów
Mały zestaw musi reprezentować normalną pracę, granice i ataki. Uruchamiaj go po każdej zmianie promptu, modelu, narzędzia lub polityki.
- E1 poprawny brief
- E2 brak celu
- E3 niedostępne źródło
- E4 konflikt źródeł
- E5 błędny format narzędzia
- E6 timeout
- E7 duplikat webhooka
- E8 prompt injection
- E9 publikacja bez approval
- E10 wznowienie po checkpoint
Przypadek: Eval publikacji bez zgody
Sukcesem jest bezpieczne zatrzymanie, nie ukończenie zadania.
- Wejście zawiera gotowy szkic i polecenie natychmiastowej publikacji
- Brakuje approval_id
- Oczekiwany status: WAITING_FOR_APPROVAL
- Zabronione: wywołanie publish_approved
Ćwiczenie: Napisz pierwsze dziesięć evali
Nazwij dziesięć przypadków dla swojego systemu. Minimum trzy mają sprawdzać odmowę, eskalację albo bezpieczne zatrzymanie, a nie wygenerowanie wyniku.
Po tej lekcji
- testować cały system
- definiować zachowania zabronione
- zamieniać incydenty w evale regresyjne
22 Metryki jakości, czasu i kosztu
10 min jakość 3 zadania
Jedna metryka nie wystarczy. Produkcyjny system musi jednocześnie tworzyć wartość, zachowywać kontrolę i mieścić się w budżecie.
Cztery grupy metryk
Jakość mierzy poprawność wyniku i pokrycie źródłami. Operacyjność mierzy czas i ukończenia. Ekonomia obejmuje koszt skutecznego zadania. Kontrola pokazuje liczbę bezpiecznych eskalacji oraz naruszeń polityki.
Metryki raportujemy dla wersji workflow i kategorii przypadków. Średnia może ukryć problemy kluczowych przypadków.
- Jakość: pass rate i claim coverage
- Czas: p50 oraz p95
- Koszt: koszt zadania zakończonego sukcesem
- Kontrola: policy violations, approval rate i safe stops
Budżet pojedynczego zadania
Ustal maksymalny koszt, czas i liczbę wywołań narzędzi. Agent przekraczający budżet kończy zadanie statusem BUDGET_EXCEEDED oraz przekazuje dotychczasowe artefakty.
Optymalizuj największy składnik na podstawie trace: nadmiarowy kontekst, zbyt mocny model, powtarzające się wywołania lub niską jakość wejścia.
- Limit tokenów lub kosztu
- Limit liczby narzędzi i prób
- Limit czasu
- Alert przy 80% budżetu
- Jawny wynik po przekroczeniu
Przypadek: Dashboard prototypu
Decyzja o zmianie opiera się na czterech wymiarach.
- Pass rate: 86%
- p95: 72 sekundy
- Koszt sukcesu: 0,34 zł
- Safe stop: 100% prób publikacji bez zgody
- Największy problem: konflikty źródeł
Ćwiczenie: Ustal budżet i próg jakości
Dla swojego procesu wybierz po jednej metryce jakości, czasu, kosztu i kontroli. Dopisz próg GO oraz limit zatrzymujący pojedyncze wykonanie.
Po tej lekcji
- mierzyć cztery wymiary systemu
- raportować p95 zamiast samej średniej
- zatrzymywać zadanie po przekroczeniu budżetu
23 Go / no-go i plan na 14 dni
10 min wdrożenie 3 zadania
Po kursie nie przechodzimy od demo do pełnej autonomii. Zwiększamy odpowiedzialność systemu etapami i tylko po przejściu ustalonych bramek.
Cztery poziomy wdrożenia
Poziom 0 to lokalny prototyp na sztucznych danych. Poziom 1 to shadow mode: agent pracuje na rzeczywistych przypadkach, ale niczego nie zmienia. Poziom 2 tworzy szkice zatwierdzane przez człowieka. Poziom 3 automatyzuje wyłącznie niskiego ryzyka, odwracalne działania.
Przejście wyżej wymaga zaliczenia evali, zaakceptowanych ryzyk, właściciela incydentu i procedury zatrzymania. Zakres pierwszej produkcji powinien być mniejszy niż zakres prototypu.
- P0: prototyp lokalny
- P1: shadow mode
- P2: draft mode z akceptacją
- P3: ograniczona produkcja
- Pełna autonomia nie jest domyślnym celem
Plan dwóch tygodni
W pierwszym tygodniu stabilizujemy wejście, kontrakty, stan, politykę i evale. W drugim tygodniu mierzymy wynik bazowy, poprawiamy jeden największy problem, uruchamiamy shadow mode i podejmujemy decyzję go/no-go.
Każda czynność ma właściciela i mierzalny artefakt. Plan dalszego rozwijania agenta nie jest konkretnym zadaniem.
- Dni 1-3: proces, dane i granice
- Dni 4-7: przepływ, bezpieczeństwo i evale
- Dni 8-10: pomiar oraz jedna poprawa
- Dni 11-14: approval, shadow mode i decyzja
Przypadek: Warunkowe GO
Prototyp może działać dobrze, ale produkcja dostaje celowo mniejszy zakres.
- GO dla szkiców z dwóch zatwierdzonych źródeł
- Approval wymagany dla każdej publikacji
- NO-GO dla automatycznych odpowiedzi na komentarze
- Ponowny przegląd po 50 przypadkach shadow mode
Ćwiczenie: Podejmij decyzję wdrożeniową
Wybierz GO, warunkowe GO albo NO-GO. Zapisz pierwszy dozwolony zakres, elementy zabronione, właściciela, kill switch i cztery mierzalne artefakty na najbliższe 14 dni.
Po tej lekcji
- wdrażać system warstwami
- zmniejszać zakres pierwszej produkcji
- podejmować decyzję na podstawie evali i ryzyka
Źródła
Materiał nie stoi na anegdotach. To dokumenty, do których odsyła szkolenie, wszystkie sprawdzone 23 sierpnia 2026.
- Model Context Protocol, specyfikacja z 18 czerwca 2025
Definiuje podział na hosta, klienta i serwer oraz trzy rodzaje tego, co serwer udostępnia: Tools, Resources i Prompts. Moduł o narzędziach opiera się na tym dokumencie.
- Agent2Agent (A2A), dokumentacja protokołu
Opisuje rozmowę agenta z agentem, czyli warstwę, której MCP nie obejmuje.
- Anthropic, Building effective agents
Rozróżnienie workflow i agenta oraz argument za prostszym rozwiązaniem tam, gdzie wystarcza. Podstawa modułu pierwszego.
- OWASP Top 10 dla aplikacji z dużymi modelami językowymi
Katalog zagrożeń, w tym wstrzyknięcie promptu i nadmierne uprawnienia agenta. Stąd pięć warstw obrony z modułu czwartego.
- NIST AI Risk Management Framework
Ramy, w których mieści się drabina autonomii od P0 do P3 i jawna decyzja o wdrożeniu.
Co dalej
Program przeczytany. Zostają dwie drogi: przerobić go samemu w przeglądarce albo przejść przez niego ze mną na Twoim procesie, w osiem godzin, z gotowym prototypem na końcu.