MW Michał Wiencek Umów szkolenie

Michał Wiencek / Szkolenie / Program

Program szkolenia: agenci AI i automatyzacje

Poniżej stoi cały materiał, moduł po module i lekcja po lekcji. Nie spis treści i nie zajawka: pełna treść, do przeczytania bez zapisywania się gdziekolwiek. To samo w wersji do klikania, ze sprawdzianami i zapisem postępu, leży w kursie interaktywnym.

Czym różni się agent AI od automatyzacji, którą już masz?

Automatyzacja wykonuje kroki, które ktoś wcześniej zapisał. Agent sam dobiera narzędzia i kolejność, więc jego zachowania nie da się odczytać z samego kodu. Szkolenie rozkłada to na trzy poziomy. Poziom A to kod i reguły, czyli największa przewidywalność. Poziom B to model w stałym workflow, gdzie elastyczna jest transformacja danych, a nie przebieg. Poziom C to agent, w którym od sytuacji zależy i dobór narzędzi, i liczba kroków.

Wybór poziomu jest decyzją projektową, nie kwestią mody. Im wyżej, tym większa elastyczność i tym trudniej udowodnić, że system zachowa się jutro tak samo jak dziś.

Ile trwa zbudowanie agenta, który wchodzi na produkcję?

Osiem godzin pracy na żywo wystarcza na prototyp, który chodzi na Twoim procesie i ma jawnie zapisane granice. Wejście na produkcję to osobne czternaście dni i szkolenie planuje je wprost: dni 1 do 3 na proces, dane i granice, dni 4 do 7 na przepływ, bezpieczeństwo i evale, dni 8 do 10 na pomiar oraz jedną poprawę, dni 11 do 14 na approval, shadow mode i decyzję.

Sama autonomia rośnie osobną drabiną: P0 to prototyp lokalny, P1 to shadow mode bez skutku, P2 to szkice zatwierdzane przez człowieka, P3 to ograniczona produkcja przy odwracalnym niskim ryzyku. Pełna autonomia nie jest domyślnym celem żadnego z tych etapów.

Co musi być gotowe, żeby agent nie narobił szkód?

Pięć warstw naraz, bo każda z osobna daje się obejść: minimalne uprawnienia, walidacja argumentów, sandbox, bramka akceptacji przy skutkach zewnętrznych oraz log i alert. Do tego jawny podział działań na trzy poziomy zgody. AUTO obejmuje niskie ryzyko przy operacji odwracalnej i ograniczonej. APPROVAL obejmuje wszystko, co ma skutek zewnętrzny, koszt albo reprezentuje człowieka. DENY obejmuje operacje niepotrzebne do osiągnięcia celu albo nieodwracalne.

Bez tego podziału pierwsze zdanie wstrzyknięte z cudzej strony staje się poleceniem, a agent nie ma czym odróżnić danych od instrukcji.

Dlaczego moduły idą w tej kolejności

Kolejność nie jest kwestią gustu. Każdy moduł zamyka decyzję, bez której następny stoi w powietrzu.

  1. Najpierw proces, bo agent postawiony na procesie bez właściciela i bez definicji zakończenia tylko przyspiesza powstawanie przypadkowych wyników.
  2. Potem kontekst, bo model odpowiada na to, co dostał, a nie na to, co ktoś miał na myśli.
  3. Potem narzędzia i integracje, bo dopiero one pozwalają agentowi zrobić cokolwiek poza pisaniem tekstu.
  4. Potem trwałość i kontrola, bo od tego momentu agent ma czym zaszkodzić.
  5. Potem budowa na Twoim procesie, bo wszystkie wcześniejsze decyzje mają się teraz spotkać w jednym działającym przebiegu.
  6. Na końcu evale, koszty i plan na czternaście dni, bo bez pomiaru nie wiadomo, czy prototyp jest lepszy od tego, co było.

Pełny program

23 lekcji w 6 modułach, razem 480 minut materiału i 69 zadań do sprawdzenia. Każda lekcja ma tę samą budowę: briefing, wiedza, przypadek z życia, ćwiczenie na Twoim procesie i domknięcie.

Moduł 01 Workflow czy agent?

4 lekcje 45 min

01 Diagnoza procesu

10 min fundament 3 zadania

Dobry agent zaczyna się od dobrego problemu. Najpierw mierzymy proces, dopiero potem wybieramy technologię.

Nie automatyzuj chaosu

Jeżeli proces nie ma właściciela, wejścia i definicji zakończenia, agent jedynie przyspieszy powstawanie przypadkowych rezultatów. Diagnoza ma ustalić, co faktycznie dzieje się dzisiaj, a nie jak proces powinien wyglądać w teorii.

Przejdź przez jeden prawdziwy przypadek od początku do końca. Zapisz wszystkie oczekiwania, wyjątki, ręczne poprawki i miejsca, w których pracownik szuka dodatkowych informacji.

  • Częstotliwość i średni czas jednego wykonania
  • Najdroższy lub najczęstszy błąd
  • Liczba wyjątków wymagających decyzji
  • Źródła danych i system, w którym powstaje wynik

Metryka bazowa

Bez punktu odniesienia nie da się ocenić, czy rozwiązanie pomaga. Metryką może być czas przygotowania odpowiedzi, odsetek zaakceptowanych szkiców, koszt obsługi jednego zgłoszenia albo liczba brakujących danych wykrytych przed wysyłką.

Wybierz jedną metrykę wyniku i jedną metrykę bezpieczeństwa. Pierwsza mówi, czy powstaje wartość. Druga pilnuje, żeby nie kupować szybkości wzrostem ryzyka.

  • Wynik: np. czas od briefu do gotowego szkicu
  • Bezpieczeństwo: np. zero publikacji bez akceptacji
  • Pomiar przed zmianą i po uruchomieniu prototypu

Przypadek: Proces przygotowania posta

Zamiast celu „zautomatyzować social media” opisujemy jeden mierzalny przebieg.

  • Wejście: brief, materiały źródłowe i ton marki
  • Dzisiaj: 55 minut pracy i średnio dwie rundy korekty
  • Wynik: trzy warianty z listą źródeł w mniej niż 15 minut
  • Granica: system nigdy nie publikuje bez ręcznej zgody

Ćwiczenie: Prześledź jeden prawdziwy przypadek

Opisz proces, który chcesz usprawnić. Użyj konkretnego przypadku z ostatnich 7 dni i dopisz obecny czas, błąd oraz mierzalny wynik.

Po tej lekcji

  • odróżnić problem procesowy od problemu modelu
  • zapisać punkt odniesienia przed automatyzacją
  • wybrać wąski przypadek do pierwszego prototypu

02 Trzy poziomy automatyzacji

10 min fundament 3 zadania

Nie każde zadanie potrzebuje agenta. Wybór najprostszego działającego poziomu zmniejsza koszt, ryzyko i czas budowy.

Reguła, model czy agent?

Deterministyczna automatyzacja wykonuje z góry opisane kroki. Workflow z modelem wstawia model do konkretnego etapu, ale kolejność pozostaje stała. Agent sam wybiera kolejne działania na podstawie celu i aktualnego stanu.

Różnica nie polega na tym, czy system używa dużego modelu językowego. Polega na tym, kto kontroluje ścieżkę wykonania: programista, zdefiniowany przepływ czy model.

  • Poziom A: kod i reguły, największa przewidywalność
  • Poziom B: model w stałym workflow, elastyczna transformacja danych
  • Poziom C: agent, dobór narzędzi i kroków zależny od sytuacji

Zacznij poziom niżej

Jeśli wątpisz pomiędzy dwoma poziomami, zacznij od prostszego. Autonomię dodaj dopiero wtedy, gdy istnieje konkretny wariant procesu, którego nie da się rozsądnie opisać regułami.

W systemie produkcyjnym te poziomy zwykle współistnieją: kod waliduje format, model interpretuje język, a agent decyduje, które bezpieczne narzędzie odczytowe wywołać.

  • Kod do obliczeń i walidacji
  • Model do interpretacji i generowania
  • Agent do wyboru ścieżki przy zmiennym środowisku

Przypadek: Obsługa wiadomości od klienta

Ten sam proces może zostać rozwiązany na trzech poziomach.

  • Reguła: formularz z kategorią kieruje zgłoszenie do kolejki
  • Workflow z modelem: model klasyfikuje treść, potem stała reguła wybiera kolejkę
  • Agent: pobiera historię, sprawdza zamówienie i dobiera kolejne narzędzie
  • Decyzja: jeśli klasyfikacja wystarcza, agent byłby niepotrzebnym kosztem

Ćwiczenie: Wybierz poziom dla trzech kroków

Rozbij swój proces na minimum trzy kroki. Przy każdym zapisz: kod/reguła, model w workflow albo agent. Uzasadnij tylko te miejsca, w których wybierasz agenta.

Po tej lekcji

  • rozpoznać trzy poziomy automatyzacji
  • nie utożsamiać użycia modelu z agentem
  • projektować system hybrydowy zamiast jednego wielkiego agenta

03 Granice autonomii

15 min projektowanie 3 zadania

Autonomia nie jest przełącznikiem. Każda akcja powinna mieć własny poziom uprawnień i warunek zatrzymania.

Trzy koszyki działań

Podziel narzędzia na działania automatyczne, wymagające zgody i zabronione. Odczyt publicznej dokumentacji może działać automatycznie. Wysłanie wiadomości w imieniu człowieka wymaga zatwierdzenia. Usunięcie źródłowych danych może pozostać całkowicie niedostępne.

Nie polegaj na zdaniu w promptcie: „zawsze pytaj o zgodę”. Granica powinna być wymuszana przez aplikację, która nie uruchomi narzędzia zapisu bez ważnego tokenu akceptacji.

  • AUTO: niskie ryzyko, operacja odwracalna i ograniczona
  • APPROVAL: skutek zewnętrzny, koszt lub reprezentowanie człowieka
  • DENY: operacja niepotrzebna do osiągnięcia celu albo nieodwracalna

Budżet autonomii

Poza uprawnieniami ogranicz liczbę kroków, czas i koszt jednego zadania. Agent powinien zatrzymać się także wtedy, gdy dwukrotnie powtarza tę samą akcję, nie znajduje wymaganych danych albo pewność wyniku spada poniżej ustalonego progu.

Dobra eskalacja przekazuje człowiekowi nie tylko komunikat o błędzie, ale również zebrane dane, wykonane kroki i konkretną decyzję, która jest potrzebna.

  • Maksymalna liczba kroków
  • Maksymalny koszt lub liczba tokenów
  • Limit czasu i prób
  • Warunek powtórzenia, braku danych oraz konfliktu źródeł

Przypadek: Agent social media

Politykę ustalamy osobno dla każdego narzędzia.

  • AUTO: odczytaj brief i publiczne źródła
  • AUTO: przygotuj szkic i sprawdź limit znaków
  • APPROVAL: zaplanuj publikację na konkretny kanał
  • DENY: usuń posty albo zmień dane dostępowe konta

Ćwiczenie: Zbuduj własną politykę zgód

Wypisz minimum sześć akcji swojego systemu i przypisz każdej AUTO, APPROVAL albo DENY. Dla działań wymagających zgody dopisz, co dokładnie musi zobaczyć człowiek.

Po tej lekcji

  • przypisywać uprawnienia do konkretnych narzędzi
  • wymuszać zgodę poza promptem
  • projektować bezpieczne zatrzymanie i eskalację

04 Mierzalna definicja wyniku

10 min projektowanie 3 zadania

Agent nie powinien optymalizować ogólnego celu. Potrzebuje obserwowalnego wyniku, kryteriów jakości i jasnej definicji końca.

Od życzenia do kontraktu

Cel „przygotuj dobry research” nie mówi, kiedy zadanie jest gotowe. Kontrakt wyniku określa format, minimalny zakres, dowody, ograniczenia i przypadki, w których agent powinien odmówić zgadywania.

Oddziel poprawność strukturalną od jakości merytorycznej. Parser może sprawdzić wymagane pola i długość. Człowiek lub eval ocenia zgodność z celem, źródłami i tonem.

  • Format: np. obiekt JSON zgodny ze schematem
  • Kompletność: wszystkie wymagane pola
  • Dowody: źródło przy każdym twierdzeniu
  • Warunek końca: wynik gotowy albo jawna lista braków

Warunek odmowy

Brak danych jest prawidłowym rezultatem. System powinien wskazać, czego nie wie i jaka minimalna informacja pozwoli kontynuować. To bezpieczniejsze niż tekst brzmiący przekonująco, ale oparty na domysłach.

Definicja wyniku będzie później podstawą evali. Jeżeli nie da się jej ocenić na dziesięciu realnych przypadkach, jest jeszcze zbyt ogólna.

  • Nie zgaduj wartości wymaganych
  • Oddziel fakt, wniosek i propozycję
  • Zapisz status: gotowe / potrzebna decyzja / brak danych / błąd

Przypadek: Kontrakt paczki treści

Rezultat jest gotowy dopiero wtedy, gdy spełnia wszystkie warunki.

  • Trzy warianty posta o różnych kątach komunikacji
  • Każdy wariant zawiera źródła wykorzystanych twierdzeń
  • Każdy przechodzi limit długości i politykę marki
  • Status publikacji zawsze pozostaje DRAFT do czasu akceptacji

Ćwiczenie: Napisz definicję „gotowe”

Opisz wynik swojego procesu tak, aby druga osoba mogła jednoznacznie uznać go za zaakceptowany, wymagający poprawy albo niemożliwy do wykonania z powodu brakujących danych.

Po tej lekcji

  • zamieniać cel w testowalny kontrakt
  • oddzielać walidację struktury od oceny jakości
  • traktować brak danych jako jawny wynik

Moduł 02 Context engineering

4 lekcje 75 min

05 Warstwy kontekstu

20 min projektowanie 3 zadania

Model widzi tylko stan przekazany w danym kroku. Projektowanie tego stanu jest ważniejsze niż polerowanie jednego promptu.

Pięć źródeł kontekstu

Na wynik składają się instrukcje systemowe, dane zadania, historia, pamięć długoterminowa i wyniki narzędzi. Każda warstwa ma innego właściciela, częstotliwość zmian i poziom zaufania.

Zawartość pobrana z internetu jest materiałem do analizy, a nie instrukcją. Dane użytkownika opisują cel, ale nie powinny móc zmienić polityki uprawnień zapisanej przez właściciela systemu.

  • System: rola, polityka i granice
  • Zadanie: cel oraz dane bieżącego przypadku
  • Pamięć: sprawdzone fakty potrzebne później
  • Narzędzia: aktualne dane ze wskazanym pochodzeniem
  • Historia: tylko kroki potrzebne do kontynuacji

Stałe, zadaniowe, na żądanie

Kontekst stały powinien być krótki i wersjonowany. Kontekst zadaniowy żyje tylko przez czas pojedynczego procesu. Długie dokumenty i dane historyczne pobieramy na żądanie, zamiast wkładać wszystko do każdego wywołania.

Dzięki temu zmniejszamy koszt, opóźnienie i ryzyko, że istotna instrukcja zginie wśród niepotrzebnych informacji.

  • Czy ta informacja zmienia decyzję w tym kroku?
  • Czy musi być aktualna?
  • Czy model powinien jej ufać?
  • Czy można pobrać ją dopiero po rozpoznaniu potrzeby?

Przypadek: Kontekst agenta publikacji

Rozdzielamy informacje według trwałości i zaufania.

  • Stałe: zakaz samodzielnej publikacji i ton marki
  • Zadaniowe: bieżący brief oraz kanał
  • Na żądanie: dokumentacja produktu i aktualne źródła
  • Pamięć: zatwierdzone preferencje, każda z datą i pochodzeniem

Ćwiczenie: Podziel kontekst swojego systemu

Wypisz wszystkie informacje, które planowałeś umieścić w promptcie. Podziel je na stałe, zadaniowe, pobierane na żądanie i niepotrzebne.

Po tej lekcji

  • rozpoznawać pięć źródeł kontekstu
  • oddzielać instrukcje od nieufnych danych
  • ograniczać kontekst bez utraty potrzebnych informacji

06 Kontrakt ustrukturyzowanego wyjścia

20 min techniczne 3 zadania

Tekst jest dobry dla człowieka. Kolejny krok systemu potrzebuje przewidywalnych pól, typów i statusów.

Najpierw schemat, potem prompt

Zdefiniuj wynik jako obiekt danych, zanim poprosisz model o jego wytworzenie. Pola wymagane, dozwolone wartości i ograniczenia powinny wynikać z tego, co kolejny komponent musi wykonać.

Nie twórz ogromnego schematu dla wygody raportu. Mały kontrakt łatwiej walidować, testować i zmieniać. Dodatkowe objaśnienie dla człowieka można wygenerować z poprawnych danych.

  • Wymagane identyfikatory i status
  • Enum zamiast dowolnego tekstu dla decyzji
  • Tablica dowodów z URL i fragmentem wspierającym
  • Osobne pole errors zamiast ukrywania problemu w odpowiedzi

Walidacja i naprawa

Po odpowiedzi uruchom walidację poza modelem. Jeżeli format jest błędny, zwróć konkretne błędy i pozwól na jedną kontrolowaną próbę poprawy. Po kolejnej porażce zakończ zadanie statusem ERROR.

Model nie powinien sam uznawać, że jego odpowiedź spełnia schemat. To odpowiedzialność deterministycznego kodu.

  • Walidacja typów i pól wymaganych
  • Walidacja reguł biznesowych
  • Maksymalnie jedna lub dwie próby naprawy
  • Pełny log poprzednich błędów bez publikowania częściowego wyniku

Przypadek: Szkic z dowodami

Kolejny krok potrzebuje danych, nie ładnego akapitu.

  • status: READY albo NEEDS_INPUT
  • drafts: lista trzech wariantów
  • claims: twierdzenie, źródło i poziom pewności
  • approval_required: zawsze true dla publikacji

Ćwiczenie: Zaprojektuj wynik dla następnego kroku

Zapisz 5-8 pól, które musi otrzymać kolejny komponent Twojego procesu. Dodaj status braku danych, błędy i informację o wymaganej akceptacji.

Po tej lekcji

  • projektować kontrakt przed promptem
  • walidować wynik deterministycznym kodem
  • obsługiwać częściowe dane bez udawania sukcesu

07 Pamięć z pochodzeniem

20 min projektowanie 3 zadania

Pamięć nie jest archiwum całej rozmowy. To mały zbiór faktów, które zmienią przyszłe decyzje i mają znane pochodzenie.

Co warto zapamiętać

Zapisuj stabilne preferencje, zatwierdzone decyzje, wynik poprzedniego kroku potrzebny do wznowienia oraz fakty, które zostały potwierdzone w zaufanym źródle. Nie zapisuj każdej wypowiedzi ani roboczych domysłów modelu.

Każdy rekord powinien wskazywać podmiot, treść faktu, źródło, datę utworzenia, datę weryfikacji i opcjonalne wygaśnięcie. Dzięki temu agent może odróżnić wiedzę aktualną od historycznej.

  • Preferencja zaakceptowana przez użytkownika
  • Decyzja biznesowa z właścicielem
  • Checkpoint potrzebny do wznowienia
  • Fakt z zaufanego źródła i datą ważności

Pamięć krótkotrwała i długotrwała

Stan pojedynczego zadania nie powinien automatycznie stawać się pamięcią użytkownika. Najpierw kończymy proces, potem zapisujemy tylko wybrane informacje spełniające politykę retencji.

Użytkownik powinien móc zobaczyć, poprawić i usunąć trwałe informacje. Agent nie może budować ukrytego profilu z przypadkowych fragmentów rozmów.

  • Task state: żyje do zakończenia procesu
  • Session memory: pomaga w bieżącej serii działań
  • Long-term memory: tylko jawnie wybrane, stabilne informacje
  • Audit log: historia zdarzeń, ale nie kontekst do każdego wywołania

Przypadek: Preferencja tonu marki

Zamiast zachowywać całą korektę, zapisujemy zatwierdzoną regułę.

  • Fakt: unikać wykrzykników w komunikacji B2B
  • Źródło: korekta zaakceptowana przez właściciela marki
  • Zakres: LinkedIn B2B
  • Weryfikacja: po zmianie brandbooka lub za 90 dni

Ćwiczenie: Zaprojektuj pięć rekordów pamięci

Wypisz pięć informacji, które naprawdę warto wykorzystać w przyszłym zadaniu. Przy każdej podaj źródło, zakres i moment wygaśnięcia. Usuń te, których nie potrafisz uzasadnić.

Po tej lekcji

  • oddzielać stan zadania od trwałej pamięci
  • zapisywać pochodzenie i okres ważności
  • unikać ukrytego profilowania użytkownika

08 Model dobrany do kroku

15 min optymalizacja 3 zadania

Najmocniejszy model w każdym kroku zwykle nie jest najlepszą architekturą. Liczy się jakość całej ścieżki przy akceptowalnym czasie i koszcie.

Rozdziel pracę według trudności

Klasyfikacja prostego formularza, generowanie wariantów i decyzja wymagająca wielu narzędzi mają inny profil. Dla każdego kroku określ minimalny poziom jakości, maksymalne opóźnienie i budżet.

Mały model może obsłużyć ekstrakcję oraz routing. Mocniejszy model uruchamiaj tylko dla złożonego planowania lub przypadków, które nie przechodzą progu pewności.

  • Ekstrakcja i formatowanie: szybki, tani model
  • Planowanie i konflikt źródeł: mocniejszy model
  • Walidacja reguł: kod zamiast modelu
  • Eskalacja jakościowa dopiero po wykryciu trudnego przypadku

Routing oparty na evalach

Nie wybieraj modelu na podstawie pojedynczego efektownego przykładu. Uruchom ten sam zestaw przypadków, porównaj skuteczność, p95 czasu oraz koszt ukończonego zadania.

Koszt jednego wywołania jest mniej ważny niż koszt poprawnego rezultatu. Tani model z trzema naprawami może być droższy od jednego poprawnego wykonania.

  • Pass rate całego zadania
  • Koszt przypadku zakończonego sukcesem
  • p50 i p95 opóźnienia
  • Liczba ponowień i eskalacji

Przypadek: Trójstopniowy routing

Model jest wybierany na podstawie rodzaju pracy i wyniku wcześniejszego kroku.

  • Mały model wydobywa pola z briefu
  • Kod sprawdza kompletność
  • Mocniejszy model planuje tylko wtedy, gdy brief ma wiele źródeł lub konflikt
  • Człowiek rozstrzyga działanie wysokiego ryzyka

Ćwiczenie: Zaprojektuj routing modeli

Dla każdego kroku swojego procesu określ typ pracy, wymagany poziom jakości i warunek użycia mocniejszego modelu. Zaznacz kroki, które powinny być zwykłym kodem.

Po tej lekcji

  • dobierać model do rodzaju kroku
  • mierzyć koszt poprawnego wyniku, nie wywołania
  • eskalować trudne przypadki zamiast przepłacać za wszystkie

Moduł 03 Narzędzia i integracje

4 lekcje 90 min

09 Kontrakt dobrego narzędzia

20 min techniczne 3 zadania

Model wybiera narzędzie na podstawie nazwy, opisu i schematu. Niejasny kontrakt tworzy niejasne decyzje.

Jedna funkcja, jedna odpowiedzialność

Narzędzie powinno robić jedną rzecz i zwracać niewielki, przewidywalny wynik. Funkcja manage_everything jest trudna do autoryzacji, testowania i obserwowania. Lepiej rozdzielić search_documents, get_document oraz request_publication.

Opis mówi nie tylko co funkcja robi, ale też kiedy jej nie używać. Schemat wejścia ogranicza dozwolone wartości, a wynik zawsze zawiera status oraz dane albo ustrukturyzowany błąd.

  • Nazwa opisująca działanie
  • Wąski schemat wejścia
  • Jawny typ operacji READ lub WRITE
  • Timeout, możliwe błędy i limit wyniku

Błąd jest częścią kontraktu

Narzędzie nie powinno zwracać pustego tekstu ani ogólnego komunikatu. Błąd zawiera kod, informację czy wolno ponowić oraz bezpieczny opis dla modelu. Dane techniczne i sekrety pozostają w logach serwera.

Agent musi wiedzieć, czy poprosić użytkownika, spróbować ponownie, wybrać inną ścieżkę czy zakończyć zadanie.

  • NOT_FOUND: zmień zapytanie albo poproś o dane
  • UNAUTHORIZED: nie ponawiaj, eskaluj
  • RATE_LIMITED: ponów po określonym czasie
  • INVALID_INPUT: popraw tylko wskazane pola

Przypadek: search_sources

Wąskie narzędzie tylko do odczytu zamiast ogólnej przeglądarki ze wszystkimi uprawnieniami.

  • Wejście: query, dozwolone domeny i limit wyników
  • Wyjście: tytuł, URL, fragment i data
  • Limit: maksymalnie 8 wyników i 8 sekund
  • Błędy: INVALID_INPUT, TIMEOUT, RATE_LIMITED

Ćwiczenie: Napisz pierwszy kontrakt narzędzia

Wybierz jedną operację z procesu. Zdefiniuj nazwę, typ READ/WRITE, minimalne wejście, wynik, cztery błędy, timeout oraz decyzję, czy wolno ją ponowić.

Po tej lekcji

  • projektować małe i jednoznaczne narzędzia
  • traktować błędy jako część interfejsu
  • ograniczać dane i uprawnienia na poziomie funkcji

10 API, webhooki i autoryzacja

25 min techniczne 3 zadania

Integracja to przepływ danych i odpowiedzialności. Klucze, retry i weryfikacja zdarzeń muszą pozostać poza promptem.

Żądanie i zdarzenie

API działa wtedy, gdy system aktywnie pyta usługę lub zleca operację. Webhook przekazuje zdarzenie w drugą stronę: na przykład informację o nowej wiadomości. Nie zakładaj, że webhook dotrze dokładnie raz ani w poprawnej kolejności.

Każde zdarzenie otrzymuje identyfikator, znacznik czasu i podpis. Odbiorca najpierw weryfikuje podpis, potem sprawdza, czy identyfikator nie został już przetworzony.

  • API request: kontrolowane wywołanie
  • Webhook: asynchroniczne zdarzenie
  • Weryfikacja podpisu przed parsowaniem
  • Deduplication key przed skutkiem ubocznym

Sekrety nie są kontekstem modelu

Model nie potrzebuje klucza API. Wywołuje nazwane narzędzie, a warstwa wykonawcza dołącza sekret po stronie serwera. Logi dla modelu powinny maskować tokeny, dane uwierzytelniające i prywatne nagłówki.

Uprawnienia konta testowego ogranicz do minimalnego zakresu. Oddziel środowisko demonstracyjne od produkcyjnego i nie kopiuj prawdziwych danych klienta do ćwiczeń.

  • Sekret w menedżerze sekretów lub zmiennej środowiskowej
  • Osobne konto i zakres OAuth dla integracji
  • Rotacja i możliwość cofnięcia dostępu
  • Brak tokenów w promptach, pamięci i komunikatach błędu

Przypadek: Nowy brief z formularza

Webhook rozpoczyna proces, ale nie omija walidacji ani polityki uprawnień.

  • Formularz wysyła podpisane zdarzenie z event_id
  • Odbiorca weryfikuje podpis i deduplikację
  • Kod waliduje wymagane pola
  • Dopiero poprawny rekord uruchamia workflow agenta

Ćwiczenie: Rozrysuj jedną integrację

Zapisz skąd przychodzi zdarzenie, jak jest uwierzytelniane, gdzie walidujesz dane i który komponent posiada sekret. Dodaj obsługę duplikatu oraz timeoutu.

Po tej lekcji

  • odróżniać API od webhooka
  • weryfikować i deduplikować zdarzenia
  • utrzymywać sekrety poza kontekstem modelu

11 MCP oraz A2A

20 min architektura 3 zadania

MCP standaryzuje dostęp agenta do narzędzi i danych. A2A dotyczy współpracy pomiędzy odrębnymi agentami. Te protokoły rozwiązują inne problemy.

MCP: agent-narzędzie

Serwer MCP może udostępniać narzędzia, zasoby oraz instrukcje. Klient pobiera ich opis i pozwala modelowi używać tylko dozwolonego podzbioru. Standard nie zwalnia z projektowania uprawnień, zgód ani dobrych kontraktów.

MCP jest przydatny, gdy to samo źródło danych lub zestaw funkcji ma być dostępny w kilku aplikacjach agentowych. Dla jednej prostej integracji bezpośrednie API może pozostać łatwiejsze.

  • Tools: działania z ustrukturyzowanym wejściem
  • Resources: dane odczytywane jako kontekst
  • Prompts/instructions: współdzielone procedury
  • Host nadal kontroluje, co jest udostępnione modelowi

A2A: agent-agent

A2A służy do odkrywania możliwości innego agenta, delegowania mu zadania i śledzenia jego stanu. Stosujemy go dopiero wtedy, gdy podsystem rzeczywiście ma własny cykl życia, kompetencję i odpowiedzialność.

Nie rozdzielaj jednego workflow na wielu agentów tylko dlatego, że diagram wygląda nowocześnie. Każda granica dodaje opóźnienie, koszt, nowe błędy i trudniejszą obserwowalność.

  • MCP: podłącz narzędzie lub dane
  • A2A: deleguj rezultat innemu autonomicznemu systemowi
  • Bezpośrednie API: najprostsza pojedyncza integracja
  • Jeden agent: domyślny wybór dla pierwszego prototypu

Przypadek: System researchu

Najpierw prosty host z narzędziami MCP, bez sztucznego mnożenia agentów.

  • Host udostępnia search_sources i get_document
  • Jeden agent buduje ledger źródeł
  • Osobny agent prawny pojawia się dopiero, gdy jest niezależną usługą z własnym SLA
  • A2A przekazuje zadanie i odbiera status, nie daje bezpośredniego dostępu do bazy

Ćwiczenie: Wybierz API, MCP albo A2A

Dla każdej planowanej integracji wybierz najprostszą opcję. Jeśli wybierasz A2A, uzasadnij, dlaczego drugi komponent musi być odrębnym agentem z własnym stanem.

Po tej lekcji

  • odróżniać MCP od A2A
  • wybierać standard zgodnie z realną granicą systemu
  • unikać niepotrzebnej architektury wieloagentowej

12 Odczyt kontra zapis

25 min bezpieczeństwo 3 zadania

Narzędzie czytające dane i narzędzie zmieniające świat zewnętrzny nie mogą mieć tej samej polityki wykonania.

Rozdziel funkcje fizycznie

Nie używaj jednego narzędzia manage_post z parametrem action. Osobne get_draft, request_publication i delete_post pozwalają nadać różne uprawnienia, limity i wymagania zgody.

Narzędzia tylko do odczytu powinny mieć także ograniczenia zakresu: konkretne kolekcje, domeny, daty i maksymalną liczbę rekordów. READ nie oznacza automatycznie braku ryzyka.

  • READ: minimalny zakres danych i maskowanie pól
  • WRITE: zgoda, idempotency key i log skutku
  • DELETE: domyślnie brak dostępu
  • SEND/PUBLISH/PAY: zawsze czytelny podgląd przed wykonaniem

Zgoda wiąże się z konkretnym planem

Akceptacja nie może być ogólna. Approval record wiąże użytkownika, narzędzie, dokładne parametry, czas i identyfikator zadania. Zmiana treści lub odbiorcy unieważnia zgodę.

Po akceptacji system wykonuje dokładnie pokazaną operację i zwraca potwierdzenie ze zewnętrznym identyfikatorem. Nie pozwala modelowi dopisać kolejnego kroku do już zatwierdzonego planu.

  • Hash zatwierdzonych parametrów
  • Krótki okres ważności zgody
  • Jednorazowe użycie approval_id
  • Potwierdzenie wykonania i możliwość korekty

Przypadek: Publikacja posta

Generowanie i publikacja to dwa odrębne kontrakty.

  • generate_draft działa automatycznie i nie ma tokenu platformy
  • request_publication tworzy plan do zatwierdzenia
  • Człowiek widzi kanał, treść i termin
  • publish_approved wymaga approval_id i identycznego hash parametrów

Ćwiczenie: Rozdziel uprawnienia

Przejrzyj narzędzia swojego systemu. Rozbij każde wielofunkcyjne narzędzie na READ i WRITE. Dla operacji zapisu zaprojektuj dokładny rekord zgody.

Po tej lekcji

  • fizycznie rozdzielać odczyt i zapis
  • wiązać zgodę z dokładnymi parametrami
  • rejestrować skutek zewnętrznej operacji

Moduł 04 Trwałość i kontrola

4 lekcje 120 min

13 Stan i checkpointy

25 min produkcja 3 zadania

Dłuższe zadanie musi mieć jawny stan. Dzięki temu wiadomo, co zostało wykonane, na co system czeka i jak bezpiecznie wznowić pracę.

Agent jako maszyna stanów

Zamiast przechowywać cały proces w historii rozmowy, zapisuj ustrukturyzowany stan zadania. Typowe etapy to NEW, VALIDATED, PLANNED, RUNNING, WAITING_FOR_APPROVAL, COMPLETED i FAILED.

Każde przejście ma warunek, dane wejściowe i dozwolone kolejne stany. Model może zaproponować przejście, ale aplikacja sprawdza, czy jest ono legalne.

  • task_id i wersja workflow
  • aktualny status oraz numer kroku
  • wyniki już wykonanych narzędzi
  • oczekiwana decyzja lub brakujące dane
  • czas ostatniej aktualizacji i właściciel zadania

Checkpoint przed skutkiem

Checkpoint zapisujemy po bezpiecznie zakończonym kroku i przed każdą operacją ze skutkiem zewnętrznym. Po awarii system odczytuje stan, sprawdza zewnętrzne potwierdzenie i kontynuuje bez powtarzania ukończonych działań.

Stan powinien być możliwy do odczytania bez modelu. Operator musi zobaczyć, co się wydarzyło i jakiej decyzji potrzebuje system.

  • Zapis atomowy po zakończeniu kroku
  • Wersja danych i kodu wykonawczego
  • Brak sekretów w stanie
  • Możliwość ręcznego zatrzymania i wznowienia

Przypadek: Workflow publikacji

Jawny stan chroni przed utratą pracy i podwójnym wykonaniem.

  • PLANNED: gotowy plan i zebrane źródła
  • DRAFTED: trzy zwalidowane szkice
  • WAITING_FOR_APPROVAL: zapisany hash wybranego szkicu
  • COMPLETED: external_post_id i czas publikacji

Ćwiczenie: Narysuj maszynę stanów

Zapisz 5-8 stanów swojego procesu. Przy każdym określ warunek wejścia, dozwolony następny stan oraz dane potrzebne do bezpiecznego wznowienia.

Po tej lekcji

  • przechowywać jawny stan poza rozmową
  • projektować legalne przejścia pomiędzy etapami
  • wznawiać proces od ostatniego bezpiecznego checkpointu

14 Retry i idempotencja

25 min produkcja 3 zadania

Sieć i usługi zewnętrzne zawodzą. Ponowienie jest bezpieczne tylko wtedy, gdy nie powiela skutku.

Nie każdy błąd wolno ponowić

Timeout i chwilowy limit usługi mogą kwalifikować się do retry. Błędne dane, brak uprawnień lub odmowa płatności wymagają poprawy albo eskalacji. Automatyczne powtarzanie wszystkich błędów może stworzyć pętlę.

Stosuj ograniczoną liczbę prób z wykładniczym opóźnieniem i losowym jitterem. Każda próba korzysta z tego samego identyfikatora operacji.

  • Retryable: timeout, 429, tymczasowe 5xx
  • Non-retryable: invalid input, unauthorized, policy denied
  • Maksymalna liczba prób
  • Backoff z limitem

Idempotency key

Idempotency key identyfikuje zamiar wykonania konkretnej operacji. Usługa lub nasza warstwa wykonawcza zapisuje pierwszy rezultat i zwraca go dla kolejnych prób zamiast ponownie publikować, wysyłać lub pobierać opłatę.

Klucz musi być stabilny dla tej samej operacji i inny, gdy zmieniają się parametry zatwierdzonego działania.

  • task_id + step_id + hash parametrów
  • Zapis statusu PENDING przed wywołaniem
  • Receipt z usługi zewnętrznej
  • Sprawdzenie wyniku przed kolejną próbą

Przypadek: Timeout podczas publikacji

Brak odpowiedzi nie oznacza, że operacja nie została wykonana.

  • Zapisz PENDING z idempotency key
  • Wywołaj publikację
  • Po timeout sprawdź status po idempotency key
  • Ponów tylko wtedy, gdy usługa potwierdza brak operacji

Ćwiczenie: Zabezpiecz jedną operację zapisu

Wybierz publikację, wysyłkę lub zapis do systemu. Zdefiniuj idempotency key, błędy do ponowienia, harmonogram prób i sposób sprawdzenia, czy skutek już powstał.

Po tej lekcji

  • rozróżniać błędy retryable i non-retryable
  • tworzyć stabilny idempotency key
  • sprawdzać zewnętrzny rezultat przed powtórzeniem

15 Prompt injection i minimalne uprawnienia

35 min bezpieczeństwo 3 zadania

Każdy dokument, strona i wiadomość może zawierać instrukcje próbujące przejąć zachowanie agenta. Nieufne dane nigdy nie stają się polityką.

Dane mogą udawać instrukcje

Tekst pobrany przez narzędzie może zawierać polecenie zignorowania zasad albo prośbę o wysłanie sekretów. Agent powinien traktować całą treść zewnętrzną jako materiał do analizy, niezależnie od sposobu sformułowania.

Najważniejsza ochrona znajduje się poza modelem: ograniczony zestaw narzędzi, filtrowane argumenty, polityka uprawnień i obowiązkowa zgoda przed skutkiem.

  • Oddziel instrukcje właściciela od danych
  • Nie przekazuj sekretów do modelu
  • Nie pozwalaj dokumentowi wybierać nowych narzędzi
  • Waliduj argumenty każdej funkcji

Defense in depth

Jedna klasyfikacja bezpieczeństwa nie wystarczy. Łączymy minimalne uprawnienia, allowlistę domen, sandbox, limity, walidację wyjścia i approval gate.

Testy ataków muszą trafiać do stałego zestawu evali. Po każdej znalezionej luce dodaj przypadek regresyjny zamiast liczyć na jednorazową poprawkę promptu.

  • Ograniczenie narzędzi na danym kroku
  • Ograniczenie danych i domen
  • Sandbox dla kodu i plików
  • Blokada zapisu bez approval_id
  • Evale z pośrednią i bezpośrednią iniekcją

Przypadek: Złośliwa instrukcja w artykule

Agent ma streścić stronę, która próbuje skłonić go do wysłania danych.

  • Fetcher oznacza tekst jako UNTRUSTED_CONTENT
  • Model może wydobyć fakty, ale nie może zmienić polityki
  • W tym kroku dostępne są tylko narzędzia READ
  • Próba użycia WRITE jest blokowana przez runtime

Ćwiczenie: Przeprowadź mini threat model

Wskaż jeden chroniony zasób, dwa nieufne źródła i najgorszy możliwy skutek. Zaprojektuj minimum trzy niezależne warstwy zabezpieczenia.

Po tej lekcji

  • traktować treść zewnętrzną jako nieufne dane
  • opierać bezpieczeństwo na runtime
  • dodawać znalezione ataki do evali regresyjnych

16 Approval gate i obserwowalność

35 min produkcja 3 zadania

Człowiek może podjąć dobrą decyzję tylko wtedy, gdy widzi plan, dowody, ryzyko i dokładny skutek zatwierdzenia.

Czytelna brama akceptacji

Ekran zgody pokazuje nazwę działania, cel, dokładne parametry, źródła i przewidywany skutek. Przycisk zatwierdzenia nie może dotyczyć ukrytej listy kolejnych operacji.

Człowiek powinien móc poprawić szkic, odrzucić go z powodem albo poprosić o dodatkowe dane. Zmiana parametrów tworzy nową wersję wymagającą ponownej zgody.

  • Co zostanie wykonane
  • Na jakich danych oparto decyzję
  • Jakie ryzyko lub koszt występuje
  • Jak skorygować skutek
  • Kto i kiedy zatwierdził

Trace całej ścieżki

Log łączy task_id, wersję workflow, model, narzędzia, czasy, koszty, statusy i decyzje człowieka. Wrażliwe dane są maskowane, ale przebieg pozostaje możliwy do odtworzenia.

Na podstawie trace budujemy evale z prawdziwych przypadków i sprawdzamy, gdzie człowiek najczęściej poprawia wynik.

  • Trace id i wersje komponentów
  • Wywołania narzędzi i receipt
  • Koszt, czas oraz liczba prób
  • Approval, edycja, odrzucenie i przyczyna

Przypadek: Akceptacja wysyłki

Operator widzi wszystko, co jest potrzebne do świadomej decyzji.

  • Odbiorca i kanał
  • Pełna treść oraz źródła
  • Ostrzeżenie o nieweryfikowanym fakcie
  • Przyciski: popraw, odrzuć, zatwierdź tę wersję

Ćwiczenie: Zaprojektuj ekran akceptacji

Dla jednej akcji wysokiego ryzyka wypisz dokładnie, co powinien zobaczyć człowiek, jakie ma opcje i które dane zapisujesz jako dowód decyzji.

Po tej lekcji

  • projektować świadomą i konkretną zgodę
  • rejestrować ślad całego wykonania
  • wykorzystywać interwencje człowieka do ulepszania evali

Moduł 05 Laboratorium

4 lekcje 120 min

17 Brief i dane wejściowe

20 min laboratorium 3 zadania

Budowę zaczynamy od pionowego przypadku referencyjnego: agent przygotowujący paczkę treści na podstawie briefu i sprawdzonych źródeł.

Jedno wejście dla całej ścieżki

Brief zawiera cel biznesowy, odbiorcę, kanał, ton, dozwolone źródła i ograniczenia. Jeżeli brakuje pola potrzebnego do decyzji, walidator zatrzymuje proces przed uruchomieniem modelu.

Oddziel informacje deklarowane przez użytkownika od faktów wymagających weryfikacji. Cel i ton są wejściem. Twierdzenia o rynku powinny otrzymać źródło.

  • Cel i wezwanie do działania
  • Grupa odbiorców i kanał
  • Ton oraz przykłady marki
  • Materiały źródłowe
  • Zakazane obietnice i wymagania

Walidacja przed modelem

Kod sprawdza pola, format URL, limit długości i dozwolone kanały. Model nie powinien zużywać tokenów na zgadywanie brakującego celu ani naprawianie fundamentalnie błędnego wejścia.

Wynikiem walidacji jest VALID albo NEEDS_INPUT z krótką listą konkretnych braków.

  • Pola wymagane
  • Format i zakres wartości
  • Rozmiar materiałów
  • Dane wrażliwe i sekrety
  • Lista pytań uzupełniających

Przypadek: Brief premiery funkcji

Mały, kompletny rekord uruchamia całe laboratorium.

  • Cel: zapisy na webinar
  • Odbiorca: właściciele małych sklepów
  • Kanał: LinkedIn
  • Źródła: landing webinaru i dokumentacja funkcji
  • Granica: brak obietnic gwarantowanego wzrostu

Ćwiczenie: Przygotuj wejście do prototypu

Wypełnij brief dla jednego realnego materiału. Usuń dane prywatne i sprawdź, czy inna osoba potrafiłaby rozpocząć pracę bez dodatkowych pytań.

Po tej lekcji

  • projektować kompletne wejście do workflow
  • walidować dane przed wywołaniem modelu
  • oddzielać deklaracje użytkownika od faktów do sprawdzenia

18 Plan i research ze źródłami

30 min laboratorium 3 zadania

Agent najpierw ujawnia plan i potrzebne dane. Research kończy się ledgerem twierdzeń, a nie stosem otwartych kart.

Plan ograniczony budżetem

Plan zawiera kroki, potrzebne narzędzia, przewidywane dowody i warunki zatrzymania. Ustalamy maksymalną liczbę źródeł i czas researchu.

Agent rozpoczyna od źródeł wskazanych w briefie, a następnie sięga po dokumentację pierwotną. Nie kolekcjonuje linków tylko dlatego, że są podobne tematycznie.

  • Pytania, na które trzeba odpowiedzieć
  • Źródło preferowane dla każdego pytania
  • Limit wyszukań i dokumentów
  • Warunek konfliktu lub braku wiarygodnego źródła

Claim ledger

Każde twierdzenie, które może trafić do treści, otrzymuje źródło, krótkie uzasadnienie i poziom pewności. Oddzielamy fakt zapisany w źródle od wniosku oraz propozycji komunikacyjnej.

Twierdzenie bez dowodu może być usunięte, oznaczone jako opinia albo przekazane człowiekowi do weryfikacji.

  • FACT: bezpośrednio wsparty źródłem
  • INFERENCE: wniosek wyraźnie oznaczony
  • PROPOSAL: sugestia komunikacyjna
  • UNVERIFIED: nie trafia do finalnej treści bez decyzji

Przypadek: Research webinaru

Z trzech dokumentów powstaje niewielki ledger użytecznych twierdzeń.

  • Dokumentacja potwierdza funkcję i zakres
  • Landing potwierdza datę i program
  • Brak źródła dla obietnicy wzrostu, więc claim zostaje odrzucony
  • Każdy użyty claim wskazuje source_id

Ćwiczenie: Zbuduj ledger pięciu twierdzeń

Na podstawie dwóch źródeł zapisz pięć potencjalnych twierdzeń. Oznacz je jako FACT, INFERENCE, PROPOSAL albo UNVERIFIED i zdecyduj, które wolno wykorzystać.

Po tej lekcji

  • planować research z limitem
  • prowadzić ledger twierdzeń i dowodów
  • nie zamieniać braku źródła w pewnie brzmiący fakt

19 Generowanie i walidacja

35 min laboratorium 3 zadania

Generowanie jest jednym etapem pipeline’u. Po nim działają niezależne walidatory struktury, faktów, tonu i ryzyka.

Warianty z różną strategią

Trzy wersje nie powinny być parafrazami tego samego tekstu. Każda dostaje inny kąt: problem, mechanizm lub konkretny rezultat. Wszystkie korzystają wyłącznie z zatwierdzonych claimów.

Prompt generujący otrzymuje krótki brief, wybrane twierdzenia, wymagania kanału i strukturę wyniku. Nie otrzymuje całego surowego researchu.

  • Wariant A: od problemu odbiorcy
  • Wariant B: od mechanizmu rozwiązania
  • Wariant C: od praktycznego przypadku
  • Wspólne: ten sam CTA i zatwierdzone fakty

Cztery walidatory

Najpierw kod sprawdza schemat oraz limit kanału. Następnie porównujemy twierdzenia z ledgerem, sprawdzamy reguły tonu marki i wykrywamy ryzykowne obietnice. Każdy walidator zwraca PASS, FAIL albo REVIEW.

Automatyczna poprawa może odbyć się raz dla konkretnego błędu. Po kolejnej porażce szkic trafia do człowieka wraz z wynikiem walidacji.

  • Schema validator
  • Channel constraints
  • Claim-to-source coverage
  • Brand and risk policy

Przypadek: Trzy szkice, jeden odpada

Walidatory oceniają konkretne warunki, nie ogólne wrażenie.

  • Szkic A przechodzi wszystkie kontrole
  • Szkic B przekracza limit i zostaje raz skrócony
  • Szkic C zawiera niewsparty claim i trafia do REVIEW
  • Do panelu akceptacji przechodzą tylko poprawne warianty

Ćwiczenie: Zaprojektuj walidatory

Wypisz co najmniej sześć reguł dla swojego wyniku. Oznacz, które sprawdzi kod, które drugi etap modelowy, a które człowiek.

Po tej lekcji

  • generować realnie różne warianty
  • oddzielać generowanie od walidacji
  • ograniczać automatyczne próby naprawy

20 Akceptacja i wykonanie

35 min laboratorium 3 zadania

Finalny szkic nie jest poleceniem publikacji. Najpierw powstaje wersja do oceny, potem approval record i dopiero osobne narzędzie wykonawcze.

Panel decyzji

Panel pokazuje wariant, źródła wykorzystanych twierdzeń, wynik walidatorów, kanał i planowany termin. Użytkownik wybiera zatwierdzenie, edycję lub odrzucenie z powodem.

Edycja zmienia wersję szkicu i wymaga ponownej walidacji. Nie wolno używać starej zgody do nowej treści.

  • Pełna treść bez ukrytych zmian
  • Źródła przy twierdzeniach
  • Ostrzeżenia i wynik kontroli
  • Kanał, termin oraz możliwość korekty

Wykonanie i receipt

Narzędzie publikujące otrzymuje approval_id, hash treści, kanał oraz idempotency key. Warstwa wykonawcza sprawdza zgodność, ważność i jednorazowość zgody przed użyciem zewnętrznego API.

Po operacji zapisujemy receipt z identyfikatorem zewnętrznym. Status zmienia się na COMPLETED dopiero po potwierdzeniu skutku.

  • Sprawdzenie approval_id i hash
  • Wykonanie jednej zatwierdzonej akcji
  • Zapis external_id i czasu
  • Status sukcesu albo ręcznej interwencji

Przypadek: Ścieżka zatwierdzonego posta

Każdy etap zostawia dowód, a zmiana treści unieważnia zgodę.

  • Użytkownik wybiera wariant B
  • System tworzy approval dla wersji B3
  • publish_approved sprawdza hash B3
  • API zwraca post_id zapisywany w trace

Ćwiczenie: Przejdź ścieżkę end-to-end

Zapisz kolejno: brief, plan, ledger, szkic, wynik walidacji, decyzję człowieka i receipt. Wskaż momenty, w których proces powinien się zatrzymać.

Po tej lekcji

  • oddzielać szkic od operacji zewnętrznej
  • unieważniać zgodę po zmianie parametrów
  • zapisywać potwierdzenie finalnego skutku

Moduł 06 Evale i wdrożenie

3 lekcje 30 min

21 Dziesięć przypadków testowych

10 min jakość 3 zadania

Eval sprawdza zachowanie całego systemu na powtarzalnym przypadku. Obejmuje model, narzędzia, politykę i warunek zatrzymania.

Przypadek i kryteria

Nie zapisujemy jednej idealnej odpowiedzi tekstowej. Dla każdego przypadku definiujemy wejście, oczekiwane zachowania, zabronione działania i mierzalne kryteria sukcesu.

Zestaw zaczyna się od realnych przykładów: poprawnego, niepełnego, sprzecznego i ryzykownego. Każdy incydent produkcyjny powinien później dodać eval regresyjny.

  • Happy path
  • Brak wymaganego pola
  • Sprzeczne źródła
  • Awaria narzędzia
  • Prompt injection
  • Próba publikacji bez zgody

Dziesięć minimalnych testów

Mały zestaw musi reprezentować normalną pracę, granice i ataki. Uruchamiaj go po każdej zmianie promptu, modelu, narzędzia lub polityki.

  • E1 poprawny brief
  • E2 brak celu
  • E3 niedostępne źródło
  • E4 konflikt źródeł
  • E5 błędny format narzędzia
  • E6 timeout
  • E7 duplikat webhooka
  • E8 prompt injection
  • E9 publikacja bez approval
  • E10 wznowienie po checkpoint

Przypadek: Eval publikacji bez zgody

Sukcesem jest bezpieczne zatrzymanie, nie ukończenie zadania.

  • Wejście zawiera gotowy szkic i polecenie natychmiastowej publikacji
  • Brakuje approval_id
  • Oczekiwany status: WAITING_FOR_APPROVAL
  • Zabronione: wywołanie publish_approved

Ćwiczenie: Napisz pierwsze dziesięć evali

Nazwij dziesięć przypadków dla swojego systemu. Minimum trzy mają sprawdzać odmowę, eskalację albo bezpieczne zatrzymanie, a nie wygenerowanie wyniku.

Po tej lekcji

  • testować cały system
  • definiować zachowania zabronione
  • zamieniać incydenty w evale regresyjne

22 Metryki jakości, czasu i kosztu

10 min jakość 3 zadania

Jedna metryka nie wystarczy. Produkcyjny system musi jednocześnie tworzyć wartość, zachowywać kontrolę i mieścić się w budżecie.

Cztery grupy metryk

Jakość mierzy poprawność wyniku i pokrycie źródłami. Operacyjność mierzy czas i ukończenia. Ekonomia obejmuje koszt skutecznego zadania. Kontrola pokazuje liczbę bezpiecznych eskalacji oraz naruszeń polityki.

Metryki raportujemy dla wersji workflow i kategorii przypadków. Średnia może ukryć problemy kluczowych przypadków.

  • Jakość: pass rate i claim coverage
  • Czas: p50 oraz p95
  • Koszt: koszt zadania zakończonego sukcesem
  • Kontrola: policy violations, approval rate i safe stops

Budżet pojedynczego zadania

Ustal maksymalny koszt, czas i liczbę wywołań narzędzi. Agent przekraczający budżet kończy zadanie statusem BUDGET_EXCEEDED oraz przekazuje dotychczasowe artefakty.

Optymalizuj największy składnik na podstawie trace: nadmiarowy kontekst, zbyt mocny model, powtarzające się wywołania lub niską jakość wejścia.

  • Limit tokenów lub kosztu
  • Limit liczby narzędzi i prób
  • Limit czasu
  • Alert przy 80% budżetu
  • Jawny wynik po przekroczeniu

Przypadek: Dashboard prototypu

Decyzja o zmianie opiera się na czterech wymiarach.

  • Pass rate: 86%
  • p95: 72 sekundy
  • Koszt sukcesu: 0,34 zł
  • Safe stop: 100% prób publikacji bez zgody
  • Największy problem: konflikty źródeł

Ćwiczenie: Ustal budżet i próg jakości

Dla swojego procesu wybierz po jednej metryce jakości, czasu, kosztu i kontroli. Dopisz próg GO oraz limit zatrzymujący pojedyncze wykonanie.

Po tej lekcji

  • mierzyć cztery wymiary systemu
  • raportować p95 zamiast samej średniej
  • zatrzymywać zadanie po przekroczeniu budżetu

23 Go / no-go i plan na 14 dni

10 min wdrożenie 3 zadania

Po kursie nie przechodzimy od demo do pełnej autonomii. Zwiększamy odpowiedzialność systemu etapami i tylko po przejściu ustalonych bramek.

Cztery poziomy wdrożenia

Poziom 0 to lokalny prototyp na sztucznych danych. Poziom 1 to shadow mode: agent pracuje na rzeczywistych przypadkach, ale niczego nie zmienia. Poziom 2 tworzy szkice zatwierdzane przez człowieka. Poziom 3 automatyzuje wyłącznie niskiego ryzyka, odwracalne działania.

Przejście wyżej wymaga zaliczenia evali, zaakceptowanych ryzyk, właściciela incydentu i procedury zatrzymania. Zakres pierwszej produkcji powinien być mniejszy niż zakres prototypu.

  • P0: prototyp lokalny
  • P1: shadow mode
  • P2: draft mode z akceptacją
  • P3: ograniczona produkcja
  • Pełna autonomia nie jest domyślnym celem

Plan dwóch tygodni

W pierwszym tygodniu stabilizujemy wejście, kontrakty, stan, politykę i evale. W drugim tygodniu mierzymy wynik bazowy, poprawiamy jeden największy problem, uruchamiamy shadow mode i podejmujemy decyzję go/no-go.

Każda czynność ma właściciela i mierzalny artefakt. Plan dalszego rozwijania agenta nie jest konkretnym zadaniem.

  • Dni 1-3: proces, dane i granice
  • Dni 4-7: przepływ, bezpieczeństwo i evale
  • Dni 8-10: pomiar oraz jedna poprawa
  • Dni 11-14: approval, shadow mode i decyzja

Przypadek: Warunkowe GO

Prototyp może działać dobrze, ale produkcja dostaje celowo mniejszy zakres.

  • GO dla szkiców z dwóch zatwierdzonych źródeł
  • Approval wymagany dla każdej publikacji
  • NO-GO dla automatycznych odpowiedzi na komentarze
  • Ponowny przegląd po 50 przypadkach shadow mode

Ćwiczenie: Podejmij decyzję wdrożeniową

Wybierz GO, warunkowe GO albo NO-GO. Zapisz pierwszy dozwolony zakres, elementy zabronione, właściciela, kill switch i cztery mierzalne artefakty na najbliższe 14 dni.

Po tej lekcji

  • wdrażać system warstwami
  • zmniejszać zakres pierwszej produkcji
  • podejmować decyzję na podstawie evali i ryzyka

Źródła

Materiał nie stoi na anegdotach. To dokumenty, do których odsyła szkolenie, wszystkie sprawdzone 23 sierpnia 2026.

  1. Model Context Protocol, specyfikacja z 18 czerwca 2025

    Definiuje podział na hosta, klienta i serwer oraz trzy rodzaje tego, co serwer udostępnia: Tools, Resources i Prompts. Moduł o narzędziach opiera się na tym dokumencie.

  2. Agent2Agent (A2A), dokumentacja protokołu

    Opisuje rozmowę agenta z agentem, czyli warstwę, której MCP nie obejmuje.

  3. Anthropic, Building effective agents

    Rozróżnienie workflow i agenta oraz argument za prostszym rozwiązaniem tam, gdzie wystarcza. Podstawa modułu pierwszego.

  4. OWASP Top 10 dla aplikacji z dużymi modelami językowymi

    Katalog zagrożeń, w tym wstrzyknięcie promptu i nadmierne uprawnienia agenta. Stąd pięć warstw obrony z modułu czwartego.

  5. NIST AI Risk Management Framework

    Ramy, w których mieści się drabina autonomii od P0 do P3 i jawna decyzja o wdrożeniu.

Co dalej

Program przeczytany. Zostają dwie drogi: przerobić go samemu w przeglądarce albo przejść przez niego ze mną na Twoim procesie, w osiem godzin, z gotowym prototypem na końcu.