Drogi czytelniku,
Twój proces compliance ma 23 kroki, w których człowiek weryfikuje decyzję AI. Przy ostatnim audycie okazało się, że tylko w dwóch z nich człowiek kiedykolwiek zmienił rekomendację systemu. W pozostałych 21 — klik, zatwierdzam, dalej. Pieczątki.
Zgodnie z EU AI Act pieczątka nie spełnia wymogu „znaczącego nadzoru ludzkiego". Od sierpnia 2026 roku ta różnica niesie karę do 7% globalnych obrotów lub 35 milionów euro.
To trzeci moduł z serii Production OS. W numerze 31 zbudowaliśmy uzasadnienie biznesowe. W numerze 32 postawiliśmy infrastrukturę — AI gateway. Ten numer dotyczy tego, co działa na szczycie tej infrastruktury: momentu, w którym wynik AI staje się ludzką decyzją.
Teatr nadzoru#
Większość organizacji zareagowała na wdrożenie AI tak, jak reaguje na każde nowe ryzyko: dodała kroki weryfikacji. AI ocenia wniosek kredytowy — człowiek zatwierdza. AI oznacza transakcję — człowiek bada sprawę.
Na papierze wygląda to jak kontrola. W praktyce to bardziej teatr.
Przyczyna nie leży w zaniedbaniu. Winny jest automation bias: udokumentowana tendencja do polegania na systemach zautomatyzowanych, szczególnie po wielokrotnym doświadczeniu, że system miał rację. Im bardziej niezawodna jest AI, tym mniej krytycznie ludzie oceniają jej wyniki. Żadne szkolenie tego nie naprawi. Tak po prostu działa ludzkie poznanie w warunkach automatyzacji.
Dowody są niewygodne. W radiologii lekarze korzystający z narzędzi diagnostycznych AI czasem osiągali gorsze wyniki niż ci pracujący bez AI — bo przestawali formułować niezależne oceny i automatycznie akceptowali sugestię maszyny. W szpitalnych systemach farmaceutycznych klinicyści ignorowali 90% alertów o interakcjach lekowych, w tym te krytyczne, bo masa fałszywych alarmów nauczyła ich odruchowo klikać „odrzuć".
Madeleine Elish nazywa ten efekt „strefą zgniotu moralnego" (moral crumple zone): gdy system zawodzi, to osoba weryfikująca bierze na siebie winę, mimo że proces uczynił rzeczywisty nadzór praktycznie niemożliwym. Śmiertelny wypadek autonomicznego pojazdu Ubera w 2018 roku to podręcznikowy przykład. Operator bezpieczeństwa został pociągnięty do odpowiedzialności, chociaż interfejs nie dał mu ani czasu, ani informacji potrzebnych do interwencji.
Artykuł 14 EU AI Act celuje dokładnie w ten problem. Klauzula 14.4(b) wymaga od organizacji projektowania środków przeciwdziałających automatycznemu poleganiu na wynikach AI. Jeśli Twój nadzór to pieczątka — nie jesteś zgodny z regulacjami, niezależnie od tego, ile kroków weryfikacji widnieje na schemacie procesu.
Trzy modele, jedna decyzja#
Terminologia wokół interakcji człowiek-AI jest zagmatwana. Liczą się trzy modele, a wybór między nimi to decyzja inżynierska, nie polityczna.
Human-in-the-Loop (HITL): proces zatrzymuje się i czeka na zatwierdzenie przez człowieka, zanim AI podejmie działanie. Właściwy dla nieodwracalnych decyzji o dużej stawce: zatwierdzenia kredytów hipotecznych, diagnozy medyczne, śledztwa AML z niejednoznacznymi danymi. Bezpieczny, ale nie skaluje się. I właśnie tu pieczątki są najniebezpieczniejsze.
Human-on-the-Loop (HOTL): AI działa autonomicznie w zdefiniowanych parametrach. Człowiek interweniuje przy wyjątkach: spadek pewności poniżej progu, wykrycie anomalii. To jest detekcja fraudów, eskalacja chatbotów, routing logistyczny. Skaluje się, ale jakość zależy wyłącznie od wyzwalaczy wyjątków. Źle je ustawisz — i człowiek nigdy nie zobaczy przypadków, które naprawdę się liczą.
Human-in-Command (HIC): człowiek ustala granice, cele i warunki kill switcha, ale nie nadzoruje pojedynczych transakcji. Jak wyłączniki awaryjne w handlu algorytmicznym. Knight Capital stracił 440 milionów dolarów w 45 minut w 2012 roku, bo nie było automatycznego kill switcha, a czas reakcji człowieka był zdecydowanie za wolny. HIC to jedyny realny model, gdy system działa szybciej niż pozwala na to ludzkie poznanie.
Większość organizacji domyślnie wybiera HITL, bo brzmi najbezpieczniej. Ale jeśli człowiek w pętli tylko przykłada pieczątkę, masz koszt HITL z profilem ryzyka pełnej automatyzacji.
Dlaczego „po prostu dodaj człowieka" nie działa#
Instynkt, by wstawić krok weryfikacji, jest zrozumiały. Wydaje się rozsądny. Regulatorzy zdają się tego oczekiwać. Problem polega na tym, że traktuje ludzką uwagę jako darmowy, nieograniczony zasób. Nie jest ani jednym, ani drugim.
Trzy tryby awarii powtarzają się stale. Pieczątka: gdy 95% rekomendacji AI jest trafnych, ludzie uczą się zatwierdzać bez czytania; 5%, które wymaga kontroli, dostaje ten sam odruchowy klik. Zmęczenie alertami: gdy system generuje setki ostrzeżeń na zmianę i większość to fałszywe alarmy, operatorzy przestają odróżniać sygnał od szumu. Pułapka zakotwiczenia: gdy rekomendacja AI jest widoczna zanim człowiek sformułuje niezależną ocenę, „weryfikacja" staje się potwierdzeniem, nie niezależną oceną.
Żaden z tych scenariuszy nie wymaga złych intencji. Wymaga jedynie normalnej psychologii w źle zaprojektowanym środowisku.
Rozwiązanie inżynierskie#
Jeśli problem jest poznawczy, rozwiązanie musi tkwić w projekcie. Termin akademicki to „cognitive forcing functions" — wzorce interfejsu i procesu, które wymuszają faktyczne zaangażowanie, zamiast jedynie je dopuszczać.
Cztery wzorce, które działają:
- Obowiązkowe uzasadnienie. Przed zatwierdzeniem lub odrzuceniem operator musi wybrać przyczynę lub napisać krótkie uzasadnienie. Bezmyślne klikanie staje się fizycznie niemożliwe.
- Ukryta rekomendacja. System prosi o niezależną ocenę człowieka, zanim pokaże sugestię AI. To pokonuje efekt zakotwiczenia. Kosztuje czas — i o to chodzi przy decyzjach o dużej stawce.
- Wizualizacja pewności. Zamiast surowych procentów, które tworzą fałszywą precyzję, interfejs używa intuicyjnych wskaźników niepewności komunikujących „zweryfikuj to", a nie „zaufaj temu".
- Celowe opóźnienie. Kilkusekundowa przerwa przed zatwierdzeniem decyzji wysokiego ryzyka. Wystarczająca, by przerwać rytm klik-zatwierdź. Za mała, by tworzyć wąskie gardło.
Zasada: „bezproblemowość" jest wrogiem rzeczywistego nadzoru. Oprogramowanie konsumenckie optymalizuje szybkość. Nadzór nad AI wymaga zaprojektowanego tarcia w momentach, które mają znaczenie.
Nie każda decyzja wymaga tego samego poziomu kontroli. Sprawdzony model ma trzy poziomy: pełna automatyzacja dla decyzji o wysokiej pewności i niskim ryzyku, z okresowym audytem; zatwierdzenie z niskim tarciem przy umiarkowanej pewności; oraz weryfikacja z wysokim tarciem — z pełnym przekazaniem kontekstu wykwalifikowanemu ekspertowi — gdy pewność jest niska lub stawka wysoka. Protokół przekazania ma znaczenie. „Ciepłe przekazanie", w którym AI podsumowuje sprawę i wyjaśnia powód eskalacji, jest znacznie skuteczniejsze niż zrzucenie surowych danych na operatora.
Przegląd tygodnia#
BaFin klasyfikuje AI jako ryzyko ICT w ramach DORA
Niemiecki regulator finansowy wymaga teraz od banków zarządzania AI jako krytyczną infrastrukturą ICT w ramach DORA — nie jako pobocznym projektem innowacyjnym. Instytucje potrzebują strategii AI zatwierdzonej przez zarząd, zdefiniowanych odpowiedzialności i monitoringu cyklu życia, łącznie z wycofaniem z eksploatacji. AI to oficjalnie infrastruktura. Jeśli Twój model nadzoru wciąż traktuje ją jako eksperyment, to możesz być na kursie kolizyjnym z regulatorem.
OpenClaw: shadow engineering dostaje dostęp do twojego życia
Agent open-source znany wcześniej jako Clawdbot zdobył ponad 60 000 gwiazdek na GitHubie w weekend. W odróżnieniu od ChatGPT działa lokalnie, z pełnym dostępem do systemu plików, uprawnieniami terminala i trwałą pamięcią. Developerzy instalują go na maszynach z dostępem do repozytoriów, poświadczeń i wewnętrznych API. Inni uruchamiają go na prywatnych urządzeniach, które synchronizują firmową pocztę i pliki. Konsekwencje pojawiły się błyskawicznie: badacze bezpieczeństwa znaleźli setki niezabezpieczonych paneli OpenClaw, z których wyciekały klucze API i pełna historia konwersacji, a Snyk zademonstrował atak prompt injection przez e-mail — jedna spreparowana wiadomość wystarczyła, żeby agent przesłał poświadczenia na zewnątrz. Tradycyjne systemy DLP niczego z tego nie widzą: ruch wygląda jak autoryzowane wywołania API. To nie jest Shadow AI. To Shadow Operations — i żaden workflow HITL nie obejmuje agenta, o którego istnieniu organizacja nie wie.
Amodei: „Dojrzewanie technologii"
CEO Anthropic opublikował esej o objętości 20 000 słów, ostrzegając, że potężna AI może pojawić się w ciągu roku lub dwóch, i wyliczając ryzyka od bioterroryzmu po autorytarne przejęcie władzy. Perspektywa jest uderzająca — ale dla większości czytelników tego newslettera bezpośrednim zagrożeniem nie jest nadludzka AI. Jest nim prozaiczna rzeczywistość: produkcyjna AI już działa bez odpowiedniego projektu punktów styku, a powyższe incydenty pokazują konsekwencje.
Pytanie na ten tydzień#
Projektowanie dobrych punktów styku człowiek-AI to nieefektowna robota: projektowanie interfejsów, mapowanie procesów, psychologia poznawcza. Nie zbiera oklasków ani budżetów. Ale to właśnie tutaj nadzór nad AI albo działa, albo nie.
W Twoim najbardziej krytycznym procesie wspieranym przez AI: jaki procent kroków weryfikacji przez człowieka skutkuje zmianą rekomendacji AI? Jeśli nie wiesz — albo jeśli odpowiedź brzmi „prawie nigdy" — nie masz nadzoru. Masz pieczątkę.
Do następnego razu,
Krzysztof