Drogi Czytelniku,
Przez ostatnie trzy lata AI w firmach głównie doradzała. Pisało wersję roboczą maila, oceniało wniosek, streszczało umowę, a człowiek decydował, co z tym zrobić. Output czekał, aż ktoś go użyje. Agenty AI zmieniają ten układ. Ten sam model, który kiedyś pisał projekt odmowy, teraz sam odrzuca roszczenie; ten, który oznaczał płatność do weryfikacji, teraz ją zwalnia. Zamiast tworzyć coś, na podstawie czego działa człowiek, AI sama podejmuje działanie.
Ta granica ma duże znaczenie w AI dla przedsiębiorstw, większe niż to, jakiego modelu używamy albo jak go zbudowano. Kiedy oprogramowanie doradza, człowiek jest zawsze w pętli, bo rada nic nie robi, dopóki ktoś jej nie weźmie i nie wykorzysta. Kiedy oprogramowanie działa samodzielnie, ten człowiek znika, chyba że go tam z powrotem umieścimy. To pierwszy z serii tekstów o tym, co się zmienia, gdy agenty zaczynają być samodzielne, a cała seria opiera się na tym jednym rozróżnieniu.
Dlaczego działanie to inny rodzaj ryzyka#
Jeśli AI, która doradza, popełni błąd, tracimy tylko czas na zauważenie i odrzucenie odpowiedzi. Osoba, która to czyta, jest filtrem, a zła rekomendacja nie pójdzie dalej niż jej ocena. Jeśli AI, która działa, popełni błąd, to już się stało. Pieniądze zostały wysłane, roszczenie zamknięte, klient poinformowany. Nie ma wersji roboczej do poprawy. Działanie już miało miejsce.
W momencie, gdy działanie staje się realne, zmieniają się trzy rzeczy.
Pierwsza to szybkość. Kiedyś człowiek był zabezpieczeniem już przez to, że był wolny — zanim decyzja została wykonana, zawsze był czas, żeby się jej przyjrzeć. Agent działa z prędkością oprogramowania, więc wykonanie następuje, zanim ktokolwiek zdąży na nie spojrzeć.
Druga to odwracalność. Radę zawsze można cofnąć, bo można ją zignorować. Działania często nie. Transakcję wstrzymaną do weryfikacji można zwolnić później; kwotę, która opuściła konto niezgodnie z zamierzeniami, trzeba próbować odzyskać, o ile to w ogóle możliwe.
Trzecia to odpowiedzialność. Kiedy człowiek działał na podstawie rady AI, to on odpowiadał za decyzję. Kiedy działa agent, to, kto za nie odpowiada, jest kwestią, której większość organizacji jeszcze nie rozstrzygnęła.
Krok weryfikacji, którego nigdy nie było#
W wydaniu 33 pisałem o tym, jak sprawić, by ludzki nadzór miał sens: jak etap weryfikacji łatwo sprowadza się do bezmyślnego przyklepywania i jak go zaprojektować, żeby człowiek faktycznie się angażował, a nie tylko klikał „zatwierdź”. Tamten tekst zakładał, że krok weryfikacji w ogóle istnieje. Agent, który działa samodzielnie, stwarza problem o krok wcześniej. Może w ogóle nie być żadnego etapu weryfikacji.
Agent przechodzi od jednego działania do drugiego bez przerwy. O ile ktoś nie wbudował w proces pauzy, nie ma momentu, w którym nadzór człowieka mógłby cokolwiek znaczyć. W wydaniu 33 problemem była słaba weryfikacja. Tutaj problem leży krok wcześniej: domyślnie w procesie w ogóle nie ma człowieka.
Dwa rodzaje błędów, które występują, gdy AI działa samodzielnie#
Pierwszy to błędna decyzja podjęta z pełnym przekonaniem. Wiedzieliśmy już, że modele potrafią się mylić, brzmiąc przy tym zupełnie pewnie. Dopóki model tylko doradzał, człowiek to wyłapywał (zazwyczaj). Teraz model sam wykonuje taką błędną decyzję — i nie ma już nikogo, kto by ją wychwycił.
Drugi jest rzadszy i gorszy: działanie niedokończone. Agent wykonuje sekwencję kroków i coś go zatrzymuje w połowie, bo system, od którego zależy, przestaje działać albo osiągnięto jakiś limit. Człowiek, któremu przerwano w połowie zadania, zostawia notatkę i wraca do tego później. Agent może zostawić proces w stanie, którego nikt nie zaprojektował: płatność wysłana, ale nie zaksięgowana, polisa anulowana, ale klient nigdy nie został poinformowany. Praca nie jest ani zrobiona, ani niezrobiona, a często nikt nie wie, że coś w takim stanie wisi.
To stary problem inżynierii oprogramowania. Bazy danych rozwiązują go transakcjami atomowymi: albo cała operacja się wykonuje, albo żadna jej część. Z agentem jest trudniej, bo działa w poprzek wielu systemów, które nie dzielą jednej transakcji, i sam układa kolejność kroków w trakcie — nie daje tej gwarancji i nie da się jej tak po prostu dokleić. Lepiej zaprojektowane systemy próbują przynajmniej zmniejszać ryzyko: rezerwują z góry zasoby, których zadanie będzie potrzebować, żeby nie padło w połowie.
Zasadą jest odwracalność#
To, czy da się bez strat cofnąć akcję zrealizowaną przez agenta, definiuje test, który powinien decydować, jak wiele agent może robić sam. To jest ważniejsze niż poziom inteligencji modelu działającego pod spodem.
Widać to najlepiej na skrajnych przypadkach. Nawet agent, który myli się raz na tysiąc, nie powinien sam wykonywać nieodwracalnego kroku o znaczących konsekwencjach — a przeciętny może swobodnie działać tam, gdzie każdy błąd da się tanio odkręcić.
W praktyce wystarczy posortować działania agenta według tego jednego kryterium. Odwracalne — albo tanie do skorygowania — agent wykonuje sam, a człowiek obserwuje tylko ogólne wzorce. Nieodwracalne (lub trudno odwracalne) czekają na jego akceptację, zanim się wydarzą. To znane z wydania 33 rozróżnienie na human-in-the-loop i human-on-the-loop, tyle że teraz przebiega po linii, którą da się wskazać, a nie tylko wyczuć.
Dwa systemy agentowe, które oceniałem w tym kwartale, oba przeznaczone dla branż regulowanych, są zbudowane wokół tego — w dwóch zupełnie różnych domenach. W jednym agent działa np. w obsłudze roszczeń ubezpieczeniowych: punkt kontrolny jest tam, gdzie pieniądze nieodwracalnie opuszczają firmę, a nie w dashboardzie przeglądanym następnego ranka. W drugim agenty piszą i dostarczają oprogramowanie: nieodwracalnym krokiem jest to, co trafia na produkcję, więc człowiek decyduje, co zostaje wdrożone, a agent zajmuje się resztą. Ta sama zasada, dwa różne punkty bez odwrotu. W obu systemach na bieżąco zapisywane jest, co robił agent, bo gdy coś pójdzie nie tak, pierwszym pytaniem jest „co się stało?”, a odpowiedź musi już istnieć. A modelowi daje się jak najmniej do decydowania. Rutynowe, oparte na regułach kroki są realizowane jako zwykły kod, a model jest angażowany tylko tam, gdzie praca autentycznie wymaga oceny, dzięki czemu agent zachowuje się przewidywalnie. Nic z tego nie widać na demo. To jest różnica między agentem, który dobrze wygląda na demo, a takim, któremu można pozwolić działać na prawdziwych pieniądzach klienta.
W oderwaniu od reszty ten punkt kontrolny wygląda jak hamulec dla czegoś, co ma być szybkie. W rzeczywistości to on sprawia, że ta szybkość jest bezpieczna: pauza przed nieodwracalnym działaniem jest tym, co pozwala dać agentowi wolną rękę we wszystkich innych miejscach. Jeśli ją usuniemy, nie będziemy szybsi, a jedynie bardziej narażeni na ryzyko, że pewny siebie agent kosztownie się pomyli.
Regulacje, które mają tu znaczenie, dotyczą tego, jaki wpływ na ludzi mają działania systemu, a nie tego, jak jest zbudowany. Art. 22 RODO daje osobie prawo do niepodlegania decyzji opartej wyłącznie na zautomatyzowanym przetwarzaniu, jeśli wywołuje ona wobec niej skutki prawne lub w podobny sposób istotnie na nią wpływa. Unijny AI Act wymaga dla systemów wysokiego ryzyka, aby człowiek mógł nadzorować system i ingerować w jego działanie. Żaden z tych aktów nie ocenia, gdzie działa nasz kod. Oba wymagają, by człowiek stanął między maszyną a działaniem niosącym konsekwencje. W Polsce to terytorium UODO od strony ochrony danych i KNF, gdy agent działa w procesie bankowym lub ubezpieczeniowym. Agent, który podejmuje decyzje dotyczące ludzi, a nie ma nikogo, kto mógłby w porę wkroczyć, to problem compliance, zanim stanie się czymkolwiek innym.
Gdzie kończy się autonomia – to jest decyzja, którą lider musi wziąć na siebie. To ona decyduje o tym, co stanie się, kiedy agent popełni błąd, więc trzeba ją podjąć świadomie, zamiast pozwalać, by domyślne ustawienia systemu rozstrzygnęły ją za nas.
Briefing#
OpenAI udostępniło nową flagową rodzinę modeli, GPT-5.6, ale tylko w ograniczonym preview dla około dwudziestu partnerów zatwierdzonych przez rząd, po tym, jak Biały Dom poprosił firmę o ograniczenie dystrybucji ze względu na zdolności modelu. To samo spotkało niedawno model „Mythos” od Anthropic (CNN). Dostęp do modeli frontier zaczyna być kontrolowany w Waszyngtonie, co jest nowym czynnikiem do uwzględnienia w każdym planie ciągłości działania czy pozyskiwania modeli, który zakłada, że zawsze będzie można po prostu kupić najlepszy dostępny model.
Qualcomm zdecydował się na zakup Modular, firmy stojącej za językiem Mojo i stosem do inferencji MAX, za blisko 4 mld USD w akcjach, celując prosto w fosę software’ową, która utrudnia odejście od chipów Nvidii (WIRED). Wiarygodne drugie źródło sprzętu do inferencji z czasem osłabiłoby zależność, z której większość przedsiębiorstw nie zdaje sobie sprawy.
Duże przedsiębiorstwa zaczynają ograniczać wydatki na AI i przechodzą na tańsze opcje oraz open-source, co wywiera presję na wzrost OpenAI i Anthropic, w miarę jak obie firmy zmierzają w stronę rynków publicznych (CNBC). Zaczęła się rozmowa o koszcie w przeliczeniu na wynik, a CIO mają teraz podkładkę od analityków, by renegocjować kontrakty na modele, zamiast domyślnie wybierać dostawców frontier.
Pytania do Twojego zespołu zarządzającego#
- Czy dla każdego systemu AI, którego używamy, wiemy, jakie działania może on podjąć samodzielnie, bez udziału człowieka, i czy ktoś zadecydował o tym świadomie, czy po prostu tak wyszło z czasem?
- Które z działań naszych agentów są nieodwracalne — wysłane pieniądze, wystawiona umowa, powiadomiony klient — i czy każde z nich wymaga zatwierdzenia przez człowieka, zanim się wydarzy?
- Gdyby dziś w nocy agent przerwał zadanie w połowie, czy dowiedzielibyśmy się, że zostawił coś niedokończonego, i kto by to naprawił?
- Kiedy agent popełni błąd, kto u nas za to odpowiada? Czy spisaliśmy to, czy będziemy ustalać odpowiedź w trakcie incydentu?
Podsumowanie#
AI w przedsiębiorstwach przekracza granicę między doradzaniem a działaniem. Dopóki doradzała, człowiek zawsze był na miejscu, by wyłapać błędną odpowiedź. Gdy zaczyna działać, błąd staje się wynikiem, a człowiek znika, chyba że go tam z powrotem umieścimy. Zasadą, która mówi, gdzie go umieścić, jest odwracalność: pozwólmy agentowi działać samodzielnie tam, gdzie działanie można cofnąć, a przy działaniach, których cofnąć się (tanio) nie da, wymagajmy zgody człowieka. Systemy, które już to robią w regulowanych branżach, umieszczają ludzki punkt kontrolny w kroku, który niesie za sobą konsekwencje, prowadzą zapis pracy agenta na bieżąco i pozwalają modelowi decydować tylko o tym, co autentycznie wymaga oceny. To, gdzie kończy się ta autonomia, jest linią, którą musi wyznaczyć lider.
Zachowaj równowagę, Krzysztof
Krzysztof Goworek jest założycielem Quintant — firmy doradczej, która prowadzi przedsiębiorstwa od eksperymentów AI do realnej, mierzalnej wartości.