Przewiń do głównej treści

#17 — Luka w nadzorze

·1860 słów·9 min

Zarządy podejmują decyzje w sprawie projektów AI, ale niewiele z nich sformalizowało nadzór nad nimi. Mimo że ponad 60% menedżerów uważa sztuczną inteligencję za temat codzienny, tylko 35% włączyło go do statutów komitetów lub ram zarządzania ryzykiem. Ta przepaść między świadomością a działaniem stwarza poważne ryzyko prawne. Największym zagrożeniem nie jest pojedyncza awaria systemu AI, lecz udokumentowana rozbieżność między dużą świadomością wagi AI a brakiem formalnej kontroli nad nią.

Prawo spółek w różnych krajach nakłada na zarządy obowiązek należytej staranności, wymagając podjęcia realnych wysiłków w celu stworzenia sensownych systemów informacji i raportowania dla kluczowych ryzyk. Zasada ta, kiedyś dotycząca głównie finansów, dziś obejmuje zagrożenia systemowe, takie jak cyberbezpieczeństwo. Sztuczna inteligencja, na której opierają się kluczowe procesy biznesowe, od oceny kredytowej po zarządzanie dostawami, bez dwóch zdań wpisuje się w tę kategorię. Udokumentowane zaniechanie sformalizowania nadzoru nad AI – na przykład brak zapisów o AI w statucie komitetu ryzyka – może być uznane za naruszenie tego podstawowego obowiązku.

Jak pisałem w wydaniu #9, zakres odpowiedzialności liderów rośnie. Ochrona prawna, która przysługuje menedżerom, zazwyczaj obowiązuje tylko wtedy, gdy ich decyzje są świadome i podejmowane z zachowaniem odpowiednich procedur. Zarząd, który nie potrafi wykazać, że ma uporządkowany i powtarzalny proces rozumienia i monitorowania ryzyka AI, traci ten argument. Nie wystarczy o AI rozmawiać; trzeba mieć formalny system, który reguluje jej wykorzystanie. Problem leży w tłumaczeniu wskaźników i pojęć technicznych na biznesowe. Liderzy techniczni raportują wydajność systemu, używając metryk takich jak dokładność (accuracy), czy bias modelu. Zarządy, które odpowiadają za całą firmę, potrzebują oceny ryzyka w kategoriach finansowych i strategicznych. CIO może zaraportować, że model do wykrywania oszustw ma 99,5% skuteczności. Członek zarządu powinien zapytać, co 0,5% błędów oznacza w przeliczeniu na straty finansowe, problemy dla klientów czy kary. Celem nie jest zrobienie z menedżerów analityków danych. Chodzi o to, by stworzyć ramy raportowania, które pokazują, że firma panuje nad sytuacją. Wtedy sama komunikacja staje się dowodem na dobre zarządzanie.

Briefing
#

Dominująca w świecie AI narracja utożsamia pozycję lidera ze skalą, mierzoną w liczbie parametrów modelu i mocy obliczeniowej. Sugeruje to, że przyszłość należy do garstki firm z ogromnym kapitałem. Najnowsze odkrycia techniczne i dyskusje w branży kwestionują to założenie. Jedno z nich pokazuje ryzyko bezpieczeństwa, które skala tylko pogarsza; drugie sugeruje, że to wydajność, a nie rozmiar, da kolejną przewagę konkurencyjną.

Pierwszy temat dotyczy integralności łańcucha dostaw w AI. Uważano, że „zatruwanie danych” (data poisoning) – czyli uszkodzenie modelu przez wstrzyknięcie złośliwych przykładów do danych treningowych – jest atakiem zbyt drogim, by był opłacalny. Miał wymagać od atakującego kontroli nad dużą częścią ogromnego zbioru danych. Badania przeprowadzone przez Anthropic, brytyjski AI Security Institute oraz The Alan Turing Institute pokazały, że jest inaczej.

Ich praca pokazuje, że liczba złośliwych dokumentów potrzebnych do zainstalowania ukrytej „furtki” (backdoor) w modelu jest niemal stała, niezależnie od jego wielkości. Już 250 zatrutych dokumentów wystarczyło, aby skompromitować modele o wielkości od 600 milionów do 13 miliardów parametrów. Dla największego modelu to zaledwie 0,00016% danych treningowych.

Większość modeli podstawowych trenuje się na danych z publicznego internetu. Atakujący nie potrzebuje już specjalnego dostępu do infrastruktury dostawcy; wystarczy, że opublikuje w sieci kilkaset skażonych dokumentów i poczeka, aż zbiorą je roboty sieciowe. Firma może wdrożyć model od zaufanego dostawcy, który przeszedł wszystkie testy, a mimo to może on mieć ukrytą lukę. Im większa skala, tym trudniej znaleźć złośliwe dane, ale ich skuteczność nie maleje.

Drugi artykuł kwestionuje dominację dużych modeli z powodów finansowych i operacyjnych. Obecne podejście do budowy systemów agentic AI – samodzielnie wykonujących zadania – często opiera się na jednym, wielkim modelu językowym (LLM) realizującym poszczególne kroki procesu. Nowy artykuł od badaczy z NVIDIA pokazuje, że to nieefektywne rozwiązanie.

Twierdzą oni, że przyszłość autonomicznej AI należy do małych modeli językowych (SLM). Większość zadań agenta, jak formatowanie wyniku czy wywołanie narzędzia, jest prosta i powtarzalna. Do tego wystarczą SLM-y, które są znacznie wydajniejsze. Artykuł proponuje systemy o heterogenicznej architekturze, w których flota wyspecjalizowanych SLM-ów wykonuje większość pracy, a duży LLM służy tylko do wyznaczania ogólnej strategii. SLM może być od 10 do 30 razy tańszy w użyciu niż frontier LLM. Jego mniejszy rozmiar ułatwia też fine-tuning pod kątem konkretnych zadań w firmie.

Moim zdaniem większość zadań w procesie może i powinna być obsługiwana przez prosty, deterministyczny algorytm oparty na regułach biznesowych i integracjach na poziomie aplikacji, zwłaszcza przy dużej skali. Nadal jest znacznie taniej i bezpieczniej ograniczać zastosowanie agentów AI do zadań, z którymi nie radzą sobie tradycyjne, oparte na regułach podejścia.

Panel Ryzyka AI dla Zarządu
#

Rolą zarządu jest określenie apetytu na ryzyko i pilnowanie, czy go nie przekraczamy. Skuteczne raportowanie na temat AI musi zatem przekładać techniczną złożoność na zrozumiałe wskaźniki biznesowe i skupiać się na wpływie, a nie detalach. Główne ryzyka związane z AI nie wynikają z jej dokładności samej w sobie, lecz z szybkości i skali działania. Model podejmujący milion automatycznych decyzji dziennie ma zupełnie inny profil ryzyka niż ten, który pomaga człowiekowi przy stu. Najcenniejsze wskaźniki to te, które pokazuję właśnie tę skalę działania i jej możliwe konsekwencje.

Panel menedżerski powinien koncentrować się na czterech kluczowych wskaźnikach:

  1. Automated Decision Velocity (ADV): Mierzy, ile ważnych, automatycznych decyzji jest podejmowanych w danym czasie bez ludzkiej weryfikacji. To najlepszy wskaźnik skali ryzyka operacyjnego. Rosnące ADV to sygnał, że coraz większa część firmy działa „na autopilocie”, co zwiększa ryzyko awarii systemowej. Jedna wada w często używanym modelu może rozprzestrzenić się z prędkością algorytmu, zamieniając mały błąd w duży kryzys w minuty, nie dni. Ten wskaźnik daje zarządowi realne poczucie „dźwigni decyzyjnej” – stosunku automatycznych decyzji do liczby ludzi je nadzorujących. Jest to szczególnie ważne przy wdrażaniu agentów AI, bo w procesach wieloetapowych szansa na sukces maleje wykładniczo z każdym kolejnym krokiem.

  2. Model Risk Appetite Adherence: Pokazuje, jaki procent kluczowych modeli AI działa w granicach ryzyka określonych przez firmę. Obejmuje to też konkretne kryteria fairness (np. równe traktowanie różnych grup demograficznych przy decyzjach kredytowych), wymogi wyjaśnialności dla decyzji o skutkach prawnych czy granice operacyjne (np. algorytm giełdowy nie może zawierać transakcji powyżej pewnej kwoty bez zgody człowieka). Ten wskaźnik łączy działania systemów AI ze strategią zarządu. Zamiast pytać: „Czy model jest dokładny?”, pytamy z perspektywy zarządczej: „Czy model działa zgodnie z naszą tolerancją na ryzyko?”.

  3. Data Provenance Score: To zbiorcza ocena jakości, integralności i pochodzenia danych, które zasilają kluczowe modele AI. Ryzyko w AI to przede wszystkim ryzyko związane z danymi. Błędne, stronnicze lub nielicencjonowane dane treningowe mogą powodować poważne problemy prawne i wizerunkowe. Ten wskaźnik to prosta ocena kondycji fundamentów całego ekosystemu AI. Powinien uwzględniać kilka czynników: pochodzenie danych (czy wiemy, skąd pochodzą?), ich jakość (czy są kompletne i spójne?), licencje (czy możemy ich legalnie używać do tego celu?) oraz analizę pod kątem stronniczości. To odpowiedź na problem „Garbage In Garbage Out”.

  4. Shadow AI Exposure: Mierzy, jaki procent narzędzi AI używanych w firmie działa bez zgody i nadzoru IT. Popularność narzędzi generatywnej AI dostępnych w przeglądarkach tworzy poważną lukę bezpieczeństwa i zwiększa ryzyko wycieku danych. Pracownicy, którzy używają niesprawdzonych publicznych narzędzi do streszczania poufnych dokumentów czy pisania kodu, mogą niechcący ujawnić własność intelektualną. Określenie skali tego zjawiska, np. przez analizę ruchu sieciowego, jest kluczowe, by zarząd zrozumiał, jak naprawdę wygląda korzystanie z AI w organizacji i jakie niezarządzane ryzyka się z tym wiążą.

Leksykon Zagrożeń AI
#

Zrozumienie zagrożeń związanych z AI wymaga precyzji. Poniższe terminy definiują typowe awarie i ataki w języku technicznym, ale ważnym dla biznesu.

  • Dryf Modelu (Model Drift): Ma miejsce, gdy skuteczność modelu spada, ponieważ nowe dane, które przetwarza, różnią się od tych, na których był trenowany. Model uczony na danych ekonomicznych sprzed pandemii będzie niewiarygodny w prognozach po pandemii. To cicha awaria – wydajność powoli się pogarsza, co prowadzi do coraz gorszych decyzji biznesowych, od błędnych prognoz zapasów po złe oceny ryzyka kredytowego.

  • Zatruwanie Danych (Data Poisoning): Atak, który uszkadza model przez dodanie złośliwych danych do jego zbioru treningowego. Celem jest stworzenie w modelu „konia trojańskiego”, który zawodzi w określony, korzystny dla atakującego sposób. Atakujący może na przykład zatruć dane filtra spamu, aby jego e-maile zawsze trafiały do skrzynki odbiorczej. To atak na potok przetwarzania AI, który narusza jego integralność u samego źródła.

  • Prompt Injection: Podatność dużych modeli językowych (LLM), gdzie atakujący tak konstruuje zapytanie, by ominąć pierwotne instrukcje i zabezpieczenia modelu. Może to zmusić model do zignorowania protokołów bezpieczeństwa, ujawnienia poufnych danych lub wykonania niepożądanych poleceń w innych systemach. To odpowiednik ataku typu command-injection, który wykorzystuje interpretację języka naturalnego do przejęcia kontroli nad funkcją modelu.

  • Przeuczenie (Overfitting): Błąd trenowania, polegający na tym, żeAI uczy się danych treningowych zbyt dokładnie – zapamiętuje statystyczny szum, zamiast uczyć się ogólnych wzorców. W efekcie powstaje model, który świetnie radzi sobie na testach, ale zawodzi w kontakcie z nowymi, realnymi danymi. Przeuczony model daje fałszywie optymistyczne wyniki w testach, ale w praktyce jest zawodny i niestabilny, co czyni go niebezpiecznym w prognozowaniu czy podejmowaniu decyzji w czasie rzeczywistym.

Biznesowe Uzasadnienie dla Kontroli
#

Aby zdobyć budżet na rozwiązania AI governance, trzeba przedstawić go nie jako koszt, ale jako strategiczną inwestycję. Dobre AI governance przyspiesza, a nie hamuje, wdrażanie AI w firmie. To fundament potrzebny do bezpiecznego i efektywnego skalowania innowacji. Argumentacja biznesowa opiera się na trzech filarach:

  1. Inwestycja w zaufanie do marki: W cyfrowej gospodarce zaufanie to cenne aktywo firmy. Governance to mechanizm, który zapewnia, że systemy AI są sprawiedliwe, przejrzyste i niezawodne. Bank, którego system AI do oceny kredytowej ma certyfikat sprawiedliwości, zbuduje większe zaufanie klientów i regulatorów niż konkurent z modelem typu „czarna skrzynka”. To zaufanie bezpośrednio przekłada się na przewagę rynkową, większą lojalność klientów i niższy koszt kapitału.

  2. Inwestycja w tempo innowacji: Jasne zasady gry dają zespołom pewność i swobodę w działaniu. Centralne ramy zarządcze to wspólne standardy oceny ryzyka, weryfikacji danych i monitorowania modeli. To tak, jak z budową nowoczesnej fabryki. Kiedy jest już infrastruktura – zasady bezpieczeństwa, kontrola jakości, logistyka – nowe produkty (modele AI) można tworzyć i wdrażać znacznie szybciej. To pozwala uniknąć „czyśćca pilotaży”, w którym obiecujące projekty AI nigdy nie są wdrażane, bo nikt nie zajął się podstawowymi ryzykami.

  3. Inwestycja w ochronę interesu firmy: To kluczowy argument. Udokumentowane ramy zarządcze, wspierane przez panel menedżerski, to najlepszy dowód na to, że menedżerowie wypełniają swój obowiązek należytej staranności. Taka inwestycja bezpośrednio zmniejsza osobistą i firmową odpowiedzialność za błędy w nadzorze.

Kluczowe pytania
#

  1. Czy nasz panel menedżerski pokazuje, że mamy solidny i dający się obronić proces nadzoru nad ryzykami AI?

  2. Czy formalnie określiliśmy nasz apetyt na ryzyko w automatycznych decyzjach i czy mierzymy, jak się go trzymamy?

  3. Zamiast mówić o AI governance jako o koszcie, jak możemy przedstawić go inwestorom jako inwestycję w wiarygodność marki i napęd dla zrównoważonych innowacji?

  4. Biorąc pod uwagę odpowiedzialność za nadzór, czy zarząd ma wystarczającą wiedzę na temat tempa i skali wdrażania AI w firmie, wliczając w to niezarządzane „shadow AI”?

  5. Czy liderzy odpowiedzialni za AI mają realną władzę, by egzekwować nasze standardy we wszystkich działach, czy są tylko doradcami?

Podsumowanie
#

Rola liderów odpowiedzialnych za technologię i ryzyko zmieniła się. Nie wystarczy już zarządzać technologią; nowym zadaniem jest tłumaczenie technologicznej złożoności na język ryzyka strategicznego i ładu korporacyjnego. Ta umiejętność jest dziś ważną kompetencją lidera. Firmy, które ją opanują, nie tylko będą szybciej wprowadzać innowacje, ale też zbudują bardziej odporny biznes, zdobędą większe zaufanie klientów i dadzą swoim zarządom narzędzia do skutecznego zarządzania w coraz bardziej zautomatyzowanym świecie.

Do następnego razu, Krzysztof