W szóstym numerze newslettera omawialiśmy los projektów AI, które utknęły w „czyśćcu pilotaży”. Wiele obiecujących inicjatyw prezentuje przekonujący dowód działania (proof-of-concept), by następnie przepaść w zderzeniu z realiami wdrożenia na pełną skalę. Przyczyny techniczne bywają różne, ale powód finansowy jest często jeden: nieprawidłowe modelowanie TCO. Skupienie się na początkowych kosztach budowy i opłatach licencyjnych prowadzi do stworzenia niepełnego business case.
System AI to nie tylko oprogramowanie, które się kupuje; to proces przemysłowy, który się realizuje. Jego profil finansowy przypomina fabrykę, w której krańcowy koszt wytworzenia każdego „produktu” – każdej predykcji, klasyfikacji czy fragmentu wygenerowanego tekstu – jest istotnym składnikiem całkowitego kosztu. Budowa modelu finansowego skupionego na jednorazowym koszcie budowy systemu, bez uwzględnienia kosztów operacyjnych jest prostą drogą do jego późniejszego przekroczenia. Prawdziwe, długoterminowe koszty są w przeważającej mierze operacyjne. Aby zbudować solidne uzasadnienie biznesowe, musimy spojrzeć poza pierwszą fakturę i przeanalizować składniki całkowitego kosztu AI.
Briefing#
Unijny Akt o AI miał być fundamentem globalnych regulacji, drogowskazem dla firm. Jednak w momencie, gdy w sierpniu weszły w życie jego pierwsze przepisy dotyczące modeli ogólnego przeznaczenia, Komisja Europejska już ma wątpliwości. 16 września rozpoczęła formalne konsultacje, które mają posłużyć do opracowania nowego pakietu legislacyjnego, mającego na celu uproszczenie przepisów. Deklarowanym celem jest stworzenie ram „bardziej przyjaznych innowacjom”, z „mniejszą ilością formalności, mniejszą liczbą nakładających się na siebie obowiązków i mniej złożonymi zasadami”. Jest to bezpośrednia odpowiedź na narastające obawy, że Akt w obecnej formie podważa konkurencyjność Europy. Interwencja byłego prezesa EBC, Mario Draghiego, który publicznie wezwał do „pauzy” we wdrażaniu przepisów dla systemów wysokiego ryzyka, nazywając regulację „źródłem niepewności”, zamieniła techniczną debatę w polityczną grę o wysoką stawkę. Strategiczne implikacje dla każdej globalnej firmy są ogromne. Akt o AI nie może być już traktowany jako stały cel do osiągnięcia; jest teraz dynamicznymi i politycznie negocjowanymi ramami. Słynny „efekt brukselski”, w ramach którego regulacje UE wyznaczają de facto globalny standard, pokazuje pierwsze pęknięcia.
Na początku września w amerykańskim Kongresie przedstawiono projekt ustawy SANDBOX Act, propozycję legislacyjną mającą na celu sformalizowanie strategii łagodnych regulacji. Wspierany przez Plan Działania AI Białego Domu, który wprost wzywa do usuwania barier regulacyjnych, aby „wygrać globalny wyścig o dominację w dziedzinie AI”, akt ten miałby stworzyć nadzorowane środowiska, w których deweloperzy mogliby ubiegać się o tymczasowe zwolnienia z istniejących przepisów, które mogłyby utrudniać testowanie nowych technologii. To nie jest tylko inna polityka; to strategiczny manewr geopolityczny. Poprzez jawne priorytetyzowanie szybkości i eksperymentów, Stany Zjednoczone pozycjonują się jako bardziej atrakcyjne miejsce dla talentów i kapitału w dziedzinie AI. Tworzy to wyraźny scenariusz „arbitrażu regulacyjnego”, zmuszając liderów C-suite do podjęcia trudnego wyboru. Czy rozwijać i testować zaawansowane systemy na rynku amerykańskim, który ceni innowacyjność, zanim zostaną one dostosowane do bardziej rygorystycznej, skoncentrowanej na zaufaniu UE? To przekształca strategię AI w kwestię geopolityki, w której lokalizacja centrum badawczo-rozwojowego staje się decyzją o dalekosiężnych konsekwencjach.
Spory prawne dotyczące AI historycznie koncentrowały się na danych używanych do trenowania modeli – kwestiach praw autorskich i prywatności. Przełomowy pozew o spowodowanie śmierci, złożony w Kalifornii przeciwko OpenAI, sygnalizuje nowy front ryzyka prawnego, skupiony na bezpośredniej szkodzie wyrządzonej przez wyniki działania AI. Powodowie twierdzą, że chatbot firmy odegrał bezpośrednią rolę w samobójstwie ich syna, wytwarzając zależność psychologiczną i dostarczając szkodliwych, zachęcających odpowiedzi na jego wypowiedzi o samookaleczeniu. Sprawa ta wykracza poza tradycyjną odpowiedzialność za oprogramowanie – argumentuje się w niej, że interaktywny wynik działania AI był bezpośrednio odpowiedzialny za wyrządzenie szkody, traktując system mniej jak pasywne narzędzie, a bardziej jak dostawcę usług z dorozumianym obowiązkiem należytej staranności. Jeśli ta teoria prawna zyska na znaczeniu, może ustanowić nowy precedens dla „błędu w sztuce algorytmicznej”. To znacząco poszerza pole ryzyka dla każdego przedsiębiorstwa używającego chatbotów opartych na AI do obsługi klienta lub jakiejkolwiek innej interaktywnej aplikacji, która udziela porad lub wskazówek.
Podatek od danych: pierwszy i największy wydatek#
Przygotowanie danych – praca polegająca na pozyskaniu, oczyszczeniu, etykietowaniu i zarządzaniu informacjami, które zasilają system – to fundament, na którym opiera się cała konstrukcja. Próba budowy zaawansowanego systemu AI na bazie danych niskiej jakości jest jak wznoszenie wieżowca na bagnie. Ostateczne zawalenie się nie jest ryzykiem, jest pewne. Badania konsekwentnie pokazują, że nawet do 80% pracy w każdym projekcie AI poświęca się właśnie na przygotowanie danych. Obejmuje to pozyskiwanie informacji z rozproszonych, systemów legacy, czyszczenie rekordów z niespójności oraz ustanowienie jasnej ścieżki pochodzenia danych i zarządzania nimi. Niedoinwestowanie na tym etapie to zaciąganie długu technicznego i finansowego, który trzeba będzie spłacić z odsetkami. Realistyczny budżet musi uwzględniać licencjonowanie danych od firm trzecich, stawki godzinowe specjalistów do zarządzania złożonymi operacjami czyszczenia oraz znaczne koszty operacyjne ręcznego etykietowania danych (w zależności od typu modelu, systemu i jego zastosowania). Budżetowanie przygotowania danych jest więc konieczne.
Ludzki koszt fine-tuningu#
Typowa strategia dla AI w przedsiębiorstwie nie polega na budowaniu dużego modelu od zera, lecz na dostrajaniu (fine-tuning) istniejącego modelu na własnym zbiorze danych. Z perspektywy czysto obliczeniowej jest to opłacalne – pojedynczy cykl treningowy na chmurowym GPU nie jest znaczącym wydatkiem. Jednak dominującym czynnikiem kosztowym w każdym projekcie fine-tuningu nie jest krzem, lecz specjalistyczny kapitał ludzki wymagany do zarządzania tym procesem. Fine-tuning to iteracyjny proces, który wymaga zaangażowania cennego i drogiego zasobu: inżyniera machine learning. Proces ten obejmuje formułowanie hipotez, przygotowywanie i testowanie wielu wersji zbioru danych, przeprowadzanie licznych cykli dostrajania i rygorystyczną ocenę wyników. Projekt wymagający dwóch miesięcy pracy inżyniera wygeneruje koszt, który może być większy niż rachunek za moc obliczeniową. Co więcej, występuje tu też koszt alternatywny — czas, który inżynier spędza na iteracjach jednego modelu, to czas, którego nie poświęca na inne inicjatywy. Kluczową zmienną finansową nie jest zatem koszt godzin pracy GPU, lecz alokacja cennego czasu inżynierskiego.
Koszty operacyjne systemu AI#
Planując budżet projektu AI należy też uwzględnić koszt jego używania i nadzoru nad nim – faza deweloperska to widoczny, jednorazowy wydatek. Koszty operacyjne mogą szybko przekroczyć wartość początkowej inwestycji. Proces uruchamiania wytrenowanego modelu w środowisku produkcyjnym stanowi koszt operacyjny, który skaluje się bezpośrednio z użyciem. Dla każdej udanej aplikacji skumulowany koszt wnioskowania przekroczy początkowy koszt deweloperski o rząd wielkości. Analizy branżowe pokazują, że wnioskowanie odpowiada za 80% do 90% całkowitego zapotrzebowania na moc obliczeniową w uczeniu maszynowym. W ciągu kilku miesięcy od udanego wdrożenia powtarzający się rachunek za działanie modelu przewyższy cały początkowy koszt budowy. Dlatego z perspektywy finansowej używanie GenAI przypomina korzystanie z chmury. W odróżnieniu od chmury mamy tu jednak także dodatkowe koszty stałego zaangażowania personelu — modele GenAI ze swojej natury mogą generować odpowiedzi inne od oczekiwanych, nieprawdziwe, powołujące się na nieistniejące fakty. W każdym procesie biznesowym, gdzie taka odpowiedź modelu może mieć negatywne konsekwencje finansowe lub prawne, konieczny jest stały nadzór człowieka (human-in-the-loop).
Budżet oparty na stałym rocznym koszcie nie jest odpowiedni – business case musi opierać się na analizie kosztów jednostkowych: porównaniu kosztu pojedynczego wnioskowania (wraz z kosztami dodatkowymi, takimi jak koszt weryfikacji jego wyniku) z wartością, którą generuje. Plan finansowy, który nie modeluje kosztów przy dziesięcio- i stukrotnie większym wolumenie niż w pilotażu, jest niekompletny, ponieważ nie uwzględnia finansowych konsekwencji sukcesu projektu.
Ramy dla realistycznego business case#
Stworzenie solidnego modelu finansowego dla AI wymaga spojrzenia poza oczywiste wydatki. W numerze #12 analizowaliśmy wybór między modelami open-source a komercyjnymi. Prawidłowa analiza TCO jest jedynym sposobem na racjonalne podjęcie tej decyzji. Wymaga ona zbadania także tych mniej widocznych, długoterminowych kosztów i musi dostarczyć jasnych, skwantyfikowanych odpowiedzi na następujące pytania:
1. Gotowość danych: Jaki jest budżet na czyszczenie, etykietowanie i pozyskiwanie danych niezbędnych do trenowania modelu? Wymaga to alokacji kosztów na pozyskanie danych, narzędzia do adnotacji i roboczogodziny na czyszczenie. Jaka jest rezerwa na wypadek odkrycia krytycznych problemów z jakością danych w trakcie projektu? Jakie są bieżące koszty zarządzania danymi?
2. Specjalistyczny kapitał ludzki: Czy dokładnie obliczyliśmy koszt pracy inżynierów, wymaganej nie tylko do budowy rozwiązania, ale i przez cały cykl jego życia? Model ten musi obejmować pensje, świadczenia, budżety szkoleniowe i koszt specjalistycznych środowisk deweloperskich, których potrzebują. To zespół, który będzie monitorował, utrzymywał i przetrenowywał model przez lata.
3. Wnioskowanie na dużą skalę: Czy model finansowy prognozuje koszty wnioskowania przy 10-krotnie i 100-krotnie większym wolumenie niż w pilotażu? Czy model ekonomii jednostkowej jest zrównoważony w miarę wzrostu użycia? Oznacza to obliczenie „kosztu na predykcję” i bezpośrednie powiązanie go z namacalną wartością biznesową. Jeśli koszt wygenerowania rekomendacji przekracza krańcowy zysk z wynikającej z niej sprzedaży, model nie jest komercyjnie opłacalny.
4. Monitoring i MLOps: Czy istnieje dedykowany, wieloletni budżet na narzędzia i personel wymagany do ciągłego monitorowania modelu? Systemy AI w produkcji nie są statyczne. Ich wydajność z czasem ulega degradacji, w miarę jak zmienia się świat rzeczywisty. Należy przeznaczyć budżet na platformy MLOps i inżynierów potrzebnych do wykrywania spadku wydajności, wyzwalania alertów i zarządzania procesem ponownego treningu. To system odpornościowy Twojego procesu AI.
5. Weryfikacja wyników (Human in the Loop): Czy uwzględniliśmy koszt operacyjny weryfikacji, wymaganej do zapewnienia jakości i zgodności? W branżach regulowanych jest to niezbędny element architektury. Dla systemu podejmującego tysiące decyzji dziennie, nawet niewielki ich odsetek oflagowany do weryfikacji przez człowieka generuje znaczne obciążenie operacyjne. Ten zespół i związane z nim koszty muszą być uwzględnione w budżecie.
6. Utrzymanie modelu: Jaki jest roczny budżet na ponowne trenowanie modelu w celu zwalczania dryfu i obniżenia jakości wnioskowania? Model to zasób o ograniczonej żywotności. Rozsądnym punktem wyjścia jest przeznaczenie 10-20% początkowego kosztu deweloperskiego na coroczne ponowne trenowanie i utrzymanie.
Podsumowanie#
Błędem jest postrzeganie wdrożenia AI jako projektu software’owego generującego głównie koszty kapitałowe. Bardziej trafionym i użytecznym modelem myślowym jest traktowanie go jako procesu przemysłowego. Ponosimy początkowe koszty na zbudowanie zdolności wytwórczych, ale zdecydowana większość całościowego kosztu w cyklu życia projektu to opex proporcjonalny do wolumenu “produkcji”. Taka zmiana perspektywy wymusza bardziej rygorystyczne i realistyczne podejście do planowania finansowego. Przenosi punkt ciężkości z kosztu opłaty licencyjnej na ekonomię jednostkową każdego wnioskowania. Dla menedżerów odpowiedzialnych za zwrot z inwestycji, uwzględnienie tego faktu jest niezbędne, by móc realizować strategię AI dającą nie tylko efekt wow, ale także pozytywny efekt finansowy.
Do następnego razu,
Krzysztof