Czego AI Act naprawdę wymaga od modelu finansowego

Większość AI używanej w kontrolingu finansowym nie jest systemem wysokiego ryzyka w rozumieniu unijnego AI Act — a działy finansowe uparcie zakładają odwrotnie. Rozporządzenie klasyfikuje według zastosowania, a nie według tego, jak ważny czuje się dany dział, i wewnętrzne prognozowanie, analiza odchyleń czy projekcja gotówki zwykle wypadają poza Załącznik III. To, co obowiązuje, to zestaw oczekiwań wobec dokumentacji, logowania i nadzoru człowieka — czyli rzeczy, których poważna funkcja finansowa powinna chcieć niezależnie od przepisów.

To podsumowanie inżynierskie, nie porada prawna. Aktualny tekst i harmonogram zweryfikuj z prawnikiem — kalendarz wdrożenia bywał przedmiotem propozycji zmian od czasu wejścia rozporządzenia w życie.

Co w finansach jest wysokiego ryzyka

Załącznik III wymienia zastosowania uruchamiające ciężkie obowiązki. Dwa są blisko finansów:

• Ocena zdolności kredytowej osób fizycznych — scoring osób, z wyłączeniem wykrywania oszustw finansowych.
• Ocena ryzyka i wycena w ubezpieczeniach na życie i zdrowotnych dla osób fizycznych.

Żadne z nich nie opisuje agenta kontrolingowego prognozującego pozycję gotówkową własnej firmy. Liczy się podmiot oceny: Twój własny rachunek wyników nie jest osobą fizyczną.

Pułapka leży gdzie indziej. Załącznik III obejmuje także zatrudnienie — rekrutację, przydzielanie zadań, monitorowanie i ocenę pracowników. „Agent CFO”, który punktuje produktywność pracowników, układa ranking do restrukturyzacji albo przydziela pracę na podstawie wykorzystania zasobów, wszedł do kategorii wysokiego ryzyka bocznymi drzwiami — mimo że zespół, który go budował, był przekonany, że robi kontroling.

Obowiązki, które dotyczą wszystkich

Dwie rzeczy obowiązują niezależnie od kategorii ryzyka i łatwo je przeoczyć.

Kompetencje w zakresie AI. Organizacje wdrażające systemy AI mają zapewnić, że osoby je obsługujące rozumieją je w wystarczającym stopniu — na tyle, by interpretować wynik i rozpoznać, kiedy jest błędny. Dla działu finansowego to nie problem szkolenia na wideo; to znaczy, że kontroler korzystający z prognozy powinien umieć powiedzieć, co model dostał i gdzie zwykle się myli.

Przejrzystość treści generowanych maszynowo. Tam, gdzie wynik jest generowany lub modyfikowany przez AI i mógłby zostać wzięty za materiał ludzki, powinien być jako taki rozpoznawalny. Notatka na zarząd złożona przez model mieści się w tej kategorii.

Dlaczego i tak warto budować pod standard wysokiego ryzyka

Wymogi dla systemów wysokiego ryzyka czytają się jak opis dobrze prowadzonego systemu analitycznego: zarządzanie ryzykiem w całym cyklu życia, ład nad danymi treningowymi i wejściowymi, dokumentacja techniczna, automatyczne logowanie zdarzeń, instrukcje dla wdrażającego, realny nadzór człowieka oraz odpowiednia dokładność, odporność i cyberbezpieczeństwo.

Zdejmij warstwę prawną, a każdy z tych punktów jest czymś, czego CFO powinien wymagać, zanim zaufa liczbie w materiałach na zarząd. Jeśli model koryguje prognozę, chcesz wiedzieć, który input się ruszył. Jeśli oznacza klienta, chcesz zobaczyć dowody. Jeśli się myli, chcesz się o tym dowiedzieć z własnych logów, a nie od audytora.

Jest też argument praktyczny: klasyfikacja potrafi się zmienić. System, który zaczyna od wewnętrznego prognozowania, dostaje funkcję oceny dostawców, potem oceny klientów — i któraś z nich w końcu dotyka osoby fizycznej. Doklejanie logowania i dokumentacji do systemu, którego nigdy pod to nie zaprojektowano, kosztuje wielokrotnie więcej niż zbudowanie go tak od początku.

Minimalna poprzeczka dla modelu kontrolingowego

Jeśli taki model oceniasz albo budujesz, lista jest krótka:

• Pochodzenie danych. Każda liczba możliwa do prześledzenia do systemu źródłowego, tabeli i znacznika czasu.
• Logi decyzyjne. Nie tylko wynik, ale też wejścia i wersja modelu, która go wyprodukowała — przechowywane dłużej niż jeden cykl audytowy.
• Wyjaśnione korekty. Gdy prognoza się zmienia, system nazywa czynnik sprawczy.
• Wskazany nadzór człowieka. Osoba, która odpowiada za daną klasę rekomendacji i może ją nadpisać, z zapisem nadpisania.
• Lokalizacja wdrożenia. Wiedza, w jakiej jurysdykcji odbyła się inferencja — bo w momencie, gdy w grę wchodzą dane osobowe, to pytanie przestaje być akademickie.

Zespoły, które spokojnie przejdą kolejny zakręt regulacyjny, to te, które już dziś generują te dowody jako produkt uboczny działania systemu — a nie te, które planują projekt compliance na kwartał przed audytem.