--- title: "Przetestuj prognozę AI na miesiącach, które już zamknąłeś" url: "https://obserbi.com/pl/blog/test-prognozy-ai-na-zamknietych-miesiacach" description: "Prognoza z demo zawsze wygląda dobrze. Test wsteczny na Twoich zamkniętych okresach, porównany z naiwną prognozą bazową, pokaże, czy jest lepsza. Jak go przeprowadzić." --- # Przetestuj prognozę AI na miesiącach, które już zamknąłeś 8 października 2026·3 min czytania·Redakcja Stos starych ksiąg przewiązanych sznurkiem, na nim mosiężna suwmiarka, z przodu drewniany suwak logarytmiczny, obok mosiężne wskaźniki Demo było przekonujące. Dostawca wczytał dwanaście miesięcy historii sprzedaży, model wygenerował prognozę na kolejny kwartał, a krzywa wyglądała gładko i rozsądnie. Ktoś zapytał o trafność. Odpowiedzią był jeden, imponująco niski procent błędu — policzony na danych, które model już widział. Trzy miesiące później prognoza myli się bardziej niż arkusz, który zastąpiła. Nikt nie umie powiedzieć, czy to pech, czy zły model, bo nikt nigdy nie porównał jej z czymkolwiek. ## Prawdziwa przyczyna: prognozy ocenia się na złych danych Prognozę można uczciwie ocenić tylko na okresach, o których nie wiedziała w chwili powstania. Brzmi oczywiście, a łamane jest bez przerwy — w demach dostawców, w wewnętrznych pilotażach i w sposobie, w jaki wiele zespołów ocenia własne arkusze. Lekarstwo jest stare i mało efektowne: test wsteczny na zamkniętych okresach, prowadzony tak, jakby każdy miesiąc był teraźniejszością, i porównany z prognozą bazową tak prostą, że aż obraźliwą. ## Jak ocena prognozy wprowadza w błąd **Test na danych, które model widział.** Dopasowanie modelu do dwunastu miesięcy i podanie błędu na tych samych dwunastu miesiącach mierzy pamięć, a nie przewidywanie. Uczciwa liczba bierze się wyłącznie z prognoz zrobionych na danych dostępnych w danym momencie. **Przeciek przez przeksięgowaną historię.** Dane w ERP zmieniają się po fakcie: spóźnione faktury, korekty rezerw, przeksięgowania, korekty sprzedaży zaksięgowane do zamkniętego miesiąca. Test wsteczny na dzisiejszej wersji zeszłego marca wie rzeczy, których w marcu nikt nie wiedział. Odtwarzaj stan wiedzy według daty wprowadzenia dokumentu — kiedy naprawdę trafił do systemu — a nie tylko według okresu, do którego go zaksięgowano. **Brak punktu odniesienia.** Błąd rzędu kilku procent sam w sobie nic nie znaczy. Obok prognozy „ten sam miesiąc rok temu, skorygowany o trend” może okazać się świetny albo gorszy niż bezużyteczny. Model powinien najpierw pobić naiwną prognozę bazową, zanim ktokolwiek spojrzy na niego drugi raz. **Procenty, które ukrywają pieniądze.** Duży błąd na małej linii produktowej i mały błąd na największym kliencie nie są porównywalne. Mierz błąd w złotych, ważony tym, co ma znaczenie dla decyzji, którą prognoza zasila. **Jedna liczba na cały rok.** Średnie ukrywają obciążenie. Prognoza zbyt optymistyczna na koniec każdego kwartału i zbyt pesymistyczna na jego początku może mieć przyzwoity średni błąd i wciąż być bezużyteczna do planowania płynności. ## Co robić zamiast tego - **Idź krok po kroku przez zamknięte okresy.** Wybierz miesiąc startowy. Daj modelowi tylko dane do tego miesiąca i zapisz jego prognozę na jeden, trzy i sześć miesięcy naprzód. Przesuń się o miesiąc i powtórz. Dostaniesz tabelę prognoz zrobionych „w przeszłości”, którą można zestawić z tym, co faktycznie się wydarzyło. - **Zawsze uruchamiaj obok prognozę bazową.** Ten sam okres rok temu, prosta średnia krocząca albo Wasza obecna metoda arkuszowa. Pytanie nie brzmi „czy model jest trafny?”, tylko „czy jest lepszy od tego, co i tak byśmy zrobili — i o ile złotych?”. - **Patrz na znak błędu, nie tylko na jego wielkość.** Narysuj prognozę minus wykonanie w czasie. Chmura wokół zera to szum. Seria po jednej stronie to obciążenie, a obciążenie da się skorygować. - **Zamroź wersję.** Test wsteczny opisuje jeden model, jeden prompt i jeden potok danych. Zmień którykolwiek z nich, a test trzeba powtórzyć. To jeden z praktycznych powodów, by uruchamiać modele lokalnie, opisany w tekście [dlaczego dane finansowe nie powinny opuszczać firmy](https://obserbi.com/pl/blog/lokalne-modele-w-kontrolingu): model w chmurze, który zmienia się pod spodem, unieważnia Twoje dowody bez uprzedzenia. - **Trzymaj test jako dokumentację.** Tabela błędów poza próbą na tle prognozy bazowej to dokładnie ten rodzaj dowodu trafności, który według [tekstu o tym, co unijne przepisy o AI oznaczają dla modelu finansowego](https://obserbi.com/pl/blog/ai-act-a-modele-finansowe) funkcja finansowa powinna rutynowo przechowywać. Test wsteczny nie powinien być jednorazowy. Każdy zamknięty miesiąc to nowy przypadek testowy. Automatyczne porównywanie każdej prognozy z tym, co się wydarzyło, to druga pętla w najprostszej postaci: system, który pilnuje własnego błędu i mówi, kiedy zaczyna dryfować. Ta sama dyscyplina dotyczy komentarza do liczb — o czym więcej w tekście [najpierw rozłóż odchylenie, potem je komentuj](https://obserbi.com/pl/blog/najpierw-rozloz-odchylenie-potem-komentuj). ## Test na dziś Na start nie potrzebujesz żadnego modelu. Znajdź prognozę, którą zespół zrobił trzy miesiące temu na zeszły miesiąc — przychód, gotówkę albo marżę, cokolwiek jest najważniejsze. Potem zbuduj prognozę naiwną na ten sam miesiąc: ten sam miesiąc rok wcześniej, przeskalowany o dynamikę rok do roku, którą było widać w tamtym momencie. Porównaj obie z wykonaniem, w złotych. Jeśli prognoza naiwna była równie dobra albo lepsza, Wasz obecny proces dokłada pracy, ale nie dokłada informacji. Każda prognoza AI, którą ktoś Ci zaproponuje, powinna najpierw pobić tę naiwną liczbę na Waszych zamkniętych miesiącach, zanim zbliży się do materiałów na zarząd — dotyczy to także prognoz [ObserBI](https://obserbi.com/pl). - test wsteczny - trafność prognozy - ocena modelu - AI CFO ## Czytaj dalej - [Gdzie liczyć model finansowy, żeby dane nie wyszły z firmy](https://obserbi.com/pl/blog/gdzie-liczyc-model-finansowy) - [Zarząd pyta: czy nas stać? Odpowiedź powinna już istnieć](https://obserbi.com/pl/blog/zarzad-pyta-czy-nas-stac-odpowiedz-powinna-juz-istniec)