Dla ARIMA najlepszym kryterium jest BIC?

Wrócę jeszcze na moment do kwestii wyboru kryterium, względem którego należy wybrać najlepszy model ARIMA. Ostatnio pisałem o dodatku armax w gretlu, gdzie stosuje się 3 kryteria: AIC, BIC i HQC. Do praktycznej analizy używałem HQC, zgodnie z rekomendacją Hannana i Quinna [1]. Teraz jednak doszedłem do wniosku, że BIC jest nieco lepszy. Wygenerowałem 1380 danych zwykłego ruchu Browna:

Ta próba posłużyła do dalszych testów oceny kryteriów w ARMA. Wiadomo, że najlepsze będzie to kryterium, które dla ruchu Browna wskaże AR(0)-MA(0), co oznacza nic innego jak błądzenie losowe. Ustawiłem maksymalny rząd = 7 zarówno dla części AR jak i MA. Testowałem powyższą próbę na różne sposoby: zarówno stosując metodę exact ML jak conditional ML, a także dzieląc próbę na różne podpróby (po 230, 500, 1000 obserwacji). I tak np. dla głównej próby stosując exact ML, otrzymałem dla AIC AR(2)-MA(3), a dla BIC i HQC AR(0)-MA(0). Dla wszystkich podprób BIC zawsze wskazywał prawdę: że najlepszym modelem jest błądzenie przypadkowe. Dla większości prób HQC wskazywał to samo co BIC, ale zdarzały się odstępstwa, tak że HQC wskazywał, że najlepszym modelem jest ARMA jakiegoś rzędu. Z kolei AIC prawie zawsze błędnie pokazywał ARMA jakiegoś rzędu. W metodzie conditional ML BIC i HQC zawsze prawidłowo wskazywały błądzenie losowe, a AIC często dawał mylne wyniki.

Mój wniosek byłby taki, że BIC okazuje się najlepszy dla ARMA. AIC, mimo iż jest najczęstszym kryterium wyboru w modelach ekonometrycznych, to tutaj okazuje się najgorszy. Wynika to z faktu, że zakłada, że nie znamy postaci prawdziwego modelu i jedynie minimalizujemy błąd dopasowania na podstawie danych empirycznych. Dlatego AIC idealnie spisuje się tam (biologii, psychologii, ekonomii), gdzie wiadomo, że jakaś relacja między zmienną zależną a niezależną istnieje, ale dokładnie nie wiadomo jaka oraz że mogą istnieć inne zmienne niezależne, których nie znamy. Jednakże w finansach powinniśmy z góry raczej założyć, że przeszłość nie wpływa na przyszłość i dopiero sprawdzić czy to prawda. To umożliwiają BIC i HQC, które zakładają, że można otrzymać prawdziwy model i że im większa próba, tym większe prawdopodobieństwo, że tak się stanie - za sprawą prawa wielkich liczb.

Logik szybko zauważyłby nieścisłość lub błąd w jednoznacznym stwierdzeniu, że BIC to kryterium najlepsze dla ARMA. Z faktu, iż najlepiej wykrywa błądzenie przypadkowe, nie wynika przecież, że najlepiej wykrywa inny proces. Kolejny artykuł wykaże, że rzeczywiście BIC nie można do końca ufać.


Literatura:
[1] Hannan, E. J., Quinn, B. G., The Determination of the Order of an Autoregression, 1979;
[2]  Aho K., Derryberry D., Peterson T., Model selection for ecologists: the worldviews of AIC and BIC, March 2014.