Nauwkeurigheid ver achter de komma is een illusie

Inleiding

Alle economische kerngrootheden worden in tienden en soms honderden van een procent gerapporteerd. Dit wordt niet gerechtvaardigd door de nauwkeurigheid van het onderliggende statistische materiaal. Dikwijls valt het teken van een groeivoet niet wetenschappelijk te bepalen. Toch verliezen economen zich dan in het waarde willen hechten aan wat er achter de komma staat. In mijn laatste boek On the inaccuracies of economic observations (van Bergeijk 2024a) geef ik voorbeelden uit industrielanden, opkomende markten en ontwikkelingslanden van meetfouten in de grootteorde tien tot twintig (en soms wel vijftig) procent die optreden bij het waarnemen van bijvoorbeeld productie, inkomen per hoofd, werkloosheid, productiviteit, handel, lopende rekening en grondstoffen.

De boodschap dat economische gegevens veel onnauwkeuriger zijn dan men zich realiseert, is helemaal niet nieuw. Zo'n driekwart eeuw geleden werd dit al indringend aangekaart door Oskar Morgenstern, in zijn vergeten klassieker On the accuracy of economic observations. Mijn boek laat slechts zien dat de nauwkeurigheid van economische waarneming sindsdien grosso modo onveranderd is gebleven.

Uit andere wetenschapsgebieden weten we dat er altijd meetfouten zullen zijn en dat uiteindelijk alleen de transparantie daarover helpt om kennis aan te scherpen. Ook economen zullen eerlijk over hun meetfouten moeten gaan rapporteren om geloofwaardig te kunnen blijven.

Er is niet veel data beschikbaar over dit fenomeen, omdat het ongebruikelijk is dat statistische bureaus en andere data producenten transparant zijn over hun meetfouten. Om toch een indicatie te krijgen, behelpen we ons met indirecte waarnemingen. Deze indicaties kunnen worden ontleend aan jaargangen van gereviseerde cijfers (bijvoorbeeld de economische groei, van Bergeijk 2024b), aan statistieken voor eenzelfde concept die door verschillende instanties worden gerapporteerd (bijvoorbeeld een handelsstroom die zowel door het uitvoerende als invoerende land wordt gemeten, van Bergeijk 1995) of aan een vergelijking van nauwverwante concepten die door een data producent worden gepubliceerd.

Inflatie als voorbeeld

Hieronder werken we, geïnspireerd door het monetaire beleidsrapport van de Zweedse centrale bank, met de laatstgenoemde benadering. Het consumptieprijsindexcijfer (CPI) wordt niet gereviseerd omdat de CPI in contracten, CAOs en andere regelingen gebruikt wordt. Dit gebruik verhoudt zich niet met herzieningen van de tijdreeksen. Er zijn echter wel verschillende varianten van de CPI voorhanden, waaronder het geharmoniseerde cijfer volgens de ECB-methode en varianten die energie en/of voedselprijzen uitzonderen. Soms leidt dit tot de verzuchting of het echte inflatiecijfer ‘’wil opstaan’’, maar meestal beargumenteren economen dat de voorliggende beleids- of onderzoeksvraag bepalend is voor welk variant moet worden bestudeerd (Timmer, 2022).

Figuur 1. Acht inflatiemaatstaven en mediaan.

Bron: CBS statline

 In Figuur 1 wordt die keuze nadrukkelijk niet gemaakt. De zone geeft het minimum en maximum aan van acht veelgebruikte inflatiemaatstaven en de streepjeslijn hun mediaan om zo de onbepaaldheid achter het begrip ‘inflatie’ te illustreren. Figuur 1 laat zien dat de maatstaven langdurig kunnen overeenstemmen, zoals tot medio 2021 en sinds Februari van dit jaar ook weer het geval is. Maar er is ook een periode van grote verschillen; een jaar geleden was zelfs het teken van de inflatieontwikkeling onbepaald (geen overeenstemming of er sprake is van inflatie of deflatie). De toegevoegde waarde van het aangeven van een zone is dat zo direct duidelijk wordt wanneer de conceptuele onduidelijkheid van inflatie groot is. In dat geval is het meten van het concept vanzelfsprekend moeilijk en zijn de metingen extra onnauwkeurig. Nadrukkelijke waarschuwingen aan de gegevensgebruikers zijn dus op hun plaats.

Deze benadering is vanwege de transparantie een stap voorwaarts, maar zeker geen panacee. In de eerste plaats blijft de zone smal, indien alle maatstaven in dezelfde richting door een meetverstoring worden vertekend. Voorbeelden van zulke meetverstoringen die alle maatstaven beïnvloeden zijn de inmiddels goed gedocumenteerde invloeden van substitutie, innovatie, diensten, e-commerce en (de)globalisering op de CPI (Moulton, 2018) evenals de omvangrijke waarnemingsproblemen tijdens de lockdown periodes van de COVID-19 pandemie (Chowdhury en Dixon, 2024). In de tweede plaat weten we door het goede werk van Suyker (2024) bovendien dat, zoals wordt geïllustreerd in Figuur 2, een conceptuele verandering van de inflatiemeting kan leiden tot een vertekening.

Figuur 2. Acht inflatiemaatstaven en Suyker’s reeks voor correcte inflatiecijfers.

Suyker corrigeert de CPI volgens de CBS-methode die in juni 2023 werd geïntroduceerd en is gebaseerd op álle contracten voor gas en elektriciteit, en niet meer alleen op nieuwe contracten zoals voor die datum gebruikelijk was (de kruisjes geven de Suyker-reeks weer). Deze exercitie is zeer nuttig omdat Figuur 2 nogmaals het punt illustreert dat conceptuele onduidelijkheid varieert in de tijd en verheldert dat de analyse van tijdreeksen een goede kennis vereist in de constructie en observatiemethoden (zie ook Bolhuis e.a. 2022). Immers, zowel de hoogte als timing van de top en het aanpassingspad verschillen betekenisvol. Figuur 2 laat nogmaals zien dat de band geen panacee is; de reeks van Suyker valt immers deels binnen en deels buiten de eerder geïdentificeerde zone uit figuur 1.

Consequenties van schijnnauwkeurigheid

De gevolgen van schijnnauwkeurigheid laten zich raden. Ten eerste, een verkeerd begrip van de stand van de economie en de aanpassingsprocessen die zich in onze volkshuishouding voltrekken. Dit reikt veel verder dan de economische professie en heeft ook een invloed op mediaberichten, de politiek en het beleid. Ten tweede, een te groot en dikwijls onterecht (zelf)vertrouwen in economische analyses dat geen recht doen aan de in de tijd variërende mate van meetonnauwkeurigheid. Ten derde, een onvoldoende realisatie dat de analyse van economische fenomenen gebruik moet maken van meerdere vormen van economische observatie, niet alleen als een middel om beter inzicht te krijgen in de onnauwkeurigheid en onzekerheid van de economische gegevens, maar ook om de robuustheid (of gebrek daaraan) van analyses beter te begrijpen.

Uit andere wetenschapsgebieden weten we dat er altijd meetfouten zullen zijn en dat uiteindelijk alleen de transparantie daarover helpt om kennis aan te scherpen. Ook economen zullen eerlijk over hun meetfouten moeten gaan rapporteren om geloofwaardig te kunnen blijven.

Noot

Ter gelegenheid van het afscheid van Peter van Bergeijk is er een vrij toegankelijke expositie georganiseerd op het ISS, Kortenaerkade 12 Den Haag. Het eerste hoofdstuk van zijn boek 'On The Inaccuracies of Economic Observations' is hier te lezen. 

Referenties

Bergeijk, P.A.G. van (1995), The accuracy of international economic observations. Bulletin of Economic Research, 47(1), 1-20.

Bergeijk, P.A.G. van (2024a) On the Inaccuracies of Economic Observations: Why and how we could do better, Edward Elgar

Bergeijk, P.A.G. van (2024b), On the inaccuracies of macroeconomic observations, National Accounting Review

Bolhuis, M.A., J.N.L. Cramer, en L. H. Summers. "Comparing past and present inflation." Review of Finance 26.5 (2022): 1073-1100.

Chowdhury, A., en H.  Dixon, (2024). Measuring inflation during the pandemic with the benefit of hindsight. Open Economies Review, 1-26.

Moulton, B.R., 2018, The measurement of output, prices, and productivity: What’s Changed Since the Boskin Commission?, The Hutchins Center on Fiscal and Monetary Policy, Brookings Institution: Washington, DC.

Suyker, W. (2024) De correcte inflatiecijfers in 2021-2024, ESB 12 juli

Timmer, M. ‘Wil het echte inflatiecijfer opstaan?’ (10 november 2022)