Jaap Hanekamp heeft met Matt Briggs en Geesje Rotgers de validatiestudies van rekenmodel Aerius/OPS voor emissies en deposities van onder andere stikstofverbindingen geanalyseerd, nadat deze middels een Wob-verzoek werden vrijgegeven in maart. Het Wob-verzoek leverde vier validatiestudies op die tot dan toe niet openbaar waren.
RIVM had de onderliggende data van de in maart beschikbaar gestelde validatiestudies nog niet aan u beschikbaar gesteld. Wat viel er te analyseren?
We hebben onder andere gekeken in hoeverre Aerius/OPS ‘skill’ heeft. Ik zal meteen de clou weggeven: voor Aerius/OPS is skill formeel nooit vastgesteld, dus hebben we dat zelf getoetst. Eindresultaat: Aerius/OPS heeft geen skill. Los van de vaststelling van skill, zijn de gebruikte toetsingscriteria voor Aerius/OPS te gemakkelijk. Daarmee produceert Aerius/OPS schijnbaar acceptabele resultaten. In de context van skill leidt dat onder andere tot het feit dat een simpeler, concurrerend model, dat alleen gemiddelden berekent, het vrijwel altijd wint van Aerius/OPS op verschillende niveaus met als gevolg dat het geavanceerdere Aerius/OPS geen skill krijgt toegewezen. Aerius/OPS zou dus niet gebruikt mogen worden.
Kunt u ‘skill’ nader toelichten? RIVM stelt in een reactie dat dit kenmerk niet gebruikelijk is voor deze modellen.
Een geavanceerd model krijgt skill toegekend als het in competitie met een simpeler model beter presteert in het voorspellen van nieuwe meetwaarden. Tenminste als beide modellen getest worden met zinvolle toetsingscriteria. Skill-toetsing wordt toegepast in de analyse van wetenschappelijke modellen zoals in de meteorologie. De Bilthovense collega’s hebben niet veel van skill begrepen. We zijn bezig met verdere analyse van de resultaten van deze skill-toets, in combinatie met de inmiddels verkregen onderliggende RIVM-data.
U deed met Aerius/OPS een testrun waarbij u het aantal koeien steeds verkleinde en keek naar de depositie in een bepaald natuurgebied. Wat gebeurde er?
Depositie als gevolg van verschillende aantallen koeien is onmeetbaar klein, zo klein dat ze ruim binnen de modelonzekerheid liggen. Met 400 in plaats van nul koeien verhoogde de depositie met nog geen 6 mol per hectare per jaar ten opzichte van de achtergronddepositie van 1.938 mol in het hexagoon met de hoogste depositie. De depositiegetallen zijn zo klein dat ze ruim binnen de modelonzekerheid liggen. Er kan met geen enkele zekerheid gesteld worden wat uiteindelijk de toegevoegde deposities feitelijk zijn. Dat is geen nieuws; zie het tweede rapport van het adviescollege ‘meten en berekenen stikstof’. Refereren aan KDW’s, die als gevolg van een x-aantal koeien verder zouden worden overschreden is nonsens.
