Ontsluiten meteorologische data

Inleiding

In het kader van de ontwikkeling van tooling rond de schematisatie van de onverzadigde zone van het NHI is een tool ontwikkeld die op basis van een aantal voor waterbeheerders toegankelijke databronnen meteogegevens ophaalt, bewerkt en wegschrijft voor MetaSWAP en SWAP. De tool bestaat uit:

Een Python package met functies (in de map ‘hkvmeteopy’)
Een notebook, script in en batch file (in de map ‘notebooks’) om de code aan te roepen en te gebruiken. Het notebook is interactief en bevat documentatie, het script is bedoeld voor productie. Het is niet mogelijk lange reeksen te downloaden en in één keer te processen. Via het script en de batch file kunnen individuele dagen automatisch worden gedownload en weggeschreven.
Bestanden waarmee het mogelijk is de Python omgeving te installen zodat alle benodigde Python bibliotheken correct zijn geïnstalleerd.

Installatie

Bijgeleverd is een ‘environment.yaml’ en een ‘requirements.txt’. Met deze bestanden is het, afhankelijk van de gewenste Python software (conda of pip), mogelijk een environment te installeren.

Voor conda kan dit door in de Conda prompt: ‘conda env create -f evironment.yaml’ in te geven; voor pip is het volgende commando nodig: ‘pip install -r requirements.txt’.

Bij problemen, of bij andere software-oplossingen zoals Poetry, zijn de manieren om een omgeving klaar te zetten vergelijkbaar. We verwijzen hiervoor naar online tutorials of de specifieke handleiding om dit te doen.

Gebruik van de tool

Downloaden van informatie

De tool maakt gebruik van drie verschillende bronnen om data op te halen. Hiervoor is registratie nodig. Het gaat om de volgende drie bronnen:

Weer Informatie voor Waterbeheer (WIWB): deze is beschikbaar voor waterschappen en Rijkswaterstaat. Zie deze link voor het opvragen van toegang indien nodig. Uit WIWB worden gegevens opgehaald van KNMI weerstations en radargegevens van het Meteobase product (1990-2018) of het KNMI Internationaal Radar Composiet (IRC; vanaf 2019.)
Via de Copernicus Climate Data Store (CDS - link) wordt ERA5 (European Re-Analysis, generatie 5) data gedownload. Dit is uitvoer van een weermodel, gecombineerd met zo veel mogelijk observaties zodat een realistische weergave van de werkelijkheid wordt verkregen. ERA5-data wordt in de tool gebruikt voor alle verdampingsinvoerrasters en voor neerslag in het de bufferzone in het buitenland. Daarnaast wordt ERA5 gebruikt als achtervang voor het geval data in WIWB mist. Om ERA5 data te kunnen downloaden is een zogenaamde ‘key’ nodig. Zie deze website voor meer informatie daarover.
KNMI Data Platform is een derde API die nodig is om de Meteobase radar rasters, beschikbaar met een tijdstap van 1 uur, te disaggregeren naar 10 minuten waarden. We downloaden de rasters van het KNIM data platform, met een tijdstap van 5 minuten, om de uur-waarden uit Meteobase te disaggregeren. Deze rasters zijn beschikbaar sinds 2008, en nodig tot 2019. Daarna is immers IRC beschikbaar op een voldoende fijne tijdstap. Data kan zowel handmatig als via de API worden gedownload via de volgende link. Voor gebruik van de API is een ‘key’ nodig, die kan worden opgevraagd bij het KNMI zoals hier beschreven (link).

De tool is zodanig opgezet dat het niet nodig is steeds opnieuw bestanden te downloaden. De ruwe (gezipte) netcdf-bestanden zoals ze worden gedownload worden geplaatst in een ‘temp’-directory. Zolang daar een bestand staat van de juiste bron en voor de juiste dag, wordt die uitgelezen en wordt geen nieuwe data gedownload.

Inhoudelijke bewerkingen

Uitleg over het gebruik van de verschillende functies en voor de conversies die zijn worden uitgevoerd om van de brondata naar de modelbestanden te komen is opgenomen in het notebook ‘wp2_meteodata.ipynb’. Hetzelfde notebook is ook opgenomen in HTML formaat voor gebruik als naslagwerk.

Daarnaast bevatten de manuals van SWAP en MetaSWAP (de meest recente versies zijn beschikbaar via NHI) informatie over de inhoudelijke conversies en achtergronden.

Genereren van lange periodes

Gezien de grote geheugenruimte die langere tijdreeksen innemen is het niet praktisch het notebook te gebruiken voor productie. Hiervoor wordt aanbevolen het script te draaien via de Anaconda-prompt en de meegeleverde batch-file. Het draaien van het script gaat als volgt:

Open de anaconda prompt
Activeer het geïnstalleerde Python environment: ‘conda activate hkvmeteopy’;
Ga naar de root-locatie van de tool, waarin de map ‘hkvmeteopy’ en ‘notebooks’ staan;
Genereer de data voor een bepaalde dag (bijvoorbeeld 1 juli 2016) als volgt: ‘notebooks\run_meteodata.bat 2016 6 1’.

Enkele instellingen moeten zowel in het notebook als in het script ingesteld worden:

timestep_precipitation: tijdstappen voor neerslag waarvoor uitvoer geschreven moet worden. [‘daily’,’hourly’, 10min’] of een subset daarvan. Merk op dat 10min niet beschikbaar is vóór 2008;
timestep_evaporation: tijdstappen voor verdamping waarvoor uitvoer geschreven moet worden. [‘daily’, ‘hourly’] of één daarvan;
evapotranspiration_mdl; 1, 2 of 3. Setting die, conform MetaSWAP, bepaalt welke verdampingsuitvoer geschreven wordt;
- Makkink referentiegewasverdamping (1);
- Penman-Monteith referentiegewasverdamping (2);
- Invoer voor Penman-Monteith referentiegewasverdamping: min/max/gemiddelde temperatuur, windsnelheid, relatieve zonneschijnduur, dampdruk, globale straling.
Output_path: locatie waar uitvoer (ASCII-)files worden geschreven. De mappenstructuur wordt automatisch aangemaakt;
Temp_path: locatie waar gedownloade netcdf-bestanden worden geplaatst (en later ingelezen indien nodig). De map wordt automatisch aangemaakt.