Inleiding
Deze rapportage beschrijft de wijzigingen van NWM release 2.4.1.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) voor de upgrade van de NWM Testomgeving met een geactualiseerde modellentrein bestaande uit het LHM4.3 model en het LSM3 model.
...
Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus dezelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden.
Release 2.4.1.0: aangebrachte wijzigingen t.o.v. release 2.4.0.0
NWM 2.4.1.0 gebruikt een geactualiseerde modellentrein t.o.v. de modellentrein, waarmee voor de Basisprognoses 2018 is gerekend.
De volledige geactualiseerde modellentrein ziet er als volgt uit: LHMZ0 (zonder zoutbeperking) - LSM3 (chloride berekening) - LHM (met zoutbeperking) - LSM3 (waterverdeling en temperatuur (en chloride)).
Ook zijn de nieuwe KNMI 2023 scenario's beschikbaar gemaakt binnen de NWM FEWS omgeving. In onderstaande tabel is voor de verschillende Deltascenario's aangegeven welke KNMI scenario's zijn gebruikt:
NWM deltascenario | KNMI scenario | jaarreeks |
---|---|---|
Referentie2028Referentie 2028 | 2050Md_control | 1991-2020 |
RustParijs2050Ruim 2050 | 2100Ld_future | 2026-2055 |
DrukParijs2050Vlug 2050 | 2100Ld_future | 2026-2055 |
Warm2050Warm 2050 | 2050Hd_future | 2034-2063 |
Stoom2050Stoom 2050 | 2050Hd_future | 2034-2063 |
RustParijs2100Ruim 2100 | 2100Ld_future | 2026-2055 |
Stoom2100Stoom 2100 | 2100Hd_future | 2073-2102 |
Overzicht issues behorende bij deze release
Meegenomen JIRA-issues in deze release
...
Issuenummer | Issue beschrijving | Opmerking |
---|---|---|
Aansluiten KNMI 2023 meteodata (vervanging KNMI'17) | LHM en LSM3 | |
Inbouw nieuwe deltascenarios | LHM | |
Reproductie FAT2.4.0.0 bevinding - LHM: GHG grote verschillen na restart t.o.v. NHI-server berekening | LHM | |
Reproductie FAT2.4.0.0 bevinding - LHM: verschillen in modflow en mozart peilen | LHM | |
Extra functionaliteit LSM3 en LHM uitwisseling zout/zoetwatervraag | koppeling LHM-LSM3 | |
Controleer jaarovergangen debiet | LSM3 | |
Controleer waterstanden locaties Spui en Schoonhoven en waterstanden ten westen van Montfoort en bij Bodegraven | LSM3 | |
Controleer onrealistische lage temperaturen in Limburg | LSM3 | |
Controleer of zeer lage waterdiepte (>200m) op 2 locaties in LSM3 is verholpen | LSM3 | |
Controleer of the statefiles in het archief terechtkomen incl. metadata | LHM en LSM3 | |
Controleer of extra (wofost) uitvoer beschikbaar is voor effectmodules | LHM | |
Controleer of LSM3 beschikbaar is in ArchiveDisplay | LSM3 |
FAT-testen
Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd.
In totaal zullen er op de NWM-productieomgeving 21 berekeningen van elk 30 jaar worden uitgevoerd, dwz. 3 ensembles (a, b, en c) per scenario (Referentie (2028), RustParijs, DrukParijs, Warm, en Stoom (2050), RustParijs en Stoom (2100)). De inspeelcondities voor de 30jarige runs worden beschreven in de rapportage ...
Hiervan zullen 4 workflows (de gehele modellentrein) binnen deze FAT getest worden, dit betreft de volgende smoketesten:
- Referentie2028, ensemble 'a' (REF2028aBP24) voor de jaren (1991-1992)
- RustParijs2050, ensemble 'b' (RP2050bBP24) voor de jaren (2026-2027)
- Stoom2100, ensemble 'c' (S2100cBP24) voor de jaren (2101-2102)
- DrukParijs2050, ensemble 'b' (DP2050bBP24) voor de jaren (2026-2027)
De volgende modellen zijn gedraaid:
- LHM zonder zoutbeperking (versie 4,.3)
- LSM3 chloride berekening
- LHM (versie 4.3)
- LSM3 waterverdeling en watertemperatuur berekening
Technische test
Voor de technische checks (werkt alles zonder foutmeldingen) zijn de volgende testen uitgevoerd:
...
FAT 2.4.1.0 Test 1.2: Check of de exports voor de gehele NWM modellentrein technisch goed draaien.
Inhoudelijk test
Voor de inhoudelijke checks (is de uitkomst plausibel) zijn de volgende testen uitgevoerd:
...
- a) controle of afvoer van DM knoop 5075 district 63 (LHM uitvoer) overeenkomt met de rand Aa in LSM3. Idem voor DM knoop 50731 district 631 (LHM uitvoer), komt dit debiet overeen met ZuidWillemsvaart11_631d (LSM3 uitvoer)? Idem voor Dommel bij Den Bosch welke gekoppeld is aan 6 DM knopen (LHM-LSM3 koppeling: is de randvoorwaarde correct doorgezet?)
- b) testen implementatie scenario's: bv. pomp ARK_Irene_doorspoeling, in Ref2028 0.0, in Druk/Rust2050 1 m3/s, in Warm/Stoom2050 3 m3/s, in Druk/Rust2100 2 m3/s, in Warm/Stoom2100 10 m3/s.
- c) Regionale doorspoeling: kunstwerk 789 (Louwes_doorspoeling) in Ref2028 1.0 m3/s, Druk/Rust2050 1.2 m3/s, Warm/Stoom2050 1.5 m3/s, Rust2100 1.4 m3/s, Stoom2100 2.7 m3/s.
Overzicht van de resultaten van het pakket aan FAT-testen
Tabel TR.02: Legenda
Icoon / Beschrijving | Betekenis |
---|---|
succesvol | |
niet succesvol, niet blokkerend | |
issue gevonden; in review na herstelactie of nadere analyse nodig | |
niet succesvol | |
n.v.t. | de reden hiervoor staat beschreven in veld opmerkingen |
— | nog niet uitgevoerd |
...
Testen | Screenshot |
---|---|
FAT 2.4.1.0 Test 1.1 | |
FAT 2.4.1.0 Test 1.2 | Naast de timeseries worden nu ook de modelstates naar het archief geexporteerd incl. bijbehorende metadata info: |
FAT 2.4.1.0 Test 1.3 | Verschil tussen RP en DP: Oranje kleuren geven aan dat DP een lagere GLG heeft dan RP dGLG 2028: , dGHG 2028: |
FAT 2.4.1.0 Test 1.4a | |
FAT 2.4.1.0 Test 1.4b | De 1e waarde op 1 jan van het eerste jaar is 0 m3/s en komt uit de (koude) restart file. Dit is alleen voor de 1e dag van de 30jarige reeks het geval. |
FAT 2.4.1.0 Test 1.4c | |
NWM-1219 | Er kan een what-if aangemaakt worden, waarbij de LHM-maatregel "doorspoeling chloride" geselecteerd kan worden. De default is dat deze meedraait. |
NWM-1238 | GHG en GLG vergelijking tussen NWM-server met mozart en LHM op de NHI-server Jaar 1991 Jaar 1992 Als hardware test is LHM ook op NWM server gedraaid (1992): Issue wordt veroorzaakt door het verschillend droogvakken van LSW's tussen beiden modellen. |
NWM-1150 | Vergelijking twee losse sommen met restart (blauwe lijn) vs. enkele som voor tweejarige berekening (rode lijn):
Voor de fix: Na fix: |
NWM-1240 | |
NWM-1212 |
Overige testbevindingen
- Tijdens het testen is geconstateerd dat voor 1 v/d 4 KNMI scenario's (2100Ld_future) de afvoerreeksen op de verkeerde jaartallen waren klaargezet (NWM-1243). Dit is hersteld tijdens de FAT-periode.