Inleiding
Deze rapportage beschrijft de wijzigingen van NWM release 2.4.2.0 en 2.4.3.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) voor de upgrade van de NWM Testomgeving ten behoeve van het voorbereiden van de Basisprognose 2024 productieberekeningen.
Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:
- Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
- Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
- Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
- Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
- Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
- Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)
Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus dezelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden.
Release 2.4.2.0: aangebrachte wijzigingen t.o.v. release 2.4.1.0
NWM 2.4.2.0 gebruikt een nieuwe Sobek3 dll en een nieuwe modflow-metaswap executable (zie Overzicht software versies (release 2.4.2.0) - Nationaal Water Model - Deltares Public Wiki). Ook is er een kleine wijziging in de LSM3 schematisatie aangebracht om het optreden van instabiliteit (i.e. No Convergence error) te voorkomen/minimaliseren.
Release 2.4.3.0: aangebrachte wijzigingen t.o.v. release 2.4.2.0
NWM 2.4.3.0 gebruikt aangepaste randvoorwaarden voor de zeespiegelstijging welke overeenkomen met het midden van de deltascenario's (i.p.v. boven- en ondergrens).
Daarnaast is een correctie doorgevoerd in het LSM3 temperatuurmodel waardoor de KNMI meteogrids goed worden opgepakt.
Overzicht issues behorende bij deze release
Meegenomen JIRA-issues in deze release
Tabel TR.01a: Issues die in deze release zijn meegenomen
Issuenummer | Issue beschrijving | Opmerking |
|---|---|---|
| LHM: floating invalid run ZW_LHM_DP2050bBP24Z0 2026 en ZW_LHM_REF2028aBP24Z0 1993 | LHM | |
| sobek.log - ** ERROR : No Convergence for CG Method | LSM3 | |
| Verhelpen van onrealistische temperatuur rond warmtelozingslocaties | LSM3 | |
| GAT2410 bevinding: Watertemperatuur LSM3 krijgt bij warme start Stoom2100 scenario waarde 12graden voor aantal locaties | LSM3 |
FAT-testen
Hieronder staat de lijst van testen opgesomd die tijdens deze extra FAT (aanvullend op FAT 2.4.1.0) zijn uitgevoerd.
Technische test
Voor de technische checks (werkt alles zonder foutmeldingen) zijn de volgende testen uitgevoerd:
FAT 2.4.2.0 Test 1.1: Check of smoketesten voor de gehele NWM modellentrein technisch goed draaien.
FAT 2.4.2.0 Test 1.2: Check op het uitbljiven van floating invalids bij de initialisatie (NWM-1241).
FAT 2.4.2.0 Test 1.3: Check op het uitbljiven van no convergence errors (NWM-1239).
FAT 2.4.2.0 Test 1.4: Check jaarovergang Chloridereeks (NWM-1249).
Inhoudelijk test
Voor de inhoudelijke checks (is de uitkomst plausibel) zijn de volgende testen uitgevoerd:
FAT 2.4.2.0 Test 1.5: LSM3 inhoudelijke check: controleren verschil Chloride tussen verschillende Sobek versies (3.7.25 en pre-release 3.7.27)
FAT 2.4.2.0 Test 1.6: LSM3 inhoudelijke checks: controleren op verbetering watertemperatuur (NWM-1169). Omdat de warmtelozingen zijn uitgezet zullen hier geen hoge temperaturen meer moeten voorkomen.
FAT 2.4.3.0 Test 1.7: LSM3 inhoudelijke checks: controleren op realistische watertemperatuurverloop in het IJsselmeer.
FAT 2.4.3.0 Test 1.8: LHM/LSM3 inhoudelijke checks: controleren of aangepaste zeespiegelstijgingsranden worden gebruikt.
Overzicht van de resultaten van het pakket aan FAT-testen
Tabel TR.02: Legenda
Icoon / Beschrijving | Betekenis |
|---|---|
 | succesvol |
| niet succesvol, niet blokkerend |
| issue gevonden; in review na herstelactie of nadere analyse nodig |
| niet succesvol |
| n.v.t. | de reden hiervoor staat beschreven in veld opmerkingen |
| — | nog niet uitgevoerd |
In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen.
Tabel TR.03: Overzicht van de uitgevoerde testen (basisprognoses 2024).
| Testen | Scenario | Beschrijving test | Model schematisatie (Z0 = zonder zoutbeperking) | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.04) | |||
LHMZ0 | LSM3 chloride | LHM | LSM3 | |||||
|---|---|---|---|---|---|---|---|---|
| FAT 2.4.2.0 Test 1.1 | Referentie 2028, jaar 1991-1992 | Draaien van de smoketesten | — | — | — | * | *LSM3 los gedraaid tbv FAT 2.4.3.0 Test 1.7, complete smoketest wordt nog gedraaid | ja |
| RustParijs 2050, jaar 2026-2027 | | | — | — | ||||
| Stoom 2100, jaar 2101-2102 | | | — | — | ||||
FAT 2.4.2.0 Test 1.2 | Referentie 2028a, jaar 1993 | test op het uitblijven van floating invalids bij de initialisatie (NWM-1241) | | n.v.t. | n.v.t. | n.v.t. | De floating invalids zijn niet meer opgetreden sinds de fix in release 2.4.2.0 | nee |
FAT 2.4.2.0 Test 1.3 | RustParijs 2050b, jaar 2026 | test op het uitblijven van No Convergence error tijdens berekening (NWM-1239) | n.v.t. | n.v.t. | n.v.t. |
| ja | |
FAT 2.4.2.0 Test 1.4 | Stoom 2100, jaar 2101-2102 | Check jaarovergang Chloridereeks (NWM-1249). | n.v.t. | — | n.v.t. | n.v.t. | ja | |
FAT 2.4.2.0 Test 1.5 | Voor alle in FAT 2.4.2.0 Test 1.1 uitgevoerde berekeningen | controleren verschil Chloride tussen verschillende Sobek versies (3.7.25 en pre-release 3.7.27) | n.v.t. | | n.v.t. | n.v.t. | ja | |
FAT 2.4.2.0 Test 1.6 | Referentie 2028, jaar 1991 | controleren op verbetering watertemperatuur rondom warmtelozingen (NWM-1169), o.a. lozingslocatie 1e Petroleumhaven | n.v.t. | n.v.t. | n.v.t. |
| ja | |
FAT 2.4.3.0 Test 1.7 | Referentie 2028, jaar 1991 | controleren op een realistisch verloop watertemperatuurcurve in het IJsselmeer | n.v.t. | n.v.t. | n.v.t. |
| ja | |
FAT 2.4.3.0 Test 1.8 | RustParijs 2050b, jaar 2026, Stoom 2100, jaar 2101 | controleren of aangepaste zeespiegelstijgingsranden worden gebruikt | n.v.t. | n.v.t. | — | — | nee | |
Tabel TR.04: Beschikbare screenshots behorende bij de uitgevoerde testen
(door een automatische export van WIKI naar PDF is de tabel mogelijk onhandig verdeeld over de pagina's en kunnen de figuren soms wat onscherp zijn,
de oorspronkelijke figuren zijn te bekijken via deze link: https://publicwiki.deltares.nl/display/NW/Rapportage+FAT+Release+2.4.2.0)
Testen | Screenshot |
|---|---|
| FAT 2.4.2.0 Test 1.1 | |
| FAT 2.4.2.0 Test 1.3 |
|
| FAT 2.4.2.0 Test 1.4 | |
| FAT 2.4.2.0 Test 1.5 | Chloride reeksen verschillen niet of nauwelijks indien watertemperatuur module mee draait:
|
| FAT 2.4.2.0 Test 1.6 | De temperaturen uit het bakjesmodel zien er plausibel uit: De zomertemperatuur in heel het LSM3 netwerk ziet er realistisch uit:
De watertemperatuur (en chlorideconcentratie) in de 1e Petroleumhaven (zonder warmtelozing) ziet er plausibel uit: Een enkele locatie toont nog een afwijkend patroon, dit zijn alleen zeer lokale rekenpunten, en de resultaten van de hoofdwateren niet beinvloeden: Zijtak van de Maas toont een constante temperatuur van 12 graden: Een vaart langs de IJssel (constant 0.6 graden): |
| FAT 2.4.3.0 Test 1.7 | De watertemperatuur in het IJsselmeer heeft ook een realistisch verloop:
|
Overige testbevindingen
- Tijdens het testen is ook gekeken naar dispersiewaarden berekend met LSM3 (i.v.m. issue NWM-1169). De dispersiegetallen in de uitvoer kunnen lokaal (niet in het RMM-gebied) extreem grote waarden vertonen (NWM-1251). Dit hoeft geen impact op de berekeningen te hebben als de concentratiegradienten klein zijn. De modeluitkomsten van de andere variabelen (Afvoer, Waterdiepte, Chloride, Watertemperatuur) zien er plausibel uit. Bovendien zien we vergelijkbare dispersiewaarden bij het gebruik van een oudere Sobek versie (3.7.25). Wel dient onderzocht te worden wat de oorzaak is van deze hoge dispersiewaarden.
