Testrapportage release 2.2.4.0

Inleiding

Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.4.0 en de testbevindingen van de FAT (Functionele Acceptatie Test). Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Omwille van het beperken van de totale looptijd van de berekeningen wordt de omgeving voor zowel de GAT alsook voor de scenario-berekeningen gelijktijdig vrijgegeven; na goedkeuring van de GAT lopen de scenario-berekeningen door, bij afkeuring van de GAT zullen de scenario-berekeningen mogelijk worden gepauzeerd of herstart.

Release 2.2.4.0: aangebrachte wijzigingen t.o.v. release 2.2.3.0

Binnen NWM 2.2.4.0 zijn de volgende workflows toegevoegd, ten behoeve van het Deltaprogramma Zoetwater, fase 2:

• REF2017VP
• REF2017VPZ0
• REF2017EP
• REF2017EPZ0
• S2050VP
• S2050VPZ0
• S2050EP
• S2050EPZ0
• REF2017afsl
• REF2017afslZ0
• REF2017VPowd
• REF2017VPowdZ0
• REF2017VPstress
• REF2017VPstressZ0
• REF2017VPdig
• REF2017VPdigZ0
• S2050afsl
• S2050afslZ0
• S2050VPowd
• S2050VPowdZ0
• S2050VPstress
• S2050VPstressZ0
• S2050VPdig
• S2050VPdigZ0

Het voorkeurspakket (VP) bevat de volgende maatregelen:

• Maatregelen in de hoge zandgronden, al eerder als pakket doorgerekend met het LHM.
• Meerdere voorkeursmaatregelen ingebouwd in DM.
• Peilverhoging van 10 cm in het primaire regionale watersysteem van de Zuidwestelijke Delta.

Het economisch pakket (EP) bevat de volgende maatregelen:

• Maatregelen in de hoge zandgronden, al eerder als pakket doorgerekend met het LHM.
• Meerdere economisch optimale maatregelen ingebouwd in DM.
• Peilverhoging van 10 cm in het primaire regionale watersysteem van de Zuidwestelijke Delta.

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd. Deze testen zijn voor de volgende vier workflows uitgevoerd:

• VP_REF2017, vergeleken met REF2017BP18
• VP_S2050, vergeleken met S2050BP18
• EP_REF2017, vergeleken met REF2017BP18
• EP_S2050, vergeleken met S2050BP18

Invoer pakketten

FAT 2.2.4.0 Test 1.1: Controleer of alle gewijzigde LHM-modelinvoer in het pakket ook daadwerkelijk meegenomen wordt in de de NWM-run. Het gaat daarbij om de volgende bestanden:

• bodh_b_250.idf
• bodh_p1w_250.idf
• bodh_p1z_250.idf
• bodh_s1w_250.idf
• bodh_s1z_250.idf
• DwKeys.txt (alleen bij EP, niet bij VP)
• fixed.txt
• lnks.txt
• MFtoLSW.csv
• nds.txt
• vadvalue.dik

Uitvoer pakketten

FAT 2.2.4.0 Test 2.1: Vergelijk de grondwaterstandsveranderingen in het hoge-zandgrondengebied (GHG, GLG) met de veranderingen zoals eerder berekend met alleen het Voorkeurspakket-Hoge Zandgronden.

FAT 2.2.4.0 Test 2.2: Vergelijk de verdampingsverandingen in het hoge-zandgrondengebied (ETact, Tact, Tpot) met de veranderingen zoals eerder berekend met alleen het Voorkeurspakket-Hoge Zandgronden.

FAT 2.2.4.0 Test 2.3: Vergelijk de verandering in de debieten bij de monding van de Lek met de eerder berekende debietsveranderingen met DM-standalone.

FAT 2.2.4.0 Test 2.4: Vergelijk de verandering in de debieten bij de Waaiersluis met de eerder berekende debietsveranderingen met DM-standalone.

FAT 2.2.4.0 Test 2.5: Vergelijk de verandering in de debieten bij Krimpenerwaard met de eerder berekende debietsveranderingen met DM-standalone.

FAT 2.2.4.0 Test 2.6: Vergelijk de verandering in de aanvoer bij Rijnland met de eerder berekende aanvoerveranderingen met DM-standalone.

FAT 2.2.4.0 Test 2.7: Controleer dat de grondwaterstanden in de Zuidwestelijke delta (zoetwaterregio's 12 en 13) stijgen, met minder dan 10%. 

Meegenomen JIRA-issues

Tabel TR.01: Issues die in deze release zijn meegenomen

Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving	Betekenis
	succesvol
	niet succesvol
niet uitgevoerd	de reden hiervoor staat beschreven in veld opmerkingen
n.v.t.	test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende.
—	nog niet uitgevoerd

In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 

Tabel TR.03: Testen voor de jaren 1911 en 1912 voor twee Deltascenario's Referentie 2017 en Stoom 2050