Testrapportage release 2.2.4.0

Inleiding

Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.4.0 en de testbevindingen van de FAT (Functionele Acceptatie Test). Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Omwille van het beperken van de totale looptijd van de berekeningen wordt de omgeving voor zowel de GAT alsook voor de scenario-berekeningen gelijktijdig vrijgegeven; na goedkeuring van de GAT lopen de scenario-berekeningen door, bij afkeuring van de GAT zullen de scenario-berekeningen mogelijk worden gepauzeerd of herstart.

Release 2.2.4.0: aangebrachte wijzigingen t.o.v. release 2.2.3.0

Binnen NWM 2.2.4.0 zijn de volgende workflows toegevoegd, ten behoeve van het Deltaprogramma Zoetwater, fase 2:

• REF2017VP
• REF2017EP
• S2050VP
• S2050EP

Het voorkeurspakket (VP) bevat de volgende maatregelen*:

• Maatregelen in de hoge zandgronden, al eerder als pakket doorgerekend met het LHM.
• Meerdere voorkeursmaatregelen ingebouwd in DM.
• Peilverhoging van 10 cm in het primaire regionale watersysteem van de Zuidwestelijke Delta.

Het economisch pakket (EP) bevat de volgende maatregelen*:

• Maatregelen in de hoge zandgronden, al eerder als pakket doorgerekend met het LHM.
• Meerdere economisch optimale maatregelen ingebouwd in DM.
• Peilverhoging van 10 cm in het primaire regionale watersysteem van de Zuidwestelijke Delta.

*Voor LSM-light zijn de volgende maatregelen geimplementeerd. In kolom FAT-test, staat welke FAT-test nr is gerelateerd aan de maatregel, waarin te lezen is welke check hierin is uitgevoerd.

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd. Deze testen zijn voor de volgende vier workflows uitgevoerd voor het jaar 1911:

• REF2017VP, vergeleken met REF2017BP18
• S2050VP, vergeleken met S2050BP18
• REF2017EP, vergeleken met REF2017BP18
• S2050EP, vergeleken met S2050BP18
  

Alle runs zijn gestart met een koude start.

De volgende modellen zijn gedraaid:

• LHM-met zout
• LSM-light
• NDBpost (nieuw toegevoegd)

Invoer pakketten

FAT 2.2.4.0 Test 1.1: Controleer of alle gewijzigde LHM-modelinvoer in het pakket ook daadwerkelijk meegenomen wordt in de de NWM-run. Het gaat daarbij om de volgende bestanden:

• bodh_b_250.idf
• bodh_p1w_250.idf
• bodh_p1z_250.idf
• bodh_s1w_250.idf
• bodh_s1z_250.idf
• DwKeys.txt (alleen bij EP, niet bij VP)
• fixed.txt (alleen bij VP, niet bij EP)
• lnks.txt
• MFtoLSW.csv
• nds.txt
• vadvalue.dik

Technische checks berekeningen

FAT 2.2.4.0 Test 2.1: LSMLT Technische check of de tabel voor locatie 'gwdb_Delfzijl' in de Control.def wordt overschreven met waarde 0 voor de winterperiode en met de volgende waarden voor de zomermaanden (april t/m aug):

- 0.85 voor REF2017VP
- 1.7 voor S2050VP
- 0.85 voor REF2017EP
- 1.7 voor S2050EP  
Voor de standaard scenario's (BP18) moeten wel de standaard waarden 1.7 in REF en 3.4 in STOOM gehandhaafd blijven.
Voor andere locaties dan gwdb_Delfzijl, moeten de waardes overeenkomen met getallen uit Import\LSM_boundaries\BP18\controll_settings\timeseries_controlls.csv maal de factor per scenario.

Uitvoer pakketten

FAT 2.2.4.0 Test 3.1: Vergelijk de grondwaterstandsveranderingen in het hoge-zandgrondengebied (GHG, GLG) met de veranderingen zoals eerder berekend met alleen het Voorkeurspakket-Hoge Zandgronden.

FAT 2.2.4.0 Test 3.2: Vergelijk de verdampingsverandingen in het hoge-zandgrondengebied (ETact, Tact, Tpot) met de veranderingen zoals eerder berekend met alleen het Voorkeurspakket-Hoge Zandgronden.

FAT 2.2.4.0 Test 3.3: Vergelijk de verandering in de debieten bij de monding van de Lek met de eerder berekende debietsveranderingen met DM-standalone.

FAT 2.2.4.0 Test 3.4: Vergelijk de verandering in de debieten bij de Waaiersluis met de eerder berekende debietsveranderingen met DM-standalone.

FAT 2.2.4.0 Test 3.5: Vergelijk de verandering in de debieten bij Krimpenerwaard met de eerder berekende debietsveranderingen met DM-standalone.

FAT 2.2.4.0 Test 3.6: Vergelijk de verandering in de aanvoer bij Rijnland met de eerder berekende aanvoerveranderingen met DM-standalone.

FAT 2.2.4.0 Test 3.7: Vergelijk de verandering in de debieten Weesp naar NZK met de eerder berekende aanvoerveranderingen met DM-standalone.

FAT 2.2.4.0 Test 3.8: Vergelijk de verandering in de debieten ARK naar Markermeer met de eerder berekende aanvoerveranderingen met DM-standalone.

FAT 2.2.4.0 Test 3.9: Vergelijk de verandering in de debieten Irenesluizen met de eerder berekende aanvoerveranderingen met DM-standalone.

FAT 2.2.4.0 Test 3.10: Vergelijk de verandering in het peil Markermeer met de eerder berekende aanvoerveranderingen met DM-standalone.

FAT 2.2.4.0 Test 3.11: Vergelijk de verandering in de debieten Eemskanaal Delfzijl met de eerder berekende aanvoerveranderingen met DM-standalone.

FAT 2.2.4.0 Test 3.12: Vergelijk de verandering in de tekorten Oostflakkee district 761 met de eerder berekende aanvoerveranderingen met DM-standalone.

FAT 2.2.4.0 Test 3.13: Controleer dat de grondwaterstanden in de Zuidwestelijke delta (zoetwaterregio's 12 en 13) stijgen, met minder dan 10cm. 

FAT 2.2.4.0 Test 4.1:
Check dat het tijdsafhankelijke minimum debiet bij Hagestein (LSMLT_link_R_RT_007_1) van 10 m3/s in winter en voorjaar, en 25 en 30 m3/s in de zomer correct geïmplementeerd is. 

FAT 2.2.4.0 Test 4.2:
Deze test is het beste uit te voeren voor een droog jaar, 1976, 1921 of evt. 2003.
a) Check of het debiet van het Amsterdam Rijnkanaal naar het Markermeer in de EP pakketten (REF2017EP, S2050EP) groter is dan in de referentiesom door naar de Irenesluizen (locatie LSMLT_link_WN_CH1525_17 of ARK1_1) te kijken. I.v.m. de extra aanvoer voor het Markermeer via het Betuwepand zal ijdens enkele perioden duidelijk meer water door de Irenesluizen worden gestuurd (met een maximum van 40 m3/s extra debiet bovenop de aanvoer in de referentiesom (totaal ~80 m3/s aan debiet).
b) Check of het peil van het Markermeer met de extra aanvoer dichter bij het streefpeil van -0.30m blijft in juli-augustus-september (iets hoger t.o.v. de referentiesom).

FAT 2.2.4.0 Test 4.3: 
Voor Delfzijl is in de Referentie som REF2017BP18 het gewenst doorspoeldebiet 1.7 m3/s. In de pakketten VP en EP is dit gehalveerd naar 0.85 m3/s. Check of het debiet voor locatie LSMLT_link_66_4 in de zomer voor enkele periodes hoger is dan in de referentiesom. Voor het Stoom2050 scenario is op dezelfde manier het gewenst debiet in de VP en EP pakketten met 50% gereduceerd tot 1.7 m3/s (i.p.v. 3.4 m3/s in de referentiesom).

FAT 2.2.4.0 Test 4.4:
Check of er bij Hoogland (locatie LSMLT_link_FR_473_1) meer water naar het achterland wordt ingelaten (en dit in droge jaren bij EP groter is dan bij VP i.v.m. hogere waterstand in het IJsselmeer en meer vraag vanuit het achterland). 

FAT 2.2.4.0 Test 4.5:
Check of door het vergroten van de capaciteit van Gaarkeuken (en achterliggende gemalen; locatie LSMLT_link_FR_1_9), de capaciteit van de Paradijssluis (en achterliggende sluizen op de Drentse Hoofdvaart; locatie LSMLT_link_RW_4 + RW_645 = RW_97_8), en capaciteit van de Rogatsluis (en achterliggende sluizen op de Hoogeveensche Vaart; locatie LSMLT_link_RW_31) tot hogere debieten leidt. EP ligt naar verwachting wat hoger dan VP.

FAT 2.2.4.0 Test 4.6:
Check of in de VP berekeningen de extra lozing van 0.28 m3/s van RWZI Kortenoord zichtbaar is in de Ringvaart boezem (locatie LSMLT_link_SL_3), bij een lage afvoer is het verschil kleiner dan 0.28 m3/s).

FAT 2.2.4.0 Test 4.7:
Check of het doorvoordebiet via de Krimpenerwaard richting Gouda / Hollandsche IJssel inlaat niet nul is (locatie KW_1, Bergambacht).

FAT 2.2.4.0 Test 4.8:
Check of de extra lateral voor de onttrekking van district 761 uit het Haringvliet is toegevoegd (D761onttrHvlt), dwz in FEWS als tijdreeks beschikbaar is en in de Lateral.dat van LSM-light wordt weggeschreven voor het EP scenario. 

Meegenomen JIRA-issues

Tabel TR.01: Issues die in deze release zijn meegenomen

Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving	Betekenis
	succesvol
	niet succesvol
niet uitgevoerd	de reden hiervoor staat beschreven in veld opmerkingen
n.v.t.	test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende.
—	nog niet uitgevoerd

In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 

Tabel TR.03: Testen voor de jaren 1911 voor twee Deltascenario's Referentie 2017 en Stoom 2050 in combinatie met de pakketten Voorkeurspakket en Economisch pakket

Testen	Model schematisatie	Beschrijving test	Referentie 2017 Voorkeurs-pakket	Referentie 2017 Economisch pakket	Stoom 2050 Voorkeurs-pakket	Stoom 2050 Economisch pakket	Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
FAT 2.2.4.0 Test 1.1	LHMZ1	Check of gewijzigde LHM invoer is meegenomen
FAT 2.2.4.0 Test 2.1	LSM-light	Controle control.def bestand					De volgende waardes in de zomerperiode 04/01 tot 09/01 worden in de Control.def weggeschreven: - 0.85 voor REF2017VP - 1.7 voor S2050VP - 0.85 voor REF2017EP - 1.7 voor S2050EP
FAT 2.2.4.0 Test 3.1	LHMZ1	Vergelijk grondwaterstanden met HZ-pakket					Grondwaterstandsstijgingen vergeleken met 1973 van het HZ-pakket, omdat dat ook het eerste jaar was met maatregelen. Locaties en ordegrootte van gewijzigde grondwaterstanden komen overeen.	ja
FAT 2.2.4.0 Test 3.2	LHMZ1	Vergelijk verdamping met HZ-pakket					Locaties en ordegrootte verdampingsverschillen komen globaal overeen met HZ-pakket. Omdat verdampingseffecten per jaar sterk kunnen verschillen, kon de vergelijking alleen globaal gedaan worden.
FAT 2.2.4.0 Test 3.3
FAT 2.2.4.0 Test 3.4
FAT 2.2.4.0 Test 3.5
FAT 2.2.4.0 Test 3.6
FAT 2.2.4.0 Test 3.7
FAT 2.2.4.0 Test 3.8
FAT 2.2.4.0 Test 3.9
FAT 2.2.4.0 Test 3.10
FAT 2.2.4.0 Test 3.11
FAT 2.2.4.0 Test 3.12
FAT 2.2.4.0 Test 3.13	LHMZ1	Controleer grondwaterstanden zuid-westelijke delta					Grondwaterstandsverhoging max 10 cm, in overeenstemming met peilverhoging van 10 cm. Op enkele individuele cellen na, waar grondwaterstanden 11 of 12 cm hoger zijn. Locaties van grondwaterstandsverhoging komen overeen met locaties primair regionaal systeem.	Ja
FAT 2.2.4.0 Test 4.1	LSM-light	Controle minimum debiet bij Hagestein					Hagestein zoethouden monding Lek: Het minimum debiet van 30 m3/s en 10 m3/s is zichtbaar in de zomerperiode	Ja
FAT 2.2.4.0 Test 4.2	LSM-light	Controle debiet Irenesluizen en peil Markermeer	nvt	*	nvt		ARK route aanvoer Markermeer: In het Stoom scenario is er duidelijk meer aanvoer door het ARK bij de Irenesluizen, ook zien we dat het meerpeil hoger ligt (rond het streefpeil) voor het S2050EP scenario. *Voor REF2017EP is geen verschil te zien in het meerpeil omdat in de zomerperiode het peil niet onder de -0.30m zakt.	Ja
FAT 2.2.4.0 Test 4.3	LSM-light	Controle debiet Eemskanaal Delfzijl					Gewenst debiet Eemskanaal Delfzijl: In het Eemskanaal is een aangepast (gehalveerd) debiet zichtbaar te opzichte van de referentiesom. Zie ook testresultaat FAT 2.2.4.0 Test 2.1.	Ja
FAT 2.2.4.0 Test 4.4	LSM-light	Controle debiet bij Hooglandgemaal Stavoren					Uitbreiding inlaatcapaciteit Hoogland (Friesland): Het inlaatdebiet is groter in EP en VP t.o.v. de referentiesom. Afwisselend is EP of VP iets groter, maar allebei zijn ze duidelijk groter dan de referentiesom.	Ja
FAT 2.2.4.0 Test 4.5	LSM-light	Controle debieten Hoendiep (Gaarkeuken), Drentse Hoofdvaart (Paradijssluis), en Hoogeveensche Vaart (Rogatsluis)					Optimaliseren aanvoergemalen Noord NL voor: capaciteit van Gaarkeuken capaciteit van Paradijssluis* capaciteit van Rogatsluis *locatie RW_4 toont vreemd verloop en te hoge debieten, zie screenshot van debiet uit LSM-light stand-alone som, waardoor de maatregel niet goed beoordeeld kan worden voor deze locatie	Ja
FAT 2.2.4.0 Test 4.6	LSM-light	Controle aangepast debiet in de Hollandse IJssel in de buurt van RWZI Kortenoord		nvt		nvt	Het verschil in debiet in de buurt van RWZI Kortenoord Schieland is ~0.3m3/s voor VP t.o.v. de referentiesom (voor zowel REF2017 en S2050), dit verschil komt overeen met de extra lozing uit het RWZI. EP waarvoor deze maatregel niet is geïmplementeerd is gelijk aan de referentiesom zoals verwacht	Ja
FAT 2.2.4.0 Test 4.7	LSM-light	Controle inlaat debiet bij Bergambacht	—	—	—	—	Doorvoer Krimpenerwaard: Er wordt voor de VP en EP scenario's water ingelaten voor locatie KW_1, waar dat bij de referentiesom niet het geval is.	Ja
FAT 2.2.4.0 Test 4.8	LSM-light	Controle extra tijdreeks Inlaat Oostflakkee	nvt		nvt		De tijdreeks voor Inlaat Oostflakkee is zichtbaar in FEWS-NWM en komt ook als tabel in de lateral.dat van LSM-light terecht voor de pakketten EP	Ja

Tabel TR.04: Testen voor meegenomen JIRA-issues

Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen