Testrapportage release 2.4.0.0

Inleiding

Deze rapportage beschrijft de wijzigingen van NWM release 2.4.0.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) voor de upgrade van de NWM Testomgeving met een geactualiseerde modellentrein bestaande uit het LHM4.3 model en het LSM3 model. De oude modellentrein blijft ook nog  beschikbaar in deze release.

Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus dezelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. 

Release 2.4.0.0: aangebrachte wijzigingen t.o.v. release 2.3.0.0

NWM 2.4.0.0 gebruikt een geactualiseerde modellentrein t.o.v. de modellentrein in de vorige release 2.3.0.0. Omdat de nieuwe KNMI 2023 scenario's nog niet volledig beschikbaar zijn binnen de NWM FEWS omgeving is in deze release alleen het scenario REF2017BP18 ingebouwd voor een beperkt aantal jaren (1980-2011). In een volgende release waarin de nieuwe KNMI scenario's worden aangesloten komen ook de andere scenario's en jaren beschikbaar. De nieuwe modellentrein bestaat uit het LHM model versie 4.3 en het LSM3 model. De volledige modellentrein ziet er als volgt uit: LHMZ0 (zonder zoutbeperking) - LSM3 (chloride berekening) - LHM (met zoutbeperking) - LSM3 (waterverdeling en temperatuur (en chloride)).

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT (tweeledig) zijn uitgevoerd.

1) Ten behoeve van de upgrade naar LSM3 (vervanging LSM-light, NDB en LTM-light) zijn testen met zowel de nieuwe modellentrein als de oude modellentrein uitgevoerd voor de jaren 1911 t/m 1912 met 'scenario':

• REF2017BP18.

Het jaar 1911 is gestart met een koude start.

De volgende modellen zijn gedraaid:

• LHM zonder zoutbeperking (versie 3.3.1)
• LSM3 chloride berekening
• LHM (versie 3.3.1)
• LSM3 waterverdeling en watertemperatuur berekening

Technische test LSM3

FAT 2.4.0.0 Test 1.1: Check of smoketesten voor LSM3 in de NWM modellentrein technisch goed draaien.

FAT 2.4.0.0 Test 1.2: Check of de exports voor LSM3 in de NWM modellentrein technisch goed draaien.

Inhoudelijk test LSM3

De inhoudelijke testen (of plausibiliteitstesten) met het LSM3 zijn door Huib Tanis uitgevoerd. Deze gerapporteerde bevindingen zijn opgenomen in JIRA, issues NWM-1137 t/m NWM-1152.

Hieronder is een schematische weergave gegeven van de vergelijkingen die als onderdeel van de LSM3 plausibiliteitstesten zijn uitgevoerd.

Toelichting van de 4 tests:

FAT 2.4.0.0 Test 2.1: vergelijken van chloride

De volgende twee modellentreinen zijn doorgerekend:

• LHM (zonder zout) => LSMLT (zonder zout) => NDB (run 4)
• LHM (zonder zout) => LSM3 (chloride) (run 5)

Chloride concentraties worden vergeleken tussen LSM3Z0 (run 5) en NDB (run 4).

FAT 2.4.0.0 Test 2.2: vergelijken van balancecheck, demand_wmtot, drainage_sh, infiltration_sh, Takdebiet, Tekort_doorspoeling, Watervraag_peilbeheer, GHG, GLG en GVG

De volgende twee modellentreinen zijn doorgerekend:

• LHM (zonder zout) => LSMLT (zonder zout) => NDB => LHM (run 4)
• LHM (zonder zout) => LSM3 (chloride) => LHM (run 5)

Balancecheck, demand_wmtot, drainage_sh, infiltration_sh, Takdebiet, Tekort_doorspoeling, Watervraag_peilbeheer, GHG, GLG en GVG worden vergeleken tussen LHM (run 5) en LHM (run 4).

FAT 2.4.0.0 Test 2.3: vergelijken van debieten, waterstanden, waterhoogten en temperatuur

De volgende twee modellentreinen zijn doorgerekend:

• LHM (zonder zout) => LSMLT (zonder zout) => NDB => LHM => LSMLT/LTMLT (run 4)
• LHM (zonder zout) => LSMLT (zonder zout) => NDB => LHM => LSM3 (run 4b)

Debieten, waterstanden, waterhoogten en temperatuur worden vergeleken tussen LSM3 (run 4b) en LSMLT/LTMLT (run 4).

FAT 2.4.0.0 Test 2.4: vergelijken van debieten, waterstanden en temperatuur

De volgende twee modellentreinen zijn doorgerekend:

• LHM (zonder zout) => LSMLT (zonder zout) => NDB => LHM => LSMLT/LTMLT (run 4)
• LHM (zonder zout) => LSM3 (chloride) => LHM => LSM3 (run 5)

Debieten, waterstanden en temperatuur  worden vergeleken tussen LSM3 (run 5) en LSMLT/LTMLT (run 4).

2) Ten behoeve van de upgrade naar LHM4.3 zijn testen met de nieuwe modellentrein uitgevoerd voor de jaren 2007 t/m 2011 met 'scenario':

• REF2017BP18.

Het jaar 2007 is gestart met een koude start.

De volgende modellen zijn gedraaid:

• LHM zonder zoutbeperking (versie 4.3)
• LSM3 chloride berekening
• LHM (versie 4.3)
• LSM3 waterverdeling en watertemperatuur berekening

Technische test LHM

FAT 2.4.0.0 Test 3.1: Check of smoketesten voor LSM3 in de NWM modellentrein technisch goed draaien.

FAT 2.4.0.0 Test 3.2: Check of de exports voor LSM3 in de NWM modellentrein technisch goed draaien.

Inhoudelijk test LHM

FAT 2.4.0.0 Test 4.1: -

FAT 2.4.0.0 Test 4.2: -

Meegenomen JIRA-issues

Tabel TR.01: Issues die in deze release zijn meegenomen

Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving	Betekenis
	succesvol
	issue gevonden; in review na herstelactie of nadere analyse nodig
	niet succesvol
n.v.t.	de reden hiervoor staat beschreven in veld opmerkingen
—	nog niet uitgevoerd

In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 

Tabel TR.03a: Testen voor de jaren 1911-1912 voor Deltascenario's Referentie 2017

Testen	Scenario	Beschrijving test	Model schematisatie (Z0 = zonder zoutbeperking)				Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
			LHMZ0 v3.3.1	LSM3 chloride of LSMLT-NDB	LHM v3.3.1	LSM3 of LSMLT-LTMLT
FAT 2.4.0.0 Test 1.1	Referentie 2017	Draaien van de smoketesten					smoketesten succesvol doorlopen	-
FAT 2.4.0.0 Test 1.2	Referentie 2017	Draaien van de exports					smoketesten succesvol doorlopen	-
FAT 2.4.0.0 Test 2.1	Referentie 2017	vergelijken chloride	n.v.t.		n.v.t.	n.v.t.	NWM-1137; NWM-1139
FAT 2.4.0.0 Test 2.2	Referentie 2017	vergelijken doorwerken effect LSM3 vs. NDB op LHM
FAT 2.4.0.0 Test 2.3	Referentie 2017	vergelijken van debieten, waterstanden, waterhoogten en temperatuur
FAT 2.4.0.0 Test 2.4	Referentie 2017	vergelijken oude en nieuwe modellentrein

Tabel TR.03b: Testen voor de jaren 2007-2011 voor Deltascenario's Referentie 2017

Tabel TR.04: Testen voor meegenomen JIRA-issues

Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen 
(door een automatische export van WIKI naar PDF is de tabel mogelijk onhandig verdeeld over de pagina's en kunnen de figuren soms wat onscherp zijn, de oorspronkelijke figuren zijn te bekijken via deze link: https://publicwiki.deltares.nl/display/NW/Rapportage+FAT+Release+2.2.4.1 )

Herstelde issues tijdens testfase / overige testbevindingen

-