De testrapportage per release van het Nationaal Water Model (NWM) bevat achtereenvolgens de testbevindingen en bijlagen met de testprotocollen voor de werkzaamheden aan een NWM release. De protocollen zijn generiek van opzet, zodat ze ook voor toekomstige releases gebruikt kunnen worden.
De testprotocollen zijn voor alle Veiligheid regio's en alle Zoetwater modellen opgesteld. Vanaf release 2.0.0.0 maakt Veiligheid geen onderdeel meer uit van de NWM FEWS applicatie.
Deze protocollen beschrijven hoe de diverse workflows voor alle regio's en modellen getest kunnen worden. De testprotocollen zijn voor Veiligheid en Zoetwater op vergelijkbare wijze opgesteld. Voor Veiligheid is onderscheid gemaakt in zes verschillende regio's, omdat er verschillen zijn in de diverse workflows en modellen. Voor Zoetwater is onderscheid in regio's niet van toepassing. De testen bestaan uit technische testen en plausibiliteit testen. De technische testen verifiëren of een workflow binnen het NWM technisch goed functioneert. De testen bestaan uit een beschrijving voor het starten van een workflow en een controle op het correct eindigen van deze workflow. Bovendien verifiëren de technische testen of diverse parameters in de database correct worden gevuld, zoals het aantal locaties en het aantal ensembles. Bij de plausibiliteit testen wordt meer inhoudelijk naar de resultaten van de workflows gekeken; hierbij wordt bijvoorbeeld gecontroleerd of de waterstanden monotoon dalen in de afvoerrichting.
De testprotocollen zijn opgesteld in een Wiki en zijn aldaar het beste te lezen. Bij oplevering van een NWM release is een export gemaakt van de Wiki in pdf-formaat. In deze export zijn in de testprotocollen zelf geen vinkjes gezet voor geslaagde testen; voor de overzichtelijkheid zijn de testbevindingen per release bij elkaar gevoegd. Een groen vinkje in deze testbevindingen betekent dat de desbetreffende testen in het testprotocol succesvol zijn doorlopen.
Het testrapport start met testbevindingen per release, zodat de voortgang van de testen tijdens het project kan worden nagegaan. Dit staat beschreven in:
De testbevindingen voor een release zijn verkregen door testprotocollen uit te voeren. In de testbevindingen staat per workflow de uitvoering van deze workflow vermeld, zodat duidelijk is hoe de testbevindingen zijn geconstateerd. Op deze manier is ook duidelijk welke tests voor een bepaalde release (opnieuw) zijn uitgevoerd. De structuur van het testrapport m.b.t. de testprotocollen is als volgt:
De testprotocollen voor Veiligheid bestaan uit een technisch/plausibiliteit testprotocol voor elke workflow, zoals het importeren van de randvoorwaarden of het runnen van het WAQUA model. Voor Zoetwater is er één workflow per model. Een uitgebreide beschrijving van de workflows voor Veiligheid en Zoetwater is te vinden op Workflows Veiligheid respectievelijk Workflows Zoetwater. Omdat de technische testen voor de verschillende regio's/modellen veel op elkaar lijken, maken de testprotocollen gebruik van standaard testen. Er zijn standaard testen voor de volgende typen workflows:
Bij de testprotocollen van de specifieke workflows voor de diverse regio's/modellen wordt naar deze standaard testen verwezen. Alle testparameters zoals de starttijd, het aantal locaties en ensembles per workflow zijn bijeengebracht in tabellen met testwaarden die onderdeel zijn van de standaard testen:
Voor What-if scenario's zijn er aparte testprotocollen:
Voor "flexibiliteit in locaties" is er een apart testprotocollen:
