Sneed / Baumgartner / Seidl Der Systemtest

Von den Anforderungen zum Qualitätsnachweis
1. aktualisierte und erweiterte Auflage 2011
ISBN: 978-3-446-42861-4
Verlag: Hanser, Carl
Format: PDF
Kopierschutz: Adobe DRM (»Systemvoraussetzungen)

E-Book, Deutsch, 330 Seiten

DER SYSTEMTEST //- Dieses Buch hilft Ihnen, besser, schneller und systematischer zu testen und - vor allem - mehr Fehler in kürzerer Zeit zu finden.- Erfahren Sie, wie Sie den Weg von den Anforderungen zum Qualitätsnachweis erfolgreich beschreiten, unterstützt durch Vorgehen und Verfahren der IEEE-Normen und des V-Modell XT.- Lernen Sie die Möglichkeiten des Werkzeugeinsatzes im Systemtest kennen.- Neu in der 3.A.sind die Themen Modellbasierte Testspezifikation und Testautomatisierung- Im Internet: Eine Reihe von nützlichen Test-Werkzeugen zum (teils) kostenlosen DownloadIm Rahmen des Systemtests haben Tester dafür zu sorgen, dass Fehler in einer Software gefunden werden, ehe diese an die Anwender oder Kunden ausgeliefert wird. Sie testen dabei nicht nur die Software, sondern auch die implementierten Geschäftsprozesse und das System als Ganzes. Der Systemtest ist ein sehr komplexes Vorhaben, das eigene Methoden und Werkzeuge voraussetzt.Mit diesem Buch erhalten Sie eine praktische Anleitung zur Planung, Organisation und Durchführung des Systemtests, egal ob Sie die Systeme gekauft, von Open-Source-Bibliotheken übernommen, aus Legacy-Systemen migriert oder neu entwickelt haben. Die Autoren zeigen, wie man ein Testprojekt effizient aufsetzt, welche Methoden und Ansätze praktikabel sind und wie sich der Testablauf integrieren und automatisieren lässt. Außerdem erhalten Sie einen Überblick über nützliche Werkzeuge für den Systemtest.Die 3. Auflage trägt mit zwei neuen Kapiteln den aktuellen Entwicklungen im Systemtest Rechnung: Der modellbasierten Testspezifikation und der Testautomatisierung.

Autoren/Hrsg.

Sneed, Harry M.

Baumgartner, Manfred

Seidl, Richard

Inhaltsverzeichnis

1;Inhalt;6
2;Vorwort;14
3;Die Autoren;16
4;1Einführung in den Systemtest;18
4.1;1.1?Das Wesen eines Systemtests;18
4.2;1.2?Von Entwicklern und Anwendern zu Testern;21
4.3;1.3?Warum wir testen müssen;23
4.4;1.5?Der Systemtestprozess;27
4.5;1.6?Systemtestnormen;30
4.6;1.7?Systemtestwerkzeuge;31
4.7;1.8?Systemtester;32
4.8;1.9?Zur Systemtestbarkeit;33
4.8.1;1.9.1?Testbarkeit der Anwendungsfälle;33
4.8.2;1.9.2?Testbarkeit der Benutzeroberflächen;34
4.8.3;1.9.3?Testbarkeit der Systemschnittstellen;34
4.8.4;1.9.4?Testbarkeit der Datenbanken;35
4.8.5;1.9.5?Testen ohne Benutzeroberfläche;35
5;2 Testanforderungsanalyse;38
5.1;2.1?Ansätze zur Formulierung der Anforderungen;39
5.1.1;2.1.1?Formale Spezifikation;39
5.1.2;2.1.2?Semiformale Spezifikation;39
5.1.3;2.1.3?Strukturierte Spezifikation;40
5.1.4;2.1.4?Informale Spezifikation;42
5.2;2.2?Ansätze zur Normierung der Anforderungen;42
5.3;2.3?Die Praxis der Anforderungsdokumentation;45
5.4;2.4?Das V-Modell-XT Lastenheft;46
5.5;2.5?Die Analyse natursprachlicher Anforderungen;49
5.6;2.6?Anforderungsbasierte Testfallermittlung;51
5.7;2.7?Ein Beispiel der Testfallermittlung;54
5.8;2.8?Zur Automatisierung der Testfallermittlung;61
5.9;2.9?Erfahrung mit der automatisierten Anforderungsanalyse;64
6;3Modellbasierte Testspezifikation;66
6.1;3.1?Woher kommt das Modell?;66
6.1.1;3.1.1?Übernahme des Entwicklermodells;67
6.1.2;3.1.2?Erstellung eines eigenen Testmodells;68
6.1.3;3.1.3?Gewinnung eines Modells aus der Anforderungsdokumentation;69
6.1.4;3.1.4?Gewinnung eines Modells aus dem Code;70
6.2;3.2?Ableitung der Testfälle aus einem UML?Modell;72
6.2.1;3.2.1?Testfälle aus den UseCase-Diagrammen;73
6.2.2;3.2.2?Testfälle aus den Sequenzdiagrammen;73
6.2.3;3.2.3?Testfälle aus den Aktivitätsdiagrammen;73
6.2.4;3.2.4?Testfälle aus den Zustandsdiagrammen;74
6.2.5;3.2.5?Vereinigung der Testfälle;74
6.3;3.3?Vom Testmodell zur Testausführung;75
6.4;3.4?Alternative zum modellbasierten Test;77
6.4.1;3.4.1?Testen gegen die Vorstellungen des Testers;78
6.4.2;3.4.2?Testen gegen das Benutzerhandbuch;78
6.4.3;3.4.3?Testen gegen die Anforderungsdokumentation;79
6.4.4;3.4.4?Testen gegen das bestehende System;79
6.5;3.5?Beurteilung des modellbasierten Testens;79
6.5.1;3.5.1?Modellbasiertes Testen im Vergleich mit Testen gegen die Testervorstellungen;79
6.5.2;3.5.2?Modellbasiertes Testen im Vergleich zum Testen gegen das Benutzerhandbuch;80
6.5.3;3.5.3?Modellbasiertes Testen im Vergleich zum Testen gegen ein bestehendes System;80
6.5.4;3.5.4?Testen gegen ein Modell im Vergleich zum Testen gegen die Anforderungsspezifikation;80
6.5.5;3.5.5?Der optimale Testansatz ist situationsbedingt;81
7;4Systemtestplanung;82
7.1;4.1?Zweck der Testplanung;82
7.2;4.2?Voraussetzungen zur Testplanung;87
7.3;4.3?Schätzung der Testaufwände;90
7.3.1;4.3.1?Test-Points;91
7.3.2;4.3.2?Testproduktivität;91
7.3.3;4.3.3?Komplexität und Qualität;92
7.3.4;4.3.4?Die COCOMO-II Gleichung;94
7.4;4.4?Schätzung der Testdauer;95
7.5;4.5?Testprojektorganisation;96
7.5.1;4.5.1?Organisation der Testressourcen;96
7.5.2;4.5.2?Organisation des Testpersonals;98
7.6;4.6?Testrisikoanalyse;99
7.7;4.7?Festlegung der Testendekriterien;100
7.8;4.8?Gestaltung des Testplans nach ANSI/IEEE-829;102
7.8.1;4.8.1?Testkonzept-ID;103
7.8.2;4.8.2?Einführung;103
7.8.3;4.8.3?Zu testende Objekte;104
7.8.4;4.8.4?Zu testende Funktionen;104
7.8.5;4.8.5?Nicht zu testende Funktionen;104
7.8.6;4.8.6?Testvorgehensweise;104
7.8.7;4.8.7?Testendekriterien;104
7.8.8;4.8.8?Testabbruchkriterien;105
7.8.9;4.8.9?Testergebnisse;105
7.8.10;4.8.10?Testaufgaben;105
7.8.11;4.8.11?Testumgebung;106
7.8.12;4.8.12?Testverantwortlichkeiten;106
7.8.13;4.8.13?Testpersonalbedarf;106
7.8.14;4.8.14?Testzeitplan;107
7.8.15;4.8.15?Testrisiken und Risikomanagement;107
7.8.16;4.8.16?Genehmigungen;107
7.9;4.9?Die Prüfspezifikation nach V-Modell-XT;108
7.9.1;4.9.1?Einleitung;109
7.9.2;4.9.2?Prüfziele;109
7.9.3;4.9.3?Prüfobjekte;109
7.9.4;4.9.4?Prüffälle;110
7.9.5;4.9.5?Prüfstrategie;110
7.9.6;4.9.6?Prüfkriterien;110
7.9.7;4.9.7?Prüfergebnisse;111
7.9.8;4.9.8?Prüfaufgaben;111
7.9.9;4.9.9?Prüfumgebung;111
7.9.10;4.9.10?Prüffallzuordnung;112
7.9.11;4.9.11?Prüfaufwand;112
7.9.12;4.9.12?Risikovorkehrungen;113
8;5Spezifikation der Testfälle;114
8.1;5.1?Aufbau der Testfälle;114
8.1.1;5.1.1?Das Testfallkennzeichen;116
8.1.2;5.1.2?Der Testfallzweck;116
8.1.3;5.1.3?Die Testfallquelle;116
8.1.4;5.1.4?Die Testanforderung;117
8.1.5;5.1.5?Der Testvorgang;117
8.1.6;5.1.6?Die Testobjekte;117
8.1.7;5.1.7?Die Testfallvorzustände;118
8.1.8;5.1.8?Die Testfallnachzustände;118
8.1.9;5.1.9?Die Vorgängertestfälle;118
8.1.10;5.1.10?Die Nachfolgetestfälle;119
8.1.11;5.1.11?Die Testumgebung;119
8.1.12;5.1.12?Die Testfallargumente;119
8.1.13;5.1.13?Die Testfallergebnisse;120
8.1.14;5.1.14?Der Testfallstatus;120
8.2;5.2?Darstellung der Testfälle;122
8.2.1;5.2.1?Testfälle im Textformat;123
8.2.2;5.2.2?Testfälle im Tabellenformat;125
8.2.3;5.2.3?Testfälle im XML-Format;126
8.2.4;5.2.4?Testfälle in einer formalen Sprache – TTCN;127
8.3;5.3?Erstellung der Testfälle;130
8.3.1;5.3.1?Generierung der Grunddaten aus dem Anforderungstext;130
8.3.2;5.3.2?Ergänzungen der Testfälle;131
8.4;5.4?Speicherung der Testfälle;132
8.4.1;5.4.1?Testfälle als Texte;132
8.4.2;5.4.2?Testfälle als Tabellen;132
8.4.3;5.4.3?Testfälle als XML-Format;133
8.5;5.5?Qualitätssicherung der Testfälle;134
8.5.1;5.5.1?Testfallquantität;135
8.5.2;5.5.2?Messung der Testfallkomplexität;137
8.5.3;5.5.3?Messung der Testfallqualität;138
8.6;5.6?Überführung der Testfälle in einen Testentwurf;140
8.7;5.7?Wartung und Weiterentwicklung der Testfälle;141
9;6Bereitstellung der Testdaten;144
9.1;6.1?Testdatenquellen;145
9.1.1;6.1.1?Die Anforderungsdokumentation als Quelle von Testdaten;145
9.1.2;6.1.2?Das Entwurfsmodell als Quelle von Testdaten;146
9.1.3;6.1.3?Der Source-Code als Quelle von Testdaten;146
9.1.4;6.1.4?Die alten Testdaten als Quelle von Testdaten;146
9.1.5;6.1.5?Die Produktionsdaten als Quelle von Testdaten;147
9.1.6;6.1.6?Die fachlogischen Testfälle als Quelle von Testdaten;147
9.2;6.2?Testdatenobjekte;147
9.3;6.3?Testdatenerstellungsansätze;149
9.3.1;6.3.1?Der blinde Ansatz zur Testdatenerstellung;150
9.3.2;6.3.2?Der gezielte Ansatz zur Testdatenerstellung;150
9.3.3;6.3.3?Der kombinierte Ansatz;151
9.3.4;6.3.4?Der Mutationsansatz;151
9.4;6.4?Testdatentypen;152
9.4.1;6.4.1?Datenbanken;153
9.4.2;6.4.2?Systemschnittstellen;154
9.4.3;6.4.3?Benutzeroberflächen;156
9.5;6.5?Testdatengenerierung;157
9.5.1;6.5.1?Datengenerierung aus den Testfällen;158
9.5.2;6.5.2?Datengenerierung aus Testprozeduren;159
9.5.3;6.5.3?Datengenerierung aus dem Source-Code;160
9.5.4;6.5.4?Datengenerierung aus vorhandenen Daten;160
9.6;6.6?Werkzeuge für die Testdatengenerierung;161
9.6.1;6.6.1?Datenbankgeneratoren;163
9.6.2;6.6.2?Schnittstellengeneratoren;163
9.6.3;6.6.3?Oberflächengeneratoren;164
10;7 Systemtestausführung;166
10.1;7.1?Systemtypen;167
10.1.1;7.1.1?Alleinstehende Systeme;167
10.1.2;7.1.2?Integrierte Systeme;167
10.1.3;7.1.3?Verteilte Systeme;168
10.1.4;7.1.4?Web-basierte Systeme;169
10.1.5;7.1.5?Service-orientierte Systeme;169
10.1.6;7.1.6?Vollautomatische Systeme;171
10.1.7;7.1.7?Eingebettete Echtzeitsysteme;172
10.2;7.2?Test alleinstehender Systeme;173
10.3;7.3?Test integrierter Systeme;175
10.3.1;7.3.1?Funktionstest;175
10.3.2;7.3.2?Belastungstest;177
10.3.3;7.3.3?Benutzbarkeitstest;178
10.4;7.4?Test verteilter Systeme;179
10.4.1;7.4.1?Interaktionstest;179
10.4.2;7.4.2?Testverfolgung im Netz;179
10.4.3;7.4.3?Sicherheitstest;180
10.5;7.5?Test Web-basierter Systeme;181
10.5.1;7.5.1?Test der Web-Architektur;182
10.5.2;7.5.2?Test der Web-Anwendung;182
10.6;7.6?Test Service-orientierter Systeme;183
10.6.1;7.6.1?Vorbereitung des Servicetests;184
10.6.2;7.6.2?Ausführung des Web Service-Tests;185
10.6.3;7.6.3?Simulierter Test der Geschäftsprozesse;186
10.6.4;7.6.4?Integration der Services mit den Geschäftsprozessen;186
10.7;7.7?Test vollautomatisierter Systeme;187
10.7.1;7.7.1?Werkzeuge für den automatisierten Test;187
10.7.2;7.7.2?Tester für den automatisierten Test;188
10.8;7.8?Test eingebetteter Systeme;189
10.9;7.9?Kein System ist wie das andere;190
11;8Auswertung des Systemtests;192
11.1;8.1?Zweck der Testauswertung;192
11.2;8.2?Auswertung der Testergebnisse;194
11.2.1;8.2.1?Sichtbare und unsichtbare Ergebnisse;194
11.2.2;8.2.2?Möglichkeiten der Ergebniskontrolle;194
11.2.3;8.2.3?Begründung der Ergebniskontrolle;195
11.2.4;8.2.4?Automatisierte Ergebniskontrolle;196
11.3;8.3?Messung der Testüberdeckung;198
11.3.1;8.3.1?Testüberdeckungsmaße;198
11.3.2;8.3.2?Function-Point-Überdeckung;199
11.3.3;8.3.3?Anforderungsüberdeckung;200
11.3.4;8.3.4?Überdeckung bisheriger Funktionalität;201
11.3.5;8.3.5?Fehlerüberdeckung;201
11.4;8.4?Fehleranalyse;202
11.4.1;8.4.1?Fehlerlokalisierung;202
11.4.2;8.4.2?Fehlermeldung;203
11.5;8.5?Systemtestmetrik;205
11.5.1;8.5.1?Testüberdeckungsmaße;206
11.5.2;8.5.2?Fehleranalysemaße;209
11.5.3;8.5.3?Messung der Testeffektivität;210
11.6;8.6?Systemtestmessung in der Praxis;212
12;9Testpflege und ?fortschreibung;216
12.1;9.1?Analyse der Änderungsanträge (CRs);217
12.2;9.2?Fortschreibung und Optimierung des Testplans;218
12.2.1;9.2.1?Fortschreibung der Testziele;218
12.2.2;9.2.2?Fortschreibung der Testobjekte;219
12.2.3;9.2.3?Fortschreibung der zu testenden Funktionen;219
12.2.4;9.2.4?Fortschreibung der Teststrategie und Testendekriterien;219
12.2.5;9.2.5?Fortschreibung der Testergebnisse;219
12.2.6;9.2.6?Fortschreibung der Testaufgaben;220
12.2.7;9.2.7?Fortschreibung des Personalplanes;220
12.2.8;9.2.8?Fortschreibung der Testrisiken;220
12.2.9;9.2.9?Rekalkulation der Testkosten;221
12.3;9.3?Impaktanalyse der Software;222
12.3.1;9.3.1?Statische Impaktanalyse;222
12.3.2;9.3.2?Dynamische Impaktanalyse;223
12.4;9.4?Fortschreibung der Testfälle;224
12.4.1;9.4.1?Spezifikation neuer Testfälle;224
12.4.2;9.4.2?Anpassung bestehender Testfälle;224
12.5;9.5?Anreicherung der Testdaten;225
12.5.1;9.5.1?Direkte Anreicherung der Daten;225
12.5.2;9.5.2?Indirekte Anreicherung der Daten;225
12.6;9.6?Ausführen des Regressionstests;226
12.6.1;9.6.1?Eigenarten eines Regressionstests;226
12.6.2;9.6.2?Der Test im Dialogmodus;227
12.6.3;9.6.3?Der Test im Batch-Modus;227
12.6.4;9.6.4?Testautomatisierung beim Regressionstest;227
12.7;9.7?Auswertung des Regressionstests;228
12.7.1;9.7.1?Kontrolle der Regressionstestüberdeckung;228
12.7.2;9.7.2?Kontrolle der Regressionstestergebnisse;229
12.7.3;9.7.3?Protokollierung der Regressionstestergebnisse;231
12.8;9.8?Automatisierung des Regressionstests;231
12.9;9.9?Der Regressionstest in Migrationsprojekten;233
12.9.1;9.9.1?Voller Regressionstest;234
12.9.2;9.9.2?Selektiver Regressionstest;235
13;10 Systemtestautomation;238
13.1;10.1?Ein Modell für die Testautomatisierung;239
13.1.1;10.1.1?Testeingaben;239
13.1.2;10.1.2?Testausgaben;240
13.1.3;10.1.3?Testobjektbeziehungen;240
13.2;10.2?Testereignisse;241
13.2.1;10.2.1?Planende Testereignisse;242
13.2.2;10.2.2?Vorbereitende Testereignisse;242
13.2.3;10.2.3?Ausführende Testereignisse;243
13.2.4;10.2.4?Abschließende Testereignisse;243
13.2.5;10.2.5?Zusammenfassung der Testereignisse;244
13.3;10.3?Zur Automation der Testereignisse;244
13.3.1;10.3.1?Automatische Ableitung der logischen Testfälle aus der Anforderungsdokumentation;245
13.3.2;10.3.2?Automatisierte Erzeugung eines Testplans;245
13.3.3;10.3.3?Automatische Erstellung eines Testentwurfs;246
13.3.4;10.3.4?Automatische Generierung der Testdaten;246
13.3.5;10.3.5?Automatisierte Erzeugung physikalischer Testfälle;247
13.3.6;10.3.6?Automatische Generierung der Testprozeduren;247
13.3.7;10.3.7?Automatische Instrumentierung des Codes;247
13.3.8;10.3.8?Die automatische Testausführung;248
13.3.9;10.3.9?Die automatische Ergebnisprüfung;248
13.3.10;10.3.10?Automatische Kontrolle der Testüberdeckung;248
13.3.11;10.3.11?Automatisch generierte Testmetrik;248
13.4;10.4?Voraussetzungen der Testautomation;249
13.4.1;10.4.1?Formalisierung der Anforderungsspezifikation;250
13.4.2;10.4.2?Standardisierung der Testdokumente;251
13.4.3;10.4.3?Definition der Datenwertebereiche;251
13.4.4;10.4.4?Qualifizierung der Tester;252
13.5;10.5?Systemtestautomation als eigenständiges Projekt;253
13.5.1;10.5.1?Erste Automatisierungsstufe;254
13.5.2;10.5.2?Zweite Automatisierungsstufe;254
13.5.3;10.5.3?Dritte Automatisierungsstufe;255
13.5.4;10.5.4?Vierte Automatisierungsstufe;255
13.5.5;10.5.5?Fünfte Automatisierungsstufe;255
13.6;10.6?Alternative zum automatisierten Test;255
13.6.1;10.6.1?Erste Alternative = weniger Testen;256
13.6.2;10.6.2?Zweite Alternative = massiver Personaleinsatz;256
13.7;10.7?Vergangenheit und Zukunft der Testautomation;257
14;11Werkzeuge für den Systemtest;260
14.1;11.1?Werkzeugkategorien – Einsatzgebiete;260
14.2;11.2?Funktionalität und Auswahlkriterien;261
14.3;11.3?Werkzeuge aus Projekten: Der Testarbeitsplatz;264
15;12Testmanagement;270
15.1;12.1?Notwendigkeit des Systemtestmanagements;270
15.2;12.2?Hauptaufgaben des Systemtestmanagements;271
15.2.1;12.2.1?Testplanung und Umsetzung des Testkonzeptes;272
15.2.2;12.2.2?Laufendes Controlling aller Testaktivitäten;275
15.2.2.1;12.2.2.1?Inhaltscontrolling;276
15.2.2.2;12.2.2.2?Controlling der Planungsgrößen;278
15.2.2.3;12.2.2.3?Controlling der Testendekriterien;280
15.2.3;12.2.3?Sicherstellung der Qualität der Testergebnisse;282
15.2.3.1;12.2.3.1?Qualität des Testdesigns und der Testfälle;283
15.2.3.2;12.2.3.2?Qualität der Protokollierung der Testdurchführung;284
15.2.3.3;12.2.3.3?Qualität des Fehlermanagements;284
15.3;12.3?Testprozessmanagement;285
15.3.1;12.3.1?Testprozessgestaltung;285
15.3.2;12.3.2?Testprozessreife;287
15.4;12.4?Testteamführung;288
16;13Anhang;292
16.1;13.1?Anhang A: Testplan nach ANSI/IEEE-829;292
16.2;13.2?Anhang B1: Schema für die Testfallspezifikation;298
16.3;13.3?Anhang B2: Beispiel einer Testfallspezifikation für den Test der Auftragsbearbeitung;300
16.4;13.4?Anhang C1: Testdatengenerierungsskript;303
16.5;13.5?Anhang C2: Testergebnisvalidierungsskript;305
17;Literatur;306
18;Register;322

Über Autor(innen)

Harry M. Sneed hat in seiner langen Berufslaufbahn zahlreiche Fachartikel und Bücher veröffentlicht und mehr als 15 Testwerkzeuge entwickelt. Er arbeitet als Software-Tester für die ANECON GmbH in Wien.Richard Seidl ist ISTQB® Certified Tester Full Advanced Level sowie Quality Assurance Management Professional. Er ist Trainer für die ISTQB®-Kurse und leitet Testprojekte im gesamten deutschsprachigen Raum.Manfred Baumgartner hat als Testmanager über viele Jahre Erfahrung in Testprojekten gesammelt. Er ist Bereichsleiter des Geschäftsfeldes Software-Test der ANECON GmbH in Wien.