Elen / Prenzel Effectiveness of instructional interventions in higher education

1. Auflage 2021
ISBN: 978-3-7534-5199-2
Verlag: BoD - Books on Demand
Format: EPUB
Kopierschutz: 6 - ePub Watermark

E-Book, Englisch, 276 Seiten

Answering the question of effectiveness of educational interventions is no easy task for a multitude of reasons. The effectiveness of an intervention depends not only on the intervention itself but also, for example, on the target group, the available infrastructure, the current legislation, the time of implementation or the expertise of the teachers. This special issue shows the diversity in the goals pursued and the interventions used to achieve them. It also shows methodological differences in effectiveness research and argues the need for nuanced interpretation and for explicitly considering the context for the intervention.

Autoren/Hrsg.

Elen, Jan

Prenzel, Manfred

Leseproben

Bianca PIRCHER2 & Eva Maria JABINGER (Innsbruck)
Effektivitätsmessung durch die Evaluation von Lehr-Lernarrangements Werkstattbericht · DOI: 10.3217/zfhe-16-01/02 Zusammenfassung Im vorliegenden Beitrag wird die Thematik der Effektivitätsmessung von pädagogischen Maßnahmen im Masterstudiengang Qualitäts- und Prozessmanagement abgehandelt. Hierbei wird versucht, an Hand des Vier-Stufen-Modells nach Kirkpatrick die Überlegungen zur Messung und Interpretation der Maßnahmeneffektivität aufzuzeigen. Am Ende erfolgen ein Resümee und eine kritische Würdigung der eingesetzten Maßnahmen. Schlüsselwörter Effektivitätsmessung, PDCA-Zyklus, Evaluation, Vier-Stufen-Modell, Kirkpatrick Measuring effectiveness by evaluating teaching-learning arrangements Abstract This paper deals with the subject of measuring the effectiveness of instructional interventions in the Master’s degree in Quality and Process Management. The aim is to use a practical example to demonstrate the considerations relevant for measuring and interpreting the effectiveness of the measures. The paper concludes with a summary and critical assessment of the measures implemented. Keywords effectiveness, PDCA-cycle, training evaluation, Kirkpatrick 1 Einleitung Die Effektivitätsmessungen im hochschulischen Bereich werden sehr kontrovers diskutiert. Überblicksarbeiten finden sich dazu unter anderem im Magazin für Erwachsenenbildung.at (2020). Insbesondere finden sich in der kritischen Betrachtung von Effektivitätsmessungen Hinweise darauf, dass besonders im Bildungsbereich keine kausalen Wirkungen bei komplexen Interventionen, wie z. B. der Einführung eines neuen Curriculums, zu lokalisieren sind (SCHRADER, 2014, S. 204). Besonders wird darauf verwiesen, dass gerade im Sozial- und Bildungsbereich wichtige Einflussfaktoren, die auf den Lernerfolg wirken, wie z. B. der soziale Status, nicht durch gesetzte Maßnahmen verändert bzw. beeinflusst werden können (SCHRADER, 2014, S. 205). Daher wird in vielen Fällen auf die Messung einzelner Einflussfaktoren zurückgegriffen, die sich in der Lehrevaluation leicht abbilden lassen. Um dem entgegenzuwirken, sollte im vorliegenden Beitrag aufgezeigt werden, wie diese umfassende Thematik zugeschnitten auf einen Masterstudiengang bewältigt werden kann. Durch die Einführung der Evaluation nach dem Vier-Stufen-Modell nach Kirkpatrick wird eine umfassende Evaluation des Studiengangs aufgezeigt. Es soll damit nicht nur die Zufriedenheit und der Lernerfolg der Studierenden gemessen werden. Durch die Einführung von verschiedenen Maßnahmen soll auch eine Messung der Transferleistungen in den Praxisalltag sichtbar gemacht werden. 2 Ausgangslage Der Bedarf an Evaluation von Lehrangeboten im Hochschulbereich in Österreich besteht längstens durch die im Hochschul-Qualitätssicherungsgesetz 2011 verankerte Pflicht, die interne Qualitätssicherung regelmäßig durch ein Audit sicherzustellen (REICHERT, 2019). Die Evaluationsergebnisse leisten dabei nicht nur einen wichtigen Beitrag für die professionelle Entwicklung von Weiterbildungsmaßnahmen, sondern liefern auch Grundlagen für die hochschuldidaktische und institutionelle Entwicklung einer Institution (HELLWIG, BRADSHAW & SCHROLLDECKER, 2020). Die Anbindung und Anpassung an die berufliche Praxis ist dabei besonders für berufsbegleitende Masterstudien an Fachhochschulen von Bedeutung (vgl. auch REINFELDT & FRINGS, 2003, S. 279). Die fh gesundheit – Zentrum für Gesundheitsberufe Tirol GmbH (fhg) bietet insgesamt 13 Masterprogramme in berufsbegleitender Studienform an. In diesem Artikel wird vorrangig auf den Masterstudiengang Qualitäts- und Prozessmanagement im Gesundheitswesen (kurz QPM) fokussiert, der fünf Kernmodule beinhaltet: Qualitäts-, Prozess-, Risiko-, Projekt- und Change Management. Die Studierenden des Masterstudiengangs QPM haben bereits in ihrem beruflichen Umfeld Erfahrungen mit den Inhalten des Studiengangs gemacht. Die persönlichen Zielsetzungen der Studierenden, sich für den Masterstudiengang an der fhg zu entscheiden, sind sehr individuell und vielfältig. Dennoch lassen sich zwei Hauptgründe durchgängig eruieren: persönliche Karriereentwicklung und fachliche Weiterbildung. Dies ist insofern von Bedeutung, da rund 80 % der Varianz des Lernerfolgs durch individuelle Faktoren der Studierenden und Lehrenden bedingt werden (ULRICH & HECKMANN, 2017, zitiert nach HATTIE, 2015). Die Auseinandersetzung im Studiengang mit Lehrevaluationen dient allerdings nicht nur dazu, um den Studienerfolg der Studierenden zu analysieren und sichtbar zu machen. Vielmehr steht im Zentrum der berufsbegleitenden Studien an Fachhochschulen die Schnittstelle zwischen hochschulischer Bildung und der Transfer in die Praxis. Deshalb müssen die Angebote nicht nur im Sinne der Lehrevaluation und des Lernerfolges analysiert und entwickelt werden, sondern auch im Hinblick auf ihre Anschlussfähigkeit und Transferleistungen in der Praxis. Gerade in den Kernfächern des Masterstudiengangs QPM steht die Anwendung der Instrumente des Qualitäts-, Risiko-, Prozess-, Projekt- und Change-Managements im Zentrum. Die gelernten theoretischen Inhalte und Instrumente sollen zielgerichtet auf Problemstellungen der Praxis angewendet werden. Es stellt sich naturgemäß die Frage, wie effektiv die einzelnen, im Rahmen des Studiums gesetzten Maßnahmen wirken bzw. gewirkt haben. Dazu hat sich das interne Team des Masterstudiengangs QPM im Rahmen eines Projektes intensiv mit der Evaluation von Lehr- und Lernmaßnahmen in der Erwachsenenbildung auseinandergesetzt. Daraus resultiert auch die Zusammenfassung in diesem Artikel. Auf Basis einer vom Masterstudiengang durchgeführten Evaluationsstudie zu Advanced-Life-Support-Trainings wurde an der Einführung und Weiterentwicklung des Evaluationsmodells nach Donald KIRKPATRICK (Ursprungsversion aus 1959) gearbeitet. Hierzu wurde eine Literaturrecherche zur Entwicklung und Anwendung des Modells in der Hochschullehre durchgeführt. Die Ergebnisse werden im nun Folgenden dargestellt. 3 Ergebnisse der Literaturrecherche BARGEL & EL HAGE (2000) haben eine Übersichtsarbeit zum Thema Modelle und Lehrverfahren der Lehrevaluation veröffentlicht, in der hervorgeht, dass sich zu diesem Zeitpunkt vier grundsätzliche Modelle der Lehrevaluation an Hochschulen herausgebildet haben (BARGEL & EL HAGE, 2000, S. 208). Dazu gehören Studentische Veranstaltungskritik: Hier wird durch unterschiedliche Befragungsmöglichkeiten, wie Fragebögen oder Dialoge, die Beurteilung der Lehrveranstaltungen aus Sicht der Studierenden erhoben. Diese wird vorrangig als direkte Rückmeldung für die Lehrenden genutzt. Rankings von Hochschulen und Fächern: Die Grundlage für das erste hochschulvergleichende Ranking in Deutschland wurde 1989 durch eine Erhebung der Zeitschrift Der SPIEGEL geschaffen. Hier wurden insgesamt 6000 Studierende gebeten, ihren eigenen Fachbereich zu beurteilen, um daraus ein Ranking zu erstellen. Die Lehrevaluation durch Hochschulrankings stößt allerdings auch auf Kritik. Es bleibt die Frage offen, inwieweit eine Bewertung zur Lehrleistung durch Studierende über eine gesamte Hochschule hinweg aussagekräftig sein kann. Lehrberichte der Hochschulen und Fachbereiche: Bereits seit Anfang der 1990er Jahre werden Lehrberichte und so bezeichnete Wissensbilanzen von Hochschulen erstellt. In dieser meist statistischen Datensammlung werden unterschiedliche Aussagen zu Fachstudiendauer, Drop-out- und Erfolgsquote, Notenverteilungen etc. dargestellt. Hierbei wird allerdings bemängelt, dass die Berichte der Hochschulen nicht einheitlich verfasst sind. Es gibt außerdem bislang keine Kriterien, die eine Vereinheitlichung, und damit verbunden, einen echten Vergleich ermöglichen. Peer-Reviews und kollegiale Begutachtungen Das „Niederländisches Modell“ der Lehrevaluation hat sich zur Beurteilung von Fachbereichen etabliert. Hier werden nach einer internen Datensammlung Fachkolleg*innen aus anderen Hochschulen ausgewählt, die vor Ort ein Audit durchführen. Es wird festgestellt, dass bei den „Peer-Reviews“ ähnliche Schwierigkeiten auftreten, wie bei Lehrberichten der Hochschule, dass inhaltliche Aspekte des Studiums im Rahmen der Beurteilung meist vernachlässigt werden (BARGEL & EL HAGE, 2000, S. 208ff). Die vorgestellten vier Modelle der Lehrevaluation werden einer genaueren Betrachtung und Kritik unterzogen. In weiterer Folge war es für das Projektteam ausschlaggebend zu eruieren, welche Modelle sich in der Zwischenzeit weiterentwickelt bzw. etabliert haben. Ein sehr bekanntes und gut etabliertes Modell zur Evaluation ist das Vier-Ebenen-Modell (siehe Abb. 1) von Donald KIRKPATRICK (1959, 1967, 1994). In diesem Modell wird die Möglichkeit zur Effektivitätsmessung einer Maßnahme vorgestellt, die sich speziell mit dem Produkt einer Lehr-/Lernhandlung befasst. Es baut insgesamt auf vier Stufen...