Arbeitsplatz-basiertes Assessment im Medizinstudium: Ist eine Multilevel-Analyse sinnvoll?

Abstract

Hintergrund. Einschätzungen der praktisch-klinischen Fähigkeiten von Studierenden (z. B. Anamnese- u. Gesprächsfähigkeiten) finden an vielen Universitäten mittlerweile regelmäßig statt: zur Messung des individuellen Lernerfolgs, aber auch zur Feststellung von Unterschieden in der didaktischen Qualität von Lehrenden. Studierende werden durch eine oder mehrere Personen in mehreren Kliniken/Instituten bzw. medizinischen Fächern zumeist mehrfach bewertet. Einfache Auswertungen dieses Materials können zu Fehlurteilen führen, da die Einschätzungen nicht unabhängig voneinander sind. Das ist als generelles Phänomen unter dem Begriff Mehrebenen- oder Multilevel-Struktur bekannt, wird aber eher selten berücksichtigt – u. a. weil entspr. Statistik-Programme für dieses Problem nicht ganz einfach in der Anwendung sind. Ziel. Anhand eines umfangreichen Datensatzes von Mehrfach-Bewertungen von 165 Medizinstudierenden in verschiedenen Kliniken soll gezeigt werden, wie mit dem Programm proc mixed von SAS der Multilevel-Charakter der Daten berücksichtigt werden kann. Spezifische Fragestellung und Methode. Es sollte untersucht werden, wovon die Fremdeinschätzungen von Medizinstudierenden im Rahmen sog. Mini Clinical Evaluation Exercises (Mini-CEX) mitbeeinflusst sind. Dafür wurden in der Prozedur proc mixed sog. Fixed effects und random effects eingeführt („gemischtes Modell“), um ihre Wirkung auf die Ergebnisse zu zeigen. Ergebnisse. Im gemischten Modell waren mehrere Variablen signifikante Prädiktoren für die Gesamteinschätzung der studentischen Leistungen. Zum Beispiel gaben Assistenzärzte deutlich bessere Einschätzungen für die Studierenden – im Vergleich zu Ober- und Chefärzten. Zurückhaltender in den Einschätzungen, also kritischer gegenüber den Studierenden waren die Ergebnisse aus kleineren Kliniken und bei geringerer Komplexität der zu bewertenden Sachverhalte. Im linearen Modell wären dagegen weitere Faktoren – fälschlicherweise – als signifikant markiert worden.