Wirkungsforschung – Methodische Bewertungsprinzipien

Methodische Bewertung von Einzelstudien im Forschungsbereich Wirkungsforschung

Die methodische Bewertung der Aussagekraft von Einzelstudien erfolgt in Anlehnung an das im Bereich der Therapieforschung entwickelte Modell der Forschungspyramide (vgl. Borgetto & Max 2016). In seiner auf die Selbsthilfeforschung übertragenen Form wird bestimmten Forschungsansätzen und Studientypen eine bestimmte Aussagekraft zugeschrieben, die aufgrund von methodischen Prinzipien in vier Evidenzklassen unterteilt ist (vgl. Abb. 1).

Anders als in der Evidenzbasierten Medizin, die keine Unterschiede zwischen Forschungsansätzen macht und die Aussagekraft einzig nach der internen Validität von Studiendesigns strukturiert, werden in der Forschungspyramide vier Forschungsansätze unterschieden: der quantitativ-experimentelle, der quantitativ-beobachtende, der qualitativ-beobachtende und der qualitativ-experimentelle Forschungsansatz.

Typisch für die Wirkungsforschung im Bereich der Selbsthilfe sind der quantitativ-beobachtende und der qualitativ-beobachtende Forschungsansatz. So werden im Rahmen von Studien z.B. die zu untersuchenden Selbsthilfe-Aktivitäten wie Selbsthilfegruppen oder Beratungsangebote nicht zum Zwecke der Studie initiiert, standardisiert oder anderweitig gestaltet, sondern so, wie sie in der Alltagswelt existieren beobachtet. Die Übertragbarkeit von Studienergebnissen auf die Welt außerhalb des Studienkontextes ist dadurch sehr hoch, die eindeutige Zurechenbarkeit der Wirkungen zu den Selbsthilfe-Aktivitäten jedoch begrenzt.

Experimentelle Forschungsansätze sind demgegenüber selten, aber (zumindest international) vorhanden. Das Problem quantitativ- und qualitativ-experimenteller Forschungsansätze ist, dass sie durch die experimentelle Initiierung und Gestaltung der Selbsthilfe-Aktivitäten und der Teilnahmevoraussetzungen z.B. durch Randomisierung nur ein künstliches Abbild von Selbsthilfe-Aktivitäten untersuchen. Zwar gelingt dadurch eine eindeutigere Zurechenbarkeit der Wirkungen zu den untersuchten Selbsthilfe-Aktivitäten, jedoch ist die Übertragbarkeit der Studienergebnisse auf die Welt außerhalb des Studienkontextes sehr begrenzt.

Ein ähnliches Dilemma ergibt sich im Hinblick auf die methodologischen Vorgehensweisen von quantitativen und qualitativen Forschungsansätzen. Quantitative Forschungsansätze streben meist mit statistischen Methoden die Untersuchung von hohen Fallzahlen, die Isolierung von Wirkfaktoren und  die Gewinnung abstrakter, numerischer Daten und Informationen an gewinnen und damit vorrangig statistische Wahrscheinlichkeit von Zusammenhängen zwischen Selbsthilfe-Aktivitäten und deren Wirkungen auf Gruppenebene. Die Übertragbarkeit auf den Einzelfall in der Welt außerhalb des Studienkontextes, z.B. auf eine/n Interessierte/n an einer Teilnahme an Selbsthilfegruppen, reduziert sich damit auf statistische Sicherheit bzw. Unsicherheit. Qualitative Forschungsansätze hingegen streben in der Regel mit offenen und interpretativen Methoden meist nach konkreten und komplexen Erklärungen der Zusammenhänge von Selbsthilfe-Aktivitäten und deren Wirkungen bei einzelnen Fällen, Personen oder Gruppen – häufig auf der Grundlage verbaler Daten. Die Übertragbarkeit liegt hier in dem Wiedererkennen möglicher Übereinstimmungen zwischen dem in den Forschungsergebnissen beschriebenen, konkreten Fällen und dem Einzelfall außerhalb des Studienkontextes. Eine statistische Wahrscheinlichkeit für die Übertragbarkeit ist dabei jedoch nicht gegeben.

Die damit beschriebenen methodologischen Dilemmata führen dazu, dass jeder Forschungsansatz, jeder Studientyp und jedes konkrete Studiendesign seine Vor- und Nachteile hat und sich die Studienergebnisse eher ergänzen, als dass die einen aussagekräftiger sind als die anderen. Deshalb gilt für die methodische Bewertung von Selbsthilfe-Wirkungsstudien der abgewandelte Grundsatz der Forschungspyramide, dass ein überzeugender Beleg für tatsächlich vorhandene Wirkungen von Selbsthilfeaktivitäten nur dann als gegeben angesehen werden kann, wenn Forschungsergebnisse aus Studien mit angemessener methodischer Strenge und hoher Durchführungsqualität möglichst aus allen vier Forschungsansätzen in einem Review zusammengefasst werden und in die gleiche Richtung weisen. Eine einzelne Studie hingegen kann ’nur‘ gute Gründe oder (schwächer) Anhaltspunkte für die Annahme tatsächlich vorhandener Wirkungen von Selbsthilfeaktivitäten anbieten.

Literatur

Borgetto, B, Max, S. (2016): Die Forschungspyramide – Evidenz verstehen und nutzbar machen. In: Bewegung und Entwicklung, 39, S. 14-43

 

Abbildung 1:

Legende/Erläuterung Forschungspyramide (FP):
EK: Evidenzklasse  (auch: Evidenzstufe) Aussagekraft von Kausalaussagen (Ursache → Wirkung), die aus empirischen Einzel­studien abgeleitet werden. In der FP werden bei der Bewertung von Einzelstudien 4 Evidenzklassen (I = sehr hohe Aussagekraft, IV = sehr geringe Aussagekraft) unterschieden.
SD: Studiendesign Gesamtheit der methodischen Merkmale und Vorgehensweisen einer Studie.
ST: Studientyp Charakterisierung von Gruppen von Studiendesigns nach typischen Merkmalen.
FA: Forschungs-ansatz Grundlegende Ausrichtung einer Studie/Forschungsmethodologie. FA-Merkmale in der FP: qualitativ, quantitativ, experimentell und beobachtend.
Quantitativ Forschungsansatz, der auf der Erhebung und Auswertung quantitativer Daten beruht.
Qualitativ Forschungsansatz, der auf der Erhebung und Auswertung qualitativer Daten beruht.
EXP: Experimentell Forschungsansatz, bei dem die Studiensituation/der Untersuchungsgegenstand (ins. die Ursache/unabhängige Variable) gezielt eingeführt/gestaltet wird.
BEO: Beobachtend Forschungsansatz, bei dem die Studiensituation/der Untersuchungsgegenstand so wenig wie möglich beeinflusst/ durch die Studiendurchführung verändert wird.
Vergleich Ein vergleichender Studientyp vergleicht Wirkungen bzw. deren Ausbleiben, die sich aus unterschied­lichen Ursachen bzw. dem Vorliegen/Nicht-Vorliegen von Ursachen ergeben. Die unterschiedlichen Ursachen bzw. das Vorliegen/Nicht-Vorliegen von Ursachen ist entweder unabhängig von der Studie gegeben (BEO) oder wird in der Studie gezielt herbeigeführt (EXP).
Prospektiv Ein prospektiver Studientyp erfasst Ursachen und Wirkungen zeitlich getrennt nacheinander, ggf.: Erfassung von Wirkungen zu mehreren Erhebungs­zeitpunkten.
Retrospektiv Ein retrospektiver Studientyp erfasst die Ursachen und Wirkungen zeitgleich (Querschnittsstudie), die Fragerichtung ist in die Vergangenheit gewendet, die zeitliche Abfolge von Ursache und Wirkung wird rück­blickend rekonstruiert. Kann die Unterscheidung von Ursache und Wirkung nicht angemessen theoretisch begründet werden, so ist die Ableitung einer Kausalaussage in einer Querschnitsstudie nicht möglich.
Randomisierung SD-Merkmal: Zuteilung von Studienteilnehmern/Untersuchungsgegenständen in eine Experimental- und eine Kontrollgruppe nach dem statistischen Zufallsprinzip. Konstituiert bei quantitativ-experimentellen Studien eine eigene EK.

WiSe

HAWK Hochschule für angewandte Wissenschaft und Kunst
Fakultät Soziale Arbeit und Gesundheit
Studiengänge Ergotherapie, Logopädie und Physiotherapie
Standort Hildesheim
www.hawk-hhg.de

Projektleitung:
Prof. Dr. Bernhard Borgetto

Wissenstransfer für die Selbsthilfe in Kooperation mit dem IFB