Vielleicht ist es dir schon aufgefallen: wir lesen gerne Studien. Es macht uns nicht nur Spaß, sondern wir finden es auch einfach wichtig, in unseren jeweiligen Fachgebieten auf dem neuesten Stand der Wissenschaft zu bleiben. Aber: nicht alles, was sich “Studie” nennt, bringt auch tatsächlich qualitativ hochwertige und aussagekräftige Ergebnisse hervor. Trotzdem werden solche Resultate dann manchmal in div. Medien lauffeuerartig verbreitet, weil sie ein “heißes Eisen” sind bzw. ein Thema betreffen, zu dem es in der Pferdewelt sehr konträre Meinungen gibt und sich darüber wunderbar diskutieren lässt.
Daher wollen wir heute dafür plädieren, Studienergebnisse vor der Verbreitung genau unter die Lupe zu nehmen und die Qualität der jeweiligen Pferdestudie zu prüfen. Denn Studie ist bei weitem nicht gleich Studie!
Das beginnt beim Auftraggeber: Studien sind teuer, vor allem wenn sie gut gemacht sind. Daher gibt es oft einen Auftraggeber oder Sponsor mit Eigeninteresse – z.B. den Hersteller eines Produkts, der eine bestimmte Wirkung seines Produkts beweisen möchte. Solche Studien sollten besonders kritisch betrachtet werden, z.B. ob das Studiendesign vielleicht absichtlich zu Gunsten des Herstellers gewählt wurde.
Was ist ein Studiendesign?
Das Studiendesign ist quasi der Plan, nach dem eine Studie durchgeführt wird. Dazu gibt es verschiedene Modelle. Der “Goldstandard” ist die “randomisierte kontrollierte Studie”. Bei dieser gibt es neben der eigentlichen Test-Gruppe noch eine zweite Gruppe, die entweder nicht oder mit einem Placebo behandelt wird (= Kontrollgruppe, daher “kontrollierte Studie”). Die Teilnehmer (die Pferde) werden zufällig zugewiesen (“randomisiert”). Als zusätzliches Qualitätsmerkmal gilt, wenn die Studie dann noch obendrein “doppelt verblindet” ist. Das bedeutet: weder die Teilnehmer (im Falle von Tieren: ihre Besitzer/Betreuer) noch die Untersucher wissen, wer sich in welcher Gruppe befindet. So können subjektive oder unbewusste Einflussnahmen zu Gunsten einer Gruppe vermieden werden.
Auch das Crossover-Design – bei dem ebenfalls zwei Gruppen verwendet werden, die aber nach einer gewissen Zeit getauscht werden – ist ein guter Ansatz.
Nicht aussagekräftig sind hingegen Studien, die nur eine einzige Gruppe untersuchen, ohne Vergleichswerte.
Wichtig sind im Studiendesign auch verschiedene Phasen: z.B. im Falle von Fütterungs- oder Haltungsänderungen: gab es eine ausreichend lange Eingewöhnungsphase?
Wie werden die Ergebnisse ermittelt?
Auch die Methodik, d.h. wie die Daten erfasst werden, ist von hoher Bedeutung für die Qualität des Ergebnisses. Hier sollten objektiv messbare Werte verwendet werden und keine subjektiven Einschätzungen. Dies ist z.B. bei Blutwerten sehr einfach, aber insbesondere im Bereich der Verhaltensforschung oft ein Problem und Ergebnisse beruhen dann manchmal nur auf Fragebögen, die von den Pferdebesitzern ausgefüllt wurden. Gerade deshalb ist es auch hier wichtig, objektive Kriterien zu finden.
Ein Beispiel: Anstatt den Besitzer zu fragen, ob sein Pferd im Rahmen der Studie mehr oder weniger gestresst wurde, sollten neutrale Beobachter die Pferde anhand eines vordefinierten Katalogs bewerten (z.B. Häufigkeit von Gähnen, Liegen, Drohgebärden etc.).
Rahmenbedingungen und Interpretation von Studien
Weitere Einflussfaktoren, die bei Pferdestudien oft mangelhaft sind (häufig aufgrund von fehlenden Ressourcen):
- Studiendauer (gerade im Pferdebereich haben jahreszeitliche Faktoren tlw. einen großen Einfluss; Studien über mind. ein komplettes Jahr oder besser zwei Jahre sind daher aussagekräftiger als Studien über wenige Wochen)
- Anzahl der teilnehmenden Pferde (wir haben Studien mit nur 6 teilnehmenden Pferden gefunden – diese Anzahl ist definitiv nicht repräsentativ und kann bestenfalls als Ergebnis einen Hinweis für zukünftige Forschungen ergeben)
- Diversifizierung der teilnehmenden Pferde (welches Alter, Rasse, Geschlecht hatten die Pferde, wie sind diese gehalten, gefüttert, trainiert etc.)
- Anzahl der Messungen (“Querschnittsstudie” zeigt nur eine einmalige Momentaufnahme; “Längsschnittstudien” protokollieren hingegen einen Verlauf mit mehreren Messpunkten)
Bei sorgsam ausgewähltem Studiendesign, entsprechender Methodik und Rahmenbedingungen sollten die erhobenen Daten schließlich ein relativ aussagekräftiges Ergebnis hervorbringen. Dennoch ist auch bei der Interpretation der Daten Vorsicht geboten, denn oftmals verleitet Korrelation zur Annahme von Kausalität. Was ist damit gemeint? “Korrelation” bedeutet, dass zwei Variablen statistisch zusammenhängen. “Kausalität” bedeutet, dass eine Variable eine Auswirkung auf eine andere hat, wohingegen eine Korrelation zwischen zwei Variablen auch zufällig sein kann.
Ein fiktives Beispiel für eine Pferdestudie
Nehmen wir an, dass eine Studie ergeben hat, dass Pferde in Offenstallhaltung durchschnittlich einen geringeren Muskeltonus haben als Pferde in Boxenhaltung. Hier würden sich gleich mehrere kritische Fragen zur Studiendurchführung aufdrängen:
- Wie viele Gruppen wurden eingeteilt und nach welchen Kriterien erfolgte die Zuteilung?
- Wie wurde “Offenstallhaltung” definiert (zu welcher Gruppe zählen beispielsweise Pferde, die tagsüber im gemeinsamen Laufstall stehen und nachts in Einzelboxen)?
- Wie wurde der Muskeltonus gemessen (Angabe durch den Besitzer? Subjektive Einschätzung eines einzelnen Manualtherapeuten? Messung an definierten Druckpunkten durch mehrere verschiedene Tierärzte zu mehreren verschiedenen Zeitpunkten? Mit Hilfe der Elektromyographie?)?
- Und natürlich die bereits genannten Fragen nach Studiendauer, Anzahl und Art der teilnehmenden Pferde usw.
Je nach Studiendesign kann dann auch die Kausalität überprüft werden: wurden die Pferde lediglich in ihrer bestehenden Haltungsform untersucht oder wurden die Pferde per Zufall in zwei Gruppen eingeteilt und beide Haltungsformen an beiden Gruppen getestet? Falls die Pferde nämlich nur in ihrer bestehenden Haltung analysiert wurden, könnte es ein Problem mit der Kausalität geben: es könnte sein, dass die Pferde nicht WEGEN dem Offenstall eine lockerere Muskulatur haben, sondern es könnte auch einen anderen Grund geben. Beispielsweise könnten Offenstallpferde eher Besitzer haben, die mehr entspannte Ausritte machen oder gar nicht reiten, wohingegen die Boxenpferde vielleicht eher ambitionierte Sportreiter mit hoher Leistungsanforderung als Besitzer haben. Vielleicht könnte also das TRAINING die Ursache des hohen Muskeltonus’ sein und die HALTUNGSFORM nur zufällig korrelieren.
Wurde hingegen beispielsweise ein schlaues Crossover-Design angewendet, in dem die Pferde in zwei Gruppen eingeteilt und zuerst drei Monate in der einen Haltungsform verbrachten und anschließend für die gleiche Zeit in die jeweils andere Haltungsform wechselten (und die Messungen erst nach einer angemessenen Umstellungszeit durchgeführt wurden), dann wäre es plausibel, die Haltungsform als ursächlich zu sehen und daher eine Kausalität zwischen Haltungsform und Muskeltonus anzunehmen.
Fazit zu Studien im Pferdebereich
Du siehst also: es ist gar nicht so einfach, eine gute Pferdestudie durchzuführen. Gute Studienautoren werden in ihrer Zusammenfassung ihrer Ergebnisse auch auf mögliche Schwachstellen und Missinterpretationen hinweisen. Und sie werden ihre Studie auch durch die Wissenschaftsgemeinschaft prüfen lassen (Peer Review). Letzteres ist nochmal ein aufwendiger Schritt und stellt quasi ein Gütesiegel der gesamten Branche dar. Das heißt im Umkehrschluss aber nicht automatisch, dass Studien ohne Peer Review schlecht sind.
Keine Sorge: du musst jetzt trotzdem nicht selbst WissenschafterIn werden, um qualitativ hochwertige Studien im Pferdebereich identifizieren zu können. Oftmals reicht schon ein Blick in das sogenannte “Abstract” – das ist quasi eine Kurz-Zusammenfassung der Studie und enthält im Normalfall bereits wertvolle Informationen, z.B. zur Studiendauer, Teilnehmerzahl und Studiendesign. Damit kannst du bereits auf den ersten Blick eine grobe Abschätzung vornehmen. Wir wollen dich daher ermutigen, bei zukünftigen Diskussionen über neue Studienergebnisse zuerst einen Blick hinter den Ablauf bzw. Aufbau zu machen und dir dann eine eigene Meinung dazu zu bilden.