Wissenschaft als Basis politischer Entscheidungen: Ein Beispiel zur Prüfung von Studien auf Aussagefähigkeit

Bei der Prüfmethode von CETS und ZVO geht es nicht um die Entscheidung, ob eine Studie richtig oder falsch ist. Es geht darum, deren Aussagefähigkeit und wissenschaftliche Belastbarkeit zu beurteilen. Nur wenn eine Datenquelle hinreichend plausible und wissenschaftlich fundierte Ergebnisse vorlegt, sollte sie im weiteren Entscheidungsweg berücksichtigt werden.

Im März 2018 wurde beispielsweise eine Studie vorgelegt, die die chronische Toxizität von Nanomaterialien am Beispiel von Ceroxid (CeO₂) bewerten sollte[1]. Viele Entscheidungsträger sind auf die Aussagen der „Experten“ angewiesen, ohne sie tatsächlich überprüfen zu können.

Im Folgenden wird anhand der angesprochenen Studie dargelegt, wie sich dennoch eine fundierte Aussage fällen lässt, ob die vorgelegten Informationen bei der Entscheidungsfindung helfen können. Dazu ist es nicht nötig, sich durch viele Seiten voller Fachtermini zu kämpfen. Hilfreich ist ein detailliertes Inhaltsverzeichnis, das den Weg zu den Kernaussagen ebnet. Längere Texte ohne ein solches Inhaltsverzeichnis sollten sofort Misstrauen hervorrufen.

Die Methode von CETS und ZVO verwendet fünf hierarchisch geordnete Kriterien[2]. Sie werden in fester Reihenfolge angewendet (siehe Abbildung). Sollte eines der Kriterien als nicht ausreichend bewertet werden, sind alle folgenden ohne Bedeutung und die Informationsquelle kann nicht als Basis weiterer Entscheidungen dienen.

Reproduzierbarkeit

Erstes Kriterium der Betrachtung ist die Reproduzierbarkeit. Da sich die exemplarisch betrachtete Studie auf spezifische Aussagen zur Wirkung von CeO₂ beruft[3], sollten identische, unabhängig gewonnene Ergebnisse beispielsweise aus Arbeiten eines anderen Arbeitskreises vorliegen. Analoge Ergebnisse mit anderen Substanzen (wie für TiO₂ zitiert) genügen hier nicht. Andernfalls müssten die Ergebnisse auf allgemeine Eigenschaften wie nanoskaligen Staub zurückgeführt werden.

Da solche Ergebnisse zum Vergleich nicht vorliegen bzw. nicht diskutiert werden (obwohl in der Referenzliste Untersuchungen zum nanoskaligen CeO₂ genannt werden[4], die allerdings noch unveröffentlicht waren), ist Reproduzierbarkeit nicht nachweisbar.

Singuläre Beobachtungen sind keine Basis von sorgfältiger Wissenschaft („sound science“). Sie dienen allenfalls der wissenschaftlichen (nicht politischen) Hypothesenbildung.

An dieser Stelle könnte die Beurteilung nach der CETS/ZVO-Methode bereits abgebrochen werden, da diese Studie (noch) nicht für politische, regulative Entscheidungen herangezogen werden sollte. Jedoch soll zum Verständnis der Methode noch auf die weiteren Kriterien eingegangen werden.

Aussagefähigkeit

Zweites Kriterium ist die Aussagefähigkeit. Dabei wird betrachtet, ob sich die vorliegende Studie mit den gewünschten oder notwendigen Sachverhalten für weitere Entscheidungen auf dem aktuellen Themengebiet befasst. Wie die Studie selbst ausführt, sollen Aussagen zur Langzeitwirkung gewonnen werden, die unter anderem „für eine Umwelt- oder Arbeitsplatzexposition am ehesten relevant sind“. Eine Übertragung in übliche Umwelt- und Arbeitsplatzgegebenheiten soll möglich sein. Die für die Studie gewählten Versuchsbedingungen sind jedoch kaum mit zu erwartenden realen Gegebenheiten in Einklang zu bringen. Die Versuchstiere (in Summe wohl 500 Ratten) wurden Expositionen von 100 bis 3.000 µg/m³ ausgesetzt. Die Exposition erfolgte über 24 Monate ohne Pause. Es wird sofort deutlich, dass hier Bedingungen geschaffen wurden, die nicht mit modernen, in Deutschland üblichen Arbeitsbedingungen übereinstimmen. Auch sind Auswirkungen derart übertrieben hoher, staubförmiger Expositionen jedem unvorsichtigen Heimwerker als Reizung der Bronchien und der Lunge bekannt. Wie die Ergebnisse auf die Umwelt zu übertragen wären, erschließt sich nicht.

Die Aussagefähigkeit der Studie ist an dieser Stelle infrage zu stellen. Auch hier könnte die Bewertung bereits abgebrochen werden.

Repräsentativität

Repräsentativität als drittes Kriterium ist gegeben, wenn die Ergebnisse der Experimente hinreichend gut erweitert werden können. Naturgemäß sind Experimente beschränkt. Es gilt also zu betrachten, ob sie überhaupt in größerem Rahmen Berücksichtigung finden können.

Die Erweiterbarkeit toxikologischer Untersuchungen an Ratten ist gebunden an die Übertragbarkeit der Wirkungen vom Tier auf den Menschen. Die Studie diskutiert die Zulässigkeit dieser Übertragbarkeit, zum Beispiel durch Vergleiche mit epidemiologischen Daten bei Menschen, jedoch nicht. Noch bezeichnender ist, dass laut Bericht einige Wirkungen auch bei unbehandelten Tieren zu beobachten waren. Es ist daher fraglich, wie die Ergebnisse der Studie auf andere Umgebungen übertragen werden sollten. Als Basis weitergehender Entscheidungen und Maßnahmen ist die Studie ungeeignet und wieder kann die Bewertung hier eigentlich enden.

Richtigkeit

Richtigkeit ist das vierte Kriterium, bei dem systematische Fehler zu identifizieren bzw. auszuschließen sind. Finden sich keine systematischen Fehler, können die Ergebnisse als richtig gelten, auch wenn es kein Beweis für Richtigkeit ist. Der Nachweis systematischer Fehler führt jedoch sofort zum Verwerfen der Ergebnisse – eine erneute Untersuchung unter Eliminierung der Fehler ist zwingend.

Die Studie weist mindestens zwei grundsätzliche systematische Fehler auf: Erstens setzt sie implizit Stoffeinfluss voraus. Da lediglich CeO₂ untersucht wurde, werden Wirkungen auf die Substanz als solche zurückgeführt. Die Versuche mit unbehandelten Kontrollgruppen können diesen Fehler nicht beseitigen. Es wäre sinnvoll gewesen, die Versuche mit anderen Substanzen analog durchzuführen. Möglicherweise hätte sich schnell gezeigt, dass allein die Erscheinungsform des Stoffes (Staub, nanoskalig) von entscheidender Bedeutung ist.

Zweitens will die Studie nach eigenen Worten die „Wirkungen im Bereich niedriger Belastungen, die für eine Umwelt- oder Arbeitsplatzexposition am ehesten relevant sind“ untersuchen (Seite 15). Die gewählten Expositionshöhen (100 bis 3.000 µg/m³) liegen aber eher im seltenen Hochdosisbereich bei Umwelt und Arbeitsplätzen. Diese Aspekte lassen Zweifel an der Richtigkeit der gezeigten Ergebnisse für die vorgesehenen Aussagen aufkommen.

Genauigkeit

Auch die Genauigkeit als letztes Kriterium soll betrachtet werden. Hier sind zwei Aspekte bedeutsam: Erstens sind die Analysenergebnisse von CeO₂ in den Gewebeproben fragwürdig. Sie erfolgten unter 4- bzw. 5-Punkt-Kalibration durch Standardaddition (siehe beispielsweise Seite 24). Es sind keine Analysenunsicherheiten angegeben. Die Bestimmung von Nachweis- und Bestimmungsgrenze wird nicht verifiziert bzw. ist nicht nachvollziehbar. Zudem sind die Angaben auf Seite 25 zum Hintergrundlevel auf „Lunge“ bezogen. Eine Aussage zum analytischen Rauschen wird somit nicht getroffen. Seite 27 zeigt schon grafisch, dass die Diskussion der Analysenschwankungen jedoch dringend geboten gewesen wäre, da die Messwerte offensichtlich signifikant um die Korrelationskurven streuen.

Zweitens zeigt die Zusammenführung der Ergebnisse in den Conclusions (siehe Seite 61 ff.) eine uneinheitliche Zuordnung der Wirkungen. Zudem versteigt sich die Studie zu der spekulativen Vermutung: “On the other hand, there was a marked individual variation in the inflammatory response of the rats in all test groups, especially in the low CeO2 doses after 24 months of exposure as well as after 30 months. The reason for this difference in the inflammatory reaction to CeO2 inhalation is unknown, but is probably due to genetic variability of the rat strain being the outbred strain“ (Seite 63). Ohne jeden Beweis wird die Varianz der Ergebnisse ohne ausführliche Fehlerdiskussion der genetischen Varianz zugeordnet.

Fazit

Die CETS/ZVO-Methode hilft dabei zu beurteilen, ob sich vorliegende, wissenschaftliche Untersuchungen als Grundlage für politische, regulative Maßnahmen eignen. Die Anwendung fünf einfacher Kriterien auf die oben genannte Studie führt rasch zum Verwerfen einer solchen Eignung. Politische Folgerungen aus derartigen Datenquellen sind nicht begründbar. Der Wert für die wissenschaftliche Forschung wird hingegen nicht infrage gestellt. Doch dort sollte eine solche Studie auch zunächst verbleiben – als Hypothesenbildner.

[1] https://www.bmu.de/fileadmin/Daten_BMU/Pools/Forschungsdatenbank/fkz_3712_61_206_toxizitaet_kanzerogenitaet_nano_bf.pdf

[2] https://www.zvo.org/aktuelles/news/fundierte-wissenschaft-sound-science-erkennen.html

[3] Seite 62: “Incidence and severity of the alterations and their rate of progression are influenced by the inherent toxicity of the particle…”

[4] Schwotzer D, Niehof M, Schaudien D, Kock H, Hansen T, Dasenbrock C, Creutzenberg O: Cerium oxide and barium sulfate nanoparticle inhalation affects gene expression in alveolar epithelial cells type II. J Nanobiotechnology 2018 (in press)