Wissen! Was wirkt?

Wissen aufbereiten nach Standards der Evidenzbasierung

Das Mercator-Institut schlägt eine Brücke zwischen Forschung, Politik und Praxis. Es trägt Erkenntnisse über die Wirksamkeit von Konzepten, Maßnahmen oder Modellen im Bereich sprachliche Bildung zusammen. Ziel des Angebots "Wissen! Was wirkt?" ist es, das Wissen zielgruppenspezifisch in verschiedenen Formaten aufzubereiten.

Hintergrund

Sprachliche Kompetenzen entscheiden wesentlich über Bildungserfolg. Darüber besteht in der empirischen Bildungsforschung Einigkeit. Über die grundlegenden Zusammenhänge von individuellen, gesellschaftlichen sowie sozialen Faktoren und sprachlichen Kompetenzen liegen zahlreiche empirische Erkenntnisse vor. Dennoch entwickeln sich viele kontroverse Debatten über sprachbezogene Themen und Fragestellungen wie etwa Mehrsprachigkeit, Lese- und Schreiberwerb oder der Einfluss digitaler Medien auf Sprache. Dabei finden sich auch Meinungen und Positionen, die den aktuellen Forschungsstand ungenau wiedergeben, ihn falsch interpretieren oder ignorieren. So entstehen Mythen und Vorurteile. 

Zahlreiche bildungspolitische Entscheider befürworten, dass empirische Erkenntnisse zur ihrer Arbeit beitragen. Dafür ist es hilfreich, die wissenschaftlichen Befunde systematisch und transparent zu bestimmen und für unterschiedliche Adressaten in der Bildungspraxis, -politik und -verwaltung sowie für die Zivilgesellschaft aufzubereiten. Hier setzt Wissen! Was wirkt? an.

Ziele

Das Mercator-Institut schlägt mit diesem Angebot eine Brücke zwischen Forschung, Politik und Praxis im Bereich sprachliche Bildung. Ziel ist es einerseits, Bildungsakteuren sowie der Zivilgesellschaft den Zugang zu aktuellen Themen, Konzepten und Forschungsergebnissen zu erleichtern. Andererseits sollen Vertreterinnen und Vertreter der Bildungspolitik und Praxis das beste verfügbare Wissen zu sprachlicher Bildung auf der Grundlage wissenschaftlicher Erkenntnisse bekommen. Dafür entwickelt Wissen! Was wirkt? evidenzbasierte und partizipative Transferkonzepte für den Bereich sprachliche Bildung weiter.

Wissenstransfer

Unter Wissenstransfer versteht das Mercator-Institut die Vermittlung und Übertragung wissenschaftlicher Ergebnisse zu Fragen der sprachlichen Bildung in Zivilgesellschaft, Bildungspraxis, Bildungsverwaltung und Bildungspolitik. Leitendes Prinzip ist die Evidenzbasierung. Dafür ist es einerseits wichtig, dass Forscherinnen und Forscher bei ihrer Arbeit qualitätssichernde Verfahren nutzen und offenlegen, wie sie zu ihren Ergebnissen gekommen sind. Zum anderen ist es entscheidend, verschiedene Akteursgruppen in diesen Prozess einzubinden. Dazu zählen auch Vertreterinnen und Vertreter, die außerhalb der Wissenschaft tätig sind. Diese liefern wichtige Hinweise, wie Befunde zielgruppengerecht verbreitet werden können und geben Wissenschaftlerinnen und Wissenschaftlern Impulse für ihre Arbeit und möglicherweise für neue Forschungsprojekte. Um Forschungswissen für unterschiedliche Zielgruppen nutzbar zu machen, arbeiten das Wissen! Was wirkt?-Team und die Stabsstelle Kommunikation des Mercator-Instituts Grundlagen- sowie Forschungswissen zu sprachlicher Bildung in verschiedenen Formaten für Medien, Bildungspolitik und Bildungsverwaltung sowie Bildungspraxis auf.

Formate: Basiswissen, Faktenchecks, Expertisen

Im Format Basiswissen sprachliche Bildung bereiten die Autorinnen und Autoren zentrale Begriffe und Konzepte sprachlicher Bildung knapp und verständlich auf. Faktenchecks klären anhand häufig gestellter Fragen über Mythen, Vorurteile und Ungenauigkeiten zu sprachlicher Bildung auf der Grundlage verlässlicher Zahlen und Fakten auf. Im Format Expertise erarbeitet das Wissen! Was wirkt?-Team evidenzbasierte Schlussfolgerungen sowie Handlungsempfehlungen für Bildungsinstitutionen, die dazu beitragen können, dass sich die Praxis in Bildungseinrichtungen verbessert.

Basiswissen sprachliche Bildung

Zielgruppen:

Lehrerbildnerinnen und -bildner, Lehrkräfte in der Praxis, Lehramtsstudierende, pädagogische Fachkräfte im Elementarbereich 

Ziele:

Zugang zu einem Thema erleichtern, Einführung in ein Thema geben

Leitfragen:

Was ist X? Wie funktioniert X?

Methoden:

Nicht-systematischer Literaturüberblick, Expertenkonsultation

Faktencheck

Zielgruppen:

Medien, Bildungspolitik und -verwaltung, Zivilgesellschaft

Ziele:

Verlässliche Informationen (etwa Zahlen, Fakten) bereitstellen; über Mythen, Vorurteile und Ungenauigkeiten aufklären

Leitfragen:

Stimmt es, dass…? Gibt es konkrete Beispiele/Informationen zu…? 

Methoden:

Literaturüberblick, Systematische Bestandsaufnahme, Expertenkonsultation, Studienüberprüfung/-bewertung

Expertise

Zielgruppen:

Bildungsverwaltung, Lehrerbildner und -bildnerinnen

Ziele:

Systematische Ermittlung und Bewertung von Wissen mit Blick auf die Wirksamkeit/Qualität; evidenzbasierte Handlungsempfehlungen für die Bildungsverwaltung

Leitfragen:

Was weiß man (noch nicht) über X? Wie wird X bewertet? Wie wirksam ist X? 

Methoden:

Systematische Bestandsaufnahme, Systematisches Review, Studienüberprüfung/-bewertung, Expertenkonsultation

Informationen zur Arbeitsweise

Evidenzbasierte Arbeitsweise

In den Formaten Faktencheck und Expertise folgt das Wissen! Was wirkt?-Team bei der Erfassung, Dokumentation und Bewertung von Forschungsergebnissen der gängigen evidenzbasierten Praxis (Process of Evidence Based Practice nach Dawes et al. 2005). Diese beinhaltet Folgendes:

  • Monitoring der Sachverhalte/Fragen, die zu klären sind, 
  • Formulierung suchtauglicher Fragestellungen, 
  • systematische Suche nach wissenschaftlichen Befunden,
  • Auswahl und Bewertung wissenschaftlicher Befunde sowie deren Zusammenschau (Synthese),
  • Transfer der Ergebnisse in die Praxis und 
  • begleitende Evaluierung der Anwendung in der Praxis.

Hierfür nutzt das Team unterschiedliche Methoden (s. Beschreibungen weiter unten). Die Auswahl der Methode sowie die Standards und Kriterien richten sich nach dem jeweiligen Gegenstand bzw. der jeweiligen Fragestellung und werden bei der Erstellung eines Formats konkret beschrieben.

Für Faktenchecks dienen z. B. systematische Bestandsaufnahmen, die es ermöglichen, Forschungswissen einzuordnen, zu schärfen und zu objektivieren. Mittels systematischer Reviews können Forscherinnen und Forscher neue Erkenntnisse auf der Grundlage von vorhandenen Primärstudien erlangen, die sie dann in Expertisen für die Wissenschaft und die Bildungsverwaltung aufbereiten. Die Recherche-, Auswahl- und Bewertungsprozesse dokumentieren sie bei diesen Methoden und legen diese stets offen, damit sie jederzeit nachvollziehbar und replizierbar sind. Aktuell arbeitet das Team an einem systematischen Review zur Wirksamkeit von sprachsensiblen Unterrichtsansätzen. Die in diesem Prozess möglicherweise aufgedeckten Forschungslücken dienen außerdem dazu, neue Projekte zu initiieren.

Informationen zu den möglichen Methoden

Literaturüberblick

In einem Literaturüberblick erfassen die Wissenschaftlerinnen und Wissenschaftler den aktuellen Forschungsstand zu einem bestimmten Thema (in der Regel wissenschaftliche Literatur).

Vorgehensweise 

Den aktuelle Forschungsstand ermitteln die Wissenschaftlerinnen und Wissenschaftler z. B. mittels strukturierter Abfragen in allgemeinen und themenspezifischen Datenbanken, per Handsuche und Schneeball-Prinzip. Im Gegensatz zu einer systematischen Bestandsaufnahme oder einem systematischen Review legen die Forscherinnen und Forscher die Suchstrategie und Auswahlkriterien bei dem Literaturüberblick vorab nicht fest und dokumentieren die Arbeitsschritte auch nicht. Damit ist die Auswahl von Primärstudie bei diesem Vorgehen stärker durch persönliche Bezüge geleitet.

Anwendung

Mit Ausnahme von systematischen Bestandsaufnahmen, systematischen Reviews oder Meta-Analysen ist der Literaturüberblick die überwiegend verwendete Methode bei wissenschaftlicher Literatur (Monographien, Sammelbände, Handbuch-, Zeitschriftenartikel).

Weiterführende Informationen

Dicks, Lynn et al. (2017): Knowledge synthesis for environmental decisions: an evaluation of existing methods, and guidance for their selection, use and development: Non-systematic literature review

Expertenkonsultation

In Expertenbefragungen holen Forscherinnen und Forscher Bewertungen, Stellungnahmen und Einschätzungen von ausgewiesenen Expertinnen und Experten eines bestimmten Themenbereichs systematisch ein.

Vorgehensweise 

Den Einzel- oder Gruppenbefragungen liegt ein systematisches Vorgehen zugrunde. Das heißt konkret, dass die Auswahl der Expertinnen und Experten sowie die eingesetzte Methode einem zuvor festgelegten Ziel bzw. der Beantwortung einer konkreten Fragestellung oder eines Problems folgt. Die Befragung findet persönlich oder online, mündlich oder schriftlich statt. Die Auswertung des schriftlich festgehaltenen Wissens (z. B. über Protokolle oder transkribierte Audioaufnahmen) erfolgt nach qualitativen (inhaltsanalytischen) Methoden.

Anwendung

Expertenkonsultationen eignen sich als zusätzliche Methoden der Wissensgenerierung, z. B. um durch Bewertungen, Stellungnahmen und Einschätzungen in einem bestimmten Bereich Wissen zu ergänzen.

Weiterführende Informationen

Dicks, Lynn et al. (2017): Knowledge synthesis for environmental decisions: an evaluation of existing methods, and guidance for their selection, use and development: Expert consultation

Studienüberprüfung/-bewertung

In Studienüberprüfungen/-bewertungen nehmen Wissenschaftlerinnen und Wissenschaftler eine (häufig im peer-Verfahren durchgeführte) Bewertung empirischer Studien nach standardisierten (Qualitäts-)Kriterien und -katalogen vor.

Vorgehensweise 

Abhängig von der Art der bewerteten Studien (z. B. systematische Reviews, (quasi)-experimentelle oder qualitative Studien) kodieren die Forscherinnen und Forscher mittels eines Protokolls bzw. eines Kodierschemas zentrale Qualitätsmerkmale von empirischen Studien und bewerten diese anschließend zusammenfassend. Die Einschätzung der Qualität erfolgt beispielsweise auf einer (prozentualen) Skala oder durch ein mehrgliedriges Kategoriensystem.

Anwendung

Studienüberprüfungen/-bewertungen haben das Ziel, wesentliche Inhalte und Ergebnisse empirischer Studien nach objektivierten und standardisierten Kriterien kritisch zu bewerten. Sie dienen somit als Bewertungs- und Einschlusskriterium für die Zusammenschau aller ermittelten Primärstudien in systematischen Reviews.

Weiterführende Informationen

What Works Clearinghouse (2017): Procedure Handbook Version 4.0 (S. 9‑11).

Systematische Bestandsaufnahme

In einer systematischen Bestandsaufnahme erfassen Wissenschaftlerinnen und Wissenschaftler mittels einer standardisierten und systematischen Suchstrategie (in der Regel wissenschaftliche und graue Literatur) fragengeleitet den aktuellen Forschungsstand zu einem bestimmten Themenbereich. 

Vorgehensweise 

Nach der Formulierung einer suchtauglichen Fragestellung folgen strukturierte Abfragen in allgemeinen und themenspezifischen Datenbanken, per Handsuche und Schneeball-Prinzip sowie unter Berücksichtigung grauer Literatur. Bei den durch diese breit angelegte Suchstrategie ermittelten Dokumente prüfen die Wissenschaftlerinnen und Wissenschaftler anschließend in einem mehrstufigen Auswahlprozess, ob diese tatsächlich thematisch passen. Die Suchstrategie und Auswahlkriterien legen sie vorab fest und die Schritte sowie Ergebnisse dokumentieren sie in einem Protokoll und legen sie damit offen. Das Protokoll wird einem peer review unterzogen.

Anwendung

Systematische Bestandsaufnahmen ermöglichen es, Wissen zu einem breiteren Thema systematisch und transparent zusammenzutragen und zu beschreiben sowie einen Einblick in vorhandenes und nicht-vorhandenes Wissen zu geben. Somit lassen sich verlässlich Bereiche identifizieren, in denen noch wenig oder überhaupt nicht geforscht wurde. 

Der Umfang einer systematischen Bestandsaufnahme kann variieren – im Vergleich zu systematischen Reviews berücksichtigen systematische Bestandsaufnahmen grundsätzlich weniger Studien und weisen ein höheres Verzerrungspotential auf. Sie sind aber weniger zeitaufwendig (sogenannte (quick) scoping reviews). 

Weiterführende Informationen

Dicks, Lynn et al. (2017): Knowledge synthesis for environmental decisions: an evaluation of existing methods, and guidance for their selection, use and development: Scoping review.

Systematische Reviews

In einem systematischen Review stellen Forscherinnen und Forscher fragengeleitet das aussagekräftigste Wissen (in der Regel wissenschaftliche Literatur) über einen bestimmten Themenbereich dar. Das Wissen erfassen sie mittels einer standardisierten und systematischen Suchstrategie, prüfen es nach festgelegten Auswahlkriterien, bewerten es mit Blick auf die Qualität sowie empirische Aussagekraft und fassen es anschließend in einer Forschungssynthese narrativ oder statistisch (Meta-Analyse) zusammen.

Vorgehensweise 

Analog zur systematischen Bestandsaufnahme erfolgen nach der Formulierung einer suchtauglichen Fragestellung strukturierte Abfragen in allgemeinen und themenspezifischen Datenbanken, per Handsuche und Schneeball-Prinzip sowie unter Berücksichtigung grauer Literatur. Die durch diese breit angelegte Suchstrategie ermittelten Dokumente durchlaufeneinen mehrstufigen Auswahlprozess. Dabei überprüfen die Wissenschaftlerinnen und Wissenschaftler sowohl die thematische Passung als auch die Qualität mithilfe eines festgelegten Beurteilungsrasters und filtern die Dokumente entsprechend. Die so identifizierten Studien bilden die Grundlage der Forschungssynthese. Die Suchstrategie, die Auswahl- und Beurteilungskriterien, die jeweiligen Arbeitsschritte sowie die Ergebnisse dokumentieren die Forscherinnen und Forscher in einem Protokoll und legen diese somit offen. Das Protokoll wird einem peer review unterzogen.

Anwendung

Systematische Reviews ermöglichen es, Wissen zu einem breiteren Thema systematisch und transparent zusammenzutragen und zu beschreiben. Sie geben eine Übersicht über vorhandenes und nicht-vorhandenes Wissen und berücksichtigen auch weniger beachtete bzw. schwieriger zugängliche Studien und Forschungsergebnisse. Zusätzlich können auf der Grundlage existierenden Wissens neue und vor allem objektive Aussagen getroffen werden, da die Methode die Beeinflussung der Auswahl und Bewertung der Studien durch persönliche Bezüge ausschließt. Darüber hinaus bilden systematische Überblicksarbeiten die Grundlage für die Erstellung von Meta-Analysen. 

Der Umfang und das Verzerrungspotenzial eines systematischen Reviews ist abhängig von der Breite bzw. dem Umfang der Suchstrategie (und gegebenenfalls der dadurch variierenden Anzahl der zu bewertenden Studien). In der Praxis sind zwei Varianten gebräuchlich: Es gibt einerseits Überblicksarbeiten, die weniger Studien berücksichtigen und somit ein höheres Verzerrungspotential aufweisen. Sie sind weniger zeitaufwendig (z. B. rapid evidence assessments). Andererseits existieren Überblicksarbeiten, die eine größere Anzahl an Studien berücksichtigen und somit ein niedrigeres Verzerrungspotential haben. Sie sind jedoch zeitaufwendiger.

Weiterführende Informationen 

Dicks, Lynn; Haddaway, Neal; Hernández-Morcillo, Monica; Velizarova, Emiliya; Santamaria, Luis; Mattsson, Brady; Randall, Nicola; Failler, Pierre; Ferretti, Johanna; Rodela, Romina; Wittmer, Heidi; Livoreil, Barbara & Saarikoski, Heli (2017). Knowledge synthesis for environmental decisions: an evaluation of existing methods, and guidance for their selection, use and development doi:10.13140/rg.2.2.15632.92161: Systematic ReviewRapid Evidence AssessmentCampbell Collaboration Guideline

Weiß, Bernd & Wagner, Michael (2019). Meta-Analyse. In Nina Baur & Jörg Blasius (Hrsg.), Handbuch Methoden der empirischen Sozialforschung (S. 1511–1522). Wiesbaden: Springer Fachmedien Wiesbaden. doi: https://doi.org/10.1007/978-3-658-21308-4_112

Auf einen Blick

Ziel

Ziel des Angebots Wissen! Was wirkt? ist es, wissenschaftliche Erkenntnisse zur sprachlichen Bildung zielgruppenspezifisch in verschiedenen Formaten aufzubereiten.

Formate

Basiswissen sprachliche Bildung, Faktenchecks, Expertisen

Methoden

Literaturüberblick, Expertenkonsultation, Studienüberprüfung/-bewertung, Systematische Bestandsaufnahme, Systematische Reviews

Laufzeit

seit 2018

Projektleiter

Projektteam

Nach oben