Originalarbeit
Verständlichkeit der Texte von Qualitätsvergleichen zu Krankenhausleistungen Text Comprehensibility of Hospital Report Cards
Autoren
U. Sander1, B. Kolb1, C. Christoph2, M. Emmert3
Institute
1
Schlüsselwörter ▶ Externe Qualitätssicherung ● ▶ Public Reporting ● ▶ Lesbarkeit ● ▶ Verständlichkeit ● ▶ Qualitätsvergleiche zu ● Krankenhausleistungen
Zusammenfassung
Abstract
Ziele: In den letzten Jahren hat die Zahl von Krankenhausführern, welche Qualitätsvergleiche zu Krankenhausleistungen und Informationen aus den Qualitätsberichten veröffentlichen, erheblich zugenommen. Ziele der vorliegenden Studie waren, a) geeignete Methoden zur Messung der Lesbarkeit und Verständlichkeit von Qualitätsvergleichen zu Krankenhausleistungen zu identifizieren, b) verlässliche Aussagen über die Laienverständlichkeit der Texte zu erlangen, c) Optimierungsmöglichkeiten aufzuzeigen und d) Empfehlungen für gesundheitspolitische Maßnahmen abzuleiten. Methodik: Die Lesbarkeit und Verständlichkeit der Texte wurden geprüft durch a) eine computergestützte Bewertung formaler Textmerkmale (Flesch (dt. Formel) und 1. Wiener Sachtextformel), b) eine expertenbasierte heuristische Analyse der Lesbarkeit und Verständlichkeit der Texte durch Erfassung der Fachbegriffe und der Merkmale Einfachheit sowie Kürze und Prägnanz des Hamburger Verständlichkeitmodells und c) eine Befragung von Probanden zur Verständlichkeit einzelner Fachbegriffe, zu ihrer Einschätzung der Verständlichkeit der Präsentationen und zu ihrer Entscheidung, eine aus 5 präsentierten Kliniken aufgrund der besten Qualitätsdaten zu wählen. Zudem wurde die Korrelation der Ergebnisse aus den Textanalysen mit Ergebnissen aus der Befragung von Probanden dargestellt. Ergebnisse: Die computergestützte Bewertung formaler Textmerkmale (Flesch (dt. Formel) und 1. Wiener Sachtextformel) erbrachten schlechte Lesbarkeitswerte. Die Dimension Einfachheit des Hamburger Verständlichkeitsmodell ergab schlechte Verständlichkeitswerte ( − 0,3). Im Durchschnitt waren 6,8 % der verwendeten Wörter Fachwörter. Eine Überprüfung der Verständlichkeit von 10 ausgewählten Fachbegriffen ergab, dass in allen Fällen jeweils nur eine Min-
Objectives: Recently, the number of hospital report cards that compare quality of hospitals and present information from German quality reports has greatly increased. Objectives of this study were to a) identify suitable methods for measuring the readability and comprehensibility of hospital report cards, b) to obtain reliable information on the comprehensibility of texts for laymen, c) to give recommendations for improvements and d) to recommend public health actions. Methods: The readability and comprehensibility of the texts were tested with a) a computer-aided evaluation of formal text characteristics (readability indices Flesch (German formula) and 1. Wiener Sachtextformel formula), b) an expert-based heuristic analysis of readability and comprehensibility of texts (counting technical terms and analysis of text simplicity as well as brevity and conciseness using the Hamburg intelligibility model) and c) a survey of subjects about the comprehensibility of individual technical terms, the assessment of the comprehensibility of the presentations and the subjects’ decisions in favour of one of the 5 presented clinics due to the better quality of data. In addition, the correlation between the results of the text analysis with the results from the survey of subjects was tested. Results: The assessment of texts with the computer-aided evaluations showed poor comprehensibility values. The assessment of text simplicity using the Hamburg intelligibility model showed poor comprehensibility values ( − 0.3). On average, 6.8 % of the words used were technical terms. A review of 10 technical terms revealed that in all cases only a minority of respondents (from 4.4 % to 39.1 %) exactly knew what was meant by each of them. Most subjects (62.4 %) also believed that unclear terms worsened their understanding of the information offered. The
Bibliografie DOI http://dx.doi.org/ 10.1055/s-0034-1396848 Gesundheitswesen 2015; Online-Publikation: 2015 © Georg Thieme Verlag KG Stuttgart · New York ISSN 0941-3790 Korrespondenzadresse Prof. Dr. Uwe Sander Abteilung Information und Kommunikation Hochschule Hannover Expo Plaza 12 30539 Hannover [email protected]
▼
▼
Sander U et al. Verständlichkeit der Texte von … Gesundheitswesen
Heruntergeladen von: University of Pittsburgh. Urheberrechtlich geschützt.
Key words ▶ quality assurance ● ▶ public reporting ● ▶ readability ● ▶ comprehensibility ● ▶ hospital report cards ●
Abteilung Information und Kommunikation, Hochschule Hannover, Hannover ISM International School of Management, School of Management, Hamburg 3 Friedrich-Alexander-Universität Erlangen-Nürnberg, Rechts- und Wirtschaftswissenschaftliche Fakultät, Institut für Management (IFM), Nürnberg 2
derheit der Probanden (4,4 bis 39,1 %) angab, genau zu wissen, was mit den Begriffen jeweils gemeint war. Die meisten Probanden (62,4 %) glaubten zudem, dass unklare Fachbegriffe ihr Verständnis der angebotenen Informationen verschlechterten. Die Korrelationsanalyse zeigte, dass Präsentationen mit einem geringeren Fachwortanteil und besseren Werte für die Dimension Einfachheit als besser verständlich eingeschätzt wurden. Schlussfolgerung: Die Ermittlung des Fachwortanteils und das Hamburger Verständlichkeitsmodell (Dimension Einfachheit) waren geeignet, um die Lesbarkeit und Verständlichkeit von Präsentationen von Qualitätsindikatoren zu bestimmen. Die Analysen zeigten überwiegend schlechte Verständlichkeitswerte und einen entsprechenden Handlungsbedarf.
correlation analysis showed that presentations with a lower frequency of technical terms and better values for the text simplicity were better understood. Conclusion: The determination of the frequency of technical terms and the assessment of text simplicity using the Hamburg intelligibility model were suitable methods to determine the readability and comprehensibility of presentations of quality indicators. The analysis showed predominantly poor comprehensibility values and indicated the need to improve the texts of report cards.
Einleitung
noch nachvollziehbar waren. [1] Auch in der internationalen Literatur wird diskutiert, dass Qualitätsvergleiche zu Krankenhausleistungen häufig nicht ausreichend verstanden werden und damit der Nutzen der öffentlichen Berichterstattung über die Qualität medizinischer Leistungserbringer (Public Reporting) reduziert ist [4–6]. Die Ziele der vorliegenden Studie waren, a) geeignete Methoden zur Messung der Lesbarkeit und Verständlichkeit von Qualitätsvergleichen zu Krankenhausleistungen zu identifizieren, b) verlässliche Aussagen über die Laienverständlichkeit der Texte von Qualitätsvergleichen zu Krankenhausleistungen zu erlangen, c) Optimierungsmöglichkeiten für Qualitätsvergleiche zu Krankenhausleistungen aufzuzeigen und d) Empfehlungen für gesundheitspolitische Maßnahmen abzuleiten.
▼
Seit dem Jahr 2005 sind alle deutschen Krankenhäuser gesetzlich dazu verpflichtet im regelmäßigen Abstand einen individuellen Qualitätsbericht frei zugänglich im Internet zu veröffentlichen. Damit soll ein Beitrag zu mehr Qualitätstransparenz im Gesundheitswesen geleistet und den Patienten der Zugriff auf behandlungsrelevante Informationen ermöglicht werden. [1] Derzeit kennen und nutzen allerdings nur wenige Ärzte und Patienten diese Qualitätsberichte. Eine Studie von Hermeling und Geraedts zeigt, dass von 300 niedergelassenen Ärzten ca. 39 % die Qualitätsberichte kennen und nur 10 % diese aktiv für die Patientenberatung verwenden [2]. Als eine mögliche Alternative zu den Qualitätsberichten hat in den letzten Jahren die Zahl von Krankenhausführern, welche Qualitätsvergleiche zu Krankenhausleistungen und Informationen aus den Qualitätsberichten veröffentlichen, erheblich zugenommen: 2011 konnten bereits knapp 100 Online-Krankenhausverzeichnisse gezählt werden, von denen über 30 beanspruchten, die „Qualität“ von Krankenhäusern zu messen [3]. Bereits bei den Qualitätsberichten gab es erhebliche Zweifel, ob sie für Patienten ausreichend verständlich sind. Friedemann et al. zeigten, dass sie für die meisten Patienten weder lesbar
Methodik
▼
Die Auswahl von Internetseiten, welche Qualitätsvergleiche zu Krankenhausleistungen veröffentlichen sowie die Auswahl eines geeigneten Ergebnisqualitätsindikators ist bei Emmert et al. [7] beschrieben und wird hier deswegen nur kurz skizziert. Die 10 am häufigsten benutzten Webseiten sind in ● ▶ Tab. 1 aufgeführt.
Tab. 1 Lesbarkeit und Verständlichkeit der Texte von Qualitätsvergleiche zu Krankenhausleistungen. Textanalyse: Anzahl Worte und Fach-
Textanalyse: Messung von Lesbar-
Online-Befragung: Unklare Fachbegriffe
begriffe
keit und Verständlichkeit
haben Verständnis der Informationen
Online Befragung
verschlechtertet Portal
Worte Anzahl- Anteil Fachbe- Fachbe-
Berlin BKK DKV Hamburg IQM KRHde QK Rheinland TK WL Durchschnitt
206 199 542 327 127 497 79 365 229 209 278
griffe
griffe
10 18 46 10 22 39 9 4 11 21 19
0,5 % 9,0 % 8,5 % 3,1 % 17,3 % 7,8 % 11,4 % 1,1 % 4,8 % 10,0 % 7,4 %
Flesch WSTF1 Einfach-
(d)
Kürze/
Prägnanz vollkom-
heit 34 36 35 31 32 27 22 20 36 17 29
12 12 13 12 12 13 14 14 11 14 13
0,3 − 0,7 − 0,7 0,3 − 1,7 − 1,0 − 1,7 0,7 1,0 0,5 − 0,3
Stimme
Stimme Stimme
Stimme
Auswahl KRH Einschätzung
eher zu
nicht zu
niedrige Mor- Verständlich-
men zu 0,0 0,3 0,3 1,0 0,0 − 1,0 0,7 0,7 1,0 1,0 0,4
15,6 % 29,1 % 44,4 % 9,7 % 22,6 % 31,5 % 34,6 % 20,2 % 22,2 % 16,6 % 24,6 %
eher nicht zu
35,2 % 38,7 % 34,9 % 30,8 % 41,1 % 39,5 % 39,0 % 42,0 % 37,1 % 39,4 % 37,8 %
34,2 % 23,6 % 14,4 % 37,0 % 26,7 % 20,9 % 18,5 % 28,0 % 27,0 % 27,5 % 25,8 %
15,1 % 8,6 % 6,3 % 22,5 % 9,6 % 8,1 % 7,9 % 9,9 % 13,7 % 16,5 % 11,8 %
talität
keit
77,2 % 31,4 % 27,5 % 76,9 % 65,1 % 73,0 % 64,5 % 67,9 % 58,2 % 66,1 % 60,8 %
4,17 3,22 2,38 4,68 3,76 3,70 2,99 3,92 3,53 3,53 3,59
Flesch (d): 100: sehr leicht verständlich, 0: völlig unverständlich; WSTF1: 4 = leichteste Stufe, 15 = schwerste Stufe; Einfachheit: -2 = kompliziert, + 2 = einfach; Kürze/Prägnanz: -2 = weitschweifig, + 2 = kurz und prägnant; Auswahl KRH niedrige Mortalität: Prozentsatz der Probanden, welche das Krankenhaus mit der niedrigsten Mortalitätsrate auswählten. Einschätzung Verständlichkeit: Einschätzung der Probanden der Verständlichkeit des präsentierten Qualitätsindikators, 1 = sehr verständlich, 7 = sehr unverständlich
Sander U et al. Verständlichkeit der Texte von … Gesundheitswesen
Heruntergeladen von: University of Pittsburgh. Urheberrechtlich geschützt.
Originalarbeit
Als Qualitätsindikator wurde die risikoadjustierte Todesrate bei Ballonkatheterbehandlung der Herzkranzgefäße („Verhältnis der beobachteten zur erwarteten Rate (O/E) an Todesfällen bei PCI“ des Leistungsbereichs „Koronarangiographie und perkutane koronare Intervention (PCI)“ [8]) ausgesucht. Die Lesbarkeit und Verständlichkeit der Texte wurde durch 3 methodische Ansätze geprüft: a) Computergestützte Erfassung und Bewertung von formalen Textmerkmalen mit den Lesbarkeitsindizes Flesch (dt. Formel) und 1. Wiener Sachtextformel Aus sämtlichen Texten der 10 Webseiten mit Bezug zum ausgewählten Indikator wurden alle formalen Textmerkmale bei vollständigen Sätzen erfasst und mit Lesbarkeitsformeln [9–13] analysiert, welche Informationen wie die Anzahl der Wörter, Zahlen, Satzzeichen, Sonderzeichen, Klammern, Silben und Wortstrukturen berücksichtigen. Dafür wurden die für die deutsche Sprache angepassten Lesbarkeitsindizes Flesch (dt. Formel) und 1. Wiener Sachtextformel verwendet [1, 14]. Für den Index nach Flesch gilt: je höher der Ergebniswert, desto verständlicher der Text (100: sehr leicht verständlich, 0: völlig unverständlich) [1, 14]. Ein Wert unter 35 gilt als sehr schwierig (Doktorarbeiten). Die Wiener Sachtextformel (WSTF1) liefert einen Referenz wert für die Schwierigkeitsstufe, der mit der für den Text empfohlenen Schulstufe und darüber hinaus auf einer Skala von 4 bis 15 korreliert (4 = leichteste Stufe, 15 = schwerste Stufe). b) Expertenbasierte heuristische Analyse der Lesbarkeit und Verständlichkeit der präsentierten Texte durch eine Erfassung der Anzahl von Fachbegriffen und der Erfassung der Merkmale Einfachheit sowie Kürze und Prägnanz des Hamburger Verständlichkeitsmodells Um weitere Eigenschaften erfassen zu können, die einen Text mehr oder weniger verständlich machen, wurden 2 von 4 Merkmalen (Einfachheit sowie Kürze und Prägnanz) des Hamburger Verständlichkeitsmodells verwendet. Dieses Konzept wurde zwischen 1969 und 1974 von den Psychologen Inghard Langer, Friedemann Schulz von Thun und Reinhard Tausch mit dem Ziel der Formulierung objektiver Kriterien für die Verständlichkeit von Texten entwickelt. Das Merkmal Verständlichkeit wird dabei anhand der folgenden 6 Gegensatzpaare bewertet: 1) einfache – komplizierte Darstellung, 2) kurze, einfache – lange, verschachtelte Sätze, 3) geläufige – ungeläufige Wörter, 4) Fachwörter erklärt – nicht erklärt 5) konkret – abstrakt und 6) anschaulich – unanschaulich. Für das Merkmal Kürze und Prägnanz gilt: 1) zu kurz – lang, 2) aufs Wesentliche beschränkt – viel Unwesentliches, 3) gedrängt – breit, 4) konzentriert – abschweifend, 5) knapp – ausführlich und 6) jedes Wort notwendig – vieles hätte man weglassen können. [14–15] Die Ratings dieser Gegensatzpaare erfolgten auf einer 5-stufigen bipolaren Skala( − 2 = „sehr schlecht“ bis + 2 = „optimal“). Die Einschätzungen pro Text und Dimension wurden durch das arithmetische Mittel gebildet und gaben das quantitative Ausmaß der Verständlichkeit eines Textes an. 3 der Autoren (CC, ME, US) bewerteten nach einer fachlichen Einweisung die vorliegenden Texte unabhängig voneinander. Unterschiedliche Bewertungen wurden besprochen, um Divergenzen in der Handhabung des Bewertungsinstruments identifizieren zu können. Falls Bewertungsunterschiede durch Divergenzen in der Handhabung des Bewertungsinstruments begründet waren, wurden diese entsprechend korrigiert. Bei der Anwendung des Hamburger Verständlichkeitsmodells sollte ein optimal verständlicher Text einen Wert von + 0,5 bis + 2 bei der Dimension Einfachheit ( − 2 = kompliziert, + 2 = einfach) haben. Für die Dimension Kürze/
Prägnanz gelten Werte von − 0,5 bis + 1,5 als Voraussetzung für einen optimal verständlichen Text (−2 = weitschweifig, + 2 = kurz und prägnant) [14, 16]. c) Befragung von Probanden zur Verständlichkeit von Fachbegriffen, zu ihrer Einschätzung der Verständlichkeit der Präsentationen und zu ihrer Entscheidung, eine aus 5 präsentierten Kliniken aufgrund der besten Qualitätsdaten zu wählen Die Befragung erfolgte in einem Online-Panel im August und September 2013, wobei jeder Teilnehmer einen Euro erhielt. Die Panel-Teilnehmer waren durch mehrere Verfahren rekrutiert worden, insbesondere durch Online-Rekrutierung, Werbung per E-Mail und durch Offline-Anwerbung. Panel-Mitglieder wurden durch eine E-Mail mit einem Link zur Online-Umfrage eingeladen. Die Online-Befragung bestand aus 3 Teilen. A) Zunächst wurden in einer kurzen Einführung der medizinische Hintergrund und die Studienziele beschrieben. B) Anschließend wurde den Probanden nacheinander eine zufällige Auswahl von 3 der 10 Präsentationen des ausgewählten Ergebnisqualitätsindikators angezeigt. C) Den Teilnehmern wurden bei jeder Präsentation die folgenden 5 Fragen gestellt: a) Welche der 5 Kliniken würden Sie aufgrund der besseren Qualitätsdaten bevorzugen? b) Bitte begründen Sie Ihre Antwort (Freitext). c) Wie verständlich fanden Sie die gezeigte Darstellung? (1 = sehr verständlich, 7 = sehr unverständlich) d) Bitte geben Sie Auskunft über die gezeigten Fachbegriffe (Fachbegriffe wurden erneut präsentiert; 1 = Ich weiß, was gemeint ist, 4 = Ich weiß nicht, was gemeint ist) e) Die mir unklaren Fachbegriffe haben mein Verständnis der angebotenen Informationen verschlechtert (1 = Stimme vollkommen zu, 4 = Stimme nicht zu). Eine detaillierte Darstellung hierzu ist bei Emmert et al. [7] zu finden. Die Korrelationen zwischen den Ergebnissen der Textanalyse und den Ergebnissen aus der Befragung von Probanden wurden mit SPSS Version 21.0 geprüft. Für die Signifikanzprüfung zwischen ordinalen bzw. ordinalen und metrischen Daten wurde Kendalls-Tau-b, für rein metrische Daten die Punkt-Moment-Korrelation nach Pearson verwendet. Alle Tests mit P
Verständlichkeit der Texte von Qualitätsvergleichen zu Krankenhausleistungen Text Comprehensibility of Hospital Report Cards
Autoren
U. Sander1, B. Kolb1, C. Christoph2, M. Emmert3
Institute
1
Schlüsselwörter ▶ Externe Qualitätssicherung ● ▶ Public Reporting ● ▶ Lesbarkeit ● ▶ Verständlichkeit ● ▶ Qualitätsvergleiche zu ● Krankenhausleistungen
Zusammenfassung
Abstract
Ziele: In den letzten Jahren hat die Zahl von Krankenhausführern, welche Qualitätsvergleiche zu Krankenhausleistungen und Informationen aus den Qualitätsberichten veröffentlichen, erheblich zugenommen. Ziele der vorliegenden Studie waren, a) geeignete Methoden zur Messung der Lesbarkeit und Verständlichkeit von Qualitätsvergleichen zu Krankenhausleistungen zu identifizieren, b) verlässliche Aussagen über die Laienverständlichkeit der Texte zu erlangen, c) Optimierungsmöglichkeiten aufzuzeigen und d) Empfehlungen für gesundheitspolitische Maßnahmen abzuleiten. Methodik: Die Lesbarkeit und Verständlichkeit der Texte wurden geprüft durch a) eine computergestützte Bewertung formaler Textmerkmale (Flesch (dt. Formel) und 1. Wiener Sachtextformel), b) eine expertenbasierte heuristische Analyse der Lesbarkeit und Verständlichkeit der Texte durch Erfassung der Fachbegriffe und der Merkmale Einfachheit sowie Kürze und Prägnanz des Hamburger Verständlichkeitmodells und c) eine Befragung von Probanden zur Verständlichkeit einzelner Fachbegriffe, zu ihrer Einschätzung der Verständlichkeit der Präsentationen und zu ihrer Entscheidung, eine aus 5 präsentierten Kliniken aufgrund der besten Qualitätsdaten zu wählen. Zudem wurde die Korrelation der Ergebnisse aus den Textanalysen mit Ergebnissen aus der Befragung von Probanden dargestellt. Ergebnisse: Die computergestützte Bewertung formaler Textmerkmale (Flesch (dt. Formel) und 1. Wiener Sachtextformel) erbrachten schlechte Lesbarkeitswerte. Die Dimension Einfachheit des Hamburger Verständlichkeitsmodell ergab schlechte Verständlichkeitswerte ( − 0,3). Im Durchschnitt waren 6,8 % der verwendeten Wörter Fachwörter. Eine Überprüfung der Verständlichkeit von 10 ausgewählten Fachbegriffen ergab, dass in allen Fällen jeweils nur eine Min-
Objectives: Recently, the number of hospital report cards that compare quality of hospitals and present information from German quality reports has greatly increased. Objectives of this study were to a) identify suitable methods for measuring the readability and comprehensibility of hospital report cards, b) to obtain reliable information on the comprehensibility of texts for laymen, c) to give recommendations for improvements and d) to recommend public health actions. Methods: The readability and comprehensibility of the texts were tested with a) a computer-aided evaluation of formal text characteristics (readability indices Flesch (German formula) and 1. Wiener Sachtextformel formula), b) an expert-based heuristic analysis of readability and comprehensibility of texts (counting technical terms and analysis of text simplicity as well as brevity and conciseness using the Hamburg intelligibility model) and c) a survey of subjects about the comprehensibility of individual technical terms, the assessment of the comprehensibility of the presentations and the subjects’ decisions in favour of one of the 5 presented clinics due to the better quality of data. In addition, the correlation between the results of the text analysis with the results from the survey of subjects was tested. Results: The assessment of texts with the computer-aided evaluations showed poor comprehensibility values. The assessment of text simplicity using the Hamburg intelligibility model showed poor comprehensibility values ( − 0.3). On average, 6.8 % of the words used were technical terms. A review of 10 technical terms revealed that in all cases only a minority of respondents (from 4.4 % to 39.1 %) exactly knew what was meant by each of them. Most subjects (62.4 %) also believed that unclear terms worsened their understanding of the information offered. The
Bibliografie DOI http://dx.doi.org/ 10.1055/s-0034-1396848 Gesundheitswesen 2015; Online-Publikation: 2015 © Georg Thieme Verlag KG Stuttgart · New York ISSN 0941-3790 Korrespondenzadresse Prof. Dr. Uwe Sander Abteilung Information und Kommunikation Hochschule Hannover Expo Plaza 12 30539 Hannover [email protected]
▼
▼
Sander U et al. Verständlichkeit der Texte von … Gesundheitswesen
Heruntergeladen von: University of Pittsburgh. Urheberrechtlich geschützt.
Key words ▶ quality assurance ● ▶ public reporting ● ▶ readability ● ▶ comprehensibility ● ▶ hospital report cards ●
Abteilung Information und Kommunikation, Hochschule Hannover, Hannover ISM International School of Management, School of Management, Hamburg 3 Friedrich-Alexander-Universität Erlangen-Nürnberg, Rechts- und Wirtschaftswissenschaftliche Fakultät, Institut für Management (IFM), Nürnberg 2
derheit der Probanden (4,4 bis 39,1 %) angab, genau zu wissen, was mit den Begriffen jeweils gemeint war. Die meisten Probanden (62,4 %) glaubten zudem, dass unklare Fachbegriffe ihr Verständnis der angebotenen Informationen verschlechterten. Die Korrelationsanalyse zeigte, dass Präsentationen mit einem geringeren Fachwortanteil und besseren Werte für die Dimension Einfachheit als besser verständlich eingeschätzt wurden. Schlussfolgerung: Die Ermittlung des Fachwortanteils und das Hamburger Verständlichkeitsmodell (Dimension Einfachheit) waren geeignet, um die Lesbarkeit und Verständlichkeit von Präsentationen von Qualitätsindikatoren zu bestimmen. Die Analysen zeigten überwiegend schlechte Verständlichkeitswerte und einen entsprechenden Handlungsbedarf.
correlation analysis showed that presentations with a lower frequency of technical terms and better values for the text simplicity were better understood. Conclusion: The determination of the frequency of technical terms and the assessment of text simplicity using the Hamburg intelligibility model were suitable methods to determine the readability and comprehensibility of presentations of quality indicators. The analysis showed predominantly poor comprehensibility values and indicated the need to improve the texts of report cards.
Einleitung
noch nachvollziehbar waren. [1] Auch in der internationalen Literatur wird diskutiert, dass Qualitätsvergleiche zu Krankenhausleistungen häufig nicht ausreichend verstanden werden und damit der Nutzen der öffentlichen Berichterstattung über die Qualität medizinischer Leistungserbringer (Public Reporting) reduziert ist [4–6]. Die Ziele der vorliegenden Studie waren, a) geeignete Methoden zur Messung der Lesbarkeit und Verständlichkeit von Qualitätsvergleichen zu Krankenhausleistungen zu identifizieren, b) verlässliche Aussagen über die Laienverständlichkeit der Texte von Qualitätsvergleichen zu Krankenhausleistungen zu erlangen, c) Optimierungsmöglichkeiten für Qualitätsvergleiche zu Krankenhausleistungen aufzuzeigen und d) Empfehlungen für gesundheitspolitische Maßnahmen abzuleiten.
▼
Seit dem Jahr 2005 sind alle deutschen Krankenhäuser gesetzlich dazu verpflichtet im regelmäßigen Abstand einen individuellen Qualitätsbericht frei zugänglich im Internet zu veröffentlichen. Damit soll ein Beitrag zu mehr Qualitätstransparenz im Gesundheitswesen geleistet und den Patienten der Zugriff auf behandlungsrelevante Informationen ermöglicht werden. [1] Derzeit kennen und nutzen allerdings nur wenige Ärzte und Patienten diese Qualitätsberichte. Eine Studie von Hermeling und Geraedts zeigt, dass von 300 niedergelassenen Ärzten ca. 39 % die Qualitätsberichte kennen und nur 10 % diese aktiv für die Patientenberatung verwenden [2]. Als eine mögliche Alternative zu den Qualitätsberichten hat in den letzten Jahren die Zahl von Krankenhausführern, welche Qualitätsvergleiche zu Krankenhausleistungen und Informationen aus den Qualitätsberichten veröffentlichen, erheblich zugenommen: 2011 konnten bereits knapp 100 Online-Krankenhausverzeichnisse gezählt werden, von denen über 30 beanspruchten, die „Qualität“ von Krankenhäusern zu messen [3]. Bereits bei den Qualitätsberichten gab es erhebliche Zweifel, ob sie für Patienten ausreichend verständlich sind. Friedemann et al. zeigten, dass sie für die meisten Patienten weder lesbar
Methodik
▼
Die Auswahl von Internetseiten, welche Qualitätsvergleiche zu Krankenhausleistungen veröffentlichen sowie die Auswahl eines geeigneten Ergebnisqualitätsindikators ist bei Emmert et al. [7] beschrieben und wird hier deswegen nur kurz skizziert. Die 10 am häufigsten benutzten Webseiten sind in ● ▶ Tab. 1 aufgeführt.
Tab. 1 Lesbarkeit und Verständlichkeit der Texte von Qualitätsvergleiche zu Krankenhausleistungen. Textanalyse: Anzahl Worte und Fach-
Textanalyse: Messung von Lesbar-
Online-Befragung: Unklare Fachbegriffe
begriffe
keit und Verständlichkeit
haben Verständnis der Informationen
Online Befragung
verschlechtertet Portal
Worte Anzahl- Anteil Fachbe- Fachbe-
Berlin BKK DKV Hamburg IQM KRHde QK Rheinland TK WL Durchschnitt
206 199 542 327 127 497 79 365 229 209 278
griffe
griffe
10 18 46 10 22 39 9 4 11 21 19
0,5 % 9,0 % 8,5 % 3,1 % 17,3 % 7,8 % 11,4 % 1,1 % 4,8 % 10,0 % 7,4 %
Flesch WSTF1 Einfach-
(d)
Kürze/
Prägnanz vollkom-
heit 34 36 35 31 32 27 22 20 36 17 29
12 12 13 12 12 13 14 14 11 14 13
0,3 − 0,7 − 0,7 0,3 − 1,7 − 1,0 − 1,7 0,7 1,0 0,5 − 0,3
Stimme
Stimme Stimme
Stimme
Auswahl KRH Einschätzung
eher zu
nicht zu
niedrige Mor- Verständlich-
men zu 0,0 0,3 0,3 1,0 0,0 − 1,0 0,7 0,7 1,0 1,0 0,4
15,6 % 29,1 % 44,4 % 9,7 % 22,6 % 31,5 % 34,6 % 20,2 % 22,2 % 16,6 % 24,6 %
eher nicht zu
35,2 % 38,7 % 34,9 % 30,8 % 41,1 % 39,5 % 39,0 % 42,0 % 37,1 % 39,4 % 37,8 %
34,2 % 23,6 % 14,4 % 37,0 % 26,7 % 20,9 % 18,5 % 28,0 % 27,0 % 27,5 % 25,8 %
15,1 % 8,6 % 6,3 % 22,5 % 9,6 % 8,1 % 7,9 % 9,9 % 13,7 % 16,5 % 11,8 %
talität
keit
77,2 % 31,4 % 27,5 % 76,9 % 65,1 % 73,0 % 64,5 % 67,9 % 58,2 % 66,1 % 60,8 %
4,17 3,22 2,38 4,68 3,76 3,70 2,99 3,92 3,53 3,53 3,59
Flesch (d): 100: sehr leicht verständlich, 0: völlig unverständlich; WSTF1: 4 = leichteste Stufe, 15 = schwerste Stufe; Einfachheit: -2 = kompliziert, + 2 = einfach; Kürze/Prägnanz: -2 = weitschweifig, + 2 = kurz und prägnant; Auswahl KRH niedrige Mortalität: Prozentsatz der Probanden, welche das Krankenhaus mit der niedrigsten Mortalitätsrate auswählten. Einschätzung Verständlichkeit: Einschätzung der Probanden der Verständlichkeit des präsentierten Qualitätsindikators, 1 = sehr verständlich, 7 = sehr unverständlich
Sander U et al. Verständlichkeit der Texte von … Gesundheitswesen
Heruntergeladen von: University of Pittsburgh. Urheberrechtlich geschützt.
Originalarbeit
Als Qualitätsindikator wurde die risikoadjustierte Todesrate bei Ballonkatheterbehandlung der Herzkranzgefäße („Verhältnis der beobachteten zur erwarteten Rate (O/E) an Todesfällen bei PCI“ des Leistungsbereichs „Koronarangiographie und perkutane koronare Intervention (PCI)“ [8]) ausgesucht. Die Lesbarkeit und Verständlichkeit der Texte wurde durch 3 methodische Ansätze geprüft: a) Computergestützte Erfassung und Bewertung von formalen Textmerkmalen mit den Lesbarkeitsindizes Flesch (dt. Formel) und 1. Wiener Sachtextformel Aus sämtlichen Texten der 10 Webseiten mit Bezug zum ausgewählten Indikator wurden alle formalen Textmerkmale bei vollständigen Sätzen erfasst und mit Lesbarkeitsformeln [9–13] analysiert, welche Informationen wie die Anzahl der Wörter, Zahlen, Satzzeichen, Sonderzeichen, Klammern, Silben und Wortstrukturen berücksichtigen. Dafür wurden die für die deutsche Sprache angepassten Lesbarkeitsindizes Flesch (dt. Formel) und 1. Wiener Sachtextformel verwendet [1, 14]. Für den Index nach Flesch gilt: je höher der Ergebniswert, desto verständlicher der Text (100: sehr leicht verständlich, 0: völlig unverständlich) [1, 14]. Ein Wert unter 35 gilt als sehr schwierig (Doktorarbeiten). Die Wiener Sachtextformel (WSTF1) liefert einen Referenz wert für die Schwierigkeitsstufe, der mit der für den Text empfohlenen Schulstufe und darüber hinaus auf einer Skala von 4 bis 15 korreliert (4 = leichteste Stufe, 15 = schwerste Stufe). b) Expertenbasierte heuristische Analyse der Lesbarkeit und Verständlichkeit der präsentierten Texte durch eine Erfassung der Anzahl von Fachbegriffen und der Erfassung der Merkmale Einfachheit sowie Kürze und Prägnanz des Hamburger Verständlichkeitsmodells Um weitere Eigenschaften erfassen zu können, die einen Text mehr oder weniger verständlich machen, wurden 2 von 4 Merkmalen (Einfachheit sowie Kürze und Prägnanz) des Hamburger Verständlichkeitsmodells verwendet. Dieses Konzept wurde zwischen 1969 und 1974 von den Psychologen Inghard Langer, Friedemann Schulz von Thun und Reinhard Tausch mit dem Ziel der Formulierung objektiver Kriterien für die Verständlichkeit von Texten entwickelt. Das Merkmal Verständlichkeit wird dabei anhand der folgenden 6 Gegensatzpaare bewertet: 1) einfache – komplizierte Darstellung, 2) kurze, einfache – lange, verschachtelte Sätze, 3) geläufige – ungeläufige Wörter, 4) Fachwörter erklärt – nicht erklärt 5) konkret – abstrakt und 6) anschaulich – unanschaulich. Für das Merkmal Kürze und Prägnanz gilt: 1) zu kurz – lang, 2) aufs Wesentliche beschränkt – viel Unwesentliches, 3) gedrängt – breit, 4) konzentriert – abschweifend, 5) knapp – ausführlich und 6) jedes Wort notwendig – vieles hätte man weglassen können. [14–15] Die Ratings dieser Gegensatzpaare erfolgten auf einer 5-stufigen bipolaren Skala( − 2 = „sehr schlecht“ bis + 2 = „optimal“). Die Einschätzungen pro Text und Dimension wurden durch das arithmetische Mittel gebildet und gaben das quantitative Ausmaß der Verständlichkeit eines Textes an. 3 der Autoren (CC, ME, US) bewerteten nach einer fachlichen Einweisung die vorliegenden Texte unabhängig voneinander. Unterschiedliche Bewertungen wurden besprochen, um Divergenzen in der Handhabung des Bewertungsinstruments identifizieren zu können. Falls Bewertungsunterschiede durch Divergenzen in der Handhabung des Bewertungsinstruments begründet waren, wurden diese entsprechend korrigiert. Bei der Anwendung des Hamburger Verständlichkeitsmodells sollte ein optimal verständlicher Text einen Wert von + 0,5 bis + 2 bei der Dimension Einfachheit ( − 2 = kompliziert, + 2 = einfach) haben. Für die Dimension Kürze/
Prägnanz gelten Werte von − 0,5 bis + 1,5 als Voraussetzung für einen optimal verständlichen Text (−2 = weitschweifig, + 2 = kurz und prägnant) [14, 16]. c) Befragung von Probanden zur Verständlichkeit von Fachbegriffen, zu ihrer Einschätzung der Verständlichkeit der Präsentationen und zu ihrer Entscheidung, eine aus 5 präsentierten Kliniken aufgrund der besten Qualitätsdaten zu wählen Die Befragung erfolgte in einem Online-Panel im August und September 2013, wobei jeder Teilnehmer einen Euro erhielt. Die Panel-Teilnehmer waren durch mehrere Verfahren rekrutiert worden, insbesondere durch Online-Rekrutierung, Werbung per E-Mail und durch Offline-Anwerbung. Panel-Mitglieder wurden durch eine E-Mail mit einem Link zur Online-Umfrage eingeladen. Die Online-Befragung bestand aus 3 Teilen. A) Zunächst wurden in einer kurzen Einführung der medizinische Hintergrund und die Studienziele beschrieben. B) Anschließend wurde den Probanden nacheinander eine zufällige Auswahl von 3 der 10 Präsentationen des ausgewählten Ergebnisqualitätsindikators angezeigt. C) Den Teilnehmern wurden bei jeder Präsentation die folgenden 5 Fragen gestellt: a) Welche der 5 Kliniken würden Sie aufgrund der besseren Qualitätsdaten bevorzugen? b) Bitte begründen Sie Ihre Antwort (Freitext). c) Wie verständlich fanden Sie die gezeigte Darstellung? (1 = sehr verständlich, 7 = sehr unverständlich) d) Bitte geben Sie Auskunft über die gezeigten Fachbegriffe (Fachbegriffe wurden erneut präsentiert; 1 = Ich weiß, was gemeint ist, 4 = Ich weiß nicht, was gemeint ist) e) Die mir unklaren Fachbegriffe haben mein Verständnis der angebotenen Informationen verschlechtert (1 = Stimme vollkommen zu, 4 = Stimme nicht zu). Eine detaillierte Darstellung hierzu ist bei Emmert et al. [7] zu finden. Die Korrelationen zwischen den Ergebnissen der Textanalyse und den Ergebnissen aus der Befragung von Probanden wurden mit SPSS Version 21.0 geprüft. Für die Signifikanzprüfung zwischen ordinalen bzw. ordinalen und metrischen Daten wurde Kendalls-Tau-b, für rein metrische Daten die Punkt-Moment-Korrelation nach Pearson verwendet. Alle Tests mit P
