Laborbefunde - Qualität

Präzision und Richtigkeit eines Labortests

Die Präzision beschreibt die Wiederholgenauigkeit eines Labortests. Die Richtigkeit definiert, wie nahe das Ergebnis am wahren Wert liegt.

Im allgemeinen Sprachgebrauch vermischen wir oft Ausdrücke wie "genau", "richtig" oder "präzis". Die folgenden Abbildungen machen die Unterschiede deutlich:

	Präzis und richtig Der Schütze schießt präzis (immer etwa an die gleiche Stelle) und richtig (mitten ins Schwarze)
	Präzis aber unrichtig Dieser Schütze schießt auch präzis (immer etwa an die gleiche Stelle) aber unrichtig (immer rechts unten daneben)
	Richtig aber unpräzis Dieser Schütze schießt zwar richtig (die Treffer streuen um das Schwarze) aber unpräzis (die Treffer streuen deutlich)
	Unrichtig und unpräzis Dieser Schütze schießt sowohl unrichtig (die Treffer liegen unter und neben dem Schwarzen) als auch unpräzis (die Treffer streuen deutlich)

Messung der Präzision
Dies ist relativ einfach: eine Probe wird z.B. 20 mal gemessen. Idealerweise sollte immer dasselbe Resultat herauskommen. In der Realität werden 20 leicht unterschiedliche Resultate herauskommen. Man gibt die Präzision, also das Ausmaß der Schwankungen der Resultate, meist als Variationskoeffizient (VK) oder englisch als Coefficient of Variation (CV) in % an. Präzise Labortests haben einen niedrigen VK (kleiner 3%), unpräzisere können auch 10-20% VK haben.
Genau genommen beschreibt das Beispiel nur die sog. "Präzision in der Serie (within-run)". Es gibt noch einige andere Arten von Präzision, z.B. die "von-Tag-zu-Tag (day-to-day)" oder die "Zwischen-zwei-Serien (batch-to-batch)" Präzision, die die Qualität eines Tests mitbestimmen.

Messung der Richtigkeit
Dies ist etwas schwieriger. Wer sagt denn, was richtig ist? Man braucht dazu also zuerst einmal eine untadelige, oft als Goldstandard bezeichnete Methode als Vergleichsmethode. Oft wird man die Goldstandardmethode im Labor nicht durchführen können, weil sie technisch zu aufwändig ist. Und mit dieser Methode vergleicht man nun die zu überprüfende Methode (=Labortest).
Dazu misst man z.B. 100 Proben mit der Standardmethode (Methode 1) und mit der zu testenden Methode (nennen wir sie Methode 2).

Jetzt braucht man nur noch entsprechende statistische Verfahren, um die Ergebnisse der beiden Methoden (=Labortests) miteinander zu vergleichen. Ein klassisches Verfahren ist die Korrelationsanalyse:

	Ideale Korrelation Die Ergebnisse von Methode 1 und 2 sind ident und liegen daher alle auf der Identitätsgeraden. Kommt in der Realität praktisch nicht vor. (Ein roter Punkt entsteht, indem man das Ergebnis der Methode 1 auf der X-Achse und das Ergebnis der Methode 2 auf der Y-Achse aufträgt.)
	Gute Korrelation Die Ergebnisse liegen nahe um die und parallel zur Identitätsgeraden. Als Maßzahl für die Übereinstimmung der Methoden wird oft der Korrelationskoeffizient r angeben. Dieser ist idealerweise 1 und liegt bei Vergleichen von Labormethoden meist über 0.9.
	Gute Korrelation aber Methode 2 proportional zu hoch. Die Werte der Methode 2 liegen über der Identitätsgeraden und zwar bei niedrigen Werten kaum, bei hohen deutlich. Die Abweichung ist also proportional zum Wert.
Diese proportionale Abweichung ermittelt man folgendermaßen: Man legt (berechnet) eine Gerade (Regressionsgerade) durch die roten Punkte und misst die Steilheit der Geraden (=Anstieg oder engl. Slope; wird berechnet als Höhe durch Breite). Im Idealfall ist der Anstieg 1, in unserem Beispiel ist er größer als 1.
	Gute Korrelation aber Methode 2 um einen konstanten Wert zu hoch. Die Werte der Methode 2 liegen über der Identitätsgeraden und zwar bei niedrigen Werten genauso stark wie bei hohen. Die Abweichung ist also nicht proportional zum Wert.

Diese nicht proportionale Abweichung ermittelt man folgendermaßen. Man legt (berechnet) eine Gerade (Regressionsgerade) durch die roten Punkte und misst in welcher Höhe diese gerade die Y-Achse schneidet (Abw.). Diese Höhe entspricht der konstanten Abweichung. Im Englischen wird dieser Wert y-Intercept genannt.

Wie berechnet man die Gerade und den Korrelationskoeffizienten r?
Die für die Korrelationsanalyse wichtigen Werte Korrelationskoeffizient r, die Gerade, deren Steigung und die konstante Abweichung werden heute mit Statistikprogrammen berechnet. Auch Excel und andere Spreadsheets beherrschen die Berechnung der sog. linearen Regression der geringsten Abweichungsquadrate (least squares linear regression). Diese wird für Methodenvergleiche im Laborbereich oft eingesetzt, obwohl andere Verfahren dafür geeigneter sind. Es würde den Rahmen sprengen, die Gründe hierfür zu nennen, aber die sog. Deming-Regressionsanalyse oder die Regressionsberechnung nach Passing&Bablok sind für den Vergleich von Labormethoden geeigneter.

Altman-Bland Plots (Bias-Plots [Abweichungs-Graphik])
In den letzten Jahren sind andere graphische Darstellungen der Richtigkeit einer Methode "in Mode gekommen": die Bias-Plots, auch Altman-Bland-Plots genannt (nach den frühen Befürwortern). Dabei wird auf der X-Achse der Wert der Goldstandardmethode (oder der Mittelwert beider Methoden) aufgetragen. Auf der Y-Achse trägt man die Differenz der beiden Methoden (=Bias) auf. Diese Darstellung vermeidet manche Unzulänglichkeiten der Korrelationsgraphiken, ohne aber selbst frei von Unzulänglichkeiten zu sein.

	Bias-Plot bei guter Übereinstimmung Die dunkelrote Linie bezeichnet die Nulllinie, auf der idealerweise alle Punkte liegen sollten. (Statt Methode 1 kann auf der X-Achse auch der Mittelwert aus Methode 1 und 2 aufgetragen werden.)
	Bias-Plot bei proportionalem Fehler Je höher der Wert, desto höher die Abweichung.
	Bias-Plot bei konstanter Abweichung Die Wolke der roten Punkte ist nach oben versetzt.

Wiederfindung (Recovery)

Bei der Untersuchung der Wiederfindung gibt man dem Blut eine bestimmte Menge des Analyts (das ist die Substanz, die man messen möchte) zu und analysiert das Blut. Bei der Messung sollte man genau diese Menge wiederfinden. (Auch dies ist eine Überprüfung der Richtigkeit des Labortests.)

Messbereich / Detektionslimit / Linearität

Dabei wird überprüft, wie kleine Werte und wie große Werte man gerade noch messen kann.

Beispiel Obergrenze: Kann eine Labortest maximal 500 mg/dl Blutzucker richtig messen, muss man höhere Werte verdünnen und noch einmal messen. Dies kostet Zeit und Geld. Dies spart eine Methode, die Proben bis 1000 mg/dl richtig messen kann.
Beispiel Untergrenze: noch schwieriger wird es, wenn ein Wert zu niedrig ist, um von dem Labortest richtig gemessen zu werden. Man kann die Probe nicht einfach eindicken und noch einmal messen. Man muss dann meist auf eine andere Methode zurückgreifen. In der Praxis kommt das selten vor, da Labortests so entwickelt werden, dass sie klinisch wichtige Werte richtig messen können.

Interferenzen (Störeinflüsse)

Man überprüft, ob ein Labortest auf Störsubstanzen (Interferenzen) empfindlich ist.

Um zu überprüfen, ob ein Labortest auf Störeinflüsse empfindlich ist, gibt es prinzipiell zwei Möglichkeiten:

Man misst eine Probe vor und nach Zusatz der möglicherweise störenden Substanz. Im Idealfall ist das Ergebnis vor- und nachher gleich.
Man misst eine Probe mit einer eventuell störenden Substanz zweimal: einmal mit einem Labortest, dem diese Störsubstanz sicher nichts ausmacht, und einmal mit dem zu überprüfenden Labortest. Im Idealfall sind die Ergebnisse beider Tests gleich.
Diese Methode ist auch für körpereigene Störsubstanzen anwendbar.
Körpereigene Störsubstanzen sind z.B.: Hämoglobin (=roter Blutfarbstoff; meist wegen schwieriger Blutabnahme), Blutfette (trübe Blutflüssigkeit nach Nahrungsaufnahme), abnorme Proteine (abnorme Produktion bei Plasmozytom), Bilirubinämie (Braungrünfärbung der Blutflüssigkeit bei Leberschaden oder Gallenstauung)

Verschleppung (Carry-Over)

Man überprüft, ob es bei der Analyse zu einer Verschleppung von einer Probe in die nächste kommt.

In den Laboranalyseautomaten werden Ansaugnadeln und Schläuche zum Probentransport mehrfach verwendet. Zwischen den einzelnen Proben werden diese Systeme gründlich gewaschen. Dadurch wird die Probenverschleppung minimiert. Man muss sie aber von Fall zu Fall kontrollieren. Vereinfacht gesagt tut man dies auf folgende Weise: Man misst zuerst eine Probe, die eine sehr hohe Konzentration der Messsubstanz enthält, und unmittelbar danach eine Probe, die die Messsubstanz gar nicht enthält. Im Idealfall sollte man in dieser zweiten Probe dann auch nichts finden. Wenn doch, dann ist es zu einer Verschleppung gekommen.

Andere technisch-wirtschaftliche Faktoren

Neben den analytischen Qualitäten bestimmen noch viele andere Faktoren die Eignung eines Labortests: wie lange sind die Reagenzien haltbar, wie lange das Kontrollmaterial; wie oft müssen Kontrollen laufen; wie oft muss man die Methode kalibrieren ("eichen"); ist die Einschulung des Personals aufwendig; braucht man spezielle Laboreinrichtungen; wie lange braucht man zur Durchführung; wie teuer ist der Test....um nur einige wenige zu nennen.

Prädiktiver Wert eines Labortests

Positiver Prädiktiver Wert (PWpos)

Aussage: mit welcher Wahrscheinlichkeit ist jemand krank, der mit dem Test als krank eingestuft wird.

PWpos(%) =	100 x Anzahl richtig positiver Ergebnisse¹

	Anzahl aller positiven Ergebnisse²

Der Wert wird zwischen 0 und 100%, manchmal auch zwischen 0 und 1 angegeben. Im Idealfall 100%.
In Worten sagt der PWpos, mit welcher Wahrscheinlichkeit ein positives Ergebnis des Tests die Aussage "krank" vorhersagt.
Beispiele: Hat ein Test einen PWpos von nur 50%, dann heißt das: Jeder 2. mit positivem Befund ist in Wirklichkeit nicht krank. Ein positives Testresultat hat also keine besonders verlässliche Aussage. Hat ein Test hingegen einen PWpos von 95%, dann heißt ein positives Testergebnis, dass man mit hoher Wahrscheinlichkeit krank ist.

¹ das sind die mit Test als positiv ("krank") eingestuften, die auch wirklich krank waren.
²das sind alle mit Test als positiv ("krank") eingestuften, egal ob sie wirklich krank waren; d.h. hier sind auch die "falsch Positiven" dabei. Das sind die Nicht-Kranken, die der Test fälschlicherweise als krank eingestuft hat.

Negativer Prädiktiver Wert (PWneg)

Aussage: mit welcher Wahrscheinlichkeit ist jemand nicht krank, der mit dem Test als nicht krank eingestuft wird.

PWneg(%) =	100 x Anzahl richtig negativer Ergebnisse³

	Anzahl aller negativen Ergebnisse⁴

Der Wert wird zwischen 0 und 100%, manchmal auch zwischen 0 und 1 angegeben. Im Idealfall 100%.
In Worten sagt der PWneg, mit welcher Wahrscheinlichkeit ein negatives Ergebnis des Tests die Aussage "nicht krank" vorhersagt.
Beispiele: Hat ein Test einen PWneg von nur 50%, dann heißt das: Jeder 2. mit negativem Befund ist in Wirklichkeit krank. Ein negatives Testresultat hat also keine besonders verlässliche Aussage. Hat ein Test hingegen einen PWneg von 0.95 (oder 95%), dann heißt ein negatives Testergebnis, dass man mit hoher Wahrscheinlichkeit nicht krank ist.

³ das sind die mit Test als negativ ("nicht krank") eingestuften, die auch wirklich gesund waren.
⁴das sind alle mit Test als negativ ("nicht krank") eingestuften, egal ob sie wirklich gesund waren; d.h. hier sind auch die "falsch Negativen" dabei. Das sind die Kranken, die der Test fälschlicherweise als gesund eingestuft hat.

Spezifität, Sensitivität und Effizienz eines Labortests

Spezifität

Aussage: wieviel % der Nicht-Kranken⁵ werden mit dem Test richtigerweise als nicht krank eingestuft.

Spezifität (%) =	100 x Anzahl richtig negativer Ergebnisse

	Anzahl der Nicht-Kranken⁵

Der Wert wird zwischen 0 und 100%, manchmal auch zwischen 0 und 1 angegeben. Im Idealfall 100%.
In Worten sagt die Spezifität, mit welcher Wahrscheinlichkeit ein Nicht-Kranker von dem Test richtigerweise als nicht krank eingestuft wird.
Beispiele: Hat ein Test eine Spezifität von nur 0.5 (oder 50%), dann heißt das: Bei jedem 2. Nicht-Kranken ist der Test positiv. Ein positives Testresultat hat also keine besonders verlässliche Aussage. Hat ein Test hingegen eine Spezifität von 0.95 (oder 95%), dann ist die Wahrscheinlichkeit, dass man bei einem positivem Testergebnis wirklich krank ist, viel höher.

⁵Gesunde bzw. Personen, die die Krankheit, die der Test nachweisen will, nicht haben.

Falsch-Positiv-Rate: Drückt man die Spezifität umgekehrt aus, wird sie manchmal leichter verständlich: Die sog. Falsch-Positiv-Rate beschreibt den Anteil der Gesunden, die vom Test fälschlicherweise als krank eingestuft wurden. Ist die Spezifität 95% (wurden also 95 von 100 Gesunden richtigerweise als nicht krank eingestuft), dann ist die Falsch-Positiv-Rate 5% (denn 5 wurden ja fälschlicherweise als krank eingestuft). Auch die Falsch-Positiv-Rate ist also ein Maß für die Spezifität eines Labortests.

Beispiel: Mit einem Test, der eigentlich Patienten mit Hepatitis (Leberentzündung) finden soll, werden 100 Personen ohne Hepatitis gemessen. Bei 5 Personen zeigt der Test dennoch fälschlicherweise eine Hepatitis an. Die Falsch-Positiv-Rate ist also 5%, die Spezifität 95%.
Ist der Test jetzt gut oder schlecht? Obwohl das ganz wesentlich von der Anwendung abhängt, kann man sagen, dass dies für einen Hepatitisnachweis nicht besonders gut ist, wenn jeder 20. falsch positiv ist.

Sensitivität

Aussage: wieviel % der Kranken werden mit dem Test richtigerweise als krank eingestuft.

Sensitivität(%) =	100 x Anzahl richtig positiver Ergebnisse

	Anzahl der Kranken

Der Wert wird zwischen 0 und 100%, manchmal auch zwischen 0 und 1 angegeben. Im Idealfall 100%.
In Worten sagt die Sensitivität, mit welcher Wahrscheinlichkeit ein Kranker von dem Test richtigerweise als krank eingestuft wird.
Beispiele: Hat ein Test eine Sensitivität von nur 50%, dann heißt das: Bei jedem 2. Kranken ist der Test negativ. Ein negatives Testresultat hat also keine besonders verlässliche Aussage. Hat ein Test hingegen eine Sensitivität von 95%, ist die Wahrscheinlichkeit, dass man bei einem negativen Ergebnis tasächlich nicht krank, ist viel höher.

Falsch-Negativ-Rate: Drückt man die Sensitivität umgekehrt aus, wird sie manchmal leichter verständlich: Die sog. Falsch-Negativ-Rate beschreibt den Anteil der Kranken, die vom Test fälschlicherweise als nicht krank eingestuft wurden. Ist die Sensitivität 95% (wurden also 95 von 100 Kranken richtigerweise als krank eingestuft), dann ist die Falsch-Negativ-Rate 5% (denn 5 wurden ja fälschlicherweise als nicht krank eingestuft). Auch die Falsch-Negativ-Rate ist also ein Maß für die Sensitivität eines Labortests.

Beispiel: Mit einem Test, der Patienten mit Hepatitis (Leberentzündung) finden soll, werden 100 Hepatitis-Fälle gemessen. Bei 5 Hepatitis-Fällen zeigt der Test dennoch fälschlicherweise keine Hepatitis an. Die Falsch-Negativ-Rate ist also 5%, die Sensitivität 95%.
Ist der Test jetzt gut oder schlecht? Obwohl das ganz wesentlich von der Anwendung abhängt, kann man sagen, dass dies für einen Hepatitisnachweis nicht besonders gut ist, wenn jeder 20. falsch negativ ist.

Effizienz

Aussage: wieviel % Ergebnisse waren korrekt.

Effizienz(%) =	100 x Anzahl richtiger Ergebnisse

	Anzahl aller Ergebnisse

Gewissermaßen die Gesamtwertung der diagnostischen Leistung eines Tests bestehend aus Sensitivität und Spezifität. Sagt über den Test aber nicht so viel aus, weil man nicht weiß, wo seine Schwächen und Stärken liegen. Gerade das ist aber für die meisten Anwendungen von Labortests wichtig.

ROC-Kurven

ROC-Kurven sind gewissermaßen die hohe Schule der Sensitivitäts- und Spezifitätsbeschreibung. Man versucht dabei, die Sensitivität und Spezifität eines Labortests bei den verschiedenen Entscheidungsgrenzen in einer Kurve darzustellen. Die Fläche unter der Kurve ist das Maß für die Leistung des Labortests.
Falls Sie mit den nachstehenden Ausführungen nichts anfangen können, mag es sie trösten, dass das Thema ROC-Kurven auch viele Laborfachleute unangenehm berührt.

Welche Entscheidungsgrenze soll man wählen?
Nehmen wir ein (vereinfachtes) Beispiel: Menschen mit Entzündungen haben eine erhöhte Zahl weißer Blutkörperchen (Gesunde haben meist unter 10000/µl). Wir können also mit der Messung der weißen Blutkörperchen Entzündungen erkennen. Aber ab welcher Schwelle sagen wir: "Entzündung vorhanden"?

Niedrige Schwelle: Sagen wir, alle über z.B. 9000/µl haben eine Entzündung, dann werden wir kaum eine Entzündung übersehen. Unsere Sensitivität wird also sehr hoch sein, die Falsch-Negativ-Rate niedrig. Dafür werden wir aber viele Gesunde als entzündlich bezeichnen, denn auch so mancher Gesunde wird über 9000/µl liegen. Die Spezifität ist also niedrig, die Falsch-Positiv-Rate hoch.
Hohe Schwelle: Nehmen wir eine hohe Schwelle z.B. 15000/µl, dann werden wir kaum einen Gesunden fälschlich als entzündlich einstufen. Unsere Spezifität wird also sehr hoch sein, die Falsch-Positiv-Rate niedrig. Dafür werden wir aber viele Entzündungen übersehen, denn auch so mancher Patient mit Entzündung wird unter 15000/µl liegen. Die Sensitivität ist also niedrig, die Falsch-Negativ-Rate hoch.

Beide Schwellen erscheinen nicht ideal, irgendwo in der Mitte wird die ideale Schwelle liegen. Bei der Erstellung der ROC-Kurven wird für jede mögliche Schwelle die dazugehörige Sensitivität und Spezifität errechnet und in einem Diagramm aufgezeichnet (ROC heißt übrigens Receiver Operating Characteristics. Warum, müsste man einen Hard-Core Statistiker fragen).

Und so sieht eine ROC-Kurve aus:

ROC-Kurve

Anmerkung: die Spezifität und Sensitivität sind hier nicht in % sondern, wie bei ROC-Kurven üblich, von 0 bis 1 angegeben.

Die Fläche unter der Kurve (Area Under Curve) ist ein Maß für die Qualität des Tests.

Links unten beginnt die Kurve bei sehr hohen Entscheidungsgrenzen, bei denen die Sensitivität sehr niedrig ist (man übersieht alles), die Spezifität sehr hoch (und daher ist 1 minus der Spezifität 0; man stuft keinen Gesunden fälschlich als krank ein).
Rechts oben ist das Ende der Kurve. Hier ist die Entscheidungsgrenze sehr niedrig. Dann ist die Sensitivität sehr hoch (man übersieht nichts) aber die Spezifität ist 0 (und 1 minus der Spezifität ist 1), weil man alle Gesunden auch als krank einstuft.
Idealerweise zieht die Kurve links oben ganz hinauf das heißt, der Test gewinnt bei sinkenden Entscheidungsgrenzen an Sensitivität ohne an Spezifität zu verlieren, geht dann nach rechts bis ans rechte obere Ende (d.h. bei weiter sinkenden Grenzen verliert er an Spezifität ohne aber an Sensitivität zu verlieren). Die Kurve bildet dabei mit den Achsen ein Quadrat mit einer Fläche (AUC) von 1.
Realistischerweise sinkt mit sinkenden Entscheidungsgrenzen die Spezifität und die Kurve geht daher nicht senkrecht nach oben, sondern weicht mehr oder weniger rasch nach rechts ab, bevor sie eine Sensitivität von 1 erreicht. Die Fläche unter der Kurve wird daher unter 1 liegen.

WIE MAN DIE QUALITÄT EINES LABORTESTS DEFINIERT