Wie gut erkennt ein Tool sensible Daten wirklich?

Seriös lässt sich die Erkennungsqualität eines Pseudonymisierungs-Tools nur mit zwei Kennzahlen auf einem offengelegten Testset messen: Recall (welcher Anteil der tatsächlich vorhandenen sensiblen Daten wird gefunden?) und Precision (welcher Anteil der Treffer ist wirklich sensibel?). Für den Datenschutz gilt dabei Recall-first: Eine übersehene Sozialversicherungsnummer ist ein meldepflichtiger Vorfall, ein zu viel maskierter Firmenname nur ein Schönheitsfehler. Der meist übersehene Faktor ist die Texterkennung (OCR) — rund 55 bis 60 Prozent der echten Dokumente sind Scans ohne Textebene, und was die OCR nicht liest, kann kein Erkenner schützen. Belastbare Erkennung entsteht deshalb nicht aus einem einzelnen Modell, sondern im Ensemble aus Prüfsummen, Kontextregeln, lokalem KI-Modell, OCR und menschlicher Sichtprüfung. Auf unserem offengelegten Testset mit 71 realistischen deutschen Dokumentzeilen erkennt allein die deterministische Schicht 70 von 71 Pflichtfällen — rund 98,6 Prozent bei null Fehlalarmen. Die meisten Anbieter nennen Ihnen keine solche Zahl; dieser Beitrag zeigt, wie Sie sie selbst nachmessen.

Stellen Sie einem Anbieter von Pseudonymisierungs- oder Schwärzungs-Software eine einzige Frage: „Wie gut erkennt euer System sensible Daten — und woran messt ihr das?“

In den meisten Fällen bekommen Sie kein Zahlenpaar, sondern ein Adjektiv. „Zuverlässig.“ „KI-gestützt.“ „State of the art.“ Was Sie nicht bekommen, ist ein Testset, das Sie selbst durchlaufen lassen könnten, und kein Wert, an dem sich die Aussage überprüfen ließe. Genau das ist das Problem — denn bei der Erkennung personenbezogener Daten hängt an dieser Zahl Ihre Rechtssicherheit.

Was bedeuten Recall und Precision — und warum zählt die Reihenfolge?

Jede Erkennung sensibler Daten balanciert zwischen zwei Fehlern: Übersehen und Überschießen. Recall misst, welchen Anteil der vorhandenen sensiblen Daten das System findet; Precision, welcher Anteil der Treffer wirklich sensibel ist. Für den Datenschutz schlägt Recall die Precision — im Zweifel wird maskiert.

• Übersehen (der teure Fehler): Ein Name, eine IBAN, eine Sozialversicherungsnummer wird nicht erkannt und landet im Klartext dort, wo sie nicht hingehört. Die Kennzahl dafür heißt Recall — der Anteil der tatsächlich vorhandenen sensiblen Daten, den das System findet.
• Überschießen (der lästige Fehler): Ein Firmenname, ein Straßenname, ein großgeschriebenes Substantiv wird fälschlich als personenbezogen markiert. Die Kennzahl dafür heißt Precision — der Anteil der Treffer, der wirklich sensibel ist.

Beide Fehler lassen sich gegeneinander eintauschen. Ein System, das jedes zweite Wort maskiert, übersieht kaum etwas (hoher Recall), produziert aber unbrauchbare Dokumente (niedrige Precision). Ein zurückhaltendes System liefert saubere Dokumente, lässt aber Sensibles durchrutschen.

Für den Datenschutz ist die Rangfolge eindeutig: Recall schlägt Precision. Eine übersehene Sozialversicherungsnummer ist ein meldepflichtiger Vorfall. Ein zu viel geschwärzter Firmenname ist ein Schönheitsfehler, den ein Mensch in zwei Sekunden korrigiert. Deshalb arbeiten seriöse Werkzeuge nach dem Prinzip Recall-first: Im Zweifel wird maskiert. Wir sagen das offen — auch bei uns gilt: lieber einmal zu viel als einmal zu wenig. Die verbleibende Feinarbeit, das gelegentliche Zuviel wieder herauszunehmen, übernimmt die Sichtprüfung im Werkzeug, nicht der Nutzer im Blindflug.

Wer Ihnen also mit einer glänzenden Precision-Zahl kommt, ohne über Recall zu reden, optimiert das falsche Ziel.

Wie misst man Erkennungsqualität seriös?

Mit einem Golden-Set: einer festen, von Hand annotierten Sammlung realistischer Dokumentzeilen, über die das System läuft — gezählt wird, wie viele bekannte Fälle es findet und wie viele Fehlalarme es produziert. Belastbar wird die Messung erst durch Vielfalt, Aufschlüsselung nach Kategorie und ein hartes Null-Fehlalarm-Gate vor jeder Freigabe.

Drei Eigenschaften machen ein solches Testset belastbar:

1. Realistisch und vielfältig. Deutsche Mietverträge sehen anders aus als Behördenschreiben, Tabellen anders als Fließtext. Ein Name am Zeilenanfang nach „Herr“ ist leicht; ein Name mitten im Satz in einem eingescannten, kleingeschriebenen Dokument ist die eigentliche Herausforderung. Ein Testset, das nur die leichten Fälle enthält, misst nichts.
2. Recall pro Kategorie, nicht als Durchschnitt. Ein System kann IBANs perfekt und Namen miserabel erkennen — der Mittelwert verschleiert das. Erst die Aufschlüsselung nach Kategorie (Name, Adresse, IBAN, Telefon, Steuer-ID …) zeigt, wo es hakt.
3. Ein hartes Null-Fehlalarm-Gate. Bei uns ist in der automatisierten Prüfung (CI) fest verankert: Sobald ein einziger Fehlalarm auf dem Testset auftaucht, schlägt der Test fehl und die Änderung geht nicht durch. So kann Recall nicht heimlich durch Überschießen erkauft werden.

Und, entscheidend: Diese Messung läuft vor jeder Freigabe, nicht einmalig im Marketing-PDF. Jede Änderung an der Erkennung wird gegen das Testset geprüft. Das ist der Unterschied zwischen einer Momentaufnahme und einer belastbaren Zusicherung.

Warum ist OCR der blinde Fleck?

Weil rund 55 bis 60 Prozent der echten Dokumente Scans ohne Textebene sind: abfotografierte Mietverträge, eingescannte Behördenschreiben, PDFs aus dem Kopierer. Bevor irgendein Namenserkenner etwas zu tun hat, muss die Texterkennung aus dem Bild verlässlich Buchstaben machen — ist sie schwach, ist die beste Erkennung dahinter wertlos.

Als wir echte Dokumente aus der Praxis auswerteten, war der wichtigste Befund nicht, welches KI-Modell die meisten Namen findet. Es war dieser: Rund 55 bis 60 Prozent der echten Dokumente sind Scans ohne Textebene. Für einen Computer ist das zunächst nur ein Bild. Es gibt keinen Text, den man durchsuchen könnte.

Das dreht die übliche Reihenfolge um. Bevor irgendein Namenserkenner überhaupt etwas zu tun hat, muss die Texterkennung (OCR) aus dem Bild verlässlich Buchstaben machen — und zwar auch bei Kleinschreibung, schiefen Scans und Rauschen. Ist die OCR schwach, ist die beste Namenserkennung wertlos, weil sie auf zerfranstem Text arbeitet. Ist die OCR gut, tragen schon einfache Regeln erstaunlich weit.

Die praktische Konsequenz: Wer die Qualität eines Werkzeugs beurteilen will, sollte es mit einem Scan füttern, nicht mit einer sauberen Text-PDF. Der Scan ist der Alltag.

Was macht gute Erkennung aus? Das Ensemble.

Kein einzelnes Modell löst das Problem allein. Belastbare Erkennung entsteht im Zusammenspiel mehrerer Schichten, die sich gegenseitig absichern:

• Deterministische Prüfsummen. IBANs werden nicht „erkannt“, sondern über das Modulo-97-Verfahren geprüft; Kreditkarten über die Luhn-Formel; die deutsche Steuer-ID über ihre Prüfziffer (ISO 7064, MOD 11,10). Eine nackte elfstellige Zahl — etwa eine Objekt- oder Rechnungsnummer — fällt so durch, eine echte Steuer-ID validiert. Das ist hochpräzise und braucht keine KI.
• Label- und Kontext-Heuristiken. „Name:“, „Mieter:”, eine Anrede, eine Unterschriftszeile, eine Tabellenspalte „Nachname, Vorname“ — die Struktur des Dokuments verrät oft, wo Personendaten stehen.
• Ein lokales KI-Modell für die Fälle, die sich nicht aus Regeln ergeben: Namen mitten im Fließtext, ohne Anker. Bei uns läuft dafür ein quantisiertes Transformer-Modell (Davlan mBERT) direkt auf dem Gerät — fest mit der Anwendung gebündelt, ohne Download, ohne Netzwerkverbindung.
• Texterkennung (OCR) für die Scans — ebenfalls vollständig offline.
• Die Sichtprüfung durch den Menschen als letzte Instanz, protokolliert im Verarbeitungsnachweis (mehr zur Architektur im Tor-Abschnitt der Startseite).

Wichtig ist das Wort lokal. Die sensibelste Aufgabe — das Erkennen, wo überhaupt personenbezogene Daten stehen — passiert auf Ihrem Rechner, nicht in einer fremden Cloud. Alles andere wäre paradox: Man würde die Rohdaten aus der Hand geben, um sie vor der Herausgabe zu schützen.

Welche Zahlen messen wir — und wie können Sie nachmessen?

Unser Testset umfasst 71 realistische deutsche Dokumentzeilen mit fiktiven, kuratierten Daten. Allein die deterministische Schicht erkennt darauf 70 von 71 Pflichtfällen — rund 98,6 Prozent bei null Fehlalarmen. Das lokale KI-Modell und die OCR kommen für die schwierigeren, ankerlosen und eingescannten Fälle obendrauf.

Weil wir das oben Gesagte ernst meinen, hier unsere Messung im Klartext.

Unser Testset umfasst 71 realistische deutsche Dokumentzeilen — aus Miet- und Kaufverträgen, Behördenschreiben, Tabellen, dazu bewusst schwere Fälle wie OCR-Kleinschreibung und komplett großgeschriebene Zeilen. Alle Daten darin sind fiktiv und kuratiert, keine echten Kundendokumente.

Auf diesem Testset erkennt allein die deterministische Schicht 70 von 71 Pflichtfällen — eine Erkennungsquote im Testset von rund 98,6 Prozent, bei null Fehlalarmen. Zum Vergleich: Vor der gezielten Überarbeitung lag dieselbe Schicht bei 57,9 Prozent.

Zwei Ehrlichkeitshinweise gehören dazu. Erstens: „Erkennungsquote im Testset“ ist nicht dasselbe wie eine allgemeine Erkennungsrate auf beliebigen Dokumenten — kein Verfahren erkennt alles, und Scans ohne Textebene brauchen zuerst die OCR. Deshalb ist die Sichtprüfung im Werkzeug kein Zusatz, sondern Teil des Verfahrens. Zweitens: Weil wir Recall-first arbeiten, maskieren wir im Zweifel lieber zu viel — die Korrektur eines Zuviels ist ein Klick, das Übersehen eines Namens ein Problem.

Das ist der eigentliche Punkt dieses Beitrags: Sie sollten diese Zahl nicht glauben müssen. Sie sollten sie nachmessen können — mit einem offengelegten Testset und dem Werkzeug in Ihrer eigenen Hand. Welche Erkennungsansätze es überhaupt gibt, ordnet der Beitrag Pseudonymisieren vor der KI ein.