Die PII-Engine von porthor erreicht auf einem internen Benchmark-Korpus aus 171 realen deutschen Geschäftsdokumenten eine Erkennung von F1 0,973 (Präzision 0,986, Recall 0,960) und ordnet Identitäten dokumentübergreifend mit F1 0,973 zu. Auf 8 nie gesehenen Dokumenten fällt die Erkennung auf F1 0,827 bei einer Erkennungsquote (Recall) von 0,896. Diese zweite Zahl ist die ehrlichere: Sie zeigt, was die Engine bei fremden Dokumenten leistet. Alles läuft on-device, rund 1,5 Sekunden pro Dokument. Interner Benchmark, Stand Juli 2026, kein zertifiziertes Prüfverfahren.

Auf welchen Daten wurde gemessen?

Die Engine wurde gegen 2.491 reale Dokumente aus dem Immobilien-, Vermietungs- und Personalalltag entwickelt: Mietverträge, Selbstauskünfte, Schufa-Auskünfte, Lohn- und Gehaltsabrechnungen, Behördenbescheide, Eingangsrechnungen, Grundbuchauszüge, Atteste und Impfnachweise. Daraus sind zwei getrennte Messgrundlagen entstanden:

Benchmark-Korpus (Golden v5): 171 Dokumente mit von Hand erstellten Musterlösungen, 1.225 gewichtete Pflicht-Datenpunkte und über 230 B2B-Grün-Fälle (juristische Personen, die lesbar bleiben müssen). Auf diesem Korpus wurde entwickelt und gemessen.
Holdout: 8 Dokumente, frisch und nie im Training verwendet. Diese Messung beantwortet die einzige Frage, die zählt: Wie gut ist die Engine bei Dokumenten, die sie noch nie gesehen hat?

Ein eingefrorener, unveränderlicher Scorer wertet beide Läufe identisch aus. Er misst die Erkennung (wurden alle personenbezogenen Pflichtstellen gefunden, ohne Fehlalarme?) und die Gruppierung (bekommt dieselbe Person über verschiedene Dokumente dieselbe Pseudonym-Gruppe?). Beim Gruppieren zählt das Vermischen zweier Personen genauso als Fehler wie eine verpasste Verbindung. Besonders schützenswerte Daten nach Art. 9 und 10 DSGVO, etwa Gesundheitsdaten oder Sozialversicherungsnummern, gehen doppelt gewichtet ein.

Die Ergebnisse

Zwei Tabellen statt einer, und zwar mit Absicht. Die erste zeigt die Werte auf dem Korpus, auf dem entwickelt wurde. Die zweite zeigt, was davon auf fremden Dokumenten übrig bleibt. Wer nur die erste zeigt, verkauft eine Trainingszahl als Produktversprechen.

Benchmark-Korpus (Golden v5, 171 Dokumente)

Kennzahl	Wert
Erkennung (F1)	0,973
— davon Präzision (Anteil korrekter Treffer)	0,986
— davon Recall (Anteil gefundener Pflichtstellen)	0,960
Gruppierung über Dokumente (paarweises F1)¹	0,973
Kombinierter Score²	0,974

Gruppierung im Detail: Präzision 0,950, Recall 0,997 über 321 Personen-Paare.

Holdout (8 ungesehene Dokumente)

Kennzahl	Wert
Erkennung (F1)	0,827
— davon Recall (Erkennungsquote)	0,896
Gruppierung über Dokumente (F1)¹	0,952
Kombinierter Score²	0,871

¹ Misst, ob dieselbe Person in verschiedenen Dokumenten dieselbe Pseudonym-Gruppe erhält. ² 0,65 × Erkennungs-F1 + 0,35 × Gruppierungs-F1; Art.-9/10-Daten doppelt gewichtet.

Was bedeutet der Abstand zwischen beiden Zahlen?

Der Abstand ist normal und er ist der Grund, warum beide Zahlen hier stehen. Auf dem Entwicklungskorpus kennt die Engine die Dokumenttypen; auf fremden Dokumenten trifft sie Formulierungen und Layouts, die sie nie gesehen hat. Die Erkennungsquote von 0,896 auf 8 ungesehenen Dokumenten heißt praktisch: Rund jede zehnte Pflichtstelle findet die Engine dort nicht von allein. Auffällig stabil bleibt dagegen die Gruppierung mit F1 0,952 — die Logik, dieselbe Person über Dokumente hinweg zusammenzuhalten, überträgt sich offenbar gut auf Fremdmaterial.

Genau deshalb ist die Engine nur eine von mehreren Schichten. porthor maskiert im Zweifel zu viel, Sie bestätigen per Sichtprüfung, und das Privacy-Gate stoppt erkannte identifizierende Originalangaben vor jedem Versand — im Zweifel blockiert es, statt zu senden (fail-closed). Die Zahl ersetzt den Blick auf das Dokument nicht.

Was dieser Benchmark nicht behauptet

Er ist intern: von uns kuratiert und gelabelt, reproduzierbar und versioniert, aber nicht extern auditiert. Es ist kein zertifiziertes Prüfverfahren.
Das Holdout ist mit 8 Dokumenten klein. Es zeigt eine Größenordnung, keine Nachkommastelle. Ein größeres Holdout ist in Arbeit.
Die Werte auf dem Benchmark-Korpus sind Trainingskorpus-Werte. Als alleinige Aussage über die Produktqualität wären sie angreifbar, deshalb stehen sie hier nie ohne den Holdout-Wert.
Handschrift und stark degradierte Scans bleiben die schwerste Disziplin.
Kein Verfahren erkennt alles. Absolute Aussagen wie „100 % Erkennung" sind nicht zulässig und werden hier bewusst nicht gemacht.
Die Zahlen bewegen sich, solange weiter optimiert wird. Sie tragen deshalb ein Datum.

Zitieren als

porthor (menosgada Service GmbH): „Deutsche PII-Erkennung: Benchmark der porthor-Engine", interner Benchmark, Golden v5: 171 reale Geschäftsdokumente (F1 0,973), Holdout: 8 ungesehene Dokumente (F1 0,827), Stand Juli 2026. Kein zertifiziertes Prüfverfahren. https://porthor.de/benchmark/deutsche-pii-erkennung

Methodik-Details stellen wir auf Anfrage bereit. Die Dokumente selbst sind Kundenmaterial und bleiben intern — veröffentlicht werden ausschließlich Kennzahlen über den Korpus, nie der Korpus. Fragen an kontakt@porthor.de.

Deutsche PII-Erkennung: Wie gut erkennt die porthor-Engine personenbezogene Daten?