Masterarbeit: Synthetische Gesichtsbilder für die Altersschätzung - Artefakte, Domain Shift und Labe

Hintergrund/Motivation:
Gesichtsbasierte Altersschätzung ist für zahlreiche Anwendungen relevant, beispielsweise für Identitätsprüfung, Jugendschutz oder medizinische Anwendungen. Das Training leistungsfähiger neuronaler Netze benötigt jedoch große und möglichst ausgewogene Datensätze mit zuverlässigen Altersangaben. Gerade für seltene Altersbereiche oder bestimmte Anwendungsszenarien stehen häufig nicht genügend geeignete reale Gesichtsbilder zur Verfügung.

Generative Modelle wie StyleGANs oder moderne Diffusionsmodelle bieten die Möglichkeit, große Mengen synthetischer Gesichtsbilder gezielt zu erzeugen und bestehende Trainingsdatensätze anzureichern. Erste eigene Experimente zeigen jedoch, dass eine solche Datenaugmentation nicht zwangsläufig zu einer deutlichen Verbesserung der Altersschätzung führt. Zwar konnten durch die Ergänzung realer Trainingsdaten mit synthetischen Gesichtsbildern teilweise geringfügige Verbesserungen des Mean Absolute Error (MAE) für die Altersschätzung erzielt werden, die beobachteten Effekte waren jedoch insgesamt klein.

Eine mögliche Ursache ist vermutlich ein ausgeprägter Domain Shift zwischen realen und synthetischen Gesichtsbildern. In Vorarbeiten konnte beispielsweise ein ResNet-Klassifikator reale und synthetische Bilder mit praktisch perfekter Genauigkeit unterscheiden. Dies deutet darauf hin, dass die generierten Bilder systematische Merkmale enthalten, anhand derer neuronale Netze ihre künstliche Herkunft erkennen können. Aus der Literatur ist ebenfalls bekannt, dass generative Modelle charakteristische statistische, spektrale oder strukturelle Artefakte beziehungsweise „Fingerprints“ in generierten Bildern hinterlassen können. Für die Altersschätzung ist bislang jedoch weitgehend unklar, welche dieser Artefakte tatsächlich relevant sind und ob sie die Verwendung synthetischer Trainingsdaten beeinträchtigen.

Eine zweite mögliche Ursache liegt in der Qualität der Altersangaben synthetischer Gesichtsbilder. Bei prompt-basierten Diffusionsmodellen muss das wahrgenommene Alter einer generierten Person beispielsweise nicht exakt dem im Prompt angegebenen Alter entsprechen. Auch bei spezialisierten GAN-basierten Verfahren zur Gesichtsgenerierung oder Altersmanipulation können Eigenschaften und Verzerrungen des Trainingsdatensatzes sowie des verwendeten Modells die erzeugte Altersverteilung beeinflussen. Synthetische Gesichtsbilder könnten daher nicht nur einen visuellen Domain Shift, sondern gleichzeitig systematisches oder zufälliges Labelrauschen enthalten.

Ziel der Masterarbeit:
Ziel dieser Masterarbeit ist es, systematisch zu untersuchen, warum synthetische Gesichtsbilder beim Training von Modellen zur Altersschätzung bislang nur begrenzt von Nutzen sind. Insbesondere sollen Artefakte unterschiedlicher generativer Modelle identifiziert, ihr Einfluss auf Altersschätzungsmodelle analysiert und Verfahren zur Verringerung des Domain Shifts entwickelt werden. Zusätzlich soll untersucht werden, wie zuverlässig die vorgegebenen Altersangaben synthetisch generierter Personen tatsächlich sind.

Dazu sollen:

• Gesichtsbilder mit unterschiedlichen generativen Verfahren erzeugt und verglichen werden, beispielsweise mit StyleGAN-basierten Modellen und modernen Diffusions- beziehungsweise Text-to-Image-Modellen.
• Unterschiede zwischen realen und synthetischen Gesichtsbildern systematisch untersucht und quantifiziert werden. Hierzu können unter anderem Klassifikatoren zur Unterscheidung realer und synthetischer Bilder, Feature-Space-Analysen sowie Untersuchungen im Frequenzbereich eingesetzt werden.
• Generatorspezifische und generatorübergreifende Artefakte identifiziert und untersucht werden. Dabei soll insbesondere analysiert werden, welche Merkmale neuronale Netze zur Unterscheidung realer und synthetischer Bilder verwenden.
• Der Zusammenhang zwischen diesen Artefakten und der Performance von Altersschätzungsmodellen untersucht werden. Hierzu sollen geeignete Ablationsstudien und kontrollierte Experimente entwickelt werden.
• Verfahren entwickelt oder evaluiert werden, mit denen sich relevante Artefakte aus synthetischen Gesichtsbildern reduzieren lassen. Denkbar sind beispielsweise klassische Bildverarbeitung, Filterung im Frequenzraum, lernbasierte Verfahren oder Ansätze zur Domain Adaptation beziehungsweise Image-to-Image-Transformation.
• Untersucht werden, ob eine Reduktion der Unterschiede zwischen realen und synthetischen Bildern tatsächlich zu einer besseren Nutzung synthetischer Daten beim Training von Altersschätzungsmodellen führt.
• Die Qualität synthetischer Alterslabels untersucht werden. Insbesondere soll analysiert werden, wie gut das wahrgenommene Alter generierter Personen mit dem gewünschten beziehungsweise vorgegebenen Alter übereinstimmt und ob bestimmte Generatoren oder Altersbereiche systematische Abweichungen aufweisen.
• Der Einfluss von fehlerhaften Alterslabels und visuellen Artefakten möglichst getrennt voneinander untersucht werden, um zu bestimmen, welcher Faktor die Verwendung synthetischer Daten stärker einschränkt.
• Aus den gewonnenen Erkenntnissen neue Strategien für die Generierung, Auswahl, Nachbearbeitung oder Gewichtung synthetischer Trainingsdaten entwickelt und evaluiert werden.

Ergebnisse:
Erwartet wird eine systematische Charakterisierung der Unterschiede zwischen realen und synthetischen Gesichtsbildern verschiedener generativer Modelle. Die Arbeit soll aufzeigen, welche Artefakte beziehungsweise statistischen Eigenschaften die Unterscheidung synthetischer und realer Bilder ermöglichen und inwieweit diese Merkmale für Altersschätzungsmodelle relevant sind.

Weiterhin sollen Verfahren zur Reduktion des Domain Shifts entwickelt oder untersucht und deren Auswirkungen auf das Training mit gemischten realen und synthetischen Datensätzen evaluiert werden. Dabei soll insbesondere geklärt werden, ob eine geringere Unterscheidbarkeit von realen und synthetischen Bildern auch mit einer verbesserten Generalisierung der Altersschätzungsmodelle einhergeht.

Ein weiterer Schwerpunkt liegt auf der Zuverlässigkeit synthetischer Alterslabels. Erwartet werden belastbare Aussagen darüber, wie genau unterschiedliche generative Verfahren gewünschte Altersangaben abbilden, in welchen Altersbereichen systematische Fehler auftreten, wie diese erkannt werden können und welchen Einfluss dieses Labelrauschen auf das Training besitzt.

Die Arbeit soll daraus Leitlinien ableiten, wann und unter welchen Bedingungen synthetische Gesichtsbilder einen Mehrwert für die Altersschätzung liefern können und welche Voraussetzungen hierfür erfüllt sein müssen. Die entwickelten Verfahren werden anhand frei verfügbarer Benchmark-Datensätze wie beispielsweise UTKFace, APPA-REAL, AgeDB oder IMDB-WIKI sowie geeigneter synthetisch generierter Datensätze wie beispielsweise HDA-SynChildFaces evaluiert.