Integriertes Reststoffmanagement

Titel

Erforschung und Erweiterung von Computer Vision Foundation Models (ExploRing and Expanding the FrontierRs of FoundAtion ModEls)

Kürzel

REFRAME

Beginn

01.10.2024

Ende

30.09.2027

Koordinierendes Institut

Fraunhofer Heinrich Hertz Institut

Ansprechpartner ATB

Partner

Zusammenfassung

Im Bereich der Computer Vision haben Vision Foundation Models (VFM) neue Maßstäbe in visuellen Aufgaben zum Verständnis visueller Daten, z.B. zur Bild- und Objekterkennung, Segmentierung und Klassifizierung, gesetzt, z.B. CLIP, SAM, SEEM. Trotz der Fortschritte von VFM bleiben entscheidende Fragen zur Vertrauenswürdigkeit dieser Modelle offen. Es ist unklar, wann ein Modell den Bereich seiner Trainingsdaten verlässt und wie sich die Genauigkeit über verschiedene Domänen hinweg verhält bzw. wie die Genauigkeit durch Anpassung und Finetuning verändert wird. REFRAME widmet sich diesen offenen Fragestellungen. Das übergeordnete Ziel ist, eine nachhaltige, robuste, flexible und effiziente Nutzung von VFM auch in spezifischen Aufgaben zu erreichen. Dafür ist es essentiell 1) Methoden zur Untersuchung ihrer Grenzen und Identifikation von Unsicherheiten in den Vorhersagen zu entwickeln und AnwenderInnen bereitzustellen und 2) die Vertrauenswürdigkeit und Erklärbarkeit durch entsprechende Methoden z.B. zur Erkennung und Minderung von Biases, zu steigern, sowie 3) resiliente und effiziente Methodiken zu entwickeln, um VFM an spezielle Domänen und Aufgaben auch mit wenigen Daten anzupassen. Wir fokussieren uns auf einige, wichtige Teilaspekte und der damit verbunden Methodenentwicklung, die dazu beitragen werden, Vertrauen und Zuverlässigkeit in den Vorhersagen der VFM und darauf aufbauenden Modelle zu stärken.

Förderung

Projektträger

Förderkennzeichen

Förderprogramm

Richtlinie zur Förderung von Forschungsprojekten zum Thema „Flexible, resiliente und effiziente Machine-Learning-Modelle“, Bundesanzeiger vom 07.09.2023