Sicheres KI-Modell-Benchmarking

Das HammerHAI Sichere KI-Modell-Benchmarking ermöglicht die unabhängige Bewertung von KI-Modellen anhand vertraulicher, realer Datensätze, ohne diese an Modellentwickler oder die Modelle an Datenanbieter weiterzugeben. Als vertrauenswürdige dritte Partei ermöglicht HammerHAI organisationsübergreifende Benchmarks unter Wahrung von geistigem Eigentum, Datensouveränität und Vertraulichkeit.

Zielgruppen

• Datenanbieter: Unternehmen, die KI-Modelle anhand eigener Daten vergleichen und fundierte Technologie- oder Beschaffungsentscheidungen treffen möchten
• KI-Modellentwickler: Unternehmen und Forschungseinrichtungen, die Foundation-Modelle oder andere KI-Modelle unabhängig auf realistischen, nicht öffentlichen Datensätzen evaluieren möchten (idealerweise zusammen mit einem Datenanbieter)
• Forschungs- und Innovationsprojekte: Verbundprojekte, die eine vertrauenswürdige und vertrauliche Bewertung von KI-Modellen über Organisationsgrenzen hinweg benötigen

Beschreibung

Die Bewertung von KI-Modellen anhand repräsentativer, realer Daten ist entscheidend, um ihre Leistungsfähigkeit in industriellen Anwendungen einzuschätzen. Unternehmen können sensible Datensätze jedoch häufig nicht an externe Modellentwickler weitergeben. Umgekehrt möchten KI-Modellentwickler:innen ihre proprietären Modelle gegebenenfalls nicht offenlegen. Öffentliche Benchmarks bilden reale Bedingungen oft nur unzureichend ab und bergen das Risiko von Benchmark-Kontamination und Überanpassung.

HammerHAI Secure AI Model Benchmarking begegnet diesen Herausforderungen als vertrauenswürdige dritte Partei zwischen Datenanbietern und Modellentwicklern. Beide Seiten stellen ihre Daten beziehungsweise Modelle unter kontrollierten Bedingungen bereit. Die Evaluierung erfolgt in einer sicheren Verarbeitungsumgebung, ohne dass die beteiligten Parteien ihre Daten oder Modelle untereinander austauschen müssen.

Der Dienst ermöglicht Benchmarks auf Datensätzen verschiedener Unternehmen. Diese werden getrennt voneinander verarbeitet, ohne die zugrunde liegenden Daten zu vermischen. Leistungskennzahlen können anschließend aggregiert werden, um die Generalisierungsfähigkeit von Modellen unter unterschiedlichen industriellen Bedingungen zu bewerten.

Der Datenzugriff kann über bestehende Datenräume (Data Spaces) und Konnektoren wie Tractus-X EDC (Eclipse Dataspace Connector) erfolgen. Vertragliche Vereinbarungen beschränken die Datennutzung auf den vereinbarten Benchmarking-Zweck. Die Daten verbleiben innerhalb der autorisierten sicheren Verarbeitungsumgebung und werden nicht an Modellentwickler:innen weitergegeben.

Der Dienst richtet sich insbesondere an Foundation-Modelle für Tabellen-, Zeitreihen- und Graphdaten sowie an Modelle, die durch Inferenz oder Few-Shot-Lernen mit kleinen Datensätzen evaluiert werden können. HammerHAI führt die Evaluierung durch und stellt beiden Parteien vereinbarte Leistungskennzahlen zur Verfügung, ohne vertrauliche Daten oder proprietäre Modelle offenzulegen.

Das HammerHAI Sichere KI-Modell-Benchmarking bietet folgende Funktionen:

Vertrauliches Benchmarking

• Proprietäre KI-Modelle auf nicht öffentlichen, realen Datensätzen evaluieren.
• Datensätze und geistiges Eigentum durch sichere Verarbeitung und kontrollierten Zugriff schützen.
• Direkten Zugriff auf Benchmark-Daten verhindern und damit das Risiko von Benchmark-Kontamination und Überanpassung reduzieren.

Unternehmensübergreifende Evaluierung

• KI-Modelle anhand von Datensätzen verschiedener Unternehmen vergleichen.
• Datensätze getrennt verarbeiten, ohne Rohdaten unterschiedlicher Anbieter zu vermischen.
• Leistungskennzahlen aggregieren, um die Generalisierungsfähigkeit unter verschiedenen industriellen Bedingungen zu bewerten.

Datensouveränität und sichere Verarbeitung

• Datenräume und Konnektoren wie Tractus-X EDC integrieren.
• Datenzugriff und -verarbeitung auf vertraglich vereinbarte Zwecke beschränken.
• Vereinbarte Leistungskennzahlen bereitstellen, ohne geschützte Daten oder Modelle offenzulegen.

KI-Modellevaluierung

• Inferenzbasiertes Benchmarking und Few-Shot-Anpassung von KI-Modellen unterstützen.
• Foundation-Modelle für Tabellen-, Zeitreihen- und Graphdaten evaluieren.
• Standardisierte Leistungskennzahlen und vergleichbare Evaluationsergebnisse bereitstellen.

Anwendungsbereiche

Der Dienst richtet sich insbesondere an Unternehmen und KI-Entwickler:innen, die zuverlässige Modellbewertungen benötigen, ohne vertrauliche Informationen offenzulegen. Typische Anwendungsfälle sind:

• KI-Modellauswahl und Beschaffung: Verfügbare Modelle anhand unternehmenseigener Daten vergleichen, um fundierte Kauf- und Einsatzentscheidungen zu treffen.
• Unabhängiges Modell-Benchmarking: Leistungsfähigkeit und Generalisierungsfähigkeit von KI-Modellen anhand realistischer, bisher unbekannter Datensätze bewerten.
• Technologie- und Marktbeobachtung: Fortschritte bei KI-Modellen verfolgen und geeignete Lösungen für industrielle Herausforderungen identifizieren.
• Branchenübergreifende Modellevaluierung: Foundation-Modelle auf Datensätzen verschiedener Unternehmen bewerten, ohne proprietäre Daten auszutauschen.
• Few-Shot-Evaluierung: Untersuchen, wie gut sich KI-Modelle mit wenigen Trainingsbeispielen an neue industrielle Aufgaben anpassen.

So funktioniert es

HammerHAI koordiniert den Benchmarking-Prozess und unterstützt sowohl Datenanbieter als auch Modellentwickler bei der technischen Umsetzung.

1. Bereitstellung von Daten und Modellen

• Datenanbieter stellen geeignete Benchmark-Datensätze über Konnektoren bereit. HammerHAI unterstützt bei Bedarf bei der Aufbereitung/Anonymisierung, Definition der Evaluationsaufgaben und Auswahl geeigneter Leistungskennzahlen.
• Modellentwickler:innen stellen ihre KI-Modelle für die vertrauliche Evaluierung bereit.
• Zugriffsrechte, Evaluationsbedingungen und Datennutzungsvereinbarungen werden festgelegt.

2. Sichere Integration

• Datensätze werden über kontrollierte Zugriffsmechanismen bereitgestellt, optional über Datenraum-Konnektoren.
• Modelle und Daten werden in einer sicheren Verarbeitungsumgebung von HammerHAI zusammengeführt.
• Unberechtigte Zugriffe durch andere Beteiligte werden verhindert.

3. Durchführung der Benchmarks

• HammerHAI führt Inferenz oder Few-Shot-Lernen auf den bereitgestellten Datensätzen durch.
• Die Datensätze der einzelnen Anbieter werden getrennt und entsprechend den vereinbarten Bedingungen verarbeitet.
• Standardisierte Leistungskennzahlen werden berechnet und gegebenenfalls über mehrere Datensätze aggregiert.

4. Ergebnisse und Berichterstattung

• Datenanbieter erhalten Leistungskennzahlen zum Vergleich von KI-Lösungen für ihre spezifischen Anwendungen.
• Modellentwickler erhalten unabhängige Benchmark-Ergebnisse auf realen Industriedaten.
• Ausschließlich vereinbarte Ergebnisse werden weitergegeben. Rohdaten, proprietäre Modelle und vertrauliche Zwischenergebnisse bleiben geschützt.

Zugang

Das HammerHAI Sichere KI-Modell-Benchmarking steht Unternehmen und Forschungsprojekten zur Verfügung, die Benchmark-Datensätze bereitstellen oder KI-Modelle evaluieren möchten. Die Unterstützung erfolgt nach Möglichkeit und abhängig von verfügbaren Ressourcen.

Die Durchführung hängt insbesondere von der Verfügbarkeit geeigneter Datensätze und Modelle ab. Für Modellentwickler:innen sind Benchmarks derzeit unter Umständen nur mit öffentlichen Daten möglich. Das HammerHAI Data Lab unterstützt aktiv bei der Vermittlung zwischen Datenanbietern und Modellentwickler:innen. Besonders geeignet sind Anfragen, bei denen bereits beide Parteien für einen konkreten Anwendungsfall zusammenarbeiten.

Per E-Mail: Bitte senden Sie eine kurze Beschreibung Ihrer verfügbaren Datensätze oder KI-Modelle sowie des geplanten Anwendungsfalls an access@hammerhai.eu.

Angeboten von

Kontakt

Till Riedel

KIT

access@hammerhai.eu