Entschlüsselung der Compliance: Wie LLMs mit dem EU AI Act zurechtkommen

Große Sprachmodelle (Large Language Models, LLMs) sind auf der Bildfläche erschienen und faszinieren uns mit ihrer Fähigkeit, menschenähnlichen Text zu generieren, Sprachen zu übersetzen, verschiedene Arten von kreativen Inhalten zu schreiben und Ihre Fragen auf informative Weise zu beantworten. Von der Unterstützung von Chatbots bis hin zur Hilfe bei der Programmierung - diese leistungsstarken Tools verändern die Art und Weise, wie wir mit Technologie interagieren. Doch mit großer Macht kommt auch große Verantwortung, und die potenziellen Risiken im Zusammenhang mit LLMs, einschließlich Voreingenommenheit, Fehlinformationen und Verletzungen der Privatsphäre, haben ernsthafte Bedenken aufkommen lassen. Hier kommt der EU AI Act ins Spiel, eine EU-weite Verordnung, die eine verantwortungsvolle Entwicklung und Anwendung von KI sicherstellen soll. Aber wie können Entwickler sicherstellen, dass ihre LLMs dieser komplexen neuen Verordnung entsprechen? An dieser Stelle kommt COMPL-AI ins Spiel.

Das EU-KI-Gesetz: Eine neue Ära der verantwortungsvollen KI

Das EU-KI-Gesetz regelt die Nutzung moderner LLMs und versucht, deren potenzielle Schäden zu mindern. Das Gesetz verfolgt einen risikobasierten Ansatz und kategorisiert KI-Systeme auf der Grundlage ihrer potenziellen Auswirkungen auf Grundrechte und Sicherheit. Systeme, die als „unannehmbares Risiko“ eingestuft werden, wie z. B. solche, die für Social Scoring oder biometrische Echtzeit-Identifizierung verwendet werden, sind gänzlich untersagt. Für „Hochrisikosysteme“, wie sie im Gesundheitswesen oder in der Strafverfolgung eingesetzt werden, gelten strenge regulatorische Anforderungen. Von entscheidender Bedeutung ist, dass sich das Gesetz auch mit den Grundmodellen, den leistungsstarken Motoren hinter den LLMs, befasst und deren Potenzial für weitreichende gesellschaftliche Auswirkungen anerkennt.

Eine der größten Herausforderungen des KI-Gesetzes liegt in der Umsetzung der allgemeinen Rechtsgrundsätze in konkrete technische Anforderungen. Das Gesetz betont ethische Erwägungen wie Transparenz, Fairness und Verantwortlichkeit, aber die spezifischen technischen Implementierungen, die zur Erreichung dieser Ziele erforderlich sind, bleiben oft offen für Interpretationen. So fordert das Gesetz beispielsweise eine „angemessene Rückverfolgbarkeit und Erklärbarkeit“, aber was genau bedeutet dies für einen LLM-Entwickler? Diese Zweideutigkeit erschwert die Bewertung der Einhaltung des Gesetzes und schafft Unsicherheit für die Entwickler.

COMPL-AI: Überbrückung der Kluft zwischen Regulierung und Technologie

COMPL-AI ist ein Rahmenwerk, das entwickelt wurde, um diese Herausforderung zu bewältigen, indem es eine klare technische Interpretation des EU-KI-Gesetzes speziell für LLMs bereitstellt, zusammen mit einer umfassenden Benchmarking-Suite, um ihre Einhaltung zu bewerten. Der Rahmen besteht aus zwei Hauptkomponenten:

1. Technische Auslegung: Diese Komponente übersetzt die weit gefassten regulatorischen Anforderungen des Gesetzes akribisch in messbare technische Anforderungen für LLMs. Dazu gehört die Aufschlüsselung der übergeordneten Grundsätze in spezifische technische Spezifikationen in Bezug auf Robustheit, Sicherheit, Datenschutz, Transparenz, Fairness und gesellschaftliches/ökologisches Wohlbefinden.
   

2. Benchmarking-Suite: COMPL-AI verfügt über eine Open-Source-Sammlung bestehender und angepasster Benchmarks, die dazu dienen, LLMs anhand dieser technischen Anforderungen streng zu bewerten. Diese Benchmarks decken ein breites Spektrum an Bereichen ab, darunter:

   
   

   • Robustheit und Vorhersagbarkeit: Es wird gemessen, wie gut das LLM bei leicht veränderten oder verrauschten Eingaben funktioniert, um zuverlässige und konsistente Ergebnisse zu gewährleisten.

   
   

   • Widerstandsfähigkeit gegen Cyberangriffe: Prüfung der Widerstandsfähigkeit des LLM gegen böswillige Angriffe wie Prompt Injection, Schutz vor Missbrauch und Manipulation.

   
   

   • Verletzung des Urheberrechts: Prüfung auf Speicherung und mögliche Reproduktion von urheberrechtlich geschütztem Material.

   
   

   • Datenschutz: Bewertung des Risikos, dass private Daten nach außen dringen.

   
   

   • Fähigkeiten: Bewertung der Leistung des LLM bei Standardaufgaben wie Allgemeinwissen, logisches Denken und Codierung.

   
   

   • Transparenz: Untersuchung der Fähigkeit des LLM, seine Argumentation zu erklären und sein Vertrauen selbst einzuschätzen.

   
   

   • Fairness: Bewertung des LLM im Hinblick auf Voreingenommenheit und diskriminierendes Verhalten gegenüber verschiedenen demografischen Gruppen.

   
   

   • Gesellschaftliches und ökologisches Wohlbefinden:

     Messung der Auswirkungen der LLM-Ausbildung auf die Umwelt und Bewertung ihres Potenzials zur Erzeugung schädlicher Inhalte.

   
   

Die COMPL-AI-Benchmarking-Suite bietet eine quantifizierbare Bewertung, indem jeder Benchmark auf einer Skala von 0 bis 1 bewertet wird, wobei eine höhere Punktzahl eine bessere Leistung anzeigt. Diese Punktzahlen werden dann zusammengefasst, um eine Gesamtbewertung der Konformität für jedes LLM zu erhalten.

Die wichtigsten Ergebnisse: Ein Reality Check für LLMs

Die Autoren des COMPL-AI Papiers bewerteten 12 bekannte LLMs, sowohl Open-Source als auch Closed-Source, unter Verwendung ihres Rahmens. Die Ergebnisse zeichnen ein klares Bild vom aktuellen Stand der LLMs in Bezug auf das EU-KI-Gesetz:

• Kein Modell erreicht die volle Konformität: Dies ist ein bedeutendes Ergebnis, das die beträchtliche Kluft zwischen den derzeitigen LLM-Entwicklungspraktiken und den Anforderungen des Gesetzes hervorhebt. Ein wichtiger Faktor ist die mangelnde Transparenz in Bezug auf Trainingsdaten und -prozesse, die eine gründliche Bewertung erschwert. Dies wird in Tabelle 1 veranschaulicht, die die Gesamtwerte für die Einhaltung der Vorschriften für die bewerteten Modelle zeigt.

  

  
  

• Kleinere Modelle haben Probleme mit der Robustheit: Kleinere Modelle mögen zwar aufgrund geringerer Rechenanforderungen leichter zugänglich sein, doch die Studie ergab, dass sie in Bereichen wie Robustheit und Sicherheit im Allgemeinen schlecht abschneiden, was sie anfälliger für gegnerische Angriffe macht und zu inkonsistenten Ergebnissen führt. Dies ist besonders wichtig, um den zuverlässigen und sicheren Einsatz von LLMs in realen Anwendungen zu gewährleisten.

• Fairness bleibt eine große Herausforderung: Fast alle bewerteten Modelle weisen Mängel in Bezug auf Fairness und Nichtdiskriminierung auf, insbesondere was die Verzerrung der Ergebnisse und mögliche diskriminierende Auswirkungen betrifft. Dies unterstreicht die Notwendigkeit weiterer Forschungs- und Entwicklungsanstrengungen, die sich auf die Abschwächung von Verzerrungen in LLMs konzentrieren. Tabelle 2 enthält eine Aufschlüsselung der Bewertungen für verschiedene technische Anforderungen, die die Diskrepanz zwischen den Fähigkeiten und anderen wichtigen Aspekten wie Fairness deutlich macht.

  

• Die derzeitigen Benchmarks sind unzureichend: Die Studie zeigt auch die Grenzen der bestehenden LLM-Benchmarks auf. Für einige entscheidende Aspekte, wie die Erklärbarkeit, gibt es keine zuverlässigen und umfassenden Tests. Andere Benchmarks, z. B. für den Schutz der Privatsphäre und die Verletzung von Urheberrechten, beruhen auf vereinfachten Annahmen und spiegeln daher möglicherweise die realen Risiken nicht genau wider.

Der Weg nach vorn:

Auf dem Weg zu vertrauenswürdigen LLMs

Das EU-KI-Gesetz und Rahmenwerke wie COMPL-AI werden die Landschaft der LLM-Entwicklung umgestalten. Der Fokus des Gesetzes auf ethische und gesellschaftliche Belange wird wahrscheinlich zu einer Verschiebung der Prioritäten führen und Entwickler dazu bringen, über die reine Maximierung der Fähigkeiten hinauszugehen und Aspekte wie Robustheit, Fairness und Transparenz zu priorisieren.

COMPL-AI bietet Entwicklern ein wertvolles Werkzeug, um ihre LLMs anhand der Anforderungen des Gesetzes zu bewerten, verbesserungswürdige Bereiche zu identifizieren und zum Aufbau vertrauenswürdigerer KI-Systeme beizutragen. Darüber hinaus bietet es einen entscheidenden Ausgangspunkt für laufende Konkretisierungsbemühungen, wie die Entwicklung des GPAI Code of Practice, der darauf abzielt, klare Industriestandards für die Einhaltung von LLMs zu etablieren.

Die Ergebnisse dieser Studie unterstreichen die Notwendigkeit einer größeren Transparenz bei der LLM-Entwicklung, insbesondere in Bezug auf Trainingsdaten und -prozesse.

Dies ist nicht nur für die Einhaltung des KI-Gesetzes, sondern auch für den Aufbau von Vertrauen bei den Nutzern und die Förderung einer verantwortungsvollen Innovation im Bereich der KI von wesentlicher Bedeutung. Die künftige Arbeit an COMPL-AI und anderen ähnlichen Initiativen wird eine entscheidende Rolle bei der Gestaltung einer Zukunft spielen, in der LLMs verantwortungsvoll entwickelt und eingesetzt werden, um ihren Nutzen zu maximieren und gleichzeitig ihre potenziellen Schäden zu mindern.