
RAG | Retrieval-Augmented Generation im Unternehmen
Was ist RAG und wie funktioniert es? So nutzen Unternehmen Retrieval-Augmented Generation für bessere KI-Antworten und produktive RAG-Chatbots.
KI-Kompetenz (AI Literacy) ► Seit 2.2.2025 Pflicht ✓ Durchsetzung ab August 2026 ✓ 4-Schritte-Fahrplan ✓ Nachweis & Dokumentation ✓ Jetzt umsetzen

Am 2. August 2026 beginnt die Marktüberwachung der EU-KI-Verordnung. Ab diesem Tag können Verstöße gegen die KI-Kompetenzpflicht aus Artikel 4 EU AI Act sanktioniert werden. Die Pflicht selbst gilt bereits seit dem 2. Februar 2025: Wer Systeme mit Künstlicher Intelligenz (KI) anbietet oder betreibt, muss sicherstellen, dass die eigenen Mitarbeiter und alle Personen, die im Auftrag des Unternehmens mit KI arbeiten, über ein ausreichendes Maß an KI-Kompetenz verfügen. Im englischen Original der Verordnung heißt diese Anforderung AI Literacy.
Betroffen ist damit fast jedes Unternehmen. Denn schon wer ChatGPT, Microsoft Copilot oder ein KI-gestütztes Analysetool im Arbeitsalltag einsetzt, gilt als Betreiber eines KI-Systems. Dieser Leitfaden erklärt, was KI-Kompetenz nach Artikel 4 bedeutet, was die Verordnung verlangt und was nicht, und wie Sie die Anforderungen in vier Schritten pragmatisch umsetzen.
KI-Kompetenz ist der deutsche Begriff für das, was die englische Fassung der KI-Verordnung AI Literacy nennt. Gemeint ist deutlich mehr als die Fähigkeit, ein KI-Tool zu bedienen. Es geht um das Verständnis dafür, wie Künstliche Intelligenz funktioniert, wo ihre Grenzen liegen und welche Risiken ihr Einsatz mit sich bringt.
Die Verordnung (EU) 2024/1689 liefert in Artikel 3 Nr. 56 eine Legaldefinition:
„KI-Kompetenz“ bezeichnet „die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden.“
Drei Elemente stecken in dieser Definition: Fähigkeiten, Kenntnisse und Verständnis. Mitarbeiter sollen KI-Systeme sachkundig und verantwortungsvoll nutzen können und sich dabei der Chancen ebenso bewusst sein wie der Risiken.
In der Praxis hat sich eine Einteilung in drei Dimensionen bewährt. Die technische Dimension umfasst das Grundverständnis, wie KI-Anwendungen arbeiten, was sie leisten und wo sie systematisch Fehler machen, etwa bei Halluzinationen großer Sprachmodelle. Die rechtliche Dimension betrifft Datenschutz, Transparenzpflichten und Haftungsfragen beim KI-Einsatz. Die ethische Dimension schließlich behandelt Verzerrungen in Trainingsdaten, den Umgang mit KI-Ergebnissen und die Frage, wann menschliches Urteil das letzte Wort haben muss.
Wer nur die Bedienung eines Tools schult, deckt lediglich einen Bruchteil davon ab. Genau diese Verkürzung will Artikel 4 verhindern.
Die Pflicht aus der KI-Verordnung ist der Anlass, sich mit dem Thema zu beschäftigen. Der eigentliche Grund liegt tiefer. Laut einer Studie des Stifterverbands sehen 60 Prozent der Führungskräfte in Künstlicher Intelligenz einen entscheidenden Wettbewerbsfaktor, zugleich nennen 79 Prozent fehlende KI-Kompetenzen der Mitarbeiter als zentrale Hürde beim Einsatz der Technologie.
Ohne geschulte Mitarbeiter bleiben KI-Anwendungen entweder ungenutzt oder sie werden falsch genutzt. Beides kostet: das eine Produktivität, das andere im schlimmsten Fall Datenschutzverstöße, fehlerhafte Entscheidungen und Reputationsschäden. Die Bundesnetzagentur formuliert es nüchtern: Der Aufbau von KI-Kompetenz liegt im Eigeninteresse der Unternehmen. Ein Mangel daran kann zudem als Verletzung der Sorgfaltspflicht gewertet werden, insbesondere wenn dadurch ein Schaden entsteht.
Artikel 4 ist bewusst knapp gehalten. Anbieter und Betreiber von KI-Systemen müssen Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit KI-Systemen arbeiten, über ein ausreichendes Maß an KI-Kompetenz verfügen. Zu berücksichtigen sind dabei technische Kenntnisse, Erfahrung, Ausbildung und der Kontext, in dem die Systeme eingesetzt werden.
Artikel 4 gilt seit dem 2. Februar 2025, ohne Übergangsfrist. Als EU-Verordnung wirkt die Regelung unmittelbar, eine Umsetzung in deutsches Recht war nicht nötig. Unternehmen, die bislang keine Maßnahmen ergriffen haben, sind also formal bereits im Verzug. Sanktionierbar werden Verstöße allerdings erst mit dem Start der Marktüberwachung im August 2026, dazu unten mehr.
Die Formulierung ist wichtig, denn sie relativiert die Pflicht. Geschuldet ist keine Garantie, dass jeder Mitarbeiter jederzeit fehlerfrei mit KI umgeht. Geschuldet ist eine plausible, nachvollziehbare Anstrengung: Das Unternehmen muss den eigenen Bedarf analysieren, passende Maßnahmen umsetzen und diese aktuell halten. Wie das konkret aussieht, dürfen Unternehmen selbst entscheiden. Die Verordnung schreibt weder Formate noch Inhalte im Detail vor.
Die Pflicht trifft zwei Rollen: Anbieter und Betreiber von KI-Systemen. Sie gilt unabhängig von der Risikoklasse des Systems, von der Branche und von der Unternehmensgröße.
| Anbieter | Betreiber | |
|---|---|---|
| Rolle | Entwickelt ein KI-System oder bringt es unter eigenem Namen auf den Markt | Nutzt ein KI-System in eigener Verantwortung im beruflichen Kontext |
| Typisches Beispiel | Softwarehaus mit eigenem KI-Produkt | Unternehmen, dessen Teams ChatGPT, Copilot oder KI-Funktionen in Fachanwendungen nutzen |
| Pflicht nach Artikel 4 | KI-Kompetenz des eigenen Personals und beauftragter Personen sicherstellen | KI-Kompetenz des eigenen Personals und beauftragter Personen sicherstellen |
| Zusätzliche Pflichten | Umfangreiche Anforderungen je nach Risikoklasse, etwa Dokumentation und Konformität | Bei Hochrisiko-KI unter anderem Schulung für menschliche Aufsicht (Artikel 26) |
Für die meisten mittelständischen Unternehmen ist die Rolle des Betreibers relevant. Wer generative KI im Arbeitsalltag einsetzt, ist Betreiber, auch ohne eigene KI-Entwicklung.
Ein Punkt, der in vielen Beiträgen zum Thema fehlt: Artikel 4 erfasst nicht nur angestellte Mitarbeiter. Die Pflicht gilt für alle Personen, die im Auftrag des Unternehmens mit dem Betrieb und der Nutzung von KI-Systemen befasst sind. Die EU-Kommission nennt dazu ausdrücklich Auftragnehmer und Dienstleister.
Für Unternehmen heißt das: Wer externe IT-Dienstleister, Agenturen oder Freelancer mit Aufgaben betraut, bei denen KI zum Einsatz kommt, sollte deren KI-Kompetenz in die eigene Betrachtung einbeziehen. Je nach Risiko des Einsatzes kann es sinnvoll sein, entsprechende Anforderungen vertraglich zu verankern. Umgekehrt wird KI-Kompetenz damit zum Qualitätsmerkmal bei der Auswahl von IT-Dienstleistern.
Ja. Die KI-Verordnung kennt bei Artikel 4 keine Ausnahme für kleine und mittlere Unternehmen. Die EU-Kommission bestätigt das an einem Beispiel, das viele Betriebe betrifft: Schon ein Unternehmen, dessen Mitarbeiter ChatGPT für Werbetexte oder Übersetzungen nutzen, fällt unter die Pflicht. Die Mitarbeiter müssen dann über die spezifischen Risiken informiert sein, etwa über Halluzinationen.
Der Umfang der Maßnahmen darf allerdings zur Unternehmensgröße und zum Risiko passen. Ein Zehn-Personen-Betrieb, der KI für Textentwürfe nutzt, braucht kein mehrstufiges Schulungsprogramm. Eine kurze, dokumentierte Einweisung mit klaren Nutzungsregeln kann hier bereits ein angemessenes Niveau darstellen.
Um die KI-Kompetenzpflicht ranken sich einige Übertreibungen, häufig aus verständlichem Eigeninteresse von Schulungsanbietern. Ein Blick auf die Klarstellungen der Bundesnetzagentur und der EU-Kommission lohnt sich deshalb.
| Das verlangt Artikel 4 | Das verlangt Artikel 4 nicht |
|---|---|
| Ein allgemeines KI-Verständnis in der Organisation sicherstellen | Formalisierte oder standardisierte Trainingsmaßnahmen |
| Die eigene Rolle als Anbieter oder Betreiber berücksichtigen | Externe Zertifizierungen der durchgeführten Maßnahmen |
| Risiken der konkret eingesetzten KI-Systeme einbeziehen | Einen verpflichtenden KI-Beauftragten |
| Maßnahmen aktuell halten und dokumentieren | Eine Vorabprüfung der Maßnahmen durch Behörden |
| Eine formale Messung des Kenntnisstands jedes Mitarbeiters |
Auch eine pauschale Pflicht, jeden einzelnen Mitarbeiter zu schulen, lässt sich aus Artikel 4 nicht ableiten. Die Pflicht bezieht sich auf Personen, die mit KI-Systemen arbeiten, und Schulungen sind der übliche Weg, aber nicht der einzige. Nutzungsrichtlinien, dokumentierte Arbeitsanweisungen und begleitete Praxis können Teil eines angemessenen Maßnahmenpakets sein. Sich allein auf die Gebrauchsanweisung eines KI-Tools zu verlassen, reicht nach Einschätzung der EU-Kommission dagegen in den meisten Fällen nicht aus.
Bislang war die KI-Kompetenzpflicht eine Vorgabe ohne aktive Kontrolle. Das ändert sich jetzt.

Ab dem 2. August 2026 greifen die Überwachungs- und Durchsetzungsvorschriften der KI-Verordnung. Zuständig sind die nationalen Marktüberwachungsbehörden. In Deutschland übernimmt die Bundesnetzagentur diese Aufgabe. Das deutsche Durchführungsgesetz, das KI-Marktüberwachungs- und Innovationsförderungsgesetz (KI-MIG), hat der Bundestag am 11. Juni 2026 verabschiedet, im Juli 2026 folgte die Zustimmung des Bundesrats. Es benennt die Bundesnetzagentur als zentrale Marktüberwachungsbehörde. Mit ihrem KI-Service Desk ist die Behörde schon heute die zentrale Anlaufstelle und veröffentlicht Orientierungshilfen zur KI-Kompetenz.
Ein Detail, das viele Beiträge unterschlagen: Artikel 4 taucht im Bußgeldkatalog der KI-Verordnung (Artikel 99) nicht direkt auf. Sanktionen für Verstöße gegen die KI-Kompetenzpflicht richten sich deshalb nach nationalem Recht und müssen verhältnismäßig sein. Zur Einordnung der Größenordnung: Für die im Katalog gelisteten Pflichtverstöße sieht die Verordnung Bußgelder bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes vor. Wahrscheinlicher als ein Bußgeld aus heiterem Himmel ist ohnehin ein anderes Szenario: Kommt es zu einem Vorfall, der auf mangelnde Schulung zurückzuführen ist, wiegt die fehlende KI-Kompetenz schwer.
Dazu kommt die private Durchsetzung. Erleidet eine Person einen Schaden und führt diesen auf fehlende KI-Kompetenz im Unternehmen zurück, kann sie nach nationalem Recht Schadensersatz verlangen. Auch arbeitsrechtlich und versicherungsrechtlich kann die Frage relevant werden, ob ein Unternehmen seiner Sorgfaltspflicht nachgekommen ist.
Am 19. November 2025 hat die EU-Kommission mit dem Digital Omnibus ein Paket zur Vereinfachung des digitalen Regelwerks vorgeschlagen. Für Artikel 4 sieht der Vorschlag vor, die Förderung der KI-Kompetenz stärker zu den Mitgliedstaaten und der Kommission zu verlagern, statt eine unspezifische Verpflichtung für einzelne Organisationen durchzusetzen.
Wichtig für die Praxis: Das ist ein Vorschlag, kein geltendes Recht. Solange der Digital Omnibus nicht beschlossen ist, gilt Artikel 4 unverändert. Und selbst bei einer Entschärfung bleibt die Schulungspflicht für Betreiber von Hochrisiko-KI-Systemen aus Artikel 26 bestehen. Wer jetzt in KI-Kompetenz investiert, arbeitet also in keinem Szenario umsonst.
Für die Umsetzung hat sich ein Vorgehen in vier Schritten bewährt, das sich an der Orientierungshilfe der Bundesnetzagentur ausrichtet. Es funktioniert für den Zehn-Personen-Betrieb genauso wie für den Mittelständler mit mehreren Standorten.
Am Anfang steht die Bestandsaufnahme. Welche KI-Systeme und KI-Anwendungen sind im Unternehmen im Einsatz, offiziell wie inoffiziell? Wer nutzt sie, zu welchem Zweck und mit welchen Daten? Welche Risiken sind mit dieser Nutzung verbunden?
Das Ergebnis ist ein KI-Inventar: eine Liste aller Systeme mit Nutzergruppen, Einsatzzweck und einer ersten Einschätzung der Risikoklasse. Erfahrungsgemäß fördert dieser Schritt auch Schatten-KI zutage, also Tools, die Mitarbeiter ohne Freigabe nutzen. Genau deshalb ist er die Grundlage für alles Weitere.
Eine einheitliche KI-Schulung für alle Mitarbeiter verfehlt den Kern von Artikel 4. Die Verordnung verlangt ausdrücklich, Vorkenntnisse, Aufgaben und Kontext zu berücksichtigen. Ein Entwickler, der KI-Modelle in Produkte integriert, braucht andere Kompetenzen als eine Marketing-Mitarbeiterin, die Texte mit generativer KI erstellt, und beide wieder andere als die Geschäftsführung, die über KI-Investitionen entscheidet.
Praktisch entsteht in diesem Schritt eine Rollenmatrix: Welche Nutzergruppe arbeitet mit welchen Systemen und braucht dafür welches Kompetenzniveau? Diese Matrix ist zugleich ein zentrales Dokument für den späteren Nachweis.
Auf Basis der Rollenmatrix werden die Maßnahmen geplant. Bewährt hat sich ein stufenweiser Aufbau, wie ihn auch die Bundesnetzagentur empfiehlt: ein Basismodul für alle Mitarbeiter, das Grundlagen, Chancen und Risiken von KI vermittelt, darauf aufbauend vertiefende Inhalte je nach Rolle und Risiko, und für sensible Bereiche rollenspezifische Trainings mit technischem, rechtlichem oder ethischem Schwerpunkt.
Das Format ist frei wählbar. Von Selbstlernkursen über interne Workshops bis zu externen KI-Schulungen für Mitarbeiter ist alles zulässig, solange die Maßnahme zum ermittelten Bedarf passt.
Jede Maßnahme wird festgehalten: Art und Inhalt, zeitlicher Umfang, teilnehmende Personen. Diese Dokumentation ist der Nachweis, dass das Unternehmen seiner Pflicht nachkommt.
KI-Kompetenz ist außerdem kein einmaliges Projekt. Modelle, Anwendungen und Rechtslage entwickeln sich weiter, also brauchen auch die Maßnahmen eine regelmäßige Auffrischung. Ein fester Turnus, etwa jährlich oder bei wesentlichen Änderungen im KI-Einsatz, hält den Aufwand planbar.
Ob intern oder extern umgesetzt: Eine KI-Schulung, die auf Artikel 4 einzahlt, sollte drei Bereiche abdecken.
Erstens das technische Grundverständnis. Mitarbeiter sollten wissen, wie die eingesetzten KI-Systeme grundsätzlich funktionieren, wo ihre Grenzen liegen und warum generative KI überzeugend klingende, aber falsche Ergebnisse liefern kann. Wer Halluzinationen nicht kennt, kann Ergebnisse nicht kritisch prüfen.
Zweitens die rechtlichen Rahmenbedingungen. Dazu gehören der Umgang mit personenbezogenen und vertraulichen Daten nach DSGVO, Transparenzanforderungen und die Frage, wer für KI-gestützte Entscheidungen haftet. Hier zahlt eine EU AI Act Schulung direkt auf die Compliance ein.
Drittens die ethische Dimension und die menschliche Aufsicht. Mitarbeiter sollten Verzerrungen in KI-Ergebnissen erkennen können und wissen, in welchen Fällen ein Mensch das Ergebnis prüfen und die Entscheidung treffen muss. Bei KI-Systemen der Risikoklasse Hochrisiko ist diese menschliche Aufsicht ausdrücklich vorgeschrieben.
Eine formale Nachweispflicht mit Zertifikaten kennt Artikel 4 nicht. Trotzdem trägt das Unternehmen im Prüfungs- oder Schadensfall die Beweislast dafür, dass es angemessene Maßnahmen ergriffen hat. Interne Aufzeichnungen genügen, sie sollten aber systematisch geführt werden.
Bewährt hat sich ein Dokumentationspaket aus sechs Bausteinen:
Wer diese sechs Unterlagen aktuell hält, kann jederzeit belegen, dass die Maßnahmen zum tatsächlichen KI-Einsatz passen. Das ist mehr wert als jedes gekaufte Zertifikat.
Beides ist zulässig, und oft ist die Mischung der pragmatischste Weg. Für das Basisniveau existieren kostenlose Angebote: Die Mittelstand-Digital Zentren des Bundes stellen rund 100 anbieterneutrale KI-Trainer für kleine und mittlere Unternehmen bereit, dazu kommen offene Online-Kurse wie Elements of AI oder der KI-Campus. Für viele Betriebe deckt das die erste Stufe bereits ab.
Externe Unterstützung lohnt sich vor allem dort, wo es spezifisch wird: bei der Risikoeinschätzung der eigenen KI-Anwendungen, bei rollenspezifischen Trainings für sensible Bereiche und bei der Verankerung von KI-Governance und Nutzungsrichtlinien. Bei der Auswahl eines Anbieters zählen drei Kriterien: Passt das Angebot zu den Rollen und Risiken aus Ihrer Analyse statt zum Standardkatalog? Liefert der Anbieter eine prüffähige Dokumentation mit? Und kennt er Ihre Branche gut genug, um mit realen Anwendungsfällen statt generischen Beispielen zu arbeiten?
Einen Überblick über IT-Dienstleister und Schulungspartner mit passenden Kompetenzen finden Sie im it-dock Anbieterverzeichnis.
KI-Kompetenz bezeichnet nach Artikel 3 Nr. 56 der KI-Verordnung die Fähigkeiten, Kenntnisse und das Verständnis, um KI-Systeme sachkundig einzusetzen und sich ihrer Chancen und Risiken bewusst zu sein. AI Literacy ist der englische Begriff aus dem Originaltext der Verordnung.
Seit dem 2. Februar 2025, ohne Übergangsfrist. Die Verordnung gilt als EU-Recht unmittelbar, ein deutsches Umsetzungsgesetz war dafür nicht erforderlich.
Anbieter und Betreiber von KI-Systemen, unabhängig von Branche, Risikoklasse und Unternehmensgröße. Die Pflicht umfasst neben den eigenen Mitarbeitern auch Auftragnehmer und Dienstleister, die im Auftrag des Unternehmens mit KI-Systemen arbeiten.
Ab diesem Datum beginnen die nationalen Marktüberwachungsbehörden mit der Überwachung und Durchsetzung. In Deutschland ist die Bundesnetzagentur als zentrale Marktüberwachungsbehörde benannt, das entsprechende Gesetz (KI-MIG) wurde im Juni und Juli 2026 von Bundestag und Bundesrat beschlossen.
Nein. Die KI-Verordnung verlangt weder Zertifikate für Schulungsmaßnahmen noch die Benennung eines KI-Beauftragten. Unternehmen entscheiden selbst, wie sie ein ausreichendes Maß an KI-Kompetenz sicherstellen, sollten die Maßnahmen aber dokumentieren.
Artikel 4 steht nicht im direkten Bußgeldkatalog der KI-Verordnung, Sanktionen richten sich nach nationalem Recht und müssen verhältnismäßig sein. Zur Einordnung: Für gelistete Pflichtverstöße reicht der Rahmen der Verordnung bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes. Praktisch relevanter ist das Haftungsrisiko, wenn ein Schaden auf fehlende Schulung zurückgeht.
Personen, die im Auftrag eines Unternehmens mit KI-Systemen arbeiten, müssen über die für ihre Aufgabe angemessene KI-Kompetenz verfügen. Je nach Risiko des Einsatzes kann es sinnvoll sein, das vertraglich zu regeln und bei der Auswahl von IT-Dienstleistern auf nachweisbare KI-Kompetenz zu achten.
Der Vorschlag der EU-Kommission vom November 2025 würde die Förderung der KI-Kompetenz stärker zu den Mitgliedstaaten verlagern. Beschlossen ist das nicht. Bis dahin gilt Artikel 4 unverändert, und die Schulungspflicht für Betreiber von Hochrisiko-KI bleibt in jedem Fall bestehen.
Stand: Juli 2026
Kommentare (0)
Noch keine Kommentare vorhanden.