KI ist in vielen Unternehmen angekommen, aber längst nicht in allen. Laut Eurostat setzten 2025 19,95 Prozent der Unternehmen in der EU mit mindestens 10 Beschäftigten zumindest eine KI-Technologie ein, um 6,47 Prozentpunkte mehr als 2024. Bei kleinen Unternehmen waren es 17 Prozent, bei großen 55,03 Prozent.
Ob ein solcher Einsatz dann auch trägt, entscheidet selten die Technologie allein, sondern das KI Fundament im Unternehmen: Daten, Prozesse, klare Ziele und Menschen, die wissen, womit sie arbeiten. Wer ein Haus baut, fängt auch nicht mit dem Dach an. Genauso wenig funktioniert Künstliche Intelligenz, wenn die Grundlagen darunter nicht stimmen.
Was ein KI-Fundament überhaupt bedeutet
Ein KI-Fundament ist der Unterbau, der darüber entscheidet, ob KI in deinem Unternehmen tatsächlich funktioniert oder ein teures Experiment bleibt. Wenn du heute von KI sprichst, denkst du vielleicht sofort an ChatGPT, automatische Texte oder smarte Produktempfehlungen. Das sind die sichtbaren Spitzen des Eisbergs. Darunter liegt eine unsichtbare Masse aus Prozessen, Daten und Strukturen.
Ein KI-Fundament ist kein Softwarepaket, das du einmal kaufst. Es ist das Zusammenspiel aus vier Elementen: saubere Daten, klare Prozesse, eine realistische Strategie und ein Team mit ausreichender KI-Kompetenz. Fehlt eines davon, steht das gesamte KI-Projekt auf Sand.
Was ohne dieses Fundament passiert
Ohne ein stabiles Fundament zeigen sich typische Muster: KI-Tools liefern Ergebnisse, aber niemand versteht sie. Oder die Ergebnisse stimmen nicht, weil die Eingabedaten unvollständig sind. Oder das Team nutzt das Tool zwei Wochen lang und kehrt dann zu alten Gewohnheiten zurück, weil es keine klare Einbindung in den Alltag gibt. Das Resultat ist oft dasselbe: Frust, verlorenes Budget und das Gefühl, dass KI "bei uns eben nicht funktioniert".
Dabei liegt das Problem selten bei der KI selbst. Es liegt an dem, was davor hätte passieren müssen.
KI ist kein Allheilmittel. Sie ist ein Werkzeug, das nur so gut ist wie das System, in das es eingebettet wird.
Warum schlechte Daten KI-Projekte zum Absturz bringen
Schlechte Daten führen zu schlechten KI-Ergebnissen, egal wie gut das Werkzeug ist. Stell dir vor, du bittest jemanden, ein Rezept zu kochen, und gibst ihm dafür abgelaufene Zutaten, falsch beschriftete Behälter und eine Küche ohne Herd. Das Ergebnis wäre kein Essen, das du servieren möchtest. Genau so verhält es sich mit Datenqualität und KI.
Wer ein fertiges KI-Werkzeug einsetzt, trainiert damit in aller Regel kein eigenes Modell. Das Werkzeug arbeitet mit den Daten, die du ihm mitgibst: Produktdaten, Kundenanfragen, Dokumente. Sind diese lückenhaft, widersprüchlich oder in verschiedenen Formaten verstreut, baut die KI ihre Antwort auf genau diesem Material auf. In der Praxis sieht das so aus: Produktdaten ohne eindeutige Kategorien, Kundendaten mit doppelten Einträgen, Bestellhistorien mit Lücken. Jedes dieser Probleme senkt die Qualität der KI-Ausgaben. Ob ein Anbieter eingegebene Daten zusätzlich für sein eigenes Training verwendet, regelt er in seinen Bedingungen, das gehört vor dem Einsatz geprüft.
Die häufigsten Datenfehler in KMU
Gerade in kleinen und mittleren Unternehmen ist die Datenlage oft historisch gewachsen: Über Jahre wurden Informationen in unterschiedlichen Systemen gesammelt, ohne einheitliche Standards. Ein Produktname existiert vielleicht in drei Schreibweisen. Kundenadressen wurden manuell eingetragen und enthalten Tippfehler. Verkaufszahlen aus dem Vorjahr liegen in einer Excel-Datei, neuere Daten im Warenwirtschaftssystem.
Das ist in KMU keine Seltenheit und auch kein Grund zur Panik. Aber es ist ein klares Signal: Bevor du KI einführst, solltest du deine Datenbasis bereinigen und strukturieren.
Warum fehlende Prozesse KI wirkungslos machen
KI kann einen Prozess beschleunigen oder verbessern, aber keinen Prozess ersetzen, der noch gar nicht existiert. Daten sind die eine Seite, Prozesse die andere.
Ein Beispiel: Du willst KI nutzen, um automatisch auf Kundenanfragen zu antworten. Klingt einfach. Aber damit das funktioniert, muss vorher klar sein, welche Anfragen wie beantwortet werden sollen, wer die Qualität überprüft, was bei Ausnahmen passiert und wie die Antworten in dein bestehendes System einfließen. Wenn all das unklar ist, produziert die KI Antworten ins Leere.
KI kann nur optimieren, was bereits definiert ist
Das ist einer der am häufigsten übersehenen Punkte bei der KI-Einführung in Unternehmen: Du kannst mit KI keinen Prozess erfinden. Du kannst nur einen bestehenden, verstandenen Prozess durch KI schneller, günstiger oder konsistenter machen.
Das bedeutet in der Praxis: Bevor du ein KI-Tool aufsetzt, dokumentiere den Prozess dahinter. Schreibe auf, wie er heute läuft, wo die Schwachstellen liegen und was das gewünschte Ergebnis ist. Erst dann lässt sich beurteilen, ob und wie KI an dieser Stelle wirklich helfen kann.
Warum eine fehlende Strategie besonders schwer wiegt
Ohne klares Ziel wird jedes KI-Projekt zum Tool-Test ohne Ende. Daten lassen sich bereinigen, Prozesse lassen sich dokumentieren. Wer aber ohne KI-Strategie startet, verliert sich zwischen Tool-Tests, halbfertigen Projekten und internen Diskussionen.
Eine KI-Strategie bedeutet nicht, einen 50-seitigen Masterplan zu schreiben. Es geht um ehrliche Antworten auf drei konkrete Fragen:
- Welches konkrete Problem soll KI in unserem Unternehmen lösen?
- Welche Ressourcen (Zeit, Budget, Know-how) stehen dafür zur Verfügung?
- Woran messen wir, ob das Projekt erfolgreich war?
Erfolg vorher messbar machen
Ob ein KI-Projekt erfolgreich war, lässt sich nur messen, wenn die Kriterien vor dem Start feststehen. Anthropic, der Hersteller des Sprachmodells Claude, beginnt seinen Leitfaden genau dort: „Building a successful LLM-based application starts with clearly defining your success criteria and then designing evaluations to measure performance against them.“ Sinngemäß: Eine erfolgreiche Anwendung mit einem Sprachmodell beginnt damit, die Erfolgskriterien klar festzulegen und dann Tests zu entwerfen, die die Leistung daran messen. Gute Erfolgskriterien sind laut Anthropic spezifisch, messbar, erreichbar und relevant. Statt „gute Leistung“ also etwa eine konkrete Trefferquote, eine akzeptable Antwortzeit oder ein Budget pro Anfrage. Anthropic hält außerdem fest, dass die meisten Anwendungsfälle mehrere Kriterien zugleich brauchen.
Ohne solche Antworten wird KI zum Spielzeug: interessant, teuer und letztendlich folgenlos. Mit ihnen wird sie zu einem Werkzeug, dessen Nutzen sich überprüfen lässt.
Warum der Tool-First-Ansatz oft ins Leere läuft
Ein typisches Muster in Unternehmen sieht so aus: Jemand aus dem Team hat ein neues KI-Tool entdeckt und ist begeistert. Es wird schnell eingeführt, ein paar Wochen getestet, und dann passiert entweder nichts mehr oder es entsteht ein paralleles System, das niemand richtig nutzt. Der Grund: Das Tool wurde vor der Strategie gewählt.
Strategie vor Tool lautet die Regel. Erst wenn klar ist, was erreicht werden soll, lässt sich beurteilen, welches Tool dafür geeignet ist. Manchmal ist das Ergebnis überraschend: Die beste Lösung für einen Anwendungsfall ist nicht immer ein spezialisiertes KI-Tool, sondern manchmal eine einfache Automatisierung mit bestehenden Systemen.
Was der Aufbau eines KI-Fundaments verlangt
Der Aufbau eines soliden KI-Fundaments kostet vor allem Zeit und Aufmerksamkeit, und er zahlt sich auch ohne KI aus. Ein gescheitertes KI-Projekt kostet ebenfalls Zeit und Budget, nur ohne verwertbares Ergebnis.
Denk es wie bei einem Umzug: Wer vorher ausmistet, packt, beschriftet und plant, zieht schneller und mit weniger Stress um als jemand, der einfach alles in Kisten wirft und hofft, dass sich der Rest von selbst ergibt. Das Fundament ist die Vorbereitung, die den eigentlichen Schritt erst möglich macht.
Die Phasen beim Aufbau eines KI-Fundaments
Für kleine und mittlere Unternehmen besteht der Aufbau eines KI-Fundaments meist aus diesen Phasen:
- Bestandsaufnahme der vorhandenen Daten und Systeme
- Bereinigung und Vereinheitlichung der wichtigsten Datenbereiche
- Dokumentation der Kernprozesse, die KI unterstützen soll
- Definition von Zielen, messbaren Erfolgskriterien und Verantwortlichkeiten
- Grundwissen im Team zu den eingesetzten KI-Systemen und ihren Risiken
Eine pauschale Wochenzahl lässt sich dafür nicht seriös nennen. Die Dauer hängt von Datenmenge, Zahl der Systeme und Zahl der Prozesse ab. Viele dieser Schritte laufen parallel zum Betrieb und helfen unabhängig von KI: Sauberere Daten helfen auch ohne KI, dokumentierte Prozesse ebenso. Das Fundament ist also kein reiner KI-Kostenfaktor, sondern eine Investition in die gesamte digitale Reife des Unternehmens.
Warum gerade KMU hier besonders aufpassen müssen
Kleine Unternehmen setzen KI deutlich seltener ein als große, und das liegt nicht nur am Interesse. Eurostat weist für 2025 folgende Anteile der EU-Unternehmen mit KI-Einsatz aus, gezählt werden Unternehmen ab 10 Beschäftigten:
| Unternehmensgröße | Anteil mit KI-Einsatz 2025 |
|---|---|
| Kleine Unternehmen | 17 % |
| Mittlere Unternehmen | 30,36 % |
| Große Unternehmen | 55,03 % |
| Alle Unternehmen | 19,95 % |
Als mögliche Erklärung nennt Eurostat die Komplexität der Einführung, Skaleneffekte und die Kosten, die für große Unternehmen leichter tragbar sein können. Große Unternehmen haben oft eigene IT-Abteilungen, Datenteams und Budgets. KMU haben das meist nicht. Das heißt nicht, dass KI für kleinere Unternehmen ungeeignet ist, sondern dass der Aufbau des Fundaments besonders pragmatisch angegangen werden muss.
Ein häufiger Fehler: KMU kopieren Ansätze von Großunternehmen, die für deren Größe und Ressourcen entwickelt wurden. Tragfähiger ist ein schrittweises Vorgehen: klein starten, einen Prozess wählen, das Fundament dafür aufbauen, erste Ergebnisse messen und dann ausbauen.
KI-Kompetenz fördern ist Pflicht, auch für kleine Betriebe
Zum Fundament gehört seit dem AI Act, der KI-Verordnung der EU, auch eine rechtliche Seite. Art. 4 verpflichtet Anbieter und Betreiber von KI-Systemen, Maßnahmen zu setzen, um die KI-Kompetenz ihres Personals und anderer Personen zu fördern, die in ihrem Auftrag mit dem Betrieb und der Nutzung der Systeme befasst sind. Die Pflicht trifft also nicht nur Entwickler: Als einen der ersten Schritte nennt die Europäische Kommission in ihren Fragen und Antworten die Klärung, ob das eigene Unternehmen KI-Systeme selbst entwickelt oder nur Systeme anderer nutzt.
Was die Pflicht nicht verlangt, stellt die Kommission ebenso klar. Art. 4 wurde durch den Digital Omnibus geändert, ein Paket gezielter Änderungen am AI Act, mit dem die Kommission die digitalen Regeln der EU vereinfachen will. Seither ist kein bestimmtes Kompetenzniveau mehr vorgeschrieben. Eine Pflicht, das Wissen der Mitarbeitenden zu messen, enthält Art. 4 laut Kommission ebenfalls nicht. Zu Schulungen schreibt sie: „no strict requirements or mandatory trainings are imposed“. Allein die Bedienungsanleitung der KI-Systeme zu verteilen, kann laut Kommission aber in vielen Fällen unwirksam sein. Als Mindestinhalte nennt sie:
- ein allgemeines Verständnis, was KI ist, wie sie funktioniert und welche KI im Unternehmen im Einsatz ist
- die eigene Rolle als Anbieter oder Betreiber
- die Risiken der eingesetzten Systeme und was Mitarbeitende darüber wissen müssen
- darauf aufbauende Maßnahmen, abgestimmt auf Vorwissen und Einsatzzweck
Wer Hochrisiko-KI-Systeme betreibt, muss laut Kommission weiterhin sicherstellen, dass das Personal für die menschliche Aufsicht geschult ist. Kommission und Mitgliedstaaten sollen Unternehmen, insbesondere KMU, dabei unterstützen.
Externe Unterstützung sachlich einordnen
Nicht jedes KMU wird die gesamte KI-Kompetenz intern aufbauen können oder wollen. Externe Unterstützung kann helfen, das Fundament strukturiert aufzubauen. Ein brauchbares Unterscheidungsmerkmal: Seriöse Partner beginnen mit der Analyse der Ist-Situation, also Daten, Prozesse und Ziele, bevor überhaupt ein einziges Tool besprochen wird. Wer sofort mit dem Tool starten will, ohne das Fundament zu prüfen, überspringt genau den Teil, an dem KI-Projekte hängen bleiben.
Kurz zusammengefasst
KI scheitert in Unternehmen selten an der Technologie selbst, sondern am fehlenden Fundament darunter. Worauf es ankommt:
- Datenqualität ist die Grundlage. KI-Werkzeuge arbeiten mit den Daten, die du ihnen gibst, und lückenhafte Daten ergeben lückenhafte Ergebnisse.
- Prozesse müssen vor dem KI-Einsatz verstanden und dokumentiert sein. KI optimiert, aber erfindet keine Prozesse.
- Strategie vor Tool: Erst das Ziel und messbare Erfolgskriterien festlegen, dann das passende Werkzeug wählen.
- KI-Kompetenz: Maßnahmen dazu sind nach Art. 4 AI Act Pflicht für Anbieter und Betreiber von KI-Systemen, ohne vorgeschriebenes Niveau und ohne allgemeine Pflichtschulung. Wer Hochrisiko-KI-Systeme betreibt, muss das Personal laut Europäischer Kommission für die menschliche Aufsicht schulen.
- Klein starten: Gerade für KMU gilt, einen Anwendungsfall wählen, das Fundament dafür legen und schrittweise ausbauen.
Wer diese Punkte vor dem ersten Tool klärt, kann danach sachlich entscheiden, ob und wo KI im eigenen Unternehmen einen messbaren Nutzen bringt.
Worauf sich das stützt
Was du noch wissen solltest
Häufige Ursachen liegen im Unterbau statt in der Technologie: lückenhafte Daten, unklare Prozesse, fehlende Ziele und ein Team, das die eingesetzten Systeme nicht versteht. Wie viele KI-Projekte insgesamt scheitern, lässt sich mit den hier verwendeten Quellen nicht beziffern.
Laut Eurostat setzten 2025 19,95 Prozent der EU-Unternehmen mit mindestens 10 Beschäftigten zumindest eine KI-Technologie ein. Bei kleinen Unternehmen waren es 17 Prozent, bei mittleren 30,36 Prozent und bei großen 55,03 Prozent.
Saubere und strukturierte Daten, dokumentierte Prozesse, klare Ziele mit messbaren Erfolgskriterien und ein Team, das die eingesetzten Systeme versteht. Maßnahmen zur KI-Kompetenz sind laut Europäischer Kommission nach Art. 4 AI Act Pflicht für Anbieter und Betreiber von KI-Systemen, ein bestimmtes Niveau ist aber nicht vorgeschrieben.
Sehr wichtig, auch wenn du kein eigenes Modell trainierst. Fertige KI-Werkzeuge arbeiten mit den Daten, die du ihnen mitgibst, etwa Produktdaten oder Kundenanfragen. Sind diese unvollständig oder widersprüchlich, sind es die Ergebnisse auch.
Nein. KI kann bestehende, verstandene Prozesse beschleunigen oder verbessern, aber keinen Prozess erfinden, der noch nicht existiert. Vor dem Einsatz eines KI-Tools sollte der Prozess dahinter klar beschrieben sein.
Art. 4 AI Act verlangt Maßnahmen zur KI-Kompetenz, eine bestimmte Schulungsform schreibt er laut Europäischer Kommission aber nicht vor: Es gibt kein vorgeschriebenes Niveau und keine Pflicht, das Wissen zu messen. Nur die Bedienungsanleitung weiterzugeben, kann laut Kommission jedoch in vielen Fällen unwirksam sein. Wer Hochrisiko-KI-Systeme betreibt, muss das Personal laut Kommission weiterhin für die menschliche Aufsicht schulen.
An Kriterien, die vor dem Start feststehen. Anthropic empfiehlt in seinem Leitfaden Erfolgskriterien, die spezifisch, messbar, erreichbar und relevant sind, etwa eine Trefferquote, eine Antwortzeit oder ein Budget pro Anfrage, und hält fest, dass die meisten Anwendungsfälle mehrere Kriterien zugleich brauchen.
Eine pauschale Dauer lässt sich nicht seriös nennen, sie hängt von Datenmenge, Systemen und Zahl der Prozesse ab. Viele Schritte laufen parallel zum Betrieb und zahlen sich auch unabhängig von KI aus.
