Wenn KI auf marodes Fundament trifft

KI ist für viele das große Heilsversprechen. Mehr Effizienz, mehr Entlastung, mehr Zukunft. Alle reden darüber, also muss es richtig sein. Und so springen viele auf den vorbeirauschenden Zug, in dem von außen betrachtet eine schrille Party gefeiert wird.

Die Diskussion in mittelständischen Unternehmen dreht sich meinem Eindruck nach eher um Potenziale, weniger um Realitäten. Der ehrliche Blick auf die Lage fehlt. Und damit meine ich nicht nur die Technik, sondern vor allem die nicht-technische Governance.

Was ist Governance und warum bekommen viele das nicht hin?

Governance bezeichnet im Kontext eines Informationssicherheits-Managementsystems (ISMS) den übergeordneten Rahmen aus Richtlinien, Verantwortlichkeiten, Prozessen und Kontrollmechanismen, der sicherstellt, dass Informationssicherheit systematisch geplant, umgesetzt, überwacht und kontinuierlich verbessert wird.¹ Wenn ein ISMS die Taktik ist, so ist Governance die übergeordnete Strategie.

Viele Unternehmen haben heute nicht einmal für klassische, vollständig deterministische Systeme eine Governance. Also Systeme, deren Verhalten theoretisch komplett vorhersagbar und kontrollierbar sein sollte.

Wie komme ich zu dieser Annahme? Ein Blick auf die Bitkom-Zahlen zu Sicherheitsvorfällen reicht:

262 Mrd. Euro Gesamtschaden für die deutsche Wirtschaft, davon über 22 Mrd. im vergangenen Jahr.² Täglich werden die typischen, Windows-zentrierten Unternehmensnetze aus der bekannten Trias Windows, Office und AD regelrecht “ausgeknipst”. Viele davon mit Fachpersonal, Risikobewertungen, IT-Leitlinien, Zertifikaten und Audits sowie etablierten ISMS-Strukturen. Ganz offensichtlich vergebens.

Kurzer Selbsttest: Wer einen oder mehrere der folgenden Punkte mit “nein” beantworten muss, sollte auf jeden Fall weiterlesen:

• Sie haben eine lückenlose Übersicht aller installierten Software inklusive der Abhängigkeiten und einzelnen Libraries.
• Sie bekommen einen Hinweis, wenn ein unbekanntes Gerät auftaucht.
• Sie haben keine Schatten-IT in Gestalt privater Endgeräte.
• Sie bekommen sofort eine Warnung, wenn eine bestimmte EventID ausgelöst wird z.B. wenn Benutzer oder Logs gelöscht werden.
• Sie können in wenigen Minuten nachvollziehen, welcher Dienstleister remote vor sechs Monaten zwischen 8 und 9 Uhr an welchem Ihrer Systeme gearbeitet hat und ihn namentlich benennen.³

Schön, Sie noch an Bord zu haben.
Jetzt geht es erst richtig los.

Nicht-deterministische KI oben drauf

Was zeichnet ein nicht-deterministisches System aus?

• Zwei identische Inputs können unterschiedliche Outputs erzeugen.
• Fehler entstehen nicht durch feste Regeln oder Code, sondern aus Wahrscheinlichkeitsverteilungen.
• Sicherheitslücken entstehen als Nebenprodukt des Modellverhaltens.
• Reproduzierbarkeit und Auditierbarkeit sind eingeschränkt bis nicht möglich.

Wir haben also die deterministischen Systeme schon kaum unter Kontrolle und stapeln nun zusätzlich eine nicht-deterministische KI oben drauf. Ein System, dessen Verhalten sich je nach Eingabe, Kontext, Fragesteller oder relativer Mondfeuchte verändert.

Das ist nicht mutig.
Das ist auch nicht modern.
Das ist fahrlässig.

Der Governance-Gap

Die zentrale strukturelle Lücke überall dort, wo heute mit KI experimentiert wird, entsteht genau hier. Wir besitzen bestenfalls das Wissen, die Methoden und Werkzeuge für klassische, deterministische Systeme. Was wir aber brauchen, sind Ansätze für nicht-deterministische Systeme.

Was bieten uns die KI-Hersteller und Verkäufer außer einem Eingabeschlitz für ein LLM oder fertig ausgespuckte Resultate? Nicht viel, so das BSI-Whitepaper:⁴

• Kaum Transparenz über Quellcode, Modellarchitektur oder Trainingsdaten
• Kaum Mechanismen, um Modellverhalten oder KI-Bias zu begrenzen
• Verantwortungsdiffusion bei Mängeln oder Fehlentscheidungen

Es bleiben internationale Referenz-Standards der OECD und der seit 2024 verbindlichen EU AI Act, der den wenigsten bekannt sein dürfte.⁵

Unternehmen sind heute bereits verpflichtet, Risikobewertungen und die KI-Kompetenz Ihrer Mitarbeiter zu dokumentieren.⁶

Immerhin findet sich in der Heise Academy ein Webinar zur verantwortungsvollen KI Governance.⁷

Fazit

Wir steuern moderne Systeme, die wir nicht vollständig verstehen, mit Instrumenten, die aus einer anderen Ära stammen. KI ist dabei nicht das Problem. Der fehlende Umgang mit Governance ist es.

Bevor Unternehmen KI-Agenten auf Kunden, Mitarbeiter oder interne Prozesse loslassen, mit Vibe-Code⁸ Produkte erzeugen, brauchen diese:

• Saubere IT und Security als Grundlage
  Nicht als Nebenschauplatz, sondern als nicht verhandelbare Grundbedingung.

• Ein Governance-Modell für KI
  Mit der bereits heute gesetzlich vorgeschriebenen Risikobewertung und Fähigkeitsnachweis der Mitarbeiter sowie Dokumentation der Nachvollziehbarkeit, klaren Grenzen und Verantwortlichkeiten.

• Kennzeichnungspflicht von KI-Ergebnissen und Produkten
  Damit erkennbar bleibt, wo KI im Spiel ist und was maschinell erzeugt wurde. Der zuvor genannte EU AI Act beschränkt sich nur auf Bilder. Im IT-Kontext interessant wäre aber eher die Nutzung in Quellcodes oder Dokumentationen.

Wenn der Microsoft-Chef Satya Nadella behauptet, 30% des Codes sei bereits AI-generiert,⁹ hat das Auswirkungen auf Softwarequalität.¹⁰

Im Moment feiern viele laut eine Party in einem schnell fahrenden Zug. Wohin die Reise führt und wann der nächste Halt kommt, das bleibt unklar. Dabei wird die digitale Zukunft ganzer Unternehmen derzeit auf Sand gebaut.

Die wenigen mir persönlich bekannten Beispiele, in denen KI-Modelle zum Einsatz kommen, mussten im Nachgang mit viel Aufwand und hohen Kosten nachjustiert werden. Das MIT schätzt, dass 95% aller KI-Projekte aufgrund einer “weak foundation” scheitern.¹¹

The issue is rarely the algorithm. The real problem is the weak foundations beneath them: untrusted data, identity systems that aren’t secure and infrastructure that cannot meet new demands. Without these basics, projects collapse before they create value.

Ich hätte es nicht besser formulieren können.

In diesem Sinne,
Tomas Jakobs