SIT Desaster in Südwestfalen

Der größte IT Infrastruktur-Kollaps der Bundesrepublik mit 1.4 Mio betroffenen Bürgern jährt sich. Ende September soll die Wiederherstellung abgeschlossen sein, so die SIT bereits im Juli. Heise macht ein “Neun Monate nach Cyberangriff: Südwestfalen IT ist wieder online” daraus unter Nennung des Endtermins: 30.09.2024.¹ Ich komme auf 11 Monate - Oktober 2023 bis September 2024. Eine Randnotiz in der Analyse voller PR-Spins², Widersprüche und einer strukturell kaputten Digitalisierung. Viel Spaß beim Lesen!

Prozess der Wiederherstellung

Sicherungs-Konzepte mit 11 Monaten Restorezeit sind alles, nur nicht funktionierend. Die SIT sieht es anders.³ Auch die FAQs auf deren Website dokumentieren noch viele offene Baustellen. Einige Dienste gehen sogar erst im November 2024 online, andere wurden kurzerhand ersetzt und bei wieder anderen ist noch völlig unklar, ob und wann diese anlaufen.⁴

Immerhin gibt es einen positiven Datenpunkt: Anstelle der proprietären und kostenpflichtigen Fernsteuerung PCVisit kommt künftig die Open-Source Software Rustdesk⁵ zum Einsatz. Dafür Applaus. Warum Fernsteuerungen in Infrastrukturen mehr Problem denn Lösung sind, das habe ich im Beitrag “Management von externen Dienstleistern” thematisiert.⁶

Krisenkommunikation mit PR-Agentur

Zu den technischen Problemen kommt ein Kommunikationsproblem. Üblicherweise veröffentlichen IT-Unternehmen ein sogenanntes Post-Mortem⁷, “Lessons Learned” oder geben Antwort auf die Frage, was in Zukunft besser - sprich anderes - wird. Für einen mit öffentlichen Mitteln finanzierten Zweckverband von 72 Städten, Kommunen und Landkreisen gelten meiner Meinung nach verschärfte Maßstäbe bei Transparenz und Informationspolitik.

Der Blick auf die SIT Website offenbart, die letzte Pressemeldung ist auf den 1. Februar 2024 datiert und vermeldet den neuen Geschäftsführer Mirco Pinske.⁸ Im Bereich “News” existiert darüber hinaus noch ein Osterwunsch aus dem März mit dem Inhalt, die eigene Website sei online.⁹ Dürftig in Anbetracht des bislang größten Sicherheitsvorfalles der Bundesrepublik. Das finden auch die Mitglieder des Zweckverbandes. Von fehlender Kommunikation und Vertrauen schreibt die Westfalenpost im April 2024.¹⁰

Nach dem Hackerangriff (…) war nicht zuletzt die Kommunikation der SIT von den Kreisen und Kommunen bemängelt worden, die sich schlecht bis gar nicht informiert fühlten, und außerdem das wahre Ausmaß der Attacke (…) nicht klar von der SIT benannt sahen. (…) Das Vertrauen in den Zweckverband sei „schwer erschüttert“, hieß es in einem Schreiben.

Dabei kommuniziert die SIT viel, nur leider weder offen noch transparent sondern viel mehr im Verborgen über eine Agentur zur Krisenkommunikation, wie mir eine Quelle persönlich bestätigte. Die Medien stürzen sich dankbar über dpa und Reuters Presseverteiler und die üblichen Abtipper übernehmen die vorgekauten Narrative und Formulierungen meist ungeprüft. Die eingangs erwähnten “9 Monate” sind als Spin zu werten und kommen nicht nur bei Heise, sondern auch bei RP-Online¹¹ und den Ruhrnachrichten¹² vor. Andere Journalisten mit Mathefähigkeiten erkannten den Spin.¹³

Ich staunte über den aufwändig produzierten Podcast “Zero Day in Südwestfalen” in fünf Teilen im Deutschlandfunk.¹⁴ Er machte mich zugleich auch wütend. Der Titel ist bereits unwahr. Die Hacker kamen nicht über eine Zero-Day Schwachstelle.¹⁵ Die gegenständliche Sicherheitslücke CVE-2023-20269¹⁶ in der VPN-Software war längst mit einem Patch bedacht. Die SIT versäumte es, das Update bei den eigenen Admins auszurollen sowie starke Passwörter und 2FA zu implementieren. Die bekannte Trias aus Bequemlichkeit, Unfähigkeit und kaputten Prozessen.

Unvergessen die Geschichten, wie durch “sofortiges Herunterfahren” Schlimmeres verhindert wurde. Tatsächlich begann die Verschlüsselung von 961 Servern am 29.10.2023 ab 15:40 Uhr und lief ohne Unterbrechung bis morgens früh 01:38 Uhr durch. Erst um 6:30 Uhr erfolgte eine Regung der SIT.¹⁷

Mir fehlt jede Form von Verständnis wenn eine Körperschaft des öffentlichen Rechts Steuergelder für PR-Kampagnen ausgibt. Es dürfte kaum eine Notwendigkeit noch eine Rechtsgrundlage bestehen, zumal gem. Präambel der Satzung keine Gewinnerzielungsabsicht besteht und somit jegliche Form von Werbung in Frage stellt.

Wenn die Schönwetter-PR auch noch nachweislich Unwahrheiten in Umlauf bringt möchte ich laut aufschreien. Da ist es beinahe erheiternd, wenn die Realität einen immer wieder einholt:

Vorfall vom Februar 2024

So zum Beispiel zwischen dem 16. und 20. Februar 2024. Viele Rathäuser und Verwaltungen in NRW standen zu diesem Zeitpunkt ohne E-Mail da. Eine Microsoft Exchange Sicherheitslücke galt es schnellstmöglich abzudichten nachdem bereits mehrere Tage der Untätigkeit verstrichen waren. Erst die BSI-Warnung, Hacker würden diese Lücke bereits aktiv ausnutzen¹⁸, erinnerte wohl an die Cisco VPN-Software. Zur Hektik gesellten sich handwerkliche und infrastrukturelle Defizite. Die Mailzustellung für den Zeitraum konnte nicht mehr garantiert werden und Absender wurden gebeten, Emails neu zu versenden.¹⁹

Das ist Digitalisierung aus Absurdistan. Von einem sauberer Prozess oder gar einem Automatismus keine Spur. Üblicherweise liegen Exchange Server hinter Mail-Gateways²⁰. Oder es werden Secondary bzw. Standby-Server betrieben, wo eingehende Mails in Warteschlangen gesammelt und nach dem Patchen der innenliegenden MTAs²¹ wieder zugestellt werden. Ein Standardablauf im Betrieb von Mailservern und ganz besonders von unsicheren On-Prem Exchange-Servern. Dabei geht keine Mail “verloren” noch muss etwas von Absendern neu versendet werden. Solche Updates laufen normalerweise auch außerhalb der Kernarbeitszeiten als Non-Event ab, ohne dass Anwender davon etwas mitbekommen.

Vorfall vom Juli 2024

Im Juli 2024 stand die SIT erneut mit einem Sicherheitsvorfall ganz ohne Verteiler einer Krisenkommunikations-Agentur in den Medien.²² Auslöser diesmal war die “Reverse-Ransomware”²³ Crowdstrike, die offenbar bei einigen Kommunen im Einsatz ist.

In “Digitalisierung im Endstadium” habe ich bereits hinreichend zu diesem Vorfall informiert und aufgezeigt, dass sogenannte Endpoint-Security nichts auf kritischen Systemen zu suchen hat, wie in EULA per Haftungsausschluss geregelt.²⁴

Dem wird entgegen gehalten, dass Normen und Zertifizierungen zwingend ein Antiviren-Schutz voraussetzen. Gleichzeitig aber ignoriert, dass jedes Windows Betriebssystem bereits mit einer solchen Lösung ausgeliefert wird.²⁵

Spuren von Selbstreflektion und Verantwortung

Eingeräumt wurde immer nur das, was sich nicht mehr schön reden ließ.²⁶ In einem Interview habe ich die für mich beste Quelle finden können, die einer kritischen Betrachtung Nahe kommt. Direkt gefragt antwortet der neue Geschäftsführer Mirco Pinske im August 2024:²⁷

(…) Wir haben uns unserer Verantwortung gestellt und wertvolle Lehren gezogen, dabei unsere IT-Sicherheit komplett aufgerollt und neu aufgesetzt. Nötige Veränderungsprozesse (…) wurden in Rekordzeit umgesetzt. (…) Hierzu haben wir wichtige kurz- und mittelfristige Maßnahmen bereits umgesetzt oder arbeiten mit Hochdruck an einer Realisierung noch in diesem Jahr. Dazu gehören etwa die Etablierung einer neuen, verbesserten Netzwerksegmentierung und Systemhärtung, die Einführung besserer Firewalls, eine flächendeckend eingeführte Multifaktorauthentifizierung, die Absicherung von Nutzerkonten und weitere Maßnahmen. Darüber hinaus sind zusätzliche Investitionen geplant, die dazu dienen, die Systeme der SIT nachhaltig abzusichern (…).

Konkreter wird er nicht. Die genannten Maßnahmen folgen zwar dem r-tec Incident-Report²⁸, ich frage mich, warum diese nach einem knappen Jahr immer noch nicht umgesetzt sein sollen. Sind Systeme immer noch nicht isoliert oder Passwörter wie “Admin123456” erlaubt und 2FA nicht einheitlich ausgerollt? Nach dem Lesen des Interviews stellen sich mir mehr Fragen als zuvor.

Eine große Bitte an alle, die mit der Floskel “mit Hochdruck an etwas arbeiten” um sich werfen. In der IT wird idealerweise ohne “Hochdruck” gearbeitet. Wer programmiert, eine Infrastruktur plant, umsetzt oder überwacht macht Fehler, ständig und dauerhaft. Besonders dumme Fehler passieren bekanntlich bei einem hohen operativen Druck. Das sind häufig Flüchtigkeitsfehler. Mitunter aber auch richtige konzeptionelle Klöpse. In der Welt der Fliegerei führen Checklisten, Standard Operating Procedures²⁹ und Crew Ressource Management³⁰ wirksam zum Durchbrechen von katastrophalen Fehlerketten. Im Nachbarblog habe ich vor vielen Jahren bereits dazu etwas geschrieben.³¹ Das Planen und Administrieren eines Fluges in einem digitalisierten Flugzeug hat mehr mit dem Betrieb von IT gemeinsam als vielen bewusst ist.³²

Geschäftsführer Rochade

Der aktuelle SIT Geschäftsführer ist nicht zu beneiden. Zwischen den Trümmern einer kaputten IT-Infrastruktur und den empörten Verbandsmitgliedern muss er einen Weg nach vorne finden. Möglicherweise eine zu schwere Aufgabe für ihn als Nicht-Techniker.

Zur Person Mirco Piske ist zu sagen, dass er in der öffentlichen Rezeption immer nur im Zusammenhang mit der Dortmunder stadtenergie GmbH genannt wird. Dass er mit der msg Gruppe verbunden ist bleibt meist unerwähnt. Dieser Konzern erscheint mir als verlängerter Arm von BigTech Cloud- und Softwareunternehmen und operiert diskret mit 102 Firmenbeteiligungen, mehr als 10.000 Mitarbeitern in über 32 Ländern.³³ Ein unbestimmtes Gefühl sagt mir, dass auf seiner Agenda nichts zu digitaler Souveränität, Open Source und gegen die Abhängigkeit der öffentlichen Verwaltungen von Microsoft steht.³⁴ Ich hoffe, dass ich mich täusche.

Der Austausch der Geschäftsführung erscheint wie ein weiterer PR-Spin. Erstens hat Jörg Kowalke weiterhin Prokura und war mit knapp einem Jahr viel zu kurz in geschäftsführender Verantwortung.³⁵ Zweitens basieren die heutigen Probleme auf deutlich älteren Entscheidungen, die ich in einem Zeitraum der letzten 10 Jahren verorte.

Die Rolle des SIT Verwaltungsrates

Eine Aufarbeitung ohne den 28-köpfigen Verwaltungsrat³⁶ erscheint unmöglich. Zusammengesetzt ist dieser aus den Bürgermeistern und höheren Verwaltungsmenschen der Kreise, Städte und Kommunen mit folgenden satzungsgemäßen Aufgaben:³⁷

• das strategische Controlling,
• die Fortschreibung der IT-Strategie
• die Festlegung Sicherheitsstandards und -maßnahmen zur Gewährleistung eines angemessenen Schutzes der Systeme und personenbezogenen Daten vor Missbrauch, Manipulation und Zerstörung.
• die Ernennung, Anstellung, Beförderung, Änderung der Anstellungsverträge und Entlassung der Mitglieder der Geschäftsführung sowie die Festlegung der allgemeinen Grundsätze, nach denen die Geschäftsführung erfolgt.
• die Entscheidung in beamtenrechtlichen, arbeitsrechtlichen und personalvertretungsrechtlichen Angelegenheiten, soweit sie von der obersten Dienstbehörde übertragen werden können.

Wenn die von diesem Gremium etablierten Standards und Strategie dem entsprechen, was der r-tec Incident-Report³⁸ letztes Jahr offenlegte, dann hat der Verwaltungsrat auf ganzer Linie versagt.

Ein Blick auf §22 in Sachen Haftung verschafft weitere Klarheit:

Für Schäden, die den Verbandsmitgliedern infolge fehlerhafter Aufgabenerfüllung der Organe des Zweckverbandes entstehen, ist dieser zum Schadenersatz gegenüber den Verbandsmitgliedern nach den gesetzlichen Haftpflichtbestimmungen verpflichtet. Gleiches gilt für den Ausgleich von Schäden, die dem Zweckverband durch fehlerhaftes Verhalten der Organe der Verbandsmitglieder entstehen.

Das offenbart eine Fehlkonstruktion. Selbst wenn es rechtmäßige Ansprüche gegen den Zweckverband durch eine Mitgliedskommune gäbe, müssten diese den Schaden mit Ihren Umlagen wieder selbst tragen.³⁹ Direkte Schadensersatzklagen von Bürgern oder Unternehmen werden bislang nicht erwartet.⁴⁰

Die SIT ist eine Fehlkonstruktion

Woher kommt die dringend benötigte Expertise und das Fachpersonal? Bereits vor dem Ereignis galt die SIT nicht gerade als Zentrum für IT-Kompetenz bzw. im Tech-Umfeld als attraktiver Arbeitgeber.

Eine strukturelle Fehlkonstruktion wird in §4, Satz 3 der Satzung deutlich. “Fachkundige Bedienstete” für die Verbandsgremien und Arbeitskreise sollen von den Mitgliedern zur Verfügung gestellt werden.

Nun ist es aber so, dass die SIT als Profitcenter (aus-)gegründet wurde, damit “Skaleneffekte” auf Seite der Mitglieder erzielt und Stellen bzw. Budgets reduziert werden können. Statt 72 Standorte, Administratoren und Helpdesks sollen es zwei Standorte in Hemer und Siegen mit deutlich kleineren Personal- und Kostenstrukturen richten. In den Kommunen bleiben bestenfalls nur noch IT Operatoren, die ein Telefon bedienen oder Rechner tauschen können.

Anders formuliert: Die SIT wird in Ihren Gremien und Arbeitskreisen dümmer, während langfristig die Anforderungen durch mehr Zentralisierung steigen. In Zukunft soll alles aus einer Hand, der NRW-IT kommen, so die Vorstellung der Politik.⁴¹

Unter diesen Vorzeichen ergibt die Personalie Pinske Sinn. Nicht Überwindung und Aufarbeitung der Fehler sondern rasche Zentralisierung in Richtung einer NRW-IT für das ganze Bundesland lautet die Antwort. Seriously? Was in Südwestfalen kräftig in die Hose gegangen ist, soll für ganz NRW besser funktionieren?

Resillienz, Souveränität oder technische Schulden⁴² lassen sich nicht in Exceltabellen und Dashboards abbilden und bleiben folglich unsichtbar. IT wird von den meisten als Kostenstelle verstanden und nicht als strategisch wichtigste Stütze jeder Art von Fort- und Weiterentwicklung. Vom Wissensaufbau, mehr persönlicher Verantwortung und Initiative, einer positiven Fehlerkultur und den flankierenden Strukturen, die das alles fördern, wage ich kaum zu schreiben.

Die SIT werde im Verwaltungsrat geführt von “Menschen, die fast ausschließlich nur ihre Erfahrung in staatlichen Betrieben gesammelt haben”⁴³. Passierschein A38 kommt einem da in den Sinn.⁴⁴

Die Zukunft liegt in dezentralen Netzen, freien Technologien, offenen Standards und einem bestimmten Mindset in den Köpfen der Menschen. Was für Unternehmen schon eine Herausforderung ist, sehe ich in der öffentlichen Verwaltung überhaupt nicht.

In diesem Sinne,
Tomas Jakobs