NTC-Anlass Jahresanlass 2026: KI auf dem Prüfstand
Begrüssung: Andreas Kaelin (NTC)
- Der Auftrag des NTC ist: testen, was sonst nicht getestet wird.
- Im Oktober 2023 wurde eine Projektskizze eingereicht. Unter anderem war da von einem Fokus auf AI und Cyber die Rede. Das ist das Thema des heutigen Abends.
- Wichtig ist auch die neu abgeschlossene Partnerschaft mit der ETH.
- KI im Dienst der Sicherheit: KI ergänzt und verstärkt den Menschen.
- Zitat: “Souverän ist, wer beurteilen kann, worauf er sich verlässt.”
Florian Schütz, Direktor Bundesamt für Cybersicherheit (BACS)
Der Mythos-Moment
- Das BACS hat Mythos bzw. den Mythos-Moment unterschätzt. Der Hype, den sie erkannt haben, hat sie den Moment falsch einschätzen lassen.
- Ja, AI ist ein Hype, aber die Gefahr ist real.
- Mythos war erstmals in der Lage, selbstständig Killchains von Anfang bis zum Schluss zu bauen.
- Das BACS hat diese Fehleinschätzung korrigiert und inzwischen ein eigenes AI-Team gegründet. Demnächst kommt eine Stellenanzeige.
Auftrag des BACS: Schutz des BIP
- Das Wirtschaftswachstum ist zu über 80 Prozent durch Technik getrieben.
- Wenn man mit Cybermitteln ein Land angreifen kann, dann kann man damit die Innovation und die Wirtschaft in diesem Land bremsen. Das ist eine grosse Gefährdung für ein Land wie die Schweiz.
- Sein Verständnis der Aufgabe des BACS ist deshalb der Schutz des Bruttoinlandprodukts der Schweiz. Er schützt den Wirtschaftsstandort, er hilft die Innovation schützen, damit die Innovation weiter getrieben werden kann und die Wirtschaft dank der Technik wachsen wachsen kann.
KI als Chance für die Verteidiger
- KI ist ein Mittel, um Fehler zu finden und damit grosse Suchräume abzudecken.
- KI lässt sich in die Qualitätssicherung einbauen und ist deshalb auch eine Chance für die Verteidiger.
- Der Mythos-Moment hat es ermöglicht, KI in die gesamte Wertschöpfungskette einzubauen.
- In der Schweiz können wir KI für intelligente Steuerungssysteme einsetzen, ein Gebiet, wo die Schweiz sehr stark ist. Dasselbe in der Logistik.
- KMU müssen KI einsetzen. Sie können sich keine riesigen Investitionen leisten. Trotzdem müssen ihre Produkte sicher sein. Sie müssen sicher werden.
- Mit der KI ist die Ausrede weggefallen: KI ermöglicht es, sichere Software zu schreiben. KI ist eine Chance für die sichere Entwicklung.
- Aber die Verteidiger sind beim Einsatz von KI zurückhaltend. Die Angreifer sind da forscher unterwegs.
- KI ist eine Chance, sie muss konstruktiv eingesetzt werden.
Apertus und Open Source
- Apertus hilft mit seinem Open-Source-Modell der Sicherheitsforschung. Wir wissen genau, was da drin ist. Wir kennen die Trainingsdaten, und wir können mit diesem offenen Modell forschen und damit die Lehre gestalten.
- Sie schätzen, dass Apertus und offene Modelle zurzeit ungefähr ein Jahr Rückstand auf die Frontier-Modelle haben.
- Es fehlen Mechanismen, um die Open-Source-Entwickler zu unterstützen. Es gibt Ressourcen für das Testing, wir brauchen aber auch Ressourcen für das Flicken von Software. Die freiwillig arbeitenden Entwickler sind da überfordert.
Regulierung
- Es gibt in der Schweiz Firmen, denen Security nach wie vor egal ist. Das ist ein Problem. Die müssen lernen, dass Security wichtig ist.
- Der Cyber Resilience Act der EU möchte Grundsicherheit fördern. Das BACS will das mit dem Cybersicherheitsgesetz auch in die Schweiz bringen, und zwar analog wie die EU.
Heinz Tännler, Finanzdirektor Kanton Zug
- Dem Vertrag des Kantons Zug mit der ETH über eine Partnerschaft von 25 Jahren gingen sechs Jahre Aufbauarbeit voraus.
- Warum geht das nun Bern etwas an? Zug will für die Schweiz Wirkung erzielen.
- Zug will Aufgaben jenseits des Marktes und der Forschung annehmen und Lücken zwischen den Zuständigkeiten von verschiedenen Personen, Kreisen, Organisationen und Firmen abdecken. Eben: testen, was niemand sonst testet.
- Partnerschaft mit der ETH: zwei neue Professuren, die über 25 Jahre durch den
Kanton Zug finanziert werden:
- eine zum Thema KI für Cybersicherheit,
- eine für sichere Machine-Learning-Systeme, also den Schutz der KI selber.
- Sie eröffnet eine Wirkung für die Schweiz.
- In Zug entsteht mit dem Testcenter eine unabhängige Instanz, auf die sich der Bund und die Kantone verlassen können. Das ist der Beitrag des Kantons Zug zur Sicherheit der Schweiz.
- Wenn jeder nur seinen Teil verwaltet, dann entsteht nichts Neues. Der Kanton Zug hat nun seinen Beitrag geleistet.
- Es gibt auch die Idee, dass ein Teil des BACS nach Zug kommt und dort ein Büro eröffnet. Herr Schütz darf aber in Bern bleiben.
Günther Dissertori, ETH, Rektor, Präsident ab 2027
- KI hilft, Komplexität in den Griff zu bekommen.
…
Julian Riebartsch, CEO Calvin Risk
- Er validiert mit seiner Firma KI-Systeme. Es geht um vertrauenswürdige KI.
- Die KI liest eine andere Realität als der Mensch, wenn sie einen Text liest. Es gibt verschiedene Techniken, wie man Informationen für die KI in einem Text verstecken kann, die Menschen dann nicht sehen. Das wird für Angriffe ausgenützt.
- Vertrauen muss jetzt bewiesen werden. Vertrauen entsteht durch das Testen.
Das geschieht in vier Schritten:
- Vertrauen testen
- Angriffe vor der Produktivschaltung ausprobieren
- Operating Monitoring
- Menschen in der Verantwortung behalten
- Ohne ein Mandat für das Testing passiert gar nichts. Das ist in der Politik genauso wie im Management, und deshalb braucht es dedizierte Testressourcen.
Gianna Luzio, Direktorin BAKOM (seit einem Jahr)
- Das BAKOM ist stark im Umfeld von KI und Cybersicherheit engagiert und gefordert. Sie testen vor allem Geräte.
- Die Chancen, aber auch die Herausforderungen sind da gross. Es braucht alle, es braucht die Unterstützung von allen. Sie begrüsst das NTC.
- Das BAKOM hat die Möglichkeit einzugreifen; es hat einen Vollzugsauftrag.
- Beispiel Babyphone: Privater Import eines Babyphones. Das Gerät hat dann eine Sicherheitsschranke zu einem Gebäude blockiert. Die Verantwortung lag klar bei der importierenden Privatperson, weil sie das Babyphone nicht in der Schweiz gekauft, sondern selbstständig importiert hat.
- Es braucht internationale AI-Standards, um vertrauenswürdige AI zu erreichen. Es braucht nachvollziehbare Nachweise.
- Geneva AI Summit, 21. / 22. Juni 2027 in Genf: Er soll für KI-Sicherheit, Standards und Verifikation etwas Ähnliches erschaffen, wie es die IAEA als Atombehörde für Atomkraftwerke tut. Also ein global anerkannter minimaler Standard.
- Sie hoffen also, mit dem AI Summit bei der Standardsetzung für KI weiterzukommen.
- Es läuft ein Call for Input. Sie sind sehr offen für Ideen und Projekte für diesen AI Summit.
Raphael Reischuk
- Die Anzahl der Schwachstellen nimmt zu, und erst recht die Zahl der ausgenutzten Schwachstellen. Und sie werden immer schneller ausgenutzt, oftmals vor der Veröffentlichung.
- Die Gründe hierfür:
- Die Angriffsoberfläche vergrössert sich.
- Die Ausnutzung geschieht schneller.
- Die Informationen bzw. die Angriffe sind breiter zugänglich.
- Sie haben dank der KI eine ganz neue Qualität.
- Der Automatisierungsgrad nimmt massiv zu, und neu gibt es selbstständige Agentic-Pentesting-Frameworks. Das heisst, ein einzelner Threat Actor, ein einzelner Mensch, kann mit KI-Unterstützung massiv Schaden anrichten und eine ganze Kampagne alleine fahren.
- Komplexität erzeugt Schwachstellen, und sie werden schneller erzeugt, als wir sie schliessen können.
- Die KI handelt zunehmend selbstständig.
- KI-Code enthält weniger Testcode als von Menschen geschriebener Code. In einem untersuchten Software-Korpus waren es 1.5% Testcode bei AI versus 43% Testcode, wenn von Menschen geschrieben. Das muss sich ändern.
- Wir sollten KI ausnutzen, um bessere Tests schreiben zu können, und nicht etwa, um auf Tests zu verzichten.
- China hat eine Meldepflicht für Schwachstellen, und China verbietet, bekannt gewordene Schwachstellen ins Ausland zu melden. Das Know-how dazu soll im Inland bleiben.
- Mit menschlicher Prüfung allein kommen wir der Kurve nicht mehr hinterher.
Andreas Leisibach, NTC
- AI-Einsatz bei der Hardware-Untersuchung, Beispiel Staubsauger-Roboter.
- Teamwork mit einem AI Agenten: Im Team mit dem Agenten können sie breiter und tiefer testen.
Interview: Heinz Tännler mit Bundesrat Albert Rösti
- Überwiegt die Zuversicht oder die Sorge? Er ist technologieoffen, Sorgen machen keinen Sinn, aber man muss mit Respekt mit diesen Herausforderungen umgehen.
- Als wirkliche Herausforderung empfindet er die Geschwindigkeit; man muss deshalb die Risiken ernst nehmen.
- Das UVEK ist ein Departement der Lebensadern.
- Die Stromversorgung ist ein grosses Problem. Anstrengungen sind besonders bei mittelgrossen Stromunternehmen nötig.
- Verkehrsmanagementsysteme: KI hilft hier enorm, Stausituationen zu verbessern. Sie hoffen auch, dass man die Verkehrsnetze durch KI besser ausnutzen kann. Kürzere, enger gestaffelte Züge sind so ein Stichwort. Gerade bei der Bahn gibt es ein grosses Digitalisierungspotenzial und einen möglichen Kapazitätsausbau. Da wollen sie investieren.
- AKW und IAEA: Man sollte eine internationale Organisation mit minimalen Standards etablieren, die global wirkt. Nationale Gesetze sind dazu zu langsam, internationale Standards sind sinnvoller. Siehe oben Gianna Luzio.
- KI-Regulierung, neue Cyber-Regulierung: so viel wie nötig, aber so wenig wie möglich. Das ist in der Praxis einfach sehr schwierig, das braucht Zeit.
- Es ist generell eine Tugend für die Schweiz weniger zu regulieren als andere. Vergleich zum Bsp. zum Baubereich. Bei der KI gibt es da offensichtlich noch deutlichen Nachholbedarf, ohne das dann gleich stark regulieren zu wollen.
- Was muss in fünf Jahren geschehen? Es braucht noch wirklich einen Ruck.
- Wie setzt er KI privat ein? Er weiss bei vielen Themengebieten so ein bisschen etwas, er nennt das Halbwissen. Da benutzt er persönlich KI, um sich das bestätigen oder sich aufklären zu lassen.
Anmerkung Christian Folini: Bei dieser Aussage wurde es mir etwas unwohl. Das scheint mir ein ganz hervorragender Angriffspunkt für eine Beeinflussungskampagne zu sein: wenn er sich von einer KI sein vermeintliches Halbwissen bestätigen lässt oder die KI einsetzt, um als Bundesrat etwas besser zu verstehen.
- Ratschlag an das Publikum: Helfen Sie, Vertrauen herzustellen.
Podium
Teilnehmende: Lukas Mäder, Valentina Sulmoni, Gerhard Andrey, Dirk Lindemann. Moderation: Raphael Reischuk.
KI-Modelle, Apertus und KOBY
- KOBY ist ein KI Assistenzdienst der Bundesverwaltung: mehrere offene KI-Modelle, air-gapped. Sie machen gute Erfahrungen.
- Apertus ist ein hervorragendes Modell für die Lehre und als Forschungsobjekt.
- Lindemann vergleicht Apertus mit den Frontier-Modellen: Der Rückstand ist gar nicht so gross. Er denkt, auch bei KOBY sind es drei bis sechs Monate.
- An der EPFL gibt es sogar einen Studiengang, wie man ein eigenes LLM baut. Der läuft auf dem Alps-Grossrechner, und das ist weltweit einzigartig.
Haftung, Governance, Patching
- Andrey: Es gibt eine schwache Haftung, es braucht eine stärkere Governance, und es braucht eine Pflicht, Open-Source-Software zu unterstützen.
- Frage der Prüfpflicht: Andrey sieht ein Durchsetzungsproblem.
- Patching, Lindemann: Abwägen von Integrität gegenüber Verfügbarkeit.
- Lindemann: Entwickler kopieren schon immer Code. KI-Code ist eigentlich dasselbe wie kopierter Code. Man muss diesen Code einfach sehr gut prüfen.
Gesellschaft und Wirtschaft
Andrey: - Was hat das nun alles für Auswirkungen auf die Menschen, die Gesellschaft? Diese Frage haben wir noch überhaupt nicht genügend diskutiert - Die gravierenden Hacks sind einfach ein Engineering-Problem: Die Qualität der Software stimmt nicht. - Mir machen mehrere Dinge Sorgen. Das sind tektonische Kräfte, grosse, riesige wirtschaftliche Einflüsse. Dieses Risikokapital sucht einen Return on Investment. Die Diskussion, was da geschehen wird, fehlt komplett. - Wir brauchen nur die Geschichte der Social Media auf KI zu extrapolieren, dann sind wir bei KI in der Anfixphase, und irgendwann kommt die Rechnung dafür. Der Profitgedanke kommt dann hinterher. - Wir haben ein Digitalisierungsproblem, und die Digitalisierung steht auf tönernen Füssen.
Schlussworte
- Gibt es einen Unique Selling Point der Schweiz? Vertrauen und Institutionen.