39C3 Power Cycles – Accso auf dem 39. Chaos Communication Congress des CCC

Für alle, die den Kongress noch nicht kennen: Der C3 ist eine vom Chaos Computer Club organisierte Veranstaltung, bei der sich IT-Security-Expert:innen, Hacker:innen, Technikbegeisterte, Aktivist:innen und Künstler:innen treffen. Auf dem Programm stehen Vorträge, Workshops, Hackspaces und Kunstinstallationen. Der Chaos Computer Club selbst ist Europas größte Hackervereinigung und setzt sich für Computersicherheit, Datenschutz und digitale Freiheit ein – unter anderem durch das Aufdecken von Sicherheitslücken und aktives Engagement in der Netzpolitik. 

Der alljährliche Ticketkampf 

Bevor es überhaupt losgehen konnte, stand die erste Herausforderung an: Tickets kaufen. Unser Plan war es, drei Tickets zu holen. Ich befand mich zum Zeitpunkt des Verkaufs im Urlaub in Südamerika und bin wegen der Zeitverschiebung extra um 4 Uhr morgens aufgestanden, um gemeinsam mit anderen Kolleg:innen um Punkt 11 Uhr deutsche Zeit die Verkaufsseite zu aktualisieren. Am Ende konnten wir leider nur zwei Tickets sichern – und mussten uns einigen, wer mitfährt. 

Meine ersten Erfahrungen auf dem 39C3 

Für mich war es das erste Mal auf dem Kongress und anfangs war ich überfordert von dem riesigen Angebot. Es gab vier große Säle für Vorträge und noch unzählige weitere kleine, überall laufen parallel spannende Vorträge und Workshops. Schweren Herzens haben wir eine Wahl treffen müssen und viele weitere Vorträge sind auf meiner „ Nachschau-Liste“ gelandet. Vorher hätte ich nie gedacht, dass ich mir freiwillig von 11 Uhr bis 2 Uhr nachts Vorträge anhören würde. Doch genau das habe ich gemacht und mir hat es total gut gefallen. 

Neben den Vorträgen gab es noch viel mehr zu entdecken: Hackspaces, Kunstinstallationen, interaktive Projekte und überall nette Menschen, die ihr Wissen gerne teilen und über Technik quatschen. 

Meine thematischen Highlights 

In den vier Tagen habe ich Vorträge aus allen thematischen Richtungen gehört. Ein paar meiner wichtigsten Erkenntnisse möchte ich hier teilen. 

KI und IT-Security 

KI ist ein extrem mächtiges und hilfreiches Tool – da sind wir uns alle einig. Auch ich als Softwareentwickler möchte es nicht mehr missen. Aber IT-Sicherheit darf dabei nie aus dem Blick geraten, da es häufig um sensible Daten geht und viele Menschen dazu tendieren, alles mit der KI zu teilen. Die Vorträge auf dem 39C3 haben mir vor Augen geführt, wie real diese Herausforderung ist. Die Probleme lassen sich für mich auf zwei Punkte reduzieren: den branchenweiten „Rush to Market“ bei neuen KI-Features und die fundamentale technische Hürde, KI-Systeme nach heutigen Standards wirklich verlässlich abzusichern. 

Schnelle Features statt Security by Design 

Ein viel diskutiertes Beispiel auf dem Congress verdeutlichte eine Tendenz, die wir aktuell branchenweit beobachten: Die schnelle Einführung neuer KI-Features hat oft Vorrang vor etablierten Sicherheitsprinzipien. Ein Beispiel lieferten die Debatten rund um Microsofts „Windows Recall“. Bei dem Feature werden in kurzen Intervallen Screenshots des gesamten Bildschirms erstellt, lokal und unverschlüsselt abgespeichert und ausgewertet, um der KI bei User-Fragen einen umfassenderen Nutzungskontext zu geben. Was aus User-Experience-Sicht innovativ und praktisch klingt, wird ohne "Security by Design" schnell zu einem massiven Risiko. Es entsteht ein potenzielles Einfallstor für Schadsoftware, die auf eine unverschlüsselte Historie von Nachrichten oder Passwörtern zugreifen könnte ( hier geht’s zum Talk: AI Agent, AI Spy). Das zeigt leider: IT-Security wird bei vielen Anbietern von LLM-Features erst im Nachhinein bedacht. 

Warum uns Prompt Injections noch lange begleiten werden 

Ein weiteres großes Thema waren Prompt Injections und LLM-Hacking mit der zentralen Erkenntnis: Prompt Injection werden wir so schnell wohl nicht loswerden. Der Grund dafür liegt in der Natur der Technologie selbst. LLMs sind probabilistische Modelle, also auf Wahrscheinlichkeiten basierend. Die Schutzmechanismen (Filter), die heute vor- und nachgeschaltet werden, basieren häufig ebenfalls auf probabilistischen Modellen. Dadurch bleibt immer eine gewisse Anfälligkeit für Verschiebungen der Wahrscheinlichkeiten und können "halluzinieren" – eine hundertprozentige Zuverlässigkeit der Filter gibt es schlichtweg nicht. 

Ein anschauliches technisches Beispiel hierfür ist die Umgehung von Filtern durch einfache Kodierungen wie Base64 oder ASCII. Während ein Security-Filter einen bösartigen Prompt im Klartext sofort erkennen und blockieren würde, passiert die kodierte Variante die Kontrollinstanzen oft unbemerkt. Das Sprachmodell selbst ist jedoch in der Lage, die Anfragen intern zu dekodieren und die Anweisungen auszuführen. Um im nächsten Schritt auch den ausgehenden Inhaltsfilter auszutricksen, wird die KI im Prompt angewiesen, ihre Antwort ebenfalls kodiert zurückzugeben. So erhält der Angreifende eine kodierte Antwort auf eine Frage, die im Klartext vom System blockiert worden wäre. Sobald eine spezifische Kodierungsmethode gepatcht wird, weichen Angreifer auf die nächste Methode aus. Wie aktuelle Exploits (beispielsweise im Bereich Agentic ProbLLMs) zeigen, bleibt der Schutz gegen Prompt Injections ein kontinuierliches Katz-und-Maus-Spiel zwischen Angreifer*innen und Entwickler*innen. Wie schnell sich die Angriffsseite dabei weiterentwickelt, zeigte auf dem 39C3 die Vorstellung des Tools „HostileShop“, das Sprachmodelle vollautomatisiert als Angreifer einsetzt, um gezielt neue Prompt Injections und Jailbreaks gegen andere KI-Agenten zu generieren (siehe A Quick Stop at the Hostile Shop). 

Unsere Handlungsempfehlungen für die Praxis 

Aus diesen Erkenntnissen lassen sich drei klare Empfehlungen für unsere Kundenprojekte ableiten: 

1. Architektur und Berechtigungen hinterfragen (Least Privilege): Muss ein KI-Agent wirklich Schreib-Zugriff haben und aktiv Aktionen ausführen können, oder genügt ein Lese-Zugriff? Berechtigungen müssen strikt limitiert und sensible Daten isoliert werden, sodass die KI im Falle einer Manipulation keinen weitreichenden Schaden anrichten kann. 
2. Technologie-Fit prüfen: Braucht wirklich jede Anwendung ein LLM? Probleme lassen sich häufig auch durch klassische Methoden, intelligente Suchfunktionen oder kleinere, deterministische Machine-Learning-Modelle nicht nur sicherer, sondern auch ressourcenschonender und energiesparsamer lösen. 
3. Security by Design verankern: IT-Sicherheit darf kein nachträglicher Gedanke kurz vor dem Release sein. Sie muss ab der allerersten Konzeptionsphase von KI-Features fester Bestandteil der Architektur sein. 

Neues Accso-Schulungsangebot 

Da wir in der Praxis sehen, wie anspruchsvoll es ist, KI-Systeme robust und sicher zu gestalten, entwickeln wir bei Accso aktuell eine dedizierte Schulung zu genau diesem Thema. Darin vermitteln wir Entwickler:innen und Architekt:innen praxisnah, wo die konzeptionellen Fallen (wie Prompt Injections) lauern und mit welchen Strategien sich diese Risiken im Projektalltag effektiv minimieren lassen. 

Politik und Demokratie 

Viele Vorträge griffen aktuelle Missstände und Konflikte auf. Dabei ging es einerseits um globale und nationale Krisen, wie den aktuellen Stand der Erderwärmung oder die innenpolitische Lage in Deutschland. Andererseits stand die Verteidigung demokratischer Werte im Fokus – ein Thema von enormer Bedeutung in Zeiten, in denen des Öfteren versucht wird, diese aufzuweichen. Diskutiert wurde dies insbesondere am Beispiel des Informationsfreiheitsgesetzes und der EU-Verordnung zur Chatkontrolle. Letztere soll eigentlich Kinder schützen, ist aber mit IT-Security-Grundlagen wie Ende-zu-Ende-Verschlüsselung und freier Meinungsäußerung nicht vereinbar – technisch lässt sich „gute" Filterung schlicht nicht von „schlechter" abgrenzen. 

Hier  entsprechende Vorträge: 

• Chatkontrolle 
• Gegenmacht - Best of Informationsfreiheit 

Cory Doctorow hat mit seinem Vortrag "A post-American, enshittification-resistant internet" einen wichtigen Einblick in die internationale Lage und die Beziehungen zu Amerika gegeben, in dem er sich dafür ausspricht, dass sich die EU unabhängiger von den Amerikanern aufstellt und selbstständiger wird. 

Hier geht’s zum Talk! 

Gesellschaft 

Auch zu gesellschaftlichen Themen gab es diverse spannende Vorträge: 

• Paywalls bei medizinischen Geräten: Beispielsweise für einen Rollstuhl zahlt man bereits mehrere tausend Euro und soll dann zusätzlich 100€ zahlen oder teilweise sogar ein Abo abschließen, um etwa die Geschwindigkeit von 6 km/h auf 8 km/h (was zudem eine Straftat darstellt) zu erhöhen. 
• Online-Casinos und Spiele mit Suchtmechanismen: Online-Casinos aber mittlerweile auch immer mehr Spiele ziehen uns mit Lootboxen, anziehenden Sounds, vielen visuellen Effekten und positiv verstärkendem Feedback immer mehr in den Ban und sollen uns abhängig machen – auch bei jungen Menschen. 
• Betrug mit dem Deutschlandticket: Bei der Einführung des Deutschlandtickets war es anfänglich möglich, nichtexistierende SEPA-Mandate anzugeben. Diese werden nämlich nicht sofort überprüft, sondern erst Tage später. Das Ticket wird jedoch sofort ausgestellt und kann in der Zwischenzeit von Betrügern weiterverkauft werden. Außerdem verlor ein Verkehrsunternehmen die Kontrolle über seinen privaten Schlüssel, wodurch massenhaft gefälschte Tickets ausgestellt werden konnten. Schätzungsweise wurden so insgesamt etwa drei Million Tickets gefälscht 

Außerdem gab es Rückblicke auf bekannte Themen wie den mittlerweile zehn Jahre alten Dieselgate-Skandal sowie die ePA-Sicherheitslücken, die bereits auf dem vorjährigen Kongress thematisiert wurden. 

Spaßige Themen zum Auflockern 

Zusätzlich zu den tiefgründigen Themen gab es auch ein paar auflockernde und lustige Vorträge: 

• Waschmaschinen-Hacking: Das Reverse-Engineering einer Waschmaschine hat ergeben, dass bei vielen Waschmaschinen die Steuerungslampen auch als optisches Interface für Wartungsgeräte dienen. Durch das Entschlüsseln der Befehlssätze gelang es sogar, eine Miele-Waschmaschine testweise in die BSH SmartHome App zu integrieren. 
• Die Känguru-Rebellion: Digital Independence Day: Marc-Uwe Kling liest neues vom Känguru vor, vielleicht auch was von Elon und Jeff on Mars. 
• 43 Millionen Kilometer Fahrraddaten: Durch das Scrapen der NextBike-API wurden Fahrraddaten aus ganz Europa gesammelt und ausgewertet. Der Vortrag gab spannenden Einblicken in Nutzungsmuster und Mobilitätsverhalten. Funfact: Mit durchschnittlich 5,7 Fahrten pro Tag und Rad hat Dresden die höchste Nutzungsquote in Deutschland.