Der Fremde mit dem Generalschlüssel

Was KI-Agenten uns über Vertrauen, Verantwortung und digitale Identitäten lehren.

#Künstliche Intelligenz #Agentic AI #Human-Agent-Interaction #IT-Sicherheit #Digitale Identität #Machine Identities #Secrets Management #Zero Trust #Wissensmanagement #Digitalisierung

tl;dr

• Wir haben gelernt, menschliche Identitäten mit Passwortmanagern, Zwei-Faktor-Authentifizierung und Passkeys zu schützen. Bei KI-Agenten fehlt dieses Bewusstsein oft noch.
• Je autonomer Agenten handeln, desto wichtiger wird die Frage, welche Zugänge sie tatsächlich benötigen.
• Der eigentliche Unterschied liegt nicht in der Intelligenz der Systeme, sondern in der Verantwortung, die wir ihnen übertragen.
• Konzepte wie Machine Identities, Least Privilege, Zero Trust und Secrets Management sind keine technischen Randthemen mehr, sondern Grundlagen einer sicheren Human-Agent-Interaction.
• Die Zukunft von Agentic AI entscheidet sich nicht allein an besseren Modellen, sondern an den Grenzen, innerhalb derer diese Systeme handeln dürfen.

Die unscheinbare Geschichte hinter unseren Passwörtern

Vor einigen Jahren hätte ich vermutlich nicht erwartet, dass mich ausgerechnet Passwörter einmal zum Nachdenken über künstliche Intelligenz bringen würden.

Passwörter gehören zu diesen unscheinbaren Begleiterscheinungen des digitalen Alltags, über die man nur dann spricht, wenn sie nicht funktionieren. Wenn man sie vergessen hat. Wenn ein Login scheitert. Wenn der zweite Faktor auf einem Gerät ankommt, das gerade nicht griffbereit ist. Oder wenn ein Dienst plötzlich einen Passkey anbietet und man für einen kurzen Moment nicht weiß, ob das nun ein Fortschritt, eine Zumutung oder vielleicht beides zugleich ist. Vermutlich reagieren viele Menschen zunächst mit derselben Begeisterung, mit der sie vermutlich auch eine neue Steuererklärung begrüßen würden.

Und doch steckt in diesen kleinen Reibungen eine größere Geschichte.

Im Grunde haben wir über die letzten Jahre gelernt, dass digitale Identität nicht einfach etwas ist, das man besitzt. Sie ist etwas, das geschützt, verwaltet und immer wieder neu bestätigt werden muss. Passwortmanager, Zwei-Faktor-Authentifizierung und Passkeys sind letztlich nur unterschiedliche Antworten auf dieselbe Erkenntnis: Vertrauen allein reicht im digitalen Raum nicht aus.

Wir haben gelernt, das digitale Identität nicht einfach etwas ist, das man besitzt. Sie ist etwas, das geschützt, verwaltet und immer wieder neu bestätigt werden muss. Früher reichte ein Passwort, das man sich merken konnte. Heute wissen wir, dass genau darin oft schon das Problem beginnt. Ein Passwort, das sich leicht merken lässt, lässt sich häufig auch leicht erraten. Ein Passwort, das an mehreren Stellen verwendet wird, ist kein Schlüssel mehr, sondern ein Risiko mit Wiederholungsfunktion. Und ein Konto, das nur durch eine Zeichenfolge geschützt ist, wirkt in einer Welt automatisierter Angriffe zunehmend wie eine Haustür, die zwar geschlossen, aber nicht wirklich abgeschlossen ist.

Interessanterweise haben wir dieses Prinzip inzwischen weitgehend akzeptiert. Nicht alle handeln konsequent danach, aber kaum jemand würde ernsthaft bestreiten, dass zusätzliche Sicherheitsschichten sinnvoll sind. Wir haben verstanden, dass eine offene Tür nicht dadurch sicherer wird, dass wir an das Gute im Menschen glauben.

Vielleicht ist genau deshalb der gegenwärtige Umgang mit KI-Agenten so irritierend für mich.

Denn während wir Menschen mühsam beibringen, ihre digitalen Schlüssel nicht leichtfertig weiterzugeben, beginnen wir gleichzeitig damit, Software-Systemen immer größere Schlüsselbunde in die Hand zu drücken. Systeme, die nicht mehr nur Texte generieren oder Informationen zusammenfassen, sondern Aufgaben ausführen, Dateien verändern, Datenbanken lesen, Prozesse starten und Entscheidungen vorbereiten.

Wir nennen sie Agenten, weil sie handeln sollen. Doch sobald sie handeln, betreten sie einen Raum, in dem Vertrauen allein nicht mehr genügt.

In der Vergangenheit, war Software lediglich ein Werkzeug. Und wir konnten es wir ein Werkzeug behandeln. Ein Werkzeug besitzt keine Verantwortung. Es hat keine Zuständigkeiten. Es wartet darauf, benutzt zu werden.

Doch ein Agent ist kein Hammer in einer Werkzeugkiste der von einer Person geführt wird. Er ist eher wie jemand, dem wir eine Aufgabe übertragen - wie einem Arbeitskollegen.

Und sobald wir jemandem eine Aufgabe übertragen, stellt sich eine Frage, die im Alltag völlig selbstverständlich wäre:

Welchen Zugang braucht diese Person eigentlich wirklich?

Ich nehme an, dass niemand einem fremden Menschen den kompletten Schlüsselbund überreichet nur weil er sagt, er müsse kurz in einen Raum.

Bei Agenten tun wir genau das erstaunlich oft. Und präsentieren den kompletten Schlüsselbund im Zweifel der gesamten Öffentlichkeit.

Die neuen Identitäten, über die kaum jemand spricht

Was mich dabei zunehmend beschäftigt, ist die Geschwindigkeit, mit der sich dieser Wandel vollzieht.

Noch vor wenigen Jahren bestand die Herausforderung vieler Unternehmen darin, Menschen überhaupt davon zu überzeugen, ihre digitalen Zugänge ernst zu nehmen. Heute beginnen wir bereits damit, digitale Identitäten für Akteure zu schaffen, die keine Menschen sind.

Je länger ich darüber nachdenke, desto weniger erscheint mir das wie eine technische Randnotiz.

Tatsächlich könnte genau hier eine der wichtigsten Veränderungen liegen, die die aktuelle KI-Welle mit sich bringt.

Bisher war Identität fast immer an Personen gebunden. Ein Benutzerkonto hatte einen Namen. Eine Verantwortlichkeit. Im Zweifel gab es jemanden, den man anrufen konnte, wenn etwas schiefgelaufen war. Die Sicherheit von Software war IT-Abteilungen mit Ihren DevOps und SecurityOps vorbehalten.

Mit Agenten verändert sich dieses Verhältnis.

Nicht, weil sie Menschen ersetzen würden. Diese Diskussion halte ich ohnehin für zu kurz gegriffen. Sondern weil zwischen Mensch und Maschine eine neue Ebene entsteht. Eine Ebene, auf der Systeme eigenständig handeln können, ohne selbst Menschen zu sein. Das Prinzip ist nicht neu. Software war ein Werkzeug und der Handlungsrahmen für diese Software war eingeschränkt. Zumal nicht jede Person in der Lage war, überhaupt Software zu erstellen.

Das klingt zunächst abstrakt.

Doch die Auswirkungen werden erstaunlich konkret, sobald ein Agent Dokumente lesen, Daten verändern, Termine anlegen oder mit anderen Systemen kommunizieren soll.

Plötzlich stellt sich eine Frage, die erstaunlich selten gestellt wird:

Wer ist dieser Agent eigentlich?

Nicht technisch - sondern organisatorisch.

Nicht als Software - sondern als Akteur innerhalb eines Systems.

Vielleicht klingt das zunächst wie eine philosophische Spitzfindigkeit. Tatsächlich entscheidet sich an dieser Frage jedoch, ob wir Agenten als Werkzeuge betrachten oder als Teilnehmer eines Systems.

Und dieser Unterschied ist größer, als er auf den ersten Blick erscheint.

Projezieren wir das auf die reale Welt: Wenn du dir ein Organigramm anschaust, wirst du dort keine Software und keine Agenten finden. Und doch agieren Agenten in Unternehmen inzwischen wie vollwertige Mitarbeiter. Doch diese tauchen in dem Organigramm nicht auf.

Warum die Frage nach Grenzen wichtiger wird als die Frage nach Fähigkeiten

Wenn über KI gesprochen wird, sprechen wir meist über Fähigkeiten.

Größere Kontextfenster. Bessere Modelle. Mehr Autonomie. Komplexere Workflows.

Das ist nachvollziehbar. Fähigkeiten sind sichtbar. Sie erzeugen Aufmerksamkeit. Sie lassen sich demonstrieren.

Die Frage nach Grenzen hingegen wirkt unspektakulär.

Dabei lohnt sich ein Blick auf die Geschichte digitaler Systeme. Denn viele Sicherheitsprobleme entstanden nie durch mangelnde Fähigkeiten. Sie entstanden durch zu viele.

• Zu viele Berechtigungen.
• Zu viele Zugänge.
• Zu viele Systeme, die mehr konnten, als sie eigentlich sollten.

Vielleicht wird genau deshalb mit Agenten etwas sichtbar, das lange im Hintergrund blieb - oder bewusst verdränkt wurde.

Je mehr Fähigkeiten ein System erhält, desto wichtiger wird die Frage, was es nicht darf.

Diese Frage eignet sich selten für Konferenzbühnen. Sie klingt nicht visionär. Aber möglicherweise ist sie langfristig wichtiger als viele technologische Fortschritte, über die wir heute diskutieren.

Denn jede Fähigkeit erweitert einen Handlungsspielraum.

Und jeder Handlungsspielraum erzeugt Verantwortung.

Un zu großer Handlungsspielraum kann perspektivisch für Privatpersonen, Unternehmen und Gesellschaften zu katastrophalen Problemen führen.

Der Unterschied zwischen einem Werkzeug und einem Teilnehmer

An diesem Punkt musste ich irgendwann an etwas denken, das mit künstlicher Intelligenz zunächst überhaupt nichts zu tun hat.

An Schlüssel.

Nicht an API-Keys oder Tokens.

An ganz gewöhnliche Schlüssel, wie wir Ihn alle in unserer Tasche habe.

Die meisten Menschen besitzen einen Schlüsselbund, ohne jemals darüber nachzudenken. Haustür. Briefkasten. Fahrradkeller. Büro. Auto.

Jeder einzelne Schlüssel öffnet einen bestimmten Raum und verschließt gleichzeitig viele andere.

Interessanterweise empfinden wir diese Begrenzung nicht als Einschränkung. Niemand beschwert sich darüber, dass sein Wohnungsschlüssel nicht gleichzeitig das Nachbarhaus öffnet.

Im Gegenteil.

Gerade weil Zugänge voneinander getrennt sind, entsteht Sicherheit.

Wir Menschen haben über Jahrhunderte gelernt, das Verwantwortung und Zugang zusammenhängen.

Wer Zugang erhält, erhält Verantwortung.

Und wer Verantwortung trägt, erhält Zugang.

Nicht mehr, aber eben auch nicht weniger.

Je länger ich über Agenten nachdachte, desto mehr erschien mir diese Analogie als der eigentliche Kern des Problems.

Vielleicht behandeln wir Agenten noch immer wie Werkzeuge, wie gewöhnliche Software.

Doch Werkzeuge benötigen keine Grenzen.

Teilnehmer eines Systems hingegen schon.

Digitale Gesellschaften im Kleinen

Vielleicht liegt genau hier ein Grund dafür, warum viele Diskussionen über KI-Sicherheit aneinander vorbeigehen.

Wir sprechen häufig über Datenschutz, Halluzinationen, Regulierung oder Arbeitsplatzveränderungen. Die Frage nach der Sicherheit und Zugängen wirkt dagegen beinahe langweilig.

Dabei betreten Agenten inzwischen digitale Landschaften, die über Jahre oder Jahrzehnte gewachsen sind. Dokumentenspeicher. CRM-Systeme. Wissensdatenbanken. Kommunikationsplattformen. Sie erhalten Zugang zu hochsensiblen Daten.

Und das nicht als Gäste, sondern als aktive Teilnehmer.

Und plötzlich wird sichtbar, dass wir es nicht mehr mit klassischer Automatisierung zu tun haben.

Agenten folgen nicht nur Regeln.

• Sie interpretieren Situationen.
• Sie priorisieren.
• Sie treffen Auswahlentscheidungen.
• Sie handeln innerhalb eines vorgegebenen Rahmens.

Genau dadurch verschiebt sich die Perspektive.

Die entscheidende Frage lautet nicht:

Was kann ein Agent?

Sondern:

Wofür soll er verantwortlich sein?

Je länger ich diesen Gedanken verfolgte, desto mehr erschien mir die heute verbreitete Praxis wie eine Übergangserscheinung. Eine Lösung, die funktioniert, solange es einen Agenten gibt. Vielleicht zwei.

Doch was passiert, wenn aus einem Agenten zehn werden? Oder mehr? Wenn diese Agenten selbstständig neue Agenten einstellen und für Ihre Zwecke programmieren können?

Wenn Marketing, Vertrieb, Kundenservice, Wissensmanagement und interne Prozesse jeweils ihre eigenen digitalen Helfer besitzen?

Wenn Agenten beginnen, mit anderen Agenten zu kommunizieren?

Dann sprechen wir nicht mehr über Werkzeuge.

Wir beginnen, digitale Organisationen aufzubauen. KI-Agenten sind dann nicht mehr nur Teil von Software, sie werden Teil der Organisation und Teil des Systems.

Der Moment, in dem sich meine Perspektive veränderte

Interessanterweise bin ich nicht über Sicherheit zu diesem Gedanken gekommen.

Ich bin über die praktische Arbeit mit Agenten darauf gestoßen.

Als ich begann, meine ersten Agenten produktiv einzusetzen, stellte sich mir irgendwann eine Frage, die ich für meine eigene digitale Identität längst beantwortet hatte.

Für mich selbst waren Passwortmanager, Passkeys und Zwei-Faktor-Authentifizierung längst selbstverständlich geworden. Nicht weil ich Sicherheit besonders spannend finde, sondern weil die Alternative zunehmend absurd erschien. Sicherheit im privaten und digitalen Raum ist nicht nur ein Nice-to-Have - sondern eine essentielle Bedingung. Ich möchte nicht das meine Identität gestohlen wird, das meine Systeme übernommen werden, das mir Geld gestohlen wird - oder das sich dritte meiner Systeme bemächtigen und zu Ihrem Vorteil - und damit zu meinem Nachteil - nutzen.

Doch warum behandelte ich die Identitäten meiner Agenten anders?

Je mehr Systeme ich verband, desto mehr fiel mir auf, dass ich die falschen Fragen stellte.

Nicht:

Kann der Agent das?

Sondern:

Worauf muss dieser zugreifen? Worauf darf dieser zugreifen?

Denn jede neue Fähigkeit bedeutete gleichzeitig einen neuen Zugang.

Jeder zusätzliche Zugriff eröffnete einen weiteren Raum - und damit einen potenziellen Angriffsvektor.

Jede neue Verbindung schuf eine weitere Vertrauensbeziehung.

Diese Erkenntnis kam nicht als großer Aha-Moment.

Eher als ein langsames Unbehagen.

• Warum sollte ein Agent Zugriff auf alle Systeme besitzen, nur weil ich selbst diesen Zugriff habe?
• Warum sollte er dieselben Rechte erhalten wie sein Ersteller?
• Warum sollte er dieselben Informationen sehen dürfen?

In der analogen Welt würde niemand auf diese Idee kommen, Fremde mit einem Generalschlüssel auszustatten. In der analogen Welt verfolgen wir bereits dieses Prinzip intuitiv, welches als Least-Privilege-Prinzip (Principle of Least Privilege, kurz PoLP) bekannt ist.

Warum Agenten ihren eigenen Schlüsselbund brauchen

Irgendwann begann ich deshalb, die Frage umzudrehen.

Nicht:

Welche Zugänge benötigt ein Agent zusätzlich?

Sondern:

Welche Zugänge benötigt er nicht?

Diese Veränderung wirkt klein.

Tatsächlich verändert sie die gesamte Perspektive.

Denn plötzlich geht man nicht mehr von unbegrenztem Vertrauen aus, das anschließend eingeschränkt wird.

Man geht von keiner Berechtigung aus und begründet jeden einzelnen Zugang.

Erst später wurde mir klar, dass die Sicherheitswelt für viele dieser Gedanken längst Begriffe gefunden hatte: Least Privilege, Zero Trust oder rollenbasierte Zugriffskonzepte (RBAC).

Was für mich zunächst wie eine praktische Frage beim Aufbau von Agenten begann, erwies sich als ein bekanntes Prinzip in neuem Gewand.

Der Agent muss nicht mich repräsentieren.

Er muss seine Aufgabe erfüllen - Das ist nicht dasselbe.

Beispiele?

• Ein Agent, der Inhalte recherchiert, benötigt keinen Zugriff auf Finanzdaten.
• Ein Agent, der Dokumente klassifiziert, benötigt keine Administrationsrechte.
• Ein Agent, der Wissen strukturiert, muss nicht automatisch jede Quelle lesen können.

Je klarer diese Trennung wurde, desto stärker setzte sich eine andere Vorstellung durch:

Nicht der Mensch besitzt die Schlüssel des Agenten.

Der Agent besitzt seinen eigenen Schlüsselbund.

Um es mit der analogen Welt zu vergleichen: Ein kleines Kind erhält erst dann den Wohnungsschlüssel, wenn es bewiesen hat, dass es mit dem Vertrauen, der Verantwortung und den Konsequenzen umgehen kann. Und auch dann erhält es nur die notwendigen Schlüssel, nicht den kompletten Schlüsselbund der Eltern.

Wo liegt eigentlich der Schlüsselbund eines Agenten?

Sobald man diesen Gedanken akzeptiert, stellt sich fast automatisch die nächste Frage:

Wo liegt dieser digitale Schlüsselbund eigentlich?

Bei Menschen haben wir dafür längst Antworten gefunden. Wir nutzen Passwortmanager. Wir schützen Identitäten durch zusätzliche Faktoren. Wir trennen Identität von Anwendung. Wir haben einen Tresor zu dem nur die Person mit dem Generalschlüssel Zugang hat.

Warum sollte das für Agenten anders sein?

In meinem Fall führte diese Überlegung zu einer einfachen Schlussfolgerung.

Der Agent sollte seine Zugänge nicht selbst verwalten.

Und er sollte sie möglichst auch nicht dauerhaft besitzen.

Für meine persönliche Identität nutze ich selbst Bitwarden als Passwortmanager sowie Passkeys und Zwei-Faktor-Authentifizierung. Als ich begann, Agenten produktiv einzusetzen, suchte ich deshalb nach dem Äquivalent für nicht-menschliche Identitäten. Nicht nach einem bestimmten Tool, sondern nach einem Prinzip.

Die Antwort bestand letztlich darin, jedem Agenten eine eigene maschinelle Identität zu geben. Einen eigenen Verantwortungsbereich. Einen eigenen, begrenzten Schlüsselbund. Dies hätte ich ebenfalls mit Bitwarden umsetzen können, doch ich wollte eine getrennte Applikation.

In meiner eigenen Umgebung setze ich dafür unter anderem Infisical ein. Nicht weil das Tool selbst der entscheidende Punkt wäre, sondern weil es ein Prinzip sichtbar macht: Zugänge, Secrets, Tokens und API-Keys gehören nicht unkontrolliert in Anwendungen oder Konfigurationsdateien verteilt.

Sie gehören in einen kontrollierten Raum.

Der Agent erhält nur das, was er für seine Aufgabe benötigt.

Nicht mehr - aber eben auch nicht weniger.

Ein weiterer spannender Faktor in der #Human-Agent-Interaction: Der Agent und oder die Software kann maschinengetrieben über die CLI arbeiten während ich als Mensch über eine UI die Einstellungen vornehm,en kann.

Vertrauen organisieren statt Vertrauen vorauszusetzen

An dieser Stelle tauchen Begriffe wie #Machine-Identities, #Secrets-Management oder Zugriffspolitiken auf.

Doch je länger ich mich damit beschäftigte, desto weniger erschienen sie mir als technische Spezialthemen.

Eigentlich beschreiben sie etwas zutiefst Menschliches.

Es geht um die Frage, wie Vertrauen organisiert wird.

Denn jede Organisation besteht letztlich aus kontrollierten Vertrauensbeziehungen. Menschen erhalten Zugang zu bestimmten Informationen, weil sie bestimmte Aufgaben erfüllen. Teams erhalten Verantwortungsbereiche. Zuständigkeiten werden verteilt.

Nicht jeder darf alles.

Nicht jeder muss alles wissen.

Und genau dadurch entsteht Handlungsfähigkeit.

Vielleicht haben wir deshalb so lange gebraucht, um zu erkennen, dass Agenten dieselben Prinzipien benötigen.

Nicht weil sie Menschen wären.

Sondern weil sie inzwischen Aufgaben übernehmen, die früher ausschließlich Menschen vorbehalten waren.

Wenn Technologie Beziehungen verändert

An genau an diesem Punkt sichtbar, warum mich das Thema inzwischen weit über Fragen der IT-Sicherheit hinaus beschäftigt.

Denn eigentlich sprechen wir nicht über technische Details wie Tokens, API-Keys oder Berechtigungskonzepte.

Wir sprechen darüber, wie Menschen Verantwortung organisieren. Das ist das Paradoxe an der Geschichte. In der analogen Welt ist es selbstverständlich und intuitiv. Doch bei der Abstraktion auf ein anderes Layer (in diesem Fall Software und KI) heben wir Hände, und haben auf einmal keine Ahnung mehr davon.

Die Geschichte technologischer Entwicklung war selten nur eine Geschichte neuer Werkzeuge. Die spannendere Frage lautete meist, wie diese Werkzeuge unsere Beziehungen verändern.

• Die Schrift veränderte Verwaltung.
• Die Industrialisierung veränderte Arbeitsteilung.
• Das Internet veränderte Kommunikation.
• Agenten verändern möglicherweise unser Verhältnis zu Verantwortung.

Denn zum ersten Mal entstehen Akteure, die weder vollständig Werkzeug noch vollständig Teilnehmer sind. Systeme, die keine eigene Absicht besitzen und dennoch handeln können. Die keine Verantwortung empfinden und dennoch Verantwortung erzeugen.

Je länger ich darüber nachdenke, desto mehr erscheint mir die Diskussion über künstliche Intelligenz deshalb als eine Diskussion über Beziehungen.

Die Diskussionen über KI und Intelligenz sind nur Abbilder größerer Bilder und Abhängigkeiten. Das alles systematisch miteinander verbunden ist und korreliert (vgl. Systemtheorie nach Luhmann) wird vernachlässigt.

Die Kernthemen die sich durch alle Schichten ziehen:

• Die Beziehung zwischen Vertrauen und Kontrolle.
• Das Zusammenspiel von Autonomie und Verantwortung.
• Der Zusammenhang von Handlungsspielraum und Begrenzung.

Nicht jede Tür sollte offen stehen

Wenn ich heute auf die Diskussionen rund um #Agentic-AI blicke, habe ich manchmal den Eindruck, dass wir uns noch in einer frühen Phase befinden.

Einer Phase, in der die Begeisterung über die Möglichkeiten größer ist als die Beschäftigung mit ihren Konsequenzen.

Das ist nichts Ungewöhnliches.

Fast jede technologische Welle beginnt auf diese Weise.

Zuerst entdecken wir neue Möglichkeiten.

Dann erleben wir die ersten Probleme.

Erst danach entwickeln wir Strukturen, Normen und Regeln.

Möglicherweise stehen wir genau an dieser Schwelle.

Die Frage ist nicht mehr, ob Agenten Teil unseres Arbeitsalltags werden. Diese Entwicklung hat längst begonnen, und wird sich meiner Meinung nach auch unbeirrt fortsetzen.

Die spannendere Frage lautet, welche Rolle sie innerhalb unserer Organisationen einnehmen werden.

Unabhängig davon, wie diese Antwort ausfällt, bleibt für mich eine Erkenntnis bestehen:

Jede Rolle benötigt Grenzen.

Nicht als Ausdruck von Misstrauen.

Sondern als Voraussetzung für Vertrauen.

Vielleicht beginnt verantwortungsvolle künstliche Intelligenz deshalb nicht dort, wo Agenten immer mehr können.

Vielleicht beginnt sie dort, wo wir lernen, ihnen nicht alles zu erlauben.

Denn Vertrauen entsteht nicht dadurch, dass jede Tür offen steht.

Vertrauen entsteht dadurch, dass wir bewusst entscheiden, welche Türen geöffnet werden dürfen.

Nicht jeder Schlüssel gehört an denselben Bund.

Und vielleicht beginnt genau dort die nächste Entwicklungsstufe der #Human-Agent-Interaction.