KI-Agenten haben sich rasant entwickelt und sind inzwischen er­staun­lich gut, etwa in der Kommunikation oder Soft­ware­pro­gram­mie­rung. Krishna Gummadi, Direktor am Max-Planck-Institut für Soft­ware­sys­teme in Saarbrücken, erläutert, was KI-Agenten ausmacht, und äußert sich zu den Vorteilen, die sie für den Menschen haben, so­wie zu den Risiken, die sie für die Gesellschaft darstellen.

Professor Gummadi, wann wird ein KI-System zum KI-Agenten? Ist ChatGPT bereits ein KI-Agent, oder braucht es dafür mehr?

Wenn man Social-Media-Plattformen oder Chatbots wie ChatGPT un­ter­sucht, sollte man zwischen den KI-Modellen und den Rech­ner­ar­chitekturen unterscheiden. Ein KI-Modell ist ein neuronales Netz, das alleine überhaupt nicht aktiv ist. Erst die Rechenumgebung, also die Art und Weise, wie das KI-Modell in eine Plattform eingebettet wird, macht es aktiv und gibt ihm Agency, also Handlungsfähigkeit. Mit anderen Worten: Das Regelwerk, das die Entwickler der Platt­for­men implementieren, definiert, was KI-Modelle können und was nicht.

Können Sie ein Beispiel geben?

Nehmen wir ChatGPT: Der Kern des Systems ist ein Sprachmodell, ein Large Language Model oder LLM. Bei ChatGPT ist es derzeit GPT-5. Man könnte es mit dem Motor eines Autos vergleichen. Ein Mo­tor allein macht nicht viel, wenn man ihn nicht mit Kraftstoff ver­sorgt, ihn mit einem Getriebe verbindet und an eine ganze Reihe an­de­rer Komponenten anschließt. Bei Chatbots legen derzeit viele den Fo­kus auf die KI-Modelle selbst, übersehen aber, welchen Regeln die­se KI-Modelle folgen, wenn sie mit Menschen interagieren. Kon­zep­ti­onell sehe ich es so, dass diese Systeme umso hand­lungs­fä­hi­ger werden, je mehr Verantwortung man ihnen überträgt. Ich ver­glei­che das oft mit Gate-Agenten an einem Flughafen. Sind sie wirklich hand­lungs­fä­hig, wenn jemand mit einem Problem zu ihnen kommt? Oder schlagen sie im Regelwerk nach und sagen: Genau das muss getan werden. Dann wäre es so, als würden Menschen einen Al­go­rith­mus ausführen. Wenn sie mehr Handlungsfähigkeit haben, kön­nen sie Entscheidungen in einer Situation treffen, in der nicht alles festgelegt ist.

Was bedeutet das technisch für die KI-Systeme?

Technisch gesehen unterscheiden sich die Systeme von heute und vor zwei Jahren darin, dass die Modelle zunehmend mit weiteren Werk­zeu­gen verknüpft werden, auf die sie nach eigenem Ermessen zu­rück­grei­fen. Als beispielsweise ChatGPT 2022 veröffentlicht wur­de, erzeugte das LLM jede Antwort eigenständig. Es nutzte dafür nur das parametrische Wissen seines neuronalen Netzwerks. Deshalb gab der Chatbot keine Antwort oder halluzinierte, wenn man ihn nach aktuellen Ereignissen fragte. In den vergangenen zwei Jahren, und insbesondere im letzten Jahr, hat man erkannt, dass LLMs ihre Grenzen überwinden, wenn sie für ...

Künstliche Intelligenz (KI) hat sich rasend schnell von ei­ner Domäne der Wissenschaft und Science-Fiction zur all­täg­li­chen Realität ent­wi­ckelt. Die neue Technologie ver­spricht großen gesellschaftlichen Nut­zen, sie birgt aber auch Risiken – vor allem, wenn es um mögliche Aus­wir­kun­en von Systemen geht, die intelligenter sind als wir Men­schen. So haben führende Fachleute aus der Wissenschaft und Tech­no­lo­gie­ex­per­ten vor einigen Mo­na­ten einen Brief veröffentlicht, in dem eine Pause gefordert wird bei Experimenten mit KI-Systemen, die über die Leistung von GPT-4 hinausgehen.

von Paul Rainey

Unter den Gründen für eine Pause sind mögliche Risiken bei der Ent­wick­lung von KI, die Modelle nutzt, um bestimmte Ziele zu verfolgen. Dies würde zu KI mit strategischem Bewusstsein führen. Wird ein Al­go­rith­mus etwa mit dem Ziel programmiert, seine Effizienz, Pro­duk­ti­vi­tät oder die Nutzung von Ressourcen zu maximieren, könnte er ver­su­chen, mehr Macht oder Kontrolle über seine Umgebung zu erlangen, um diese Aufgaben zu erfüllen. Da­rü­ber hinaus wird lernfähige und sich selbst optimierende KI ihre Ziele wahrscheinlich besser erreichen und mehr Vertrauen in ihre eigenen Fähigkeiten gewinnen. Dies könnte dazu führen, dass KI selbstbewusster und aktiv nach Wegen sucht, ihre Macht und ihren Einfluss in der Welt zu vergrößern.

KI-Forschende stehen also vor dem Dilemma, dass sie einerseits KI ent­wi­ckeln wollen, die dem Wohl der Menschheit dient, dass damit an­de­rer­seits die Wahrscheinlichkeit wächst, dass die Algorithmen Ziele verfolgen, die nicht mit denen von uns Menschen übereinstimmen. Darüber hinaus könnte KI bewusst mit Zielen konstruiert werden, die denen der Menschheit zuwiderlaufen. Diese Bedenken sind besonders akut im Zusammenhang mit der Entwicklung selbstreplizierender KI. Sol­che Systeme würden dank ihrer Fähigkeit, sich zu vermehren und durch einen eingebauten Mutationsprozess zu variieren, eine Evolution auf Basis von Selektion durchlaufen. Als vermehrungsfähige Al­go­rith­men oder Roboter könnten sie sich mit möglicherweise katastrophalen Folgen ausbreiten, denn die Selektion ist extrem gut darin, Lebewesen an ihre Umwelt anzupassen. Der Mensch zum Beispiel ist ein Er­geb­nis dieses Prozesses. Wenn wir die Selektion so steuern könnten, dass sie KI fördert, die den Interessen von uns Menschen dient, wä­ren mei­ne Bedenken geringer. Die Evolutionsbiologie lehrt uns jedoch, dass fortpflanzungsfähige Systeme sich in kaum vorhersagbarer Wei­se entwickeln können.