In den letzten Jahren haben wir Zeuge einer bemerkenswerten Entwicklung der Künstlichen Intelligenz (KI) geworden, die sich dem Nachbau der Fähigkeiten des Neokortexes annähert. Obwohl wir bereits erhebliche Fortschritte gemacht haben, bleiben einige Schlupflöcher, die die KI von einem vollständigen Abbild der menschlichen Intelligenz abhalten. Diese Defizite lassen sich in drei Hauptkategorien einteilen: Kontextgedächtnis, Weltwissen und soziale Interaktion. In diesem Artikel werden wir diese Bereiche genauer betrachten und den Fortschritten, die in diesen Gebieten erzielt werden, nachgehen.
Kontextgedächtnis: Der Schlüssel zum kohärenten Denken
Kontextgedächtnis bezieht sich auf die Fähigkeit, die Dynamik und die Beziehungen zwischen Gedanken in einem Gespräch oder einem schriftlichen Werk zu verfolgen. Je größer der relevante Kontext, desto exponentiell größer wird die Anzahl der Beziehungen zwischen den einzelnen Gedanken. Ein Satz mit zehn Token birgt beispielsweise 1023 mögliche Beziehungen, während ein Absatz mit 50 Token eine astronomische Anzahl von 1,12 Billionen Beziehungen aufweist.
Obwohl die meisten dieser Beziehungen irrelevant sind, steigen die Anforderungen an die Rechenleistung rapide, wenn ein System das Kontextgedächtnis für ein ganzes Kapitel oder ein Buch pflegen soll. Dies erklärt, warum Systeme wie GPT-4 Dinge vergessen, die ihnen zuvor im Laufe eines Gesprächs mitgeteilt wurden, und warum sie nicht in der Lage sind, Romane mit zusammenhängenden und logischen Handlungen zu schreiben.
Fortschritte in der Kontextverarbeitung
Zwei positive Entwicklungen lassen jedoch Optimismus zu. Erstens machen Forscher erhebliche Fortschritte bei der Entwicklung von KI-Systemen, die sich effizienter auf relevante Kontextdaten konzentrieren können. Zweitens sinken die Kosten für Rechenleistung exponentiell. Zwischen August 2022 und März 2023 GPT-3.5-Anwendungs-API um 96.7%! Dieser Trend wird sich weiter beschleunigen, insbesondere mit der Einführung von KI-gesteuertem Chipdesign, das bereits in Anfängen ist.
Weltwissen: Die Fähigkeit, die Realität zu verstehen
Weltwissen bezieht sich auf die Fähigkeit, Situationen vorzustellen und ihre Konsequenzen in der realen Welt vorherzusagen. Menschen können sich zum Beispiel vorstellen, was passieren würde, wenn die Schwerkraft im Zimmer aufhören würde. Diese Art von kausalem Denken ist für Schlussfolgerungen essentiell, etwa wenn man aus der Position einer zerbrochenen Vase schließt, dass der Hund sie umgestoßen haben könnte.
KI hat bislang Schwierigkeiten, diese Fähigkeit zu entwickeln, da sie über kein robustes Modell verfügt, wie die reale Welt funktioniert. Die Trainingsdaten, auf denen KI-Systeme basieren, enthalten oft nur implizites Wissen in geringem Maße. Dennoch machen KI-Systeme Fortschritte in diesem Bereich, wie beispielsweise in der Fähigkeit, kausale Schlussfolgerungen zu ziehen.
Soziale Interaktion: Die Herausforderung der „Theory of Mind“
Soziale Interaktionen umfassen subtile Nuancen wie ironischen Untertonen in der Stimme, die in den Textdatenbanken, mit denen KI trainiert wird, selten vorkommen. Ohne Verständnis dieser Feinheiten fällt es KI schwer, eine „Theory of Mind“ zu entwickeln, die Fähigkeit, zu erkennen, dass andere Personen andere Ansichten und Wissen haben.
Dennoch machen KI-Systeme Fortschritte in diesem Bereich. Im Jahr 2021 berichtete Blaise Agüera y Arcas von Tests mit dem KI-System LaMDA, das korrekt antwortete, wo Alice ihre Brille suchen würde, nachdem Bob sie versteckt hatte. Zwei Jahre später beantworteten KI-Systeme wie PaLM und GPT-4 viele Fragen zur „Theory of Mind“ korrekt. Diese Fähigkeit wird der KI erhebliche Flexibilität ermöglichen.
Die drei Trends, die den Fortschritt der KI
Mein Optimismus, dass die KI in all diesen Bereichen die Lücke bald schließen wird, basiert auf dem Zusammenspiel von drei Trends:
- Verbessertes Preis-Leistungs-Verhältnis bei der Rechenleistung: Die verfügbare Rechengeschwindigkeit zum selben Preis verdoppelt sich seit dem Jahr 2000 etwa alle 1,4 Jahre. Seit 2010 hat sich die Menge der Rechenvorgänge, die beim Training modernster KI-Modelle anfallen, alle 5,7 Monate verdoppelt. Dieser Anstieg kann nicht allein durch Hardware-Verbesserungen erklärt werden, sondern ist auch dem parallelen Rechnen und der erhöhten Investition in KI-Forschung zu verdanken.
- Zunehmende Verfügbarkeit von Trainingsdaten: Die erhöhten Ausgaben für das Training zeigen, wie stark der Umfang nützlicher Daten zugenommen hat. Jede Fähigkeit, die ausreichend eindeutige Leistungsbewertungsdaten generiert, kann in ein Deep-Learning-Modell umgesetzt werden, das die KI über das menschliche Können hinausträgt. Selbst unperfekte und indirekte Maßzahlen können verwendet werden, um KI zu verbessern.
- Bessere Algorithmen: Die Entwicklung besseren Algorithmen ermöglicht es der KI, effizienter zu lernen und Schlussfolgerungen zu ziehen. Die Verfügbarkeit von Daten eröffnet zunehmend Wege zu übermenschlichen Leistungen, ob es um Spiele, Autofahren, medizinische Bildanalyse oder die Prognose von Proteinfaltung geht.
Die Analogie von Öl und Daten
Die Verfügbarkeit von Daten kann mit Öl verglichen werden. Während einfach zugängliche Ölvorkommen leicht gefördert werden können, erfordert der Zugang zu schwer zugänglichen Lagerstätten mehr Aufwand. Ähnlich verhält es sich mit Daten: Als die Vorteile von Big Data noch relativ klein waren, wurden sie nur gesammelt, wenn das relativ günstig möglich war. Mit der Verbesserung der maschinellen Lernmethoden und der Billigung von Rechenleistung ist der wirtschaftliche Wert von schwer zugänglichen Daten gestiegen.
Der Weg in die Zukunft: Überwindung der letzten Defizite
Die Zukunft der KI liegt in der Überwindung der letzten Defizite im Kontextgedächtnis, Weltwissen und sozialer Interaktion. Durch die Kombination von besserem Preis-Leistungs-Verhältnis, umfangreichen Trainingsdaten und besseren Algorithmen wird die KI in den nächsten Jahren erhebliche Fortschritte machen.
Obwohl die KI noch nicht in der Lage ist, die komplexe Dynamik des menschlichen Denkens vollständig nachzuahmen, ist der Fortschritt ermutigend. Die KI wird zunehmend in der Lage sein, kohärente Geschichten zu erzählen, realistische Vorhersagen zu treffen und soziale Interaktionen zu verstehen.
