State of AI - KI Report
Die rasanten Fortschritte im Bereich der künstlichen Intelligenz (KI) revolutionieren die Unternehmenswelt und unseren Alltag. Kontinuierlich entstehen neue Anwendungsfelder, neue Tools. Die Entwicklung schreitet immer schneller voran. Einen Überblick zu behalten fällt zunehmend schwerer.
Mit unserem KI Report möchten wir Sie über die wichtigsten Entwicklungen informiert halten und Ihnen eine Einordnung und Einschätzung geben, wie relevant die jeweiligen Entwicklungen sind.
Executive Summary
- Vorreiter bei der KI-Implementierung zu sein, ist ein wichtiges strategisches Ziel.
- Fehlende Expertise und Datenkomplexität sind die größten Blocker für den operativen Einsatz von generativer KI.
- Modelle mit ca. 13 Milliarden Parametern (13B) kommen immer näher an die Fähigkeiten der Modelle mit über 70 Milliarden (70B+) heran, was die Legitimation für besonders große Modelle mindert.
- Agentensysteme werden eine zunehmend wichtige Rolle für die Automatisierung und allgemein für den Einsatz von KI-Systemen spielen.
- RAG ist der Standard-Ansatz für die Implementierung von generativer KI in Unternehmen und Organisationen.
- Die Mixture of Experts-Architektur (MoE) nimmt einen immer größeren Stellenwert bei der Entwicklung neuer Modelle ein.
- Alternativen zum Transformer-Modellansatz rücken wieder mehr in den Fokus.
Allgemeine Entwicklung: Realitätscheck
Nachdem Ende 2022 generative KI mit ChatGPT die breite Öffentlichkeit wirkungsvoll erreicht hat, stammte das Wissen von Entscheidungsträger*innen, sofern vorhanden, aus Marketing-Materialen oder ersten eigenen Berührungspunkten mit Chatbots. Die Vorstellungkraft über den möglichen Einfluss solcher Anwendungen stieg immens und die damit verbundenen Erwartungshaltungen spitzten sich, getrieben durch das Marketing über eine sich schnelle entwickelnde Branche, immer weiter zu. Als Resultat positioniert der Gartner Hype-Cycle generative KI auf dem Gipfel der überzogenen Erwartungshaltungen und kurz vor dem Abstieg in das „Tal der Enttäuschung“. Im Gegensatz dazu steht in Deloittes „State of Generative AI in the Enterprise“ Bericht aus Q1 2024, dass viele Führungskräfte „kurzfristig erhebliche transformative Auswirkungen“ erwarten.
Die Realität scheint in der Mitte zu liegen, so dass Organisationen nach wie vor ein optimales Kosten-/Nutzenverhältnis von KI-Anwendungen austarieren müssen. Erste Projekte mit generativer KI über mehrere Sektoren hinweg lassen auf ein enormes Potenzial hoffen und zeigen eine verhältnismäßig zügige Implementierung im öffentlichen wie auch im privaten Sektor. Allerdings zeigt sich auch, dass sich neben dem eigentlichen KI-Modell relevante Dimensionen hervortun, die sich als wesentliche Aufwandstreiber darstellen. Dazu gehören Fragen der Verlässlichkeit, der Integration, der Wartung und der kostspieligen Infrastruktur und des Ressourceneinsatzes von KI-Modellen.
Dennoch lassen sich große Veränderungen in der Arbeitswelt absehen. Statt bestehende Tools oder Fähigkeiten zu ersetzen, wie ursprünglich angenommen, scheint es eher einen Trend zur Integration in bestehende Tools zu geben, die für optimierte Arbeitsabläufe sorgen. Beispiele dafür sind die Flächendeckende Integration von KI in sämtliche Produkte von Microsoft (Copilot) oder das „Generative Fill“ in Adobe Photoshop. Eine Harvard-Studie in Zusammenarbeit mit der Boston Consulting Group belegt, dass Büroangestellte durch die Zuhilfenahme von KI-Werkzeugen ein Mehr an Arbeit schneller und qualitativ besser verrichten können. Allerdings trifft dies nur zu, wenn die Angestellten die KI-Ergebnisse selektiv auswählen und für sinnvoll bewerten. Als ein Signal für die Wirksamkeit von generativer KI können zudem Umfrageergebnisse von IBM aus dem Januar 2024 gewertet werden. Unter 1.000 Unternehmen sagten knapp 60% der Unternehmen, die Early-Adopter von generativer KI sind, dass sie ihre Investitionen ausbauen oder beschleunigen wollen.
Zustimmungswerte zu gezeigten Herausforderungen in Unternehmen in der Anwendung oder Bereitstellung von generativer KI. Mehrantworten waren möglich.
Als größte Barrieren für die Einführung von generativer KI sind laut IBM Expertise (33%), Datenkomplexität (25%), ethische Bedenken (23%), schwierige Integration (22%), hohe Preise (21%) und fehlende Infrastruktur (21%).
Fazit und Bewertung
Generative KI scheint im Großen und Ganzen fundamentale Veränderungen der Arbeitswelt anzustoßen, sodass Unternehmen und Institutionen, die sich früh für die Implementierung von generativer KI entschieden haben, erste Erfolge genießen und ihre Bemühungen intensivieren, statt von der Technologie abzuweichen. Parallel muss generative KI mit einer gesunden Erwartungshaltung und in Begleitung von Schulungsmaßnahmen eingeführt werden. Diese Technologie wird mittel- bis langfristig beachtliche Auswirkungen haben. Die Einsatzmöglichkeiten von KI in der Arbeitswelt sind jedoch nach wie vor in der Erprobung.
RAG hat sich durchgesetzt
Für den Einsatz von generativer KI für die Textverarbeitung gibt es im operativen Einsatz mit organisationsinternen Daten zwei grundsätzliche Strategien:
- Model Fine-Tuning: Ein bestehendes Model wird auf die eigenen Sprachmuster und Informationen trainiert und gibt Antworten basierend auf dem im Training erlernten Wissen.
- Retrieval-Augmented-Generation (RAG): Ein Sprachmodell bekommt im Hintergrund relevante Dokumente für eine Anfrage von Nutzer:innen aus einer Datenbank vorgefiltert zugespielt und beantwortet die Frage basierend auf den vorgelegten Dokumenten.
Obwohl beide Ansätze sich nicht ausschließen, ihre Berechtigungen haben und auch parallel verfolgt werden können, stellt sich in der Praxis doch heraus, dass für die meisten Organisationen der RAG-Ansatz deutlich effektiver und auch kosteneffizienter ist. Durch dieses Setup lassen sich fachspezifische Fragen basierend auf vorhanden Wissenselementen beantworten und aktualisieren, ohne dass das Model selbst angepasst werden muss. So hat die Cassini Consulting AG in 70% aller Projekte im Bereich Large Language Models in Q1 2024 ein RAG-Setup für Kund:innen erstellt. Auch Unternehmen, die ein eigenes „GPT“ ankündigen, arbeiten in der Regel mit einem RAG-Setup.
RAG hat sich durchgesetzt
RAG ist zurecht einer der Implementierungssäulen für Organisationen und wird auch in vielen öffentlichen Verwaltungseinheiten eine bevorzugte Strategie sein, da die Implementierung einerseits verhältnismäßig einfach ist und Zugriffsbeschränkungen auf Wissen erlaubt, ohne das Modell anpassen zu müssen. Dennoch kommt RAG in der Praxis mit seinen Tücken, sodass besonders lange Dokumente nicht ausreichend abgedeckt werden. Strategien zur Bewältigung können hypothetische Fragen-Indexierung, Zusammenfassungs-Indexierung oder Chunking sein. Darüber hinaus wird häufig mit derselben Metrik zur Auswahl der Dokumente gearbeitet, allerdings zeigen Untersuchungen wie etwa die von Steck, Ekanadham & Kallus, dass die gleiche Metrik nicht immer der optimale Weg ist, um passende Dokumente zu finden. Der optimierte Einsatz von RAG ist in einem komplexeren Arbeitsumfeld also nicht so einfach und direkt, wie es zuerst erscheinen mag.
Modellentwicklungen und Neuheiten
Mit dem Aufkommen von ChatGPT wurden regelmäßig neuere, größere Modelle mit mehr Parametern schnell entwickelt und bereitgestellt. Der Trend „je größer, desto besser“ ist nicht neu, sondern ließ sich in der Forschung schon weit vor ChatGPT im Deep Learning verfolgen. Zwar haben tiefere und breitere Neuronale Netze für beeindruckende Fortschritte der letzten Jahre gesorgt, jedoch nicht ohne dafür auch Schwächen zu offenbaren.
- Große Modelle benötigen beim Training sehr viel Rechenleistung und sind in der Größenordnung von über hundert Milliarden Parametern nur von wenigen Unternehmen realisierbar.
- Es gibt einen abnehmenden Grenznutzen für die eingesetzte Menge an Rechenleistung zu den erwarteten Performancesteigerungen.
- Large-Language-Model-Architekturen sind ineffizient in ihrer Nutzung.
Drei wesentliche Trends in Q1 2024 im Bereich Large Language Models (LLMs):
- Die Optimierung von Modellen wird leichter zugänglich
- Optimierte Modelle werden im gesamten Ressourcenbedarf kleiner
- Forschungsinitiativen für andere Architekturen starten öffentlichkeitswirksam
Modellentwicklungen und Neuheiten
Die hohe Beteiligung der Open-Source-Community ist ein gutes Zeichen für den Mehrwert der Technologie, da sie für viele Menschen auch einen privaten realen Nutzen zu bergen scheint. Darüber hinaus ist der Fokus auf einfacheres Fine-Tuning wie auch eine verbesserte Komprimierung wichtig für die Implementierung und Demokratisierung von generativer KI in Organisationen. So werden technische Hürden abgebaut.
Kleinere Sprachmodelle im Trend und Modelarchitekturen im Wandel
Die letzten Jahre haben gezeigt, dass immer größere Modelle nicht praktikabel sind und schon bald an die Grenze des Leistbaren stoßen.
Im Dezember 2023 hat Mistral „Mixtral“ (Mixture of Experts – MoE) veröffentlicht. Ein Model mit 8 x 7 Milliarden Parameter (8x7B) Modellen, das nach eigenen Angaben die meisten 70B Modelle in Benchmarks übertrifft und zusätzlich 6-mal schneller ist, da bei Mixtral nicht alle 56 Milliarden Parameter gleichzeitig aktiviert werden. Auch lässt sich an neueren Modellen ablesen, dass ein Umdenken in der verantwortbaren Größe der Modelle erfolgt, was eine direkte Rückkopplung der öffentlichkeits-wirksamen Implementierungsunterfangen von Unternehmen, Organisationen und Privatpersonen ist, die im letzten Jahr mit den Herausforderungen des Deployments zu kämpfen hatten.
Mit der MoE-Architektur wurde ein initialer, neuer Ansatz geschaffen, der nun in der Praxis immer mehr Anwendung findet. Es handelt sich um eine effizientere Struktur, die wettbewerbsfähige Ergebnisse bei geringerem Ressourceneinsatz erzielen kann. So findet die Architektur Anwendung in den neusten Veröffentlichungen von Modellen wie GPT-4 oder DBRX von Databricks.
Kleinere Sprachmodelle im Trend und Modelarchitekturen im Wandel
Ebenso wie die erhöhte Zugänglichkeit für die Kompression von Sprachmodellen, ist auch der Trend zu kleineren, weniger komplexen Sprachmodellen ein gutes Signal und bestätigt die Annahmen aus der Forschung, dass Performancesteigerungen über die Parameteranzahl nicht die optimale Strategie sein muss. Damit wird vermutlich auch ein temporäres Plateau in die Leistung von KI-Modellen eintreten und der Fokus wird mehr auf den operativen Einsatz gelegt werden.
Aktuelle relevante Presseartikel
- OpenAI stellt SV3D vor, eine Plattform für Sprach-, Video- und 3D-Anwendungen, die auf dem GPT-4-Modell basiert
- Nvidia-Chef Jenen Huang: Promptauswahl als Lösung für KI-Problem des Halluzinierens
- Stanford-Forscher warnen vor rechtlichen Risiken durch große Sprachmodelle, die fehlerhafte oder irreführende Informationen generieren können
- Microsoft gründet die Einheit „Microsoft AI“ und gewinnt führende KI-Experten, um ihre KI-Entwicklung voranzutreiben
Kontaktformular
An dieser Stelle finden Sie ein Kontakt-Formular. Dieser kann mit wenigen Klicks eingeblendet werden. Stimmen Sie hierfür bitte der Cookie-Kategorie „Marketing“ zu.
Sie haben Fragen zum Thema Künstliche Intelligenz?
Unser Experte Oliver Toma steht Ihnen gerne zur Verfügung, um Ihre individuellen Fragestellungen zu beantworten!
✉️ oliver.toma@cassini.de
📞 +49 211 - 92323781
