ERNIE-4.5-VL-28B-A3B-Thinking: Neues Modell für multimodales Verständnis

ERNIE-4.5-VL-28B-A3B-Thinking von Baidu: Multimodales Verständnis neu definiert

Baidu hat mit dem ERNIE-4.5-VL-28B-A3B-Thinking ein Modell vorgestellt, das die Grenzen des multimodalen Verständnisses erweitert. Als Teil der ERNIE-4.5-Familie konzentriert sich dieses Modell auf die Verarbeitung von Dokumenten, Diagrammen und Videos und nutzt dabei einen Mix aus Expertenarchitekturen, um leistungsstarkes multimodales Reasoning zu ermöglichen. Aber was macht dieses Modell so besonders?

Effizienter Einsatz von Ressourcen

Ein entscheidendes Merkmal des ERNIE-4.5-VL-28B-A3B-Thinking ist seine Effizienz in der Parameterverwendung. Während das Modell insgesamt 30 Milliarden Parameter umfasst, sind pro Token lediglich 3 Milliarden Parameter aktiv. Diese Effizienz wird durch das A3B-Routing-Schema erzielt, das eine Mixture of Experts (MoE) Architektur nutzt Quelle. Diese Architektur ermöglicht, dass das Modell die gleiche Leistung wie größere Systeme erzielt, während es die benötigten Rechenressourcen minimiert.

Fortgeschrittenes multimodales Reasoning

Baidu hat das Modell speziell für visuelles Reasoning, STEM-Reasoning, visuelle Verankerung und die Interpretation von Videos entwickelt. Ein besonderes Feature ist das „Thinking with Images”, bei dem das Modell Bilder in Abschnitte unterteilt und auf einzelnen Ausschnitten Basis schließt. Dieses iterative Vorgehen verbessert die Genauigkeit und Präzision der Analyse Quelle.

Multimodale Verstärkungslernstrategien

Um das Modell weiter zu stärken, werden multimodale Verstärkungslernstrategien eingesetzt. Hierzu zählen GSPO-, IcePop-Strategien und das dynamische Schwierigkeits-Sampling, die das Training stabilisieren und das Modell befähigen, sich an anspruchsvollere Probleme anzupassen Quelle. Diese Strategien verbessern nicht nur das Verständnis von komplexen Strukturen, sondern auch die semantische Ausrichtung zwischen visuellen und sprachlichen Modalitäten.

Praktische Anwendungen und Leistung

Das Modell konkurriert erfolgreich mit anderen, deutlich größeren Modellen und zeigt auf zahlreichen Benchmarks eine überlegene Leistung. Dadurch eignet es sich hervorragend für analytische Anwendungsbereiche wie die Verarbeitung von stark strukturierten Texten und die komplexe Auswertung von visuell-dichten Daten Quelle. Dank der Open-Source-Veröffentlichung unter der Apache License 2.0, und der Unterstützung durch Plattformen wie Hugging Face, vLLM und FastDeploy kann das Modell leicht integriert und speziell für kommerzielle Anwendungen angepasst werden.

Mit dem ERNIE-4.5-VL-28B-A3B-Thinking liefert Baidu ein Werkzeug für Entwickler:innen und Entscheider:innen, die effizientes multimodales Reasoning benötigen. Es ist nicht nur eine Innovation im Hinblick auf seine technische Unterbau, sondern auch eine Offenbarung, wie vorhandene Ressourcen optimal genutzt werden können, um mit Großmodellen zu konkurrieren.