Der Einsatz proprietärer KI-Modelle kann zu Datenschutzproblemen und hohen Betriebskosten führen. Open-Source-Alternativen sind genügsamer, kostengünstiger und datensparsamer.
KI-Lösungen wie ChatGPT, Gemini oder Claude bieten einen einfachen Einstieg in die Anwendung generativer KI, haben aber auch Nachteile. Sie werden über eine Cloud-Infrastruktur bereitgestellt, was zu Datenschutzproblemen führen kann. So musste OpenAI nur wenige Monate nach Veröffentlichung von ChatGPT ein Datenleck einräumen, das den Zugriff auf sensible Informationen ermöglichte. Der koreanische Hersteller Samsung schränkte die Nutzung von ChatGPT zeitweise stark ein, weil Mitarbeiter Informationen aus der Halbleiterentwicklung, Programmcode und andere Geschäftsgeheimnisse auf die OpenAI-Plattform hochgeladen hatten.
Ein weiteres Problem sind die Gesamtbetriebskosten. Da die Abrechnung nutzungsabhängig erfolgt, werden proprietäre KI-Modelle immer teurer, je länger und intensiver man sie einsetzt. Anwender haben zudem keinen Einblick in die Funktionsweise der zugrundeliegenden proprietären Sprachmodelle und können diese nur eingeschränkt an die eigenen Anforderungen anpassen.
Open-Source-Modelle sind daher oft die bessere Alternative. Sie bieten deutlich mehr Freiheiten und erlauben es, sie lokal zu installieren, mit eigenen Daten zu trainieren oder ihre Funktionsweise zu analysieren. Modelle wie Llama oder Mistral benötigen allerdings ebenso wie die proprietären Angebote eine hochleistungsfähige IT-Infrastruktur für Training und Anwendung. Zwar gibt es auch Versionen, die auf PC-Hardware ausführbar sind, Anwender müssen bei diesen abgespeckten Modellen jedoch Abstriche bei Reaktionsgeschwindigkeit, Genauigkeit und Detailreichtum machen.
Mit DeepSeek wurde Ende vergangenen Jahres ein KI-Modell vorgestellt, das bei deutlich geringerem Rechenaufwand mindestens ebenso gute Ergebnisse liefern soll wie GPT-4 und andere große Sprachmodelle. Nach Angaben des Herstellers kostete das Training des Open-Source-Modells nur 5,6 Millionen US-Dollar (zirka 5,4 Millionen Euro) und damit weniger als zehn Prozent dessen, was OpenAI für die Entwicklung von GPT-4 aufwenden musste. Ein wesentlicher Grund für die Effizienz von DeepSeek ist das sogenannte „Reasoning“. Anders als herkömmliche Modelle verlässt sich die KI bei der Auswahl einer Antwort nicht nur auf statistische Wahrscheinlichkeiten, sondern versucht, logische Zusammenhänge herzustellen. Das macht das Modell zwar langsamer, verbessert die Antworten aber deutlich. Die Leistung kann durch Reinforcement Learning weiter optimiert werden – ein Machine-Learning-Verfahren, bei dem das Modell für richtige Antworten „belohnt“ wird und durch Variation seines Outputs versucht, die Belohnung zu maximieren.
Wie Reasoning ein Sprachmodell effizienter und genauer macht, zeigt ein Vergleich zwischen DeepSeek-R1-Distill-Llama-8B und Llama 3.1-BB. Dabei handelt es sich um zwei reduzierte, für den Einsatz auf PC-Hardware optimierte Modelle. Beide wurden auf einem KI-PC mit Intel Core Ultra 7 Prozessor installiert und mit mathematisch komplexen Problemen getestet. Dabei schnitt DeepSeek schnitt deutlich besser ab.
DeepSeek selbst testen
Wer sich einen Eindruck von den Fähigkeiten des chinesischen Sprachmodells verschaffen möchte, kann innerhalb weniger Minuten einen eigenen Chatbot auf Basis von DeepSeek erstellen. Dazu wird das Modell DeepSeek-R1-Distill-Qwen-1.5B von Hugging Face heruntergeladen und beispielsweise auf einer m7i.4xlarge-Instanz bei Amazon Web Services (AWS) installiert. Diese bietet auf Basis skalierbarer Intel Xeon Prozessoren 16 virtuelle CPUs (vCPUs) und damit eine für den Test ausreichende Performance bei einem guten Preis-Leistungs-Verhältnis. Als Frontend kommt der Open-Source-Chatbot ChatQnA zum Einsatz. Ein Vergleich mit dem Modell Qwen2.5-Math-1.5B verdeutlicht die Vorteile von DeepSeek. Während Qwen2.5-Math-1.5B das Ergebnis einer mathematischen Aufgabe kommentarlos ausgibt, erklärt DeepSeek-R1 den Lösungsweg ausführlich und ermöglicht so ein wesentlich tieferes Verständnis sowohl für das mathematische Problem an sich als auch für den vom KI-Modell verwendeten Lösungsansatz.
Technisch und organisatorische Voraussetzungen für den Einsatz von Open-Source-Modellen
In Unternehmen geht es nicht nur darum, ein Modell zu finden, das logische Probleme besser löst und weniger anfällig für Halluzinationen ist, es muss auch skalierbar sein, unternehmensspezifische Quellen berücksichtigen können und sich nahtlos in verschiedene Umgebungen integrieren lassen. Skalierbare Intel Xeon Prozessoren und Intel Gaudi KI-Beschleuniger bieten hierfür die technische Basis. Xeon Prozessoren sind durch Befehlssätze wie Intel Deep Learning Boost (Intel DL Boost), die Advance Matrix Extensions (AMX) oder die Advanced Vector Extensions 512 (AVX-512) für die Anwendung von Deep-Learning-Frameworks optimiert. Erweiterungen wie die Intel Software Guard Extensions (Intel SGX) und die Intel Trust Domain Extensions (Intel TDX) ermöglichen es außerdem, das Training und die Anwendung von KI-Modellen in einer sicheren Verarbeitungsumgebung (Trusted Execution Environment, TEE) durchzuführen (mehr dazu in diesem Artikel).
Bei der Entwicklungsumgebung sollten Unternehmen auf Open-Source-Lösungen wie die Open Platform for Enterprise AI (OPEA) setzen. Das Framework basiert auf Microservices, die eine schnelle und flexible Integration von KI-Werkzeugen in die IT-Infrastruktur eines Unternehmens ermöglichen. OPEA erlaubt es, KI-Modelle auszuprobieren und zwischen verschiedenen Anbietern zu wechseln, ohne dass große Änderungen am Workflow notwendig sind. Auch verschiedene Deployment-Methoden lassen sich einfach nutzen. So können Unternehmen testen, wie sich ihre KI-Modelle und-Anwendungen lokal, in einer Cloud-Infrastruktur wie Amazon Web Services oder in einer auf Enterprise AI spezialisierten Hosting-Umgebung wie Intel Tiber AI Cloud oder Denvr Cloud verhalten.
Fazit: KI einfach nutzen – mit Open Source und Reasoning
Kommerzielle KI-Werkzeuge wie ChatGPT bieten einen schnellen Einstieg in die Nutzung generativer KI, stellen Unternehmen jedoch vor Probleme, wenn es um die Vertraulichkeit ihrer Daten, die Flexibilität der Nutzung und die Gesamtbetriebskosten geht. Open-Source-Lösungen sind daher oft die bessere Alternative. Sie lassen sich nicht nur leichter an die eigenen Anforderungen anpassen, sondern auch lokal installieren, was langfristig die Kosten senkt und den Schutz sensibler Informationen erleichtert. Reasoning-Modelle wie DeepSeek machen die Nutzung von Open Source noch attraktiver. In den meisten Fällen liefern diese Modelle auf derselben Hardware bessere Ergebnisse als ein vergleichbares, rein auf statistischen Wahrscheinlichkeiten basierendes LLM.
Bei der technischen und organisatorischen Umsetzung von KI-Projekten sollten Unternehmen auf nahtlose Skalierbarkeit, optimale Hardwareunterstützung und Flexibilität bei der Wahl des Deployment-Modells achten. Frameworks wie die Open Platform for Enterprise AI, skalierbare Intel Xeon Prozessoren und Gaudi KI-Beschleuniger sowie Cloud-Angebote wie Intel Tiber AI Cloud oder Denvr Cloud liefern die Voraussetzungen, um schnell, kostengünstig und sicher zu eigenen KI-Anwendungen zu kommen.