Das Trainieren und Anwenden von Machine-Learning-Modellen stellt sehr unterschiedliche Anforderungen an die dafür benötigten IT-Umgebungen. In diesem Whitepaper erfahren Sie, wie Sie Cloud, Data Center und Edge Computing erfolgreich für die KI-Nutzung verbinden und wie Sie die richtige Infrastruktur für Ihre Anwendungszwecke finden.
Inhalt:
Das Training eines großen Sprachmodells wie ChatGPT erfordert Tausende von dedizierten Servern und verschlingt viele Millionen. Kleine und mittlere Unternehmen – aber auch die meisten Großkonzerne – haben weder die Infrastruktur noch die finanziellen und personellen Ressourcen, um solche Large Language Models (LLM) im eigenen Rechenzentrum zu entwickeln. KI-Anwendungen für spezielle Fragestellungen lassen sich dagegen mit sehr viel weniger Parametern und deutlich kleineren Datensätzen trainieren. Sie benötigen daher nicht unbedingt eine hochperformante Cloud-Umgebung.
Bei der Anwendung von KI, dem sogenannten Inferencing, spielt die Rechenleistung eine deutlich geringere Rolle. Hier stehen häufig andere Aspekte wie Sicherheit, Datensouveränität oder Geschwindigkeit und Bandbreite der Datenübertragung im Vordergrund. Das Inferencing findet deshalb oft direkt auf Servern und Endgeräten am Edge statt.
Dieses Whitepaper zeigt Ihnen, was Sie bei der Auswahl und der Integration von Ressourcen beachten sollten, um KI schnell, sicher und performant entwickeln und einsetzen zu können.
Sie erfahren unter anderem:
- Welche Bereitstellungsmodelle für KI es gibt und wie Sie das richtige für Ihre Anwendungszwecke finden.
- Wie Sie in sieben Schritten einen nahtlosen KI-Workflow erstellen.
- Wie Sie mit Referenz-Kits die Entwicklung von KI-Anwendungen beschleunigen.
Originalauszug aus dem Dokument:
2. Finetuning des vortrainierten Modells auf einem GPU-Cluster im lokalen Rechenzentrum
Das eigene Rechenzentrum bietet mehr Kontrolle, wenn es um Data Governance und Compliance geht. Das Training beziehungsweise Finetuning von Modellen mit personenbezogenen oder geschäftskritischen Daten sollte deshalb besser On-Premise erfolgen. Der Datentransfer in die Modelle und zurück funktioniert schneller und unkomplizierter als bei der Cloud-Nutzung.
Für das Finetuning bieten sich grundsätzlich zwei Strategien an: Retrieval Augmented Generation (RAG) und Federated Learning. Bei RAG werden im Unternehmen vorhandene Dokumente wie technische Spezifikationen, Verträge oder Geschäftsberichte mit einer in der Cloud vortrainierten generativen KI verknüpft. Das Modell kann auf die zusätzlichen Informationen zugreifen und so bessere, unternehmensspezifische Antworten geben. Beim Federated Learning erfolgt das Training eines Modells auf mehrere Organisationen verteilt. Die Teilnehmer übermitteln ihre Ergebnisse regelmäßig an einen Aggregator („Orchestrator“), der sie zu einem konsolidierten Machine-Learning- Modell (Konsensmodell) zusammenfasst und das aktualisierte Modell zum weiteren Finetuning an die beteiligten Organisationen zurückgibt.