Der Trainingserfolg bei Machine Learning steht und fällt mit der Menge und der Qualität der Trainingsdaten. Beides lässt sich steigern, wenn Organisationen zusammenarbeiten und ihre Informationen teilen. Beim „Federated Learning“ gilt es jedoch einiges zu beachten, um Sicherheitsrisiken zu verhindern.
Künstliche Intelligenz (KI) ist nur so gut wie die Datenbasis, mit der sie trainiert wurde. Was wie eine Binsenweisheit klingt, stellt KI-Entwickler in der Praxis oft vor große Herausforderungen. Nicht selten reichen die vorhandenen Daten für das Training nicht aus oder weisen eine Schieflage auf. Selbst große Unternehmen wie der Versandhändler Amazon können auf solche Verzerrungen hereinfallen. Beim Training einer auf KI-basierten Recruiting-Lösung verließ sich Amazon auf Daten von – hauptsächlich männlichen – Mitarbeitern und Job-Interessenten. Dieses Ungleichgewicht führte dazu, dass die KI Bewerberinnen diskriminierte. Das Projekt musste eingestellt werden. Aber auch große, öffentlich zugängliche Datensätze für das Training von Sprachmodellen wie ConceptNET und GenericsKB können erhebliche Fehler aufweisen. Laut einer Studie des Information Sciences Institute (ISI) an der University of Southern California (USC) sind bis zu 38,6 Prozent der darin formulierten „Fakten“ falsch.
Organisationsübergreifendes Training von Machine-Learning-Algorithmen
Verzerrungen in den Daten lassen sich reduzieren, wenn möglichst viele unterschiedliche Datenquellen verschiedener Organisationen zusammengeführt und für das Training von Machine-Learning-Algorithmen genutzt werden. Hier hat sich eine als „Federated Learning“ bezeichnete Methode bewährt, bei der das Training getrennt in den beteiligten Organisationen stattfindet. Die Teilnehmer übermitteln ihre Ergebnisse in regelmäßigen Abständen an einen Aggregationsserver („Orchestrator“), der sie in einem konsolidierten Machine-Learning-Modell (Konsensmodell) zusammenführt und das aktualisierte Modell für das weitere Training an die beteiligten Organisationen zurückschickt. Der Orchestrator kann sich bei einem der Teilnehmer im lokalen Rechenzentrum befinden, aber auch in einer Public-Cloud-Umgebung betrieben werden. Wie das funktioniert, zeigt beispielsweise Microsoft in einem Proof of Concept, in dem das Training in lokalen Kubernetes-Clustern auf skalierbaren Intel Xeon Prozessoren durchgeführt wurde, während die Orchestrierung über die Azure ML-Services in der Microsoft Cloud erfolgte.
Federated Learning mit sensiblen Daten
Branchen wie Einzelhandel, Fertigung, Gesundheitswesen und Finanzdienstleistungen arbeiten häufig mit personenbezogenen Informationen, Geschäftsgeheimnissen und anderen sensiblen Daten, die sie nicht mit anderen teilen wollen oder aus rechtlichen Gründen nicht teilen dürfen. Die von Intel entwickelte Softwarebibliothek Open Federated Learning (OpenFL) ermöglicht es solchen Organisationen, Modelle gemeinsam zu trainieren, ohne sensible Informationen preisgeben zu müssen. Sie schützt nicht nur die Daten vor fremden Augen, sondern auch die Modelle vor dem Ausspähen durch Reverse Engineering. Das Training der ML-Modelle findet in einer separaten, vertrauenswürdigen Laufzeitumgebung (Trusted Execution Environment, TEE) der skalierbaren Intel Xeon Prozessoren statt, die auch als „Enklave“ bezeichnet wird. Sie schottet Teile des Prozessors und des Arbeitsspeichers von der Umgebung ab und gewährt nur autorisiertem Code Zugriff auf die zu verarbeitenden Daten. Über Befehlserweiterungen wie die Intel Software Guard Extensions (Intel SGX), die in Intel Xeon E und den skalierbaren Intel Xeon Prozessoren verfügbar sind, können Entwickler definieren, welche Funktionen im Code vertrauliche Daten verwenden dürfen. Bei der Ausführung dieser Programmteile werden die Daten dann in die Enklave geladen und von den autorisierten Funktionen verarbeitet.
Föderales Lernen lässt sich durch den Einsatz von Intel Gaudi 2 Akzeleratoren beschleunigen, die speziell für Deep-Learning-Workloads entwickelt wurden. Der Gaudi 2 Prozessor bietet eine Netzwerkbandbreite von 2,4 Tb/s, 96 GB High-Bandwidth Memory (HBM) mit bis zu 2,45 TB/s Speicherbandbreite und 48 MB SRAM (Static Random Access Memory) und unterstützt alle gängigen Datentypen, die für Federated Learning verwendet werden. Darüber hinaus sind Decoder für verschiedene Medienformate (HEVC, H.264, VP9, JPEG) integriert, um die Erkennung und Analyse von Bildern und Videos zu beschleunigen.
Bessere Tumorerkennung dank Federated Learning
Wie föderales Lernen zu einem besseren Gesundheitsschutz beitragen kann, zeigt die Federated Tumor Segmentation Initiative (FeTS). In ihr haben sich mehr als 70 wissenschaftliche Organisationen und medizinische Einrichtungen zusammengeschlossen, um die Erkennung und Abgrenzung von bösartigen Hirntumoren (Glioblastomen) auf Röntgen-Scans zu beschleunigen und zu verbessern. Unter der Leitung des Center for Biomedical Image Computing and Analytics (CBICA) an der University of Pennsylvania (UPenn) testen sie verschiedene Algorithmen, trainieren sie mit Patientendaten und führen die Ergebnisse in einem Konsensmodell zusammen. Da das Training lokal erfolgt, müssen keine sensiblen Informationen ausgetauscht werden. Die Initiative kann damit auf die größte und vielfältigste Datenbank von Glioblastom-Scans zugreifen, die in der Literatur bekannt ist. Sie umfasst derzeit mehr als 6.300 Patienten und fünf Terabyte an Daten.
Erste Ergebnisse zeigen, dass das föderale Modell Hirntumore mit bis zu 33 Prozent höherer Genauigkeit erkennt als Modelle, die mit öffentlich verfügbaren Datensätzen trainiert wurden. Mithilfe der Intel-Distribution des Toolkits OpenVINO für die automatisierte Bilderkennung konnten Latenz und Speicherbedarf zudem so verringert werden, dass das Konsensmodell nun problemlos auf Edge Devices in Kliniken ausgeführt werden kann (siehe auch „Computer Vision – Entwicklungen, Herausforderungen, Anwendungsbereiche“).
Federated Learning in verteilten Infrastrukturen
In Mobilfunknetzen und IoT-Umgebungen (Internet of Things), in Produktionsanlagen und bei der Verkehrsüberwachung generieren Tausende oder gar Millionen von Sensoren riesige Datenströme. Sie müssen teilweise in Echtzeit ausgewertet werden, um beispielsweise autonomes Fahren oder die Steuerung agiler Roboter zu ermöglichen. Auch in diesen Szenarien kann Federated Learning einen wichtigen Beitrag leisten. Das Training kann verteilt und direkt am Edge erfolgen, was die Latenz deutlich reduziert, Bandbreitenprobleme vermeidet und die Skalierung erleichtert.
Ein Beispiel für eine solche Anwendung ist NetAnticipate, ein vom Beratungs- und Dienstleistungsunternehmen Capgemini entwickeltes Vorhersagemodell für Telekommunikations- und IoT-Netze. Es nutzt föderales Lernen, um beispielsweise die Spektrumseffizienz in Mobilfunknetzen zu verbessern, autonome Fahrzeuge zu steuern oder Roboter in einer Smart Factory zu überwachen. Erste Ergebnisse zeigen, dass sich die Spektrumseffizienz in 5G-Zugangsnetzen (Radio Access Network, RAN) mithilfe des föderalen Machine-Learning-Modells um bis zu 15 Prozent steigern lässt.
Fazit: Federated Learning macht Machine Learning schneller, besser und sicherer
Durch die Zusammenarbeit verschiedener Organisationen lassen sich typische Probleme beim Machine Learning wie einer unzureichende oder verzerrte Datenbasis beheben, die Entwicklung von Modellen wird wesentlich beschleunigt. Softwarebibliotheken wie OpenFL und Cloud-Services wie AzureML erleichtern dabei die Zusammenarbeit. Das Training der ML-Modelle sollte allerdings immer in einer sicheren, gegen fremde Zugriffe und Blicke geschützte Enklave eines Prozessors durchgeführt werden, um personenbezogene Informationen, Geschäftsgeheimnisse und andere sensible Daten zu schützen. Mit Trusted Execution Environment und den Software Guard Extensions der skalierbaren Xeon Prozessoren bietet Intel dafür die notwendigen Voraussetzungen.