Die Latenzsteuer: Welche Kosten eine zentralisierte Verarbeitung Ihren KI-Initiativen aufbürdet

Mit der zunehmenden Verbreitung neuer KI-Anwendungsfälle wie autonome Fahrzeuge, kontinuierliche Gesundheitsüberwachung und Echtzeit-Betrugsanalyse wird es für Unternehmen immer wichtiger, Daten extrem schnell und nah an ihrem Entstehungs- und Verwendungsort zu verarbeiten. Gleichzeitig sehen sie sich aufgrund von Datenschutzbedenken, Gesetzen zur Datenhoheit und anderen Vorschriften dazu veranlasst, Daten so nah wie möglich an der Quelle zu speichern.

Angesichts des rasanten Wachstums von KI als unverzichtbare Unternehmenstechnologie erkennen Unternehmen zunehmend die Bedeutung von Edge-Bereitstellungen für ihre gesamte IT-Architektur. Wer bisher auf die Cloud oder ein lokales Rechenzentrum gesetzt hat, stößt bei latenzempfindlichen KI-Inferenz-Workloads an die Grenzen zentralisierter Verarbeitungsmodelle.

Wenn Sie die KI-Verarbeitung in der Cloud durchführen:

• Haben Sie weniger Kontrolle über die Daten, sodass es zu Compliance-Problemen kommen kann.
• Müssen Sie aufgrund von Egress-Gebühren (Ausgangsgebühren) und den Kosten für das Transportnetzwerk mit höheren Kosten für die Übertragung von Daten in die Cloud und aus der Cloud rechnen.
• Dauert die Übertragung von Daten für latenzempfindliche Anwendungsfälle zu lange, was Echtzeit-KI-Inferenz unmöglich macht.
• Müssen Sie dennoch Egress-Gebühren zahlen, selbst wenn lokale Cloud-Regionen verfügbar sind, um Daten für Trainingszwecke an einen zentralen Standort zu übertragen.

Wenn Sie die KI-Verarbeitung in einem zentralen Rechenzentrum durchführen:

• Sie haben zwar mehr Kontrolle über Ihre Daten als bei einer Cloud-Lösung, aber der Speicherort entspricht möglicherweise nicht den Anforderungen an die Datenhoheit.
• Kommt es bei der Datenübertragung immer noch zu höheren Latenzen und Netzwerküberlastungen.
• Ist Ihre Skalierungskapazität mit zunehmendem Datenvolumen möglicherweise eingeschränkt.

In beiden Fällen können zentralisierte Verarbeitungsmodelle aufgrund der langen Datenübertragungswege zu Engpässen bei KI-Workloads führen und das KI-Budget belasten. Einige Unternehmen, die gerade erst mit KI beginnen, halten ihre aktuelle Cloud- oder Rechenzentrumskonfiguration für ausreichend. Wenn es jedoch darum geht, KI-Projekte aus der Testphase in die Produktion zu überführen, kann diese Infrastruktur die KI-Fähigkeiten beeinträchtigen.

Die beste Vorgehensweise ist ein verteilter Ansatz für KI, bei dem zentrale Aspekte eines KI-Workflows an Edge-Standorten und andere in einem zentralen Rechenzentrum stattfinden. KI-Inferenz, Feinabstimmung und Teile des domänenspezifischen Trainings müssen an der Edge erfolgen, um eine möglichst geringe Latenz zu gewährleisten, während das allgemeine KI-Modelltraining in einer zentralisierten Infrastruktur oder in der Cloud durchgeführt werden kann, wo sich mehrere Datenquellen leichter skalieren und aggregieren lassen. Dieser Ansatz erfordert die Nutzung einer vernetzten Hybridinfrastruktur mit digitalen Hubs an Edge-Standorten. Unternehmen, die noch keine Edge-Strategie entwickelt haben, müssen dies nachholen, da die Nähe der Rechenleistung zu den Datenquellen die für KI-Anwendungen erforderliche geringe Latenzzeit ermöglicht.

Warum Latenz für KI entscheidend ist

Bei KI-Anwendungen sind drei Aspekte der Latenz zu berücksichtigen:

1. Die Zeit, die benötigt wird, um Daten vom Objekt, das diese Daten generiert, zum Inferenzknoten zu übertragen
2. Die Zeit, die der Inferenzknoten benötigt, um die Daten mit dem trainierten Modell zu verarbeiten
3. Die Zeit, die der Inferenzknoten benötigt, um mit einer Aktion auf einem Gerät zu antworten oder einen Bericht bereitzustellen

Diese Datenübertragungen können nur wenige Millisekunden dauern, wenn Sie sich an einem Edge-Standort befinden. Wenn Sie jedoch Daten an einen zentralen Standort zurückleiten müssen, kann sich die Latenzzeit nachteilig auswirken.

Abbildung 1: Die Verwendung eines zentralen Rechenzentrums kann die Kosten und die Dauer von Datenübertragungen erhöhen

Eine geringe Latenz ist besonders wichtig für KI-Inferenzen, da sich höhere Latenzzeiten negativ auf die Benutzererfahrung und die Geschäftskosten auswirken und sogar Menschenleben und die Sicherheit gefährden können. Betrachten Sie die folgenden Beispiele:

• Um Unfälle zu vermeiden, müssen autonome Fahrzeuge sofort reagieren können, wenn Sensordaten anzeigen, dass sich ein Fußgänger vor ihnen befindet.
• Vernetzte Krankentransportsysteme verarbeiten über Netzwerk-Edge-Knoten die Vitalparameter und Diagnosedaten der Patienten während des Transports in Echtzeit und unterstützen Krankenhäuser so bei der gezielten notfallmedizinischen Vorbereitung.
• Versorgungsunternehmen und Energieerzeugungsunternehmen müssen aus Sicherheitsgründen schnell auf Wetteränderungen und Notfälle reagieren.
• Im Bereich der industriellen Automatisierung analysieren KI-Modelle an der Edge Sensor- und Kameradaten sofort und ermöglichen so eine unverzügliche Reaktion auf kritische Ereignisse wie Gerätefehlfunktionen, Produktfehler oder plötzliche Umweltveränderungen wie Temperaturspitzen.

In all diesen Fällen können sich Unternehmen die Latenzzeiten, die eine zentralisierte oder cloudbasierte Verarbeitung mit sich bringt, nicht leisten.

KI-Inferenz muss an er Edge erfolgen

Da das KI-Training große Datenmengen umfasst und weitgehend unabhängig von Latenzzeiten ist, ist eine zentralisierte Verarbeitung sinnvoll. Zum einen ist eine zentralisierte Infrastruktur besser für den erforderlichen Datenumfang ausgelegt, zum anderen kann das Training während der Wartezeiten auf die Übertragung neuer Daten unterbrochen werden.

KI-Inferenz hingegen wird durch neue Daten ausgelöst, die von Geräten gesendet und empfangen werden. Weil ein Inferenzknoten schnell auf diese Daten reagieren muss, bleibt keine Zeit, sie zur Verarbeitung an einen zentralen Ort zurückzusenden. Ein in der Nähe der Daten angesiedelter Inferenzknoten kann dagegen eine Echtzeitaktion auslösen. Mit Inferenzknoten an verschiedenen Edge-Standorten der Unternehmensinfrastruktur können Unternehmen die Serviceverfügbarkeit verbessern und domänenspezifische KI-Modelle einsetzen, die mit kleineren Datensätzen arbeiten und das Training beschleunigen und die Rechenanforderungen verringern können. Beispiele hierfür sind die Analyse medizinischer Bilddaten oder die Unterstützung bei der Diagnose von Krankheiten. Die Edge-Infrastruktur ermöglicht darüber hinaus standortspezifische Dienste wie Echtzeit-Videoanalysen im Bereich der Flughafensicherheit.

KI an der Edge bringt jedoch nicht nur kürzere Latenzzeiten, sondern auch Kosten- und Datenschutzvorteile. Im oben genannten Beispiel der vernetzten Krankentransportsysteme kann die lokale Verarbeitung von Daten an der Edge die Latenzzeit im Vergleich zu reinen Cloud-Lösungen erheblich reduzieren und Echtzeitwarnungen wie beispielsweise die Erkennung eines Schlaganfalls ermöglichen, wodurch in der Notfallversorgung wertvolle Minuten gewonnen werden können. Darüber hinaus minimiert die lokale Datenverarbeitung die Bandbreitennutzung und verbessert den Datenschutz, indem nur die wichtigsten Zusammenfassungen übertragen werden. Auf diese Weise werden vertrauliche Patientendaten geschützt und gleichzeitig die Betriebseffizienz gewährleistet. Analog dazu kann Edge-KI im Bereich der industriellen Automatisierung Verzögerungen durch cloudbasierte Verarbeitung vermeiden und sicherstellen, dass Entscheidungen in Echtzeit getroffen werden. Dies kann dazu beitragen, die Betriebseffizienz zu steigern, Ausfallzeiten zu reduzieren und die allgemeine Sicherheit und Produktqualität in Fertigungs- und Industrieumgebungen zu verbessern.

Die Rolle der Netzwerktechnologie im Edge-Computing für KI

Neue Netzwerktechnologien wie Remote Direct Memory Access (RDMA) erweisen sich als bahnbrechende Innovationen, da sie die Herausforderungen bewältigen, die ausufernde Netzwerke mit hoher Bandbreite und entfernungsbedingter hoher Latenz mit sich bringen. Da RDMA den direkten Speicherzugriff zwischen Systemen ohne Einbeziehung der CPU ermöglicht, wird die Latenz erheblich reduziert und der Durchsatz erhöht. Dies ist entscheidend für KI-Workloads, die schnelle, umfangreiche Datenübertragungen zwischen Edge-Inferenzknoten und zentralisierten Trainingsclustern erfordern.

Zusammen können RDMA und Edge-Computing die Latenz für KI-Anwendungen minimieren. RDMA beschleunigt die Übertragung und Aggregation der Daten, während die Edge-Infrastruktur die für die Verarbeitung erforderliche Übertragungsstrecke verkürzt. RDMA unterstützt die Einführung eines verteilten KI-Ansatzes, indem es eine strategische Verteilung der Daten zwischen Edge- und Kerninfrastruktur ermöglicht. Aus geschäftlicher Sicht beschleunigt die Einführung solcher Lösungen nicht nur die KI-Implementierungszyklen, sondern verbessert auch die betriebliche Effizienz, ermöglicht Echtzeiterkenntnisse und schnellere Innovationen in großem Maßstab.

Eine vernetzte Edge-Infrastruktur

Im Zeitalter datengesteuerter Informationsauswertung ist Edge-Computing ein Muss. Der Erfolg von KI beruht letztendlich auf der Zusammenarbeit zwischen zentralem Training und lokaler Inferenz. Um dies zu erreichen, benötigen Sie eine vernetzte Edge-Infrastruktur an den richtigen Standorten, in der Nähe Ihrer Datenquellen und Endnutzer und verbunden mit Clouds, SaaS-Anbietern und anderen Partnern in Ihrem KI-Ökosystem.

Abbildung 2: Vernetzte digitale Hubs an der Edge

Mit über 270 Rechenzentren in 76 Märkten weltweit bietet Equinix die globale Reichweite, die Ihre Edge-Bereitstellungen für KI benötigt. In unseren leistungsstarken, KI-fähigen Rechenzentren können Sie eine bedarfsgerechte flexible Infrastruktur bereitstellen und gleichzeitig die Kosten optimieren und die Einhaltung gesetzlicher Vorschriften gewährleisten.

Um mehr darüber zu erfahren, wie wichtig Edge-Computing für die Reduzierung der Netzwerklatenz bei KI-Anwendungsfällen ist, laden Sie unser Whitepaper KI-Chancen an der Edge herunter.