El impuesto a la latencia: Cómo el procesamiento centralizado afecta sus iniciativas de la IA

A medida que los casos de uso de IA emergentes (como los vehículos autónomos, la monitorización continuada de la salud y el análisis de fraude en tiempo real) se generalizan, las empresas necesitan cada vez más un procesamiento de datos ultrarrápido cerca de donde se generan y utilizan los datos. Mientras tanto, las preocupaciones sobre la privacidad de los datos, las leyes de soberanía de datos y otras regulaciones las motivan a mantener los datos lo más cerca posible de la fuente.

Con el rápido crecimiento de la IA como tecnología empresarial esencial, las empresas han comenzado a reconocer la importancia de las implementaciones en el edge en su arquitectura de TI general. Aquellas que han dependido de la nube o de un data center local están sufriendo las limitaciones de los modelos de procesamiento centralizado para cargas de trabajo de inferencia de IA sensibles a la latencia.

Si realiza procesamiento de IA en la nube:

• Tiene menos control sobre los datos, lo que puede generar problemas de cumplimiento.
• Transferir datos dentro y fuera de la nube implica afrontar costes más elevados, tanto por las tasas de salida como por el coste de la red de transporte.
• La transferencia de datos requiere demasiado tiempo para casos de uso sensibles a la latencia, lo que hace imposible la inferencia de IA en tiempo real.
• Aunque haya regiones locales en la nube disponibles, debe pagar tasas de salida para transferir los datos a una ubicación central para su formación.

Si realiza procesamiento de IA en un data center centralizado:

• Tiene más control de los datos que con la nube, pero es posible que la ubicación no cumpla los requisitos de residencia de los datos.
• Sigue habiendo mayor latencia y congestión de red para transferir datos.
• Es posible que tenga una capacidad limitada para escalar a medida que crecen los volúmenes de datos.

En ambos casos, los modelos de procesamiento centralizado pueden generar cuellos de botella para las cargas de trabajo de IA debido a la distancia que deben recorrer los datos, y pueden agotar el presupuesto de IA. Algunas organizaciones en las primeras etapas de la IA piensan que su configuración actual de nube o data center es lo suficientemente buena, pero, cuando llega el momento de trasladar los proyectos de IA de las pruebas a la producción, esa infraestructura puede socavar las capacidades de IA.

La mejor manera de avanzar es un enfoque distribuido de IA, según el cual algunos aspectos clave de un flujo de trabajo de IA ocurren en ubicaciones periféricas y otros tienen lugar en un data center centralizado. La inferencia de IA, el ajuste preciso y algunas necesidades de entrenamiento específicas del dominio deben realizarse en el edge para lograr la latencia más baja, mientras que el entrenamiento general del modelo de IA se puede realizar en una infraestructura centralizada o en la nube, donde es más fácil escalar y agregar múltiples fuentes de datos. Este enfoque requiere aprovechar una infraestructura híbrida interconectada que incorpore centros digitales en ubicaciones periféricas. Las organizaciones que actualmente no cuentan con una estrategia en el edge necesitarán una, ya que acercar la potencia computacional a las fuentes de datos permite el procesamiento de baja latencia que requieren las aplicaciones de IA.

Por qué la latencia es importante para la IA

Hay tres aspectos relacionados con la latencia a tener en cuenta para las aplicaciones de IA:

1. El tiempo que lleva transferir datos desde el objeto que genera esos datos al nodo de inferencia
2. El tiempo que tarda el nodo de inferencia en procesar los datos con el modelo entrenado
3. El tiempo que tarda el nodo de inferencia en responder con una acción en un dispositivo o proporcionar un informe

Estas transferencias de datos pueden tardar unos milisegundos si está en el edge, pero si debe enviar datos a una ubicación central, la latencia podría ser perjudicial.

Figura 1: El uso de un data center centralizado puede aumentar los costes y el tiempo de las transferencias de datos

La baja latencia es especialmente importante para la inferencia de IA, ya que puede afectar negativamente a las experiencias de los usuarios, los costes comerciales e incluso la vida y la seguridad humanas. Consideremos los siguientes ejemplos:

• Los vehículos autónomos necesitan poder responder instantáneamente cuando los datos de los sensores indican que hay un peatón delante para evitar accidentes.
• Los sistemas de ambulancia conectados utilizan nodos edge para procesar datos vitales y de diagnóstico del paciente en tiempo real durante el transporte, lo que ayuda a los hospitales a prepararse para emergencias entrantes.
• Las empresas de servicios públicos y de producción de energía necesitan responder rápidamente a los cambios climáticos y a las emergencias por razones de seguridad.
• En la automatización industrial, los modelos de IA en el edge analizan los datos de los sensores y las cámaras al instante, lo que permite respuestas inmediatas a eventos críticos como anomalías en los equipos, defectos de productos o cambios ambientales repentinos como picos de temperatura.

En todos estos casos, las organizaciones no pueden permitirse la latencia que implica el procesamiento centralizado o basado en la nube.

La inferencia de IA debe ocurrir en el edge

Dado que el entrenamiento de la IA implica grandes volúmenes de datos y, en gran medida, no está limitado por la latencia, el procesamiento centralizado tiene sentido. La infraestructura centralizada está mejor equipada para manejar la escala necesaria y el entrenamiento puede detenerse mientras se espera a recibir datos nuevos.

Por otro lado, la inferencia de IA se activa cuando se envían y reciben datos nuevos desde los dispositivos. Un nodo de inferencia necesita reaccionar a esos datos rápidamente, por lo que no hay tiempo para que regresen a una ubicación central para su procesamiento. Si el nodo de inferencia está cerca de los datos, puede desencadenar una acción en tiempo real. Con nodos de inferencia en varias ubicaciones periféricas en toda la infraestructura empresarial, las compañías pueden mejorar la disponibilidad del servicio e implementar modelos de IA específicos del dominio que funcionan con un conjunto de datos más estrecho y pueden conducir a un entrenamiento más rápido y menores requisitos informáticos. Los ejemplos incluyen análisis de imágenes médicas o asistencia en el diagnóstico de enfermedades. La infraestructura edge también permite servicios específicos de la ubicación, como análisis de vídeo en tiempo real para la seguridad del aeropuerto.

Pero la IA edge no solo tiene que ver con la latencia: también ofrece beneficios en términos de costes y privacidad. En el ejemplo de ambulancias conectadas mencionado anteriormente, el procesamiento de datos localmente en el edge puede reducir significativamente la latencia en comparación con las soluciones basadas solo en la nube, lo que permite alertas en tiempo real, como la detección de un accidente cerebrovascular, que pueden ahorrar minutos vitales en la atención de emergencia. Además, el procesamiento local de datos minimiza el uso del ancho de banda y mejora la privacidad de los datos al transmitir únicamente resúmenes esenciales. Esto protege la información confidencial del paciente y al mismo tiempo mantiene la eficiencia operativa. Del mismo modo, en la automatización industrial, la IA de los extremos de la red puede eliminar los retrasos del procesamiento basado en la nube y garantizar que las decisiones se tomen en tiempo real. Esto puede ayudar a mejorar la eficiencia operativa, reducir el tiempo de inactividad y mejorar la seguridad general y la calidad del producto en entornos industriales y de fabricación.

El papel de la tecnología de red en la computación edge para la IA

Las nuevas tecnologías de red, como el acceso directo a memoria remota (RDMA), están surgiendo como revolucionarias al abordar los desafíos de las redes “largas y anchas”, es decir, aquellas con alto ancho de banda y latencia en distancias extendidas. RDMA permite el acceso directo a la memoria entre sistemas sin implicar a la CPU, lo que reduce significativamente la latencia y aumenta el rendimiento. Esto es crucial para las cargas de trabajo de IA que requieren transferencias de datos rápidas y a gran escala entre nodos de inferencia edge y clústeres de entrenamiento centralizados.

RDMA y la computación edge pueden trabajar juntos para minimizar la latencia de la IA. RDMA acelera la transferencia y agregación de datos, y la infraestructura edge acorta la distancia que necesita recorrer para su procesamiento. De esta forma, RDMA ayuda a adoptar un enfoque distribuido para la IA permitiendo la distribución estratégica de datos entre la infraestructura central y el edge. Desde una perspectiva empresarial, la adopción de estas soluciones no solo acelera los ciclos de implementación de IA, sino que también mejora la eficiencia operativa, lo que permite obtener información en tiempo real y una innovación más rápida a escala.

Una infraestructura edge interconectada

En la era de la inteligencia basada en datos, la computación edge es imprescindible. El éxito de la IA depende en última instancia de la colaboración entre el entrenamiento centralizado y la inferencia local. Para lograr esto, necesita una infraestructura edge interconectada en las ubicaciones adecuadas, cerca de sus fuentes de datos y usuarios finales, y conectada a nubes, proveedores de SaaS y otros partners en su ecosistema de IA.

Figura 2: Centros digitales interconectados en los extremos de la red

Con más de 270 data centers en 76 mercados alrededor del mundo, Equinix tiene el alcance global para respaldar sus implementaciones edge para IA. En nuestros data centers de alto rendimiento y preparados para IA, puede implementar una infraestructura flexible donde la necesite mientras optimiza los costes y mantiene el cumplimiento normativo.

Para obtener más información sobre la importancia de la computación edge para reducir la latencia de la red para la IA, descargue nuestro informe técnico Where edge meets AI opportunity.