자율주행차, 지속적인 건강 모니터링, 실시간 사기 분석 등 새로운 AI 활용 사례가 주류로 부상함에 따라, 기업은 데이터가 생성되고 사용되는 장소와 가까운 곳에서 초고속 데이터를 처리할 필요성에 직면하게 되었습니다. 한편, 데이터 개인정보 보호 문제, 데이터 주권 및 기타 규제로 인해 기업은 데이터를 출처로부터 최대한 가까운 장소에 보관하고자 노력하고 있습니다.
AI가 필수적인 기업 기술로 급속히 성장함에 따라 기업들은 전체 IT 아키텍처에 걸쳐 엣지 배포의 중요성을 인식하기 시작했습니다. 클라우드나 온프레미스 데이터센터에 의존해 온 기업들은 지연 시간에 민감한 AI 추론 워크로드에 대한 중앙 집중형 처리 모델의 한계를 경험하고 있습니다.
클라우드에서 AI 프로세스를 수행하는 경우:
- 데이터에 대한 통제권이 줄어들어 규정 준수 문제가 발생할 수 있습니다.
- 클라우드에서 데이터를 주고받을 때 이그레스 비용과 전송망 비용 때문에 비용이 더 많이 발생합니다.
- 지연 시간에 민감한 활용 사례에서는 데이터 전송에 너무 많은 시간이 걸리므로 실시간 AI 추론이 불가능해집니다.
- 로컬 클라우드를 사용할 수 있는 경우라도 학습을 위해 데이터를 중앙 위치로 옮기려면 여전히 이그레스 비용을 지불해야 합니다.
중앙 집중형 데이터센터에서 AI 프로세스를 수행하는 경우:
- 클라우드보다 데이터에 대한 통제권이 더 크지만, 위치가 데이터 레지던시 요구 사항을 충족하지 못할 수 있습니다.
- 데이터를 전송할 때 긴 지연 시간과 네트워크 혼잡이 발생합니다.
- 데이터 양이 증가함에 따라 확장을 위한 용량이 제한될 수 있습니다.
두 경우 모두 중앙 집중형 프로세스 모델은 데이터가 이동해야 하는 거리로 인해 AI 워크로드에 병목 현상이 발생할 수 있으며, 이 때문에 AI 예산 비용이 소진될 수 있습니다. AI 초기 단계에 있는 일부 기업은 현재 보유한 클라우드나 데이터센터 환경이 충분히 만족스럽다고 생각할 수 있지만, AI 프로젝트가 테스트 단계에서 상용화 단계로 넘어갈 때 해당 인프라가 AI 역량을 약화시킬 수 있습니다.
미래를 위해 가장 좋은 방법은 AI에 대한 분산형 접근 방식을 취하는 것입니다. 즉, AI 워크플로의 일부 핵심 단계는 엣지 위치에서 이루어지고 다른 단계는 중앙 집중형 데이터센터에서 수행되도록 하는 것입니다. AI 추론, 미세 조정 및 일부 도메인별 학습은 지연 시간을 최소화하기 위해 엣지에서 수행하도록 하고, 반면 일반적인 AI 모델 학습은 중앙 집중형 인프라나 여러 데이터 소스를 쉽게 확장하고 집계할 수 있는 클라우드에서 수행하도록 할 수 있습니다. 이러한 접근 방식을 위해서는 엣지 위치에 디지털 허브를 연결하는 상호연결형 하이브리드 인프라를 활용하는 것이 필요합니다. 현재 엣지 전략이 없는 조직이라면 엣지 전략이 필요할 것입니다. 컴퓨팅 파워를 데이터 소스에 더 가깝게 배치하면 AI 애플리케이션에 필요한 지연 시간이 짧은 프로세스가 가능해지기 때문입니다.
AI에 지연 시간이 중요한 이유
AI 애플리케이션 사용을 위해 고려해야 할 지연 시간의 세 가지 요소는 다음과 같습니다:
- 데이터를 생성하는 객체에서 추론 노드로 데이터를 이동하는 데 걸리는 시간
- 추론 노드가 학습된 모델로 데이터를 처리하는 데 걸리는 시간
- 추론 노드가 장치에 대한 작업을 응답하거나 보고서를 제공하는 데 걸리는 시간
엣지 위치에 있는 경우 이러한 데이터 전송에는 몇 밀리초밖에 걸리지 않지만, 중앙 위치로 데이터를 백홀해야 하는 경우 지연 시간이 심각하게 길어질 수 있습니다.
그림 1: 중앙 집중형 데이터센터를 사용하면 데이터 전송 비용과 시간이 늘어날 수 있습니다.
짧은 지연 시간은 AI 추론에 특히 중요합니다. 왜냐하면 이는 사용자 경험, 기업의 비즈니스 비용, 심지어 인간의 생명과 안전에 부정적인 영향을 미칠 수 있기 때문입니다. 다음 예시를 살펴보세요:
- 자율주행차는 사고를 방지하기 위해 센서 데이터가 차량 앞에 보행자가 있다는 것을 표시하면 즉시 반응할 수 있어야 합니다.
- 연결형 구급차 시스템은 네트워크 엣지 노드를 사용하여 환자를 이송 중에 환자의 생체 신호와 진단 데이터를 실시간으로 처리하므로 병원이 긴급 상황에 대비하는 데 도움이 됩니다.
- 유틸리티 및 에너지 생산 기업은 안전상의 이유를 고려하여 기상 변화와 비상 상황에 신속하게 대응해야 합니다.
- 산업 자동화 분야에서 엣지의 AI 모델은 센서와 카메라 데이터를 즉시 분석하여 장비 이상, 제품 결함, 온도 급등과 같은 갑작스러운 환경 변화 등의 중요한 이벤트에 즉각적으로 대응할 수 있습니다.
이 모든 경우에 대해 기업은 중앙 집중형 또는 클라우드 기반 데이터 처리로 인해 발생하는 지연 시간을 감당할 수 없습니다.
AI 추론은 엣지에서 이루어져야 합니다.
AI 학습에는 방대한 양의 데이터가 포함되고 전반적으로 지연 시간에 제약을 받지 않으므로 중앙 집중형 프로세스가 합리적입니다. 중앙 집중형 인프라는 필요한 규모를 처리하는 데 더 적합하며, 새로운 데이터를 수신할 때까지 AI 학습을 일시 중지할 수 있습니다.
반면, AI 추론은 장치에서 전송되고 수신되는 최신 데이터에 의해 시작됩니다. 추론 노드는 해당 데이터에 빠르게 대응해야 하므로 처리를 위해 중앙 위치로 데이터를 다시 전송할 시간이 없습니다. 추론 노드와 데이터의 거리가 가까우면 실시간 대응을 실행할 수 있습니다. 기업 인프라 전반의 다양한 엣지 위치에 추론 노드를 배치하면 기업은 서비스 가용성을 개선하고 더 좁혀진 데이터 세트로 작동하는 도메인별 AI 모델을 배포할 수 있으며, 이를 통해 학습은 더 빨리지고 컴퓨팅 요구 사항은 더 낮아지는 결과를 달성할 수 있습니다. 의료 영상 분석이나 질병 진단 지원 등이 그 예입니다. 엣지 인프라는 공항 보안을 위한 실시간 영상 분석과 같은 위치별 서비스도 제공합니다.
하지만 엣지의 AI는 지연 시간만을 줄이는 것이 아닙니다. 비용 절감과 개인정보 보호 측면에서도 이점이 있습니다. 위에 예로 든 연결형 구급차의 경우, 네트워크 엣지에서 로컬로 데이터를 처리하면 클라우드 전용 솔루션에 비해 지연 시간을 크게 줄일 수 있으며, 뇌졸중 감지와 같은 실시간 알림을 통해 응급 처치에 소요되는 결정적인 시간을 아낄 수 있습니다. 또한, 로컬로 데이터를 처리함으로써 대역폭 사용량을 최소화하고 필수 요약 정보만 전송하여 데이터 개인 정보 보호를 강화합니다. 이를 통해 운영 효율성을 유지하는 동시에 민감한 환자 정보를 보호할 수 있습니다. 마찬가지로 산업 자동화 분야에서 엣지 AI는 클라우드 기반 프로세스로 인한 지연을 제거하고 실시간으로 의사 결정을 내릴 수 있도록 보장합니다. 이를 통해 제조 및 산업 환경에서 운영 효율성을 높이고, 가동 중단 시간을 줄이며, 전반적인 안전성과 제품 품질을 개선할 수 있습니다.
AI를 위한 엣지 컴퓨팅에서 네트워크 기술의 역할
원격 직접 메모리 액세스(RDMA)와 같은 새로운 네트워크 기술은 ‘장거리 및 대용량’ 네트워크, 즉 확장된 거리에서 높은 대역폭과 지연 시간이 발생하는 네트워크의 과제를 해결함으로써 게임 체인저로 떠오르고 있습니다. RDMA는 CPU를 거치지 않고도 시스템 간에 직접 메모리 액세스가 가능하도록 함으로써 지연 시간을 크게 줄이고 처리량을 높여줍니다. 이는 엣지 추론 노드와 중앙 집중형 AI 학습 클러스터 간에 빠르게 대규모 데이터를 전송해야 하는 AI 워크로드에 매우 중요합니다.
RDMA와 엣지 컴퓨팅은 AI의 지연 시간을 최소화하기 위해 협력할 수 있습니다. RDMA는 데이터 전송 및 집계 속도를 높이고, 엣지 인프라는 프로세스를 위해 데이터가 이동해야 하는 거리를 단축시킵니다. 따라서 RDMA는 엣지와 코어 인프라 간에 데이터를 전략적으로 분산할 수 있도록 하여 AI에 대한 분산형 접근 방식을 도입하는 데 도움이 됩니다. 기업의 관점에서 볼 때, 이러한 솔루션을 도입하면 AI 배포 주기를 단축할 뿐만 아니라 운영 효율성도 향상되어 실시간 인사이트와 대규모 혁신을 가능하게 합니다.
상호연결된 엣지 인프라
데이터 중심의 인텔리전스 시대에 엣지 컴퓨팅은 필수입니다. AI의 성공은 궁극적으로 중앙 집중형 AI 학습과 로컬 AI 추론 간의 협업에 달려 있습니다. 이를 달성하려면 데이터 소스 그리고 최종 사용자와 가까운 적절한 위치에 상호연결된 엣지 인프라가 필요하며, 클라우드, SaaS 공급자 및 AI 에코시스템 내 다른 파트너들과 연결되어야 합니다.
그림 2: 엣지의 상호연결된 디지털 허브
Equinix는 전 세계 76개 시장에 270개 이상의 데이터센터를 보유하고 있으며, AI용 엣지 배포를 지원할 수 있는 글로벌 역량을 갖추고 있습니다. 당사의 고성능, AI 지원 데이터센터에서는 비용을 최적화하고 규정을 준수하는 동시에 필요한 곳에 유연한 인프라를 구축할 수 있습니다.
AI의 네트워크 지연 시간을 줄이기 위한 엣지 컴퓨팅의 중요성에 대해 자세히 알아보려면 당사의 백서 ‘엣지와 AI기회의 시너지‘를 다운로드하세요
Subscribe to the Equinix Blog