Os grandes modelos de linguagem (LLMs) estão disponíveis para atendimento ao cliente em casos de uso de IA há menos de um ano, e já vimos o quanto eles impactaram nossas vidas. Dois meses após seu lançamento, mais de 100 milhões de usuários já haviam experimentado o ChatGPT, tornando-o o aplicativo de consumo de crescimento mais rápido de todos os tempos na época.[1] No lado corporativo, as empresas têm se esforçado para ser as primeiras a capturar as vantagens competitivas que os LLMs oferecem. As coisas parecem propensas a acelerar ainda mais agora que a OpenAI anunciou uma versão empresarial do ChatGPT.[2]
Os LLMs e outras aplicações de IA podem parecer mágicos para quem não conhece, mas, na realidade, os resultados que você obtém dependem da qualidade e disponibilidade dos dados com os quais você alimenta nesses modelos. Isso significa que a forma como você constrói sua arquitetura de dados é o único fator que determinará, no final das contas, o sucesso ou fracasso de suas iniciativas de IA. Assim, os LLMs não são tão diferentes de muitos outros serviços de TI corporativa que vieram antes deles.
Até agora, foram as empresas com arquiteturas de dados mais flexíveis e distribuídas geograficamente que conseguiram aproveitar ao máximo os serviços de IA generativa. Por outro lado, aquelas que dependem de arquiteturas de dados tradicionais e estáticas começaram a ficar para trás. Em relação ao futuro, temos todos os motivos para acreditar que essa tendência continuará. À medida que os LLMs deixam de ser uma novidade e se tornam uma parte integrada das operações diárias da empresa, as desvantagens de ter uma arquitetura de dados incorreta só continuarão a crescer.
Neste blog, vou descrever o que significa acertar na arquitetura de dados: construir um core de dados autoritativo que permita mover dados da edge para a cloud e vice-versa, sem nunca ter que abrir mão do controle sobre esses dados.
Não perca a custódia do seu core de dados
O conceito mais importante para as empresas entenderem quando se trata de construir a arquitetura de dados para AI é o de custódia de dados. Isso significa que você precisa de um local na arquitetura de dados onde possa armazenar seus dados enquanto mantém total controle e propriedade sobre eles. Ao ter a custódia de seus dados, você tem liberdade para:
- Auditar seus dados e o hardware onde eles estão.
- Proteger seus dados contra uma série de ameaças.
- Recuperar seus dados após algum problema ou desastre.
- Analisar seus dados inserindo-os nas ferramentas apropriadas
- Utilizar o modelo financeiro que mais atenda às suas necessidades, OPEX ou CAPEX
Há diversos motivos válidos para o uso de serviços de cloud como parte da sua arquitetura de dados, mas existe o risco de perder a custódia dos seus dados caso você não tenha cuidado em relação à forma como são acessados. Se você construir sua arquitetura de dados diretamente na cloud, você vai enfrentar taxas onerosas de saída de dados que impõem restrições artificiais aos seus negócios. Essas taxas transformam algo que deveria ser uma decisão de negócios rápida e simples, como trocar um provedor de cloud por outro que ofereça melhores serviços, em um empreendimento complexo, demorado e caro.
Em uma postagem anterior, descrevi o que é um core de dados autoritativo e por que é tão importante para as empresas manter seus cores de dados fora da cloud. Um core de dados autoritativo não é um local específico, mas sim uma camada lógica no centro de sua arquitetura de dados. Você deve poder agregar dados em seu core a partir de uma variedade de fontes na digital edge. Você deve mover esses dados para onde quer que sejam necessários para oferecer suporte a diferentes casos de uso, seja upstream para vários provedores de cloud ou downstream de volta para locais de edge.
Na postagem anterior, também descrevi quatro padrões de movimentação de dados que permitem às empresas aproveitar as vantagens dos serviços de cloud sob demanda, ao mesmo tempo que minimizam o impacto das taxas de saída de dados.
Construir uma arquitetura de dados que atenda aos requisitos exclusivos das cargas de trabalho de IA distribuídas geograficamente
No caso da IA, diferentes cargas de trabalho têm diferentes requisitos e, portanto, devem ser hospedadas em locais diferentes. É por isso que você precisa de uma infraestrutura digital distribuída geograficamente que possa mover rapidamente seus dados da edge para a cloud e vice-versa.
Por exemplo, você pode optar por fazer treinamento de modelo na cloud para aproveitar as vantagens dos serviços LLM de um provedor específico. No entanto, suas cargas de trabalho de engenharia e ajuste de dados podem incluir dados confidenciais que você não deseja expor na cloud. Você pode optar por deixar essas cargas de trabalho no core e usar recursos de computação privados ou uma oferta Bare Metal as a Service para processá-las. Finalmente, depois que os modelos tiverem sido treinados, você poderá movê-los de volta para a edge para oferecer suporte a cargas de trabalho de inferência sensíveis à latência.
A arquitetura de dados ideal para IA ou qualquer outro caso de uso avançado baseado em dados deve combinar soluções de armazenamento escaláveis com recursos de interconexão programáticos e ágeis, conforme mostrado no diagrama abaixo. Isso permite que você crie conexões virtuais com outras clouds ou novos locais de edge conforme necessário. Isso significa que os dados podem ser movidos rapidamente para onde for necessário para dar suporte às diferentes cargas de trabalho mencionadas acima. Desde que você mantenha cópias de seus dados de core fora da cloud, não precisa se preocupar com altas taxas de saída que mantêm seus dados como reféns. Quando estiver pronto para sair de uma cloud específica, você pode simplesmente excluir a cópia dos dados dessa cloud e recomeçar com uma nova cópia em uma cloud diferente.
É importante observar que o core de dados oficial não é uma recomendação ou uma prática recomendada, é simplesmente a direção que a indústria está tomando. Todas as empresas vão acabar construindo esta arquitetura de dados, intencionalmente ou não. A única diferença é que aquelas que agirem com intenção agora poderão usufruir dos benefícios da opcionalidade e da flexibilidade com muito mais rapidez. Isso significa que elas terão a vantagem de poder usar os melhores e mais recentes serviços, como aqueles que alimentam aplicações de IA, antes da concorrência.
Como a Equinix pode ajudar?
Um core de dados confiável para IA não é algo que você possa comprar de um fornecedor ou mesmo montar rapidamente. É uma meta que você define para sua organização, para que você possa tomar decisões futuras para se aproximar cada vez mais de atingir essa meta.
Escolher o parceiro de infraestrutura digital certo é um passo crítico para atingir esse objetivo. Somente a Equinix pode oferecer acesso a todos os principais provedores de cloud de diversos mercados estratégicos ao redor do mundo, garantindo a conectividade de baixa latência necessária para armazenamento adjacente a multicloud. Além disso, os serviços digitais da Equinix podem servir como componentes-chave de sua arquitetura de dados, oferecendo recursos de interconexão definidos por software, rede multicloud e capacidade de computação bare metal de locatário único sob demanda.
Resumindo, a Plataforma Equinix® oferece a base ideal para começar a construir seu core de dados autoritativo, garantindo assim a custódia sobre seus dados e colocando sua organização em posição de usar a tecnologia de IA em todo o seu potencial.
Para saber mais sobre como as organizações líderes estão construindo uma infraestrutura digital distribuída geograficamente e interconectada para maximizar sua vantagem competitiva hoje e preparar suas operações para o futuro, leia o Guia dos Líderes para Infraestrutura Digital.
[1] Dan Milmo, ChatGPT reaches 100 million users two months after launch, The Guardian, February 2, 2023.
[2] Rachel Metz, OpenAI Unveils ChatGPT for Businesses, Stepping Up Revenue Push, Bloomberg, August 28, 2023.