A nova nuvem privada vista por um arquiteto

Esta publicação apareceu inicialmente no .

Por alguns anos, o termo “nuvem privada” teve uma conotação negativa. Mas, como sabemos, a tecnologia é mais uma roda do que uma flecha, e bem na hora, a nuvem privada está recebendo muita atenção e é tudo positivo. As estatísticas são claras, a Pesquisa de Nuvem de Infraestrutura de 2023 da Forrester teve 79% dos 1.300 tomadores de decisão empresariais que responderam dizendo que estão implementando nuvens privadas. De acordo com um , 94% dos líderes de TI estavam envolvidos em um esforço de repatriação. O venerável IDC descobriu que 80% das empresas repatriaram alguns ou todos os seus dados dentro de um ano após movê-los para a nuvem. Tanto para as alegações do complexo industrial da nuvem de "nada para ver aqui..."

Os motivos são variados e nós os detalharemos, mas o mais importante é: qual é a arquitetura certa para repatriar? Quais são os primeiros princípios de engenharia da nuvem privada? E, finalmente, como eu projeto para os requisitos de infraestrutura de dados da IA?

O porquê da repatriação para a nuvem privada

A principal razão pela qual as empresas repatriam é o custo. Elas economizam até 70% ao repatriar. Isso foi provado publicamente por empresas tão diversas quanto , e .

Relacionado, mas não o mesmo, é a previsibilidade. Nuvens privadas vêm com menos elasticidade, mas maior previsibilidade (abordamos alguns hacks de elasticidade abaixo). Para a maioria dos CIOs que entendem suas cargas de trabalho, essa troca vale a pena. Para os CFOs, é uma escolha ainda mais fácil.

Problemas de segurança vêm em terceiro. Isso não quer dizer que a nuvem pública seja inerentemente insegura, não é. Diz que os CISOs não confiam inteiramente em seus parceiros de nuvem pública (na verdade, a maioria dos provedores de nuvem retém o direito de olhar seus buckets) nessa frente. As apostas só aumentam na era da IA.

Em uma nota relacionada, o controle está na lista de todos os CIOs. Junto com economia de custos, previsibilidade e segurança, você não só tem controle total da sua infraestrutura de dados de IA, mas esses dados estão próximos para todos os seus aplicativos consumirem, permitindo que você hospede seus modelos na infraestrutura de dados de IA onde os padrões de segurança podem ser definidos por você e sua equipe para corresponder aos seus requisitos de segurança exclusivos - até mesmo acesso físico.

A maturidade também é classificada. A nuvem moderna é um modelo operacional, não um local. Esse modelo, antes o fornecimento exclusivo das principais nuvens públicas, agora está em todos os lugares — da borda ao núcleo. Conteinerização, orquestração, microsserviços, infraestrutura definida por software, APIs RESTful são procedimentos operacionais padrão. Não importa onde você os executa — e se não importa, por que você pagaria duas a três vezes o custo?

As regulamentações também desempenham um papel, particularmente à medida que evoluem. Algumas arquiteturas, algumas geografias, alguns cenários de implantação (militar/inteligência) não começaram exigindo nuvens privadas, mas agora exigem. Novamente, os motivos serão diferentes, mas o efeito é o mesmo. A nuvem privada está de volta à moda. A questão é: O que mudou nos últimos anos?

O padrão de design favorito da nuvem privada é o Data Lake moderno

Conforme observado acima, a nuvem privada, assim como a nuvem pública, é executada no modelo operacional de nuvem. A nuvem de borda é executada no modelo operacional de nuvem. A colocation é executada no modelo operacional de nuvem.

Esse modelo operacional define uma certa arquitetura e, repetidamente, essa arquitetura torna o data lake moderno possível. Há outras arquiteturas, com certeza, mas usar a nuvem privada para construir seu data lake moderno permite que as organizações paguem apenas pelo que precisam. Quando seus negócios crescem, o dimensionamento é tão simples quanto adicionar mais recursos a um cluster. Um redesenho não é necessário. é suportado. —com suporte. Análise de log/análise de ameaças —com suporte. — suportado.

Um data lake moderno é metade data warehouse e metade data lake e usa armazenamento de objetos para tudo. A camada de armazenamento de objetos é definida por software, escalável, nativa da nuvem e de alto desempenho. O desempenho é ajustável por meio da seleção do , que estão disponíveis de fornecedores como Supermicro, Dell e HPE.

Usar o armazenamento de objetos com o data lake é padrão, usá-lo com o data warehouse é novo, possibilitado por Open Table Formats (OTFs) como Apache Iceberg, Apache Hudi e Delta Lake. Há detalhes consideráveis sobre essa arquitetura que estão além do escopo deste artigo. Para isso, recomendo a leitura do livro completo de Keith Pijanowski . Aqui está a arquitetura:

Esta arquitetura foi projetada para fornecer o seguinte, todos os quais são princípios operacionais básicos da nuvem e, por extensão, princípios básicos da nuvem privada:

Alto desempenho: Enquanto a nuvem privada pode ser projetada para capacidade, a nuvem privada moderna busca entregar desempenho em escala. Essa arquitetura prioriza ferramentas que enfatizam velocidade e eficiência. Como diz Jeff Bezos, quem quer pagar mais e esperar mais para obtê-lo? Os mesmos princípios se aplicam aqui: Quem quer mais devagar?

Computação e armazenamento desacoplados: desvincular esses componentes oferece maior flexibilidade e escalabilidade, permitindo que sua infraestrutura, serviços e ferramentas escolhidos se destaquem em suas respectivas áreas de especialização.

Padrões abertos: Padrões abertos não apenas incentivam a interoperabilidade, mas também protegem seus investimentos do futuro. Isso abrange não apenas soluções de código aberto, mas também formatos de tabela abertos, como exploraremos. Não crie uma nuvem privada com um dispositivo de armazenamento por esses motivos (e pelo fato de que eles nunca serão nativos da nuvem).

Compatibilidade com APIs RESTful: Interconectividade é essencial. Suas ferramentas devem compartilhar uma linguagem comum, com o S3 servindo como a língua franca para armazenamento em nuvem. Por esse motivo, não construa sua nuvem privada com uma solução centrada em POSIX, mesmo que ela alegue oferecer suporte ao S3. Vá com o negócio real.

Orientado por software/Infraestrutura como código: automatize e deixe o Kubernetes cuidar da orquestração da sua infraestrutura, permitindo que você abstraia as complexidades do gerenciamento manual e permita uma escalabilidade rápida e eficiente.

Segurança e conformidade aprimoradas: Como as nuvens privadas fornecem uma infraestrutura dedicada, elas oferecem maior controle sobre os dados e medidas de segurança aprimoradas. Isso é particularmente benéfico para setores que lidam com informações confidenciais, como finanças e assistência médica.

Conformidade regulatória: essa arquitetura pode dar suporte à conformidade regulatória fornecendo configurações de segurança personalizáveis e controles de auditoria para atender a padrões específicos do setor.

Colocando sua nuvem privada em jogo

Há uma série de abordagens que vimos para iluminar a nuvem privada. Todas elas podem funcionar; depende realmente da empresa e do caso de uso.

• Um modelo híbrido com tempo limitado, em que alguns dados e aplicativos permanecem na nuvem pública enquanto a nuvem privada é hidratada.
• Repatriação completa da nuvem pública para uma nuvem privada.
• Construção greenfield de uma nuvem privada. Isso é particularmente popular, pois as empresas colocam seus experimentos de IA em produção.
• Repatriação brownfield, onde você move seus dados e infraestrutura de nuvem pública de volta para uma implantação de nuvem privada existente. Embora econômica, há algumas desvantagens nessa abordagem.
• A categoria “outros” (tabelas de estouro e externas).

Abordagem híbrida com tempo limitado: a abordagem híbrida com tempo limitado essencialmente transforma a nuvem pública em armazenamento frio e constrói sua pegada de nuvem privada ao longo de algum período de tempo (meses/trimestres, não anos). Isso envolve comprar e configurar sua infraestrutura e pilha de software na nuvem privada. Então você aponta seu pipeline de dados para a nuvem privada, não para a nuvem pública. Pode haver algum período de tempo em que você pode fazer as duas coisas. O objetivo, no entanto, é usar a nuvem pública como armazenamento frio em camadas e a nuvem privada como armazenamento quente. Com o tempo, a nuvem pública passa de fria para congelada, enquanto a nuvem privada se torna o tipo de armazenamento primário e dominante.

Foi isso que um player líder em segurança cibernética fez. Começou configurando uma nuvem privada em conjunto com a MinIO e a Equinix, depois direcionou a mangueira de dados de 250 tebibytes (TiB) por dia nessa direção. Dado que a análise de logs tem uma alta função de decaimento em termos de valor operacional, não demorou muito para que a nova nuvem privada se tornasse a principal fonte de dados de caça a ameaças. Essa nuvem privada cresceu para quase um exabyte (e cruzará esse limite em breve) e a decisão de mover essas cargas de trabalho (efetivamente o negócio principal) para uma nuvem privada (com opex, não capex) que melhorou a margem bruta do negócio em mais de 2%. Como resultado, essa empresa tem um múltiplo de avaliação que é a inveja de seus pares.

Repatriação completa : há momentos em que manter os aplicativos e dados na nuvem pública e privada não é uma opção. Nesses casos, você precisa romper com seu provedor de nuvem. É difícil e, mesmo com a eliminação das taxas de saída, elas tornam isso doloroso (as letras miúdas basicamente dizem que tudo tem que ir para obter qualquer alívio na taxa de saída). É muito factível; só requer um pouco mais de planejamento e um pouco mais de atrito comercial. Nesse caso, provisione sua nuvem privada ou colo e pilha de aplicativos. Em seguida, faça backup do caminhão de dados ou alugue a rede para enviar os dados para sua infraestrutura de dados de nuvem privada. Neste ponto, você está livre, mas conte com pagar o dobro por um ou dois meses se você for do tipo cinto e suspensórios. Uma das principais empresas de streaming adotou essa abordagem quando deixou a nuvem pública. Ela empilhou meio exabyte para a nova nuvem privada, incluindo todos os filmes, programas, documentários, etc. O processo levou cerca de três trimestres. A recompensa foi enorme, no entanto, e a complexidade foi bastante reduzida para a equipe que gerencia o serviço. Eles também aproveitaram o benefício colateral de um belo pop em “ ” — uma métrica chave no espaço.

Nuvem privada Greenfield:

Esta é uma proposta bastante direta e geralmente envolve tudo novo. O projeto é novo, os dados no projeto serão novos (ou relativamente novos) ou gerados de alguma fonte que está ficando online (como uma fábrica gigante ou um novo serviço de vídeo sob demanda na nuvem). Aqui você dimensiona a carga de trabalho — você pode até testá-la na nuvem pública — mas a ideia é que ela seja, desde o início, executada na nuvem privada. Estamos vendo isso com bastante frequência com a infraestrutura de dados de IA. Os primeiros experimentos estão ocorrendo na nuvem pública. Os dados não são tão significativos. A disponibilidade da GPU é bastante boa. No entanto, a empresa sabe que a carga de trabalho precisa estar na nuvem privada para produção — tanto para escala, mas também para segurança, privacidade e controle. Uma das principais empresas automotivas do mundo recentemente mudou sua iniciativa de direção autônoma completa de um sistema baseado em regras para um baseado no comportamento de motoristas reais.

Esse comportamento é “aprendido” de milhões e milhões de vídeos e arquivos de log que saem de seus veículos. Bons motoristas, maus motoristas, motoristas medianos. Não apenas do vídeo, mas de outros elementos da telemetria do carro, como frenagem, aceleração, torque de direção, etc. A abordagem de ML baseada em regras tinha petabytes em escala; o vídeo tem exabytes de escala. A empresa não está compartilhando esses dados com ninguém (de fato, duas das nuvens públicas têm iniciativas concorrentes). Essa carga de trabalho de IA — todos os mais de 300 servidores — sempre foi uma iniciativa de nuvem privada.

Nuvem privada Brownfield:

Seremos honestos aqui: vemos isso, mas não amamos. Isso inclui tentar executar cargas de trabalho de alto desempenho em unidades de disco rígido para colocar MinIO em camadas (rede de área de armazenamento/armazenamento conectado à rede).

Funciona, mas raramente é a solução ideal. É econômico (você está reutilizando hardware), tem baixo atrito (sem aquisição), mas raramente tem desempenho. No entanto, incluímos aqui para ser abrangente. Ele levanta um ponto importante. Quando você projeta sua nuvem privada, em qualquer um dos cenários, planeje a heterogeneidade. É uma garantia e, francamente, deve fazer parte do plano. Em um dos cenários acima, metade do hardware é da Supermicro. A outra metade da Dell. À medida que o mundo muda e novas tecnologias se tornam disponíveis, seu software não deve se importar.

Os outros:

Há dois outros cenários que são menos frequentes, mas devem estar na mistura de consideração. Um é a abordagem de burst híbrido e o outro é a abordagem de tabelas externas. Ambos estão relacionados à opção híbrida, mas podem não ter limite de tempo. Na abordagem de burst híbrido, você mantém uma nuvem privada enquanto a projeta para expandir perfeitamente, ou "burst", na nuvem pública para maior flexibilidade. Essa estratégia é frequentemente adotada para alavancar capacidade extra de GPU ou para usar serviços de nuvem específicos. Nesse modelo, certas tarefas são temporariamente transferidas para a nuvem pública para processamento. Uma vez concluída a análise, os resultados são enviados de volta para a nuvem privada, e os recursos da nuvem pública são então desativados. Temos um grande cliente de serviços financeiros fazendo isso com cálculos de risco de crédito e risco de mercado. Ele usa a nuvem pública para algumas operações de computação e a combina com um data lake de nuvem privada que usa MinIO e Dremio. A beleza do modelo operacional de nuvem é que a arquitetura deve dar suporte a operações em ambos os lugares. É, efetivamente, uma via de mão dupla.

Em um ponto, era uma via de mão única, mas o mundo mudou, e há opcionalidade para a empresa. Com a opção de tabelas externas, as organizações ainda podem se beneficiar dos princípios do modelo operacional de nuvem ao integrar seus data warehouses de nuvem existentes, como Snowflake e SQL Server, com um data lake construído na nuvem privada. Essa configuração híbrida permite que as empresas se beneficiem do desempenho, da segurança de dados e do design de padrão aberto de um data lake moderno, ao mesmo tempo em que capitalizam os investimentos existentes em infraestrutura de nuvem. Todos os principais fornecedores de banco de dados agora oferecem suporte para tabelas externas. Essa funcionalidade permite que os usuários consultem dados no armazenamento de objetos onde quer que estejam, como se fossem uma tabela regular no banco de dados, sem o incômodo da migração. Seus dados permanecem na nuvem privada, mas são disponibilizados onde quer que sejam necessários.

Considerações finais e conselhos

Temos participado de muitas dessas repatriações/novas construções de nuvem privada ao longo dos anos. Uma coisa que surpreende as equipes é gerenciar o hardware novamente. Na nuvem, é transparente. Os engenheiros de DevOps e confiabilidade do site interagem apenas com a infraestrutura em um nível de API. Se uma VM estiver apresentando problemas, encerre e inicie uma nova em seu lugar. Infelizmente, na nova nuvem privada, em vez de apenas descartar o hardware e comprar um novo, temos que fazer o hardware existente funcionar.

Gerenciamento de infraestrutura é uma coisa. Vem com o território. Não deve ser assustador, mas deve ser planejado. É preciso haver delineamento de responsabilidades do lado da engenharia de software/DevOps e do engenheiro do data center. Este SME (especialista no assunto) em data centers deve saber os detalhes sobre todo o hardware. Eles serão responsáveis por tudo e qualquer coisa relacionada ao hardware, incluindo falhas, substituições e qualquer manutenção.

O software importa aqui. É por isso que a MinIO construiu a observabilidade em seu console global. No mundo da nuvem privada, você deve executar software inteligente e hardware burro. Mas esse software tem que carregar o fardo operacional dessa recompensa econômica. Os caras do hardware simplesmente não conseguiram construir a camada de observabilidade, a MinIO teve que fazer isso. Se você é uma organização que faz implantações uma vez por semana, isso significa que cada implantação é provavelmente um espetáculo. Isso ocorre porque com implantações pouco frequentes é difícil prever e corrigir bugs. Quando as implantações não saem como planejado, é tudo mãos à obra. Geralmente, o fluxo seria assim:

• Projete para implantar seu aplicativo em uma configuração distribuída
• Teste em seu ambiente local
• Valide ainda mais em um ambiente Dev e Stage
• Adicionar monitoramento, métricas, rastreamento e alteração
• Implante ambientes locais, híbridos e em nuvem

Quando esses princípios de CI/CD são aplicados na prática, um engenheiro de data center forte trabalhando em conjunto com outro engenheiro de DevOps/SRE forte pode gerenciar facilmente mais de 5.000 nós em uma nuvem privada ou instalação de coloca. Temos clientes que fazem exatamente isso. Depois de seguir os princípios básicos de CI/CD, quase tudo pode e deve ser automatizado, e os engenheiros de data center e DevOps se concentrarão apenas nas tarefas que não podem ser automatizadas. Por fim, caso você tenha perdido, colocas são sinônimos da nossa definição de nuvem privada.

A colocation fornece um meio termo entre a infraestrutura totalmente local e a nuvem pública, oferecendo os benefícios de ambos os mundos. Com acesso à rede de primeira linha e proximidade com os provedores de nuvem pública, as colocations facilitam conexões de baixa latência e configurações de nuvem híbrida, permitindo transferência e processamento de dados eficientes. Essa flexibilidade e o potencial para implantações de nuvem híbrida bem-sucedidas são cruciais para empresas que buscam otimizar suas operações e manter uma vantagem competitiva. Para saber mais sobre como isso funciona, confira nosso .