3 outils clés pour déployer des charges de travail AI/ML sur Kubernetes

Les choses évoluent rapidement dans le monde de la technologie des infrastructures. Il n'y a pas si longtemps, l'exécution d'une base de données sur Kubernetes était considérée comme trop délicate pour en valoir la peine. Mais c'était le problème d'hier. Les créateurs d'applications cloud natives sont devenus doués pour exécuter des charges de travail avec état, car Kubernetes est un moyen puissant de créer rapidement et efficacement des centres de données virtuels.

La dernière fois que j'ai écrit à ce sujet, j'ai un peu élargi l'ouverture pour prendre en compte d'autres parties de la pile d'applications dans le centre de données virtuel, en particulier les charges de travail et l'analyse en continu. Avec l'entrée de ces deux éléments dans le courant dominant de Kubernetes, la discussion sur les cas d'utilisation devient plus intéressante.

Que ferons-nous de ces outils de données fondamentaux si nous y avons accès ? Heureusement, nous n'avons pas à enquêter trop en profondeur, car l'industrie a déjà choisi la direction : les charges de travail AI/ML .

Ce qui motive cela, c'est le besoin de MLOps plus rapides et plus agiles pour prendre en charge , également connue sous le nom d'intelligence artificielle (IA) en temps réel. Des entreprises comme Uber et Netflix ont été les premiers à les adopter, mais une multitude de projets formidables sont disponibles pour vous permettre d'aller plus vite avec Kubernetes.

Caractéristique Servir avec un festin

La création et la maintenance de modèles d'apprentissage automatique (ML) sortent du back-office et se rapprochent des utilisateurs en production. Un magasin de fonctionnalités agit comme un pont entre les données et les modèles d'apprentissage automatique, offrant aux modèles un moyen cohérent d'accéder aux données dans les phases hors ligne et en ligne. Il gère les exigences de traitement des données pendant la formation des modèles et fournit un accès en temps réel à faible latence aux modèles pendant la phase en ligne. Cela garantit la cohérence des données pour les deux phases et répond aux exigences en ligne et hors ligne.

est un exemple de magasin de fonctionnalités exécuté dans Kubernetes. Il est open source et permet aux organisations de stocker et de diffuser des fonctionnalités de manière cohérente pour la formation hors ligne et l'inférence en ligne. Feast va au-delà des bases de données traditionnelles en fournissant des fonctionnalités spécialisées telles que l'exactitude ponctuelle.

Modèle servant avec KServe

est un point de terminaison d'API pour le déploiement de modèles d'apprentissage automatique dans Kubernetes, la gestion de la récupération, du chargement et de la détermination du modèle si un processeur ou un processeur graphique est requis. Il s'intègre aux événements KNative pour l'évolutivité horizontale et offre des fonctionnalités d'observabilité telles que les métriques et la journalisation. La meilleure partie? C'est simple à utiliser. Pointez simplement KServe sur votre fichier de modèle et il créera une API et gérera le reste.

La fonction d'explication donne un aperçu de la raison pour laquelle une décision a été prise pour chaque prédiction, offrant l'importance de la caractéristique et mettant en évidence les facteurs du modèle qui ont conduit à un résultat particulier. Cela peut être utilisé pour détecter la dérive et le biais du modèle, qui sont quelques-unes des parties « importantes mais difficiles » de l'apprentissage automatique. Ces fonctionnalités réduisent les efforts impliqués dans les MLOps et renforcent la confiance dans l'application. KServe s'est récemment séparé du projet Google KubeFlow et a été par Bloomberg dans le cadre de ses efforts pour créer une plate-forme d'inférence ML.

Recherche de similarité vectorielle

Complétant les méthodes traditionnelles de recherche de données, la recherche de similarité vectorielle (VSS) est un outil d'apprentissage automatique qui utilise les mathématiques vectorielles pour déterminer à quel point deux choses sont "proches" l'une de l'autre. Cela se fait par le K-plus proche voisin ( ), qui exprime les données sous forme de vecteur. Les données sont ensuite vectorisées à l'aide d'un algorithme KNN gourmand en CPU et indexées pour une recherche moins gourmande en CPU. Les utilisateurs finaux peuvent fournir un vecteur et rechercher des éléments proches de celui-ci à l'aide du mécanisme de requête fourni par les serveurs VSS. Les serveurs VSS open source que vous pouvez déployer dans Kubernetes incluent Weaviate et Milvus . Les deux fournissent tout ce dont vous avez besoin pour ajouter une recherche de similarité à votre pile d'applications.

Assembler l'équipe

Combinez mon avec celui-ci et vous avez une recette pour la pile complète déployée dans Kubernetes. Le résultat que chaque organisation devrait essayer de réaliser est une productivité accrue et des coûts réduits. Récent montrent que les leaders de l'espace des données trouvent les deux lors du déploiement d'une infrastructure de données dans Kubernetes.

Les charges de travail AI/ML peuvent être quelque chose que vous commencez tout juste à explorer, alors c'est peut-être le meilleur moment pour commencer du bon pied. Les trois domaines mentionnés - service de fonctionnalités, service de modèle et recherche de similarité vectorielle - sont tous couverts dans le livre que j'ai co-écrit avec Jeff Carpenter, " .” Vue d'ensemble de l'IA/ML dans la pile d'applications : les exigences en temps réel deviendront bientôt courantes dans la plupart des applications d'IA. Utiliser Kubernetes pour aller vite et construire de manière fiable n'est plus une hallucination de l'IA.

---

Également publié