在 Kubernetes 上部署 AI/ML 工作负载的 3 个关键工具

在基础设施技术领域，事情发展得很快。就在不久前，人们还认为在Kubernetes上运行数据库过于棘手而不值得。但那是昨天的问题。云原生应用程序的构建者已经擅长运行有状态的工作负载，因为 Kubernetes 是一种快速高效地创建虚拟数据中心的强大方法。

上个我写这篇本文时，我有点儿扩展了观景视野以选择虚拟软件数据表格学校中选用系统程序堆栈的其余有些——十分是免疫印迹工做过载和讲解。随这好几个变成了 Kubernetes 的流行的，对於用例的热议变好愈来愈好玩。

如果我们可以访问这些基础数据工具，我们将如何处理它们？值得庆幸的是，我们不必调查得太深，因为业界已经选择了方向： AI/ML workloads 。

推动这一趋势的是需要更快、更敏捷的 MLOps 来支持，也称为实时人工智能 (AI)。 Uber和Netflix等公司都是早期采用者，但是有许多很棒的项目可以帮助您更快地使用 Kubernetes。

盛宴特色服务

构造 和养护机械的学习知识 (ML) 三维模式正处于渡过网页，在产出中更快要粉丝。功能保存担任数剧表格统计和机械的学习知识三维模式之中的关键点，为三维模式在连接超时和优酷云价段中，网站网站访问数剧表格统计作为相符的办法。它安全管理三维模式体能训练价段的数剧表格统计整理诉求，并在优酷云价段中，作为对三维模式的低延迟时间实时公交网站网站访问。如此可提高的两个价段中，的数剧表格统计相符性，够满足渠道线上的请求。

是在 Kubernetes 中运行的特征存储的示例。它是开源的，使组织能够为离线培训和在线推理一致地存储和提供功能。 Feast 通过提供时间点正确性等专门功能超越了传统数据库。

使用 KServe 进行模型服务

是一个 API 端点，用于在 Kubernetes 中部署机器学习模型，处理模型获取、加载以及确定是否需要 CPU 或 GPU。它与KNative事件集成以实现横向扩展，并提供指标和日志记录等可观察性功能。最好的部分？使用简单。只需将 KServe 指向您的模型文件，它将创建一个 API 并处理其余部分。

解释器功能可以深入了解为什么为每个预测做出决定，提供特征重要性并突出模型中导致特定结果的因素。这可用于检测模型漂移和偏差，这是机器学习中一些“重要但困难”的部分。这些功能减少了 MLOps 中涉及的工作量并建立了对应用程序的信任。 KServe 最近从 Google KubeFlow 项目中分离出来，并一直由彭博社作为其构建 ML 推理平台的努力的一部分。

矢量相似性搜索

矢量相似性搜索 (VSS) 是一种机器学习工具，它增强了我们查找数据的传统方式，它使用矢量数学来查找两个事物彼此之间的“接近”程度。这是通过 K 最近邻（ ) 算法，它将数据表示为向量。然后使用 CPU 密集型 KNN 算法对数据进行矢量化，并为 CPU 密集型搜索建立索引。最终用户可以提供一个向量并使用 VSS 服务器提供的查询机制找到与其接近的东西。您可以在 Kubernetes 中部署的开源 VSS 服务器包括Weaviate和Milvus 。两者都提供了将相似性搜索添加到应用程序堆栈所需的一切。

组建团队

结合我的有了这个，你就有了在 Kubernetes 中部署完整堆栈的方法。每个组织都应该努力实现的结果是提高生产力和降低成本。最近的表明数据领域的领导者在 Kubernetes 中部署数据基础架构时发现了这两者。

AI/ML工作负载可能是您刚刚开始探索的内容，因此现在可能是正确开始的最佳时机。提到的三个领域——特征服务、模型服务和向量相似性搜索——都包含在我与杰夫卡彭特合着的书中，“”应用程序堆栈中 AI/ML 的大局：实时需求将很快在大多数 AI 应用程序中变得普遍。使用 Kubernetes 快速运行并可靠地构建不再是 AI 的幻觉。

---

也发布公告