O Kubeflow, a plataforma de machine learning disponível gratuitamente, co-fundada por desenvolvedores do Google, Cisco, IBM, Red Hat, CoreOS e CaiCloud, estreou na conferência anual Kubecon em 2017. Três anos depois, o Kubeflow chegou à versão 1.0 (seu primeiro grande lançamento). Além disso, o projeto cresce para centenas de colaboradores em mais de 30 organizações participantes. Empresas como o US Bank, Chase, GoJek, Amazon Web Services, Bloomberg, Uber, Shopify, GitHub, Canonical, Intel, Alibaba Cloud, TuSimple, Dell, Shell, Arrikto e Volvo estão entre os que o utilizam na produção.
Plataforma de machine learning de código aberto Kubeflow chega à versão 1.0
Os co-autores do projeto Jeremy Lewi, Josh Bottum, Elvira Dzhuraeva, David Aronchick, Amy Unruh, Animesh Singh e Ellis Bigelow anunciaram a notícia em um post no site Medium. Eles escreveram:
O objetivo do Kubeflow é facilitar para os engenheiros de machine learning e cientistas de dados alavancar ativos na nuvem (públicos ou locais) para cargas de trabalho de [machine learning]. Com o Kubeflow, não é necessário que os cientistas de dados aprendam novos conceitos ou plataformas para implantar seus aplicativos ou para lidar com entradas, certificados de rede etc.
O Kubeflow 1.0 passa para um conjunto principal de componentes estáveis, necessários para desenvolver, criar, treinar e implantar modelos de forma eficiente no Kubernetes, o sistema de orquestração de contêineres de código aberto desenvolvido pelo Google para automatizar a implantação, o dimensionamento e o gerenciamento de aplicativos. O Kubeflow 1.0 vem com outros recursos além da interface do usuário do painel central do Kubeflow e do controlador Jupyter. Por exemplo, estão incluídos o aplicativo da web Tensorflow Operator (TFJob),o PyTorch Operator (para treinamento distribuído) e o kfctl (para implantação e atualizações).
Com o Kubeflow 1.0, os desenvolvedores podem usar o kit de desenvolvimento de software Python da Kubeflow, para desenvolver modelos, construir contêineres e criar recursos do Kubernetes para treinar esses modelos. Os modelos treinados podem ser opcionalmente canalizados através do recurso KFServing do Kubeflow. Dessa forma, você poderá criar, implantar e dimensionar automaticamente um servidor de inferências em uma variedade de hardware.
Muitas ferramentas e módulos
Além disso, o Kubeflow 1.0 apresenta uma interface de linha de comando e arquivos de configuração que permitem a implantação com um único comando. Além disso, ele possui módulos em desenvolvimento, como o Pipelines. (Os pipelines são parcialmente baseados e utilizam bibliotecas do TensorFlow Extended, usadas internamente no Google para criar componentes de machine learning.) Há outros aplicativos em andamento no Kubeflow 1.0. Por exemplo, existem Metadata (para rastrear conjuntos de dados, tarefas e modelos); o Katib (para ajuste de hiperparâmetros); e operadores distribuídos para outras estruturas, como xgboost.
O engenheiro da Cisco e colaborador do Kubeflow, Debo Dutta, escreveu em um blog:
Esse foi um investimento significativo. Foram necessárias várias organizações e muitos recursos preciosos para chegar aqui. Estamos muito empolgados com o futuro do Kubeflow. Gostaríamos que a comunidade ficasse mais forte e diversificada e gostaríamos de solicitar que mais indivíduos e organizações se juntassem à comunidade.
Fonte: Venture Beat