A gigante Red Hat está em processo de desenvolvimento do Ramalama, um recurso que promete tornar simples o uso da IA.
Os engenheiros da Red Hat estão desenvolvendo o Ramalama como um novo projeto de código aberto que espera “tornar a IA chata” por meio dessa ferramenta de inferência, buscando a simplicidade para que os usuários possam implantar cargas de trabalho de IA de forma rápida e fácil sem muito barulho.
O Ramalama aproveita os contêineres OCI e facilita a execução de cargas de trabalho de inferência de IA entre fornecedores de GPU, retornando perfeitamente à inferência baseada em CPU se não houver suporte a GPU e interfaces com Podman e Llama.cpp para fazer o trabalho pesado enquanto busca modelos de empresas como Hugging Face e Ollama Registry. O objetivo é ter suporte nativo a GPU funcionando em hardware Intel, NVIDIA, Arm e Apple. O suporte à CPU inclui AMD, Intel, RISC-V e Arm.
Red Hat anuncia Ramalama para simplificar uso da IA
Ramalama foi recentemente apresentado na conferência Fedora’s Flock como o “companheiro chato de IA” e ainda descrito como:
“Em um campo dominado por inovações de ponta e soluções intrincadas, o projeto ramalama se destaca com uma missão simples e refrescante: “tornar a IA chata”. Esta palestra investiga a filosofia e a funcionalidade do ramalama, uma ferramenta projetada para simplificar a IA e o aprendizado de máquina para um público mais amplo. Ao abraçar o “chato” como uma virtude, o ramalama se concentra na criação de ferramentas confiáveis, fáceis de usar e acessíveis que funcionam sem alarde.
Notícias Relacionadas
Exploraremos os principais recursos do ramalama, desde seu processo de instalação simples até seus comandos intuitivos para gerenciar e implantar modelos de IA. Esteja você listando, puxando, executando ou servindo modelos, o ramalama garante que a experiência seja descomplicada e agradável, atendendo a todos, desde entusiastas de IA até usuários casuais de tecnologia.
Como um projeto em estágio inicial, o ramalama está em constante evolução, com forte ênfase no envolvimento e feedback da comunidade. Junte-se a nós enquanto descobrimos como o ramalama está tornando a IA avançada acessível a todos, eliminando a complexidade e o hype para fornecer uma ferramenta poderosa e prática. Vamos abraçar a jornada para tornar a IA “chata” da melhor maneira possível e descobrir a alegria da simplicidade e da confiabilidade.”
O código do estágio inicial do Ramalama está hospedado no GitHub. Certamente é um esforço que vale a pena facilitar a execução/implantação de diferentes modelos de IA em diferentes plataformas de hardware e software. O Llamafile da Mozilla é outro esforço valioso para facilitar a execução de modelos de IA acelerados por GPU ou CPU a partir de um único arquivo que não segue a rota dos contêineres.
Aqueles que desejam saber mais sobre Ramalama podem encontrar sua apresentação do Flock 2024 incorporada abaixo, com os apresentadores sendo Eric Curtin e Dan Walsh, da Red Hat.
