A Meta lançou oficialmente Code Llama, um novo LLM de código aberto para conclusão, geração e teste de código, que pode ser executado em hardware local e competir com ChatGPT. Na prática, o que a Meta lança é um concorrente gratuito do GitHub Copilot.
O modelo está disponível gratuitamente para pesquisa e uso comercial e vem em diversas variações para melhor atender às necessidades do usuário. Ele pode produzir ou completar linhas de código em linguagens como Python , C++ , Java e Bash.
Code Llama é uma versão especializada do LLM Llama 2 gratuito da Meta e criado submetendo o Llama 2 a treinamento adicional com base em 500 bilhões de tokens de código e dados de programação.
O modelo vem em três tamanhos de parâmetros diferentes: 7 bilhões (7B), 13 bilhões (13B) e 34 bilhões (34B).
Meta afirmou que embora o modelo 34B seja o mais preciso, os modelos 7B e 13B operam mais rápido e podem ser mais benéficos para demandas de baixa latência, como conclusão de código em tempo real.
Code Llama 34B obteve 48,8% de precisão no HumanEval, um conjunto de dados de benchmarking feito pela OpenAI para executar modelos de IA através de desafios de programação, melhor do que os 30,5% alcançados pelo modelo básico Llama 2 e uma ligeira melhoria nos 48,1% pontuados pelo GPT-3.5 da OpenAI. modelo, que é a espinha dorsal do ChatGPT.
Todos os modelos ainda ficaram aquém do GPT-4 multimodal da OpenAI , que pode gerar código em uma ampla gama de linguagens de programação e é o modelo básico para o assistente de programação de IA de código avançado da Microsoft, Copilot X.
Meta lança concorrente gratuito do GitHub Copilot
Além da variedade de tamanhos de modelos do Code Llama, a Meta lançou dois modelos aprimorados intitulados ‘Code Llama – Python ‘ e ‘Code Llama – Instruct’.
O primeiro foi submetido a treinamento adicional com base em um vasto conjunto de dados de 100 bilhões de tokens específicos do Python, para garantir que seja especialmente preciso na geração de código na linguagem.
Meta afirmou que se criou o recurso porque Python está entre as linguagens mais usadas na comunidade de IA. Recebeu avaliação até o momento e é a base para a estrutura de aprendizado de máquina (ML) de código aberto Pytorch .
Llama — Instruct recebeu treino em 5 bilhões de tokens para ajustá-lo para entrada de linguagem natural e é o modelo recomendado pela Meta para usuários que desejam gerar respostas ou código com base em perguntas em texto simples, como faria com uma ferramenta como ChatGPT.
Embora o Llama 2 generalista possa ser de maneira semelhante, ele não é tão preciso em suas respostas de código, pois não foi submetido às mesmas etapas de ajuste fino que o Code Llama.
O modelo 7B também pode estar em uma única unidade de processamento gráfico (GPU) , embora a Meta não tenha especificado os requisitos mínimos de hardware para conseguir isso.
O engenheiro de software Anton Bacaj postou um vídeo no qual o Code Llama foi capaz de processar a geração de código a uma taxa de 49ms por token, rodando em quatro GPUs Nvidia 3090.
Ajuda para programadores
Isto pode ser benéfico para programadores que desejam usar o modelo para gerar, testar ou completar código com base em dados confidenciais ou informações proprietárias.
Embora isso exija investimento inicial em hardware, as pequenas empresas podem comparar esses custos com assinaturas de serviços como ChatGPT Plus ou Copilot X.
Então, o custo de manter os dados locais também é necessário em comparação com o “buraco negro” da supervisão do código passado para empresas como Google e OpenAI.
Meta não declarou as origens de alguns dos dados usados para treinar o Llama 2. Isso poderia abrir as empresas a ações legais sob legislação como a Lei de IA da UE, se mais tarde for descoberto que elas geraram código com base em dados com proteção por direitos autorais.
O antecessor do Llama 2, LLaMA, vazou online em março de 2023. E alguns hackers pediram que ele fosse em Bitcoin para acesso fácil e anônimo. Alguns especialistas expressaram preocupação de que, em mãos erradas, o LLaMA pudesse servir para aumentar o crime cibernético.
Tudo grátis
Ao contrário do LLaMA, o Llama 2 e o Code Llama estão disponíveis gratuitamente fora da academia. A Meta afirmou que o Code Llama se submeteu a testes adicionais para eliminar resultados maliciosos.
“Tal como acontece com toda tecnologia de ponta, o Code Llama apresenta riscos. Construir modelos de IA de forma responsável é crucial, e tomamos inúmeras medidas de segurança antes de lançar o Code Llama”, afirmou a empresa.
“Como parte de nossos esforços de equipe vermelha, realizamos uma avaliação quantitativa do risco do Code Llama de gerar código malicioso. Criamos prompts que tentavam solicitar código malicioso com intenção clara. E avaliamos as respostas do Code Llama a esses prompts em relação ao ChatGPT (GPT3.5 Turbo). Nossos resultados descobriram que o Code Llama respondeu com respostas mais seguras.”
Além dos resultados abertamente maliciosos, o Code Llama vai para avaliação pela utilidade diária de sua geração e depuração de código. Descobriu-se recentemente que o ChatGPT fornece respostas incorretas a questões de programação em mais de 50% das vezes.