O Processamento de Linguagem Natural (NLP) é um conjunto de técnicas para usar computadores para detectar na linguagem humana os tipos de coisas que os humanos detectam automaticamente. Há excelentes aplicativos com essa tecnologia e, neste artigo, você conhecerá 10 excelentes ferramentas de processamento de linguagem natural R para o seu Linux!
Processamento de Linguagem Natural (NLP)
O PNL é um campo empolgante da ciência da computação, inteligência artificial e linguística computacional preocupada com as interações entre computadores e linguagens humanas (naturais). Ele inclui tokenização de palavras e frases, classificação de texto e análise de sentimentos, correção ortográfica, extração de informações, análise, extração de significado e resposta a perguntas.
Em anos de formação, o ser humano domina os fundamentos da linguagem falada e escrita. No entanto, a grande maioria das pessoas não avança além de algumas regras básicas de processamento quando aprendem a lidar com texto em seus aplicativos.
No entanto, o software não estruturado compreende a maioria dos dados que vemos. O PNL é a tecnologia para lidar com nosso produto onipresente: linguagem humana, como aparece nas mídias sociais, e-mails, páginas da web, tweets, descrições de produtos, histórias de jornais e artigos científicos, em milhares de idiomas e variantes.
Muitos desafios no PNL envolvem a compreensão da linguagem natural. Em outras palavras, os computadores aprendem como determinar o significado da entrada de linguagem humana ou natural, e outros envolvem a geração de linguagem natural. Python e R estão de igual para igual na ciência de dados. Mas no campo da PNL, o Python é muito importante. O Natural Language Toolkit (NLTK) para Python é uma biblioteca incrível e um conjunto de corpus.
No entanto, R oferece bibliotecas competentes para processamento de linguagem natural. Muitas das técnicas, como tokenização de palavras e sentenças, criação de n-gramas e reconhecimento de entidade nomeada, são facilmente executadas em R.
Mas há alguns pacotes R excelentes se você olhar além das opções mais comuns. Abaixo, você terá acesso a uma lista dos melhores aplicativos de processamento de linguagem natural R, elaborada pelo Linux Links.
Vamos explorar as ferramentas de NLP baseadas em R disponíveis.
Ferramentas de processamento de linguagem natural R
- TidyText: Mineração de texto usando dplyr, ggplot2 e outras ferramentas organizadas;
- Text2vec: Framework com API para análise de texto e processamento de linguagem natural;
- Quanteda: Pacote R para Análise Quantitativa de Dados Textuais;
- WordCloud: Crie atraentes nuvens de palavras;
- Tm: Infraestrutura de mineração de texto em R;
- Strringi: Processamento rápido e portátil de cadeia de caracteres em R;
- Stringr Manipulação de strings em R;
- UDPipe: Tokenização, marcação, lematização e análise de dependência;
- Word Vectors: Crie e explore modelos de incorporação;
- Spacyr: R wrapper em torno do pacote spaCy do Python.