Reconhecimento de Entidades Nomeadas: Conceitos Básicos para Usos Práticos

Há uma boa chance de que você processe informações tão rapidamente em uma conversa que seu cérebro as categorize naturalmente sem que você perceba.

Suponha que você ouça a frase: “Recentemente comprei um novo vaso de planta rosa e uma planta Hoya da The Plant Room, meu viveiro favorito nas proximidades”, seu cérebro conecta sem esforço:

• Rosa = cor
• Planta Hoya = item ou tipo de planta
• The Plant Room = nome da loja

Os modelos de reconhecimento de entidades nomeadas funcionam da mesma forma.

Redes neurais artificiais (ANNs) são modelos que se adaptam a novas informações e aprendem a tomar decisões com base nelas. Várias indústrias, incluindo saúde, serviços financeiros, automotivo e tecnologia, usam software ANN para realizar tarefas como análise preditiva, detecção de anomalias e reconhecimento de imagem e voz.

Redes neurais profundas (DNN), um subconjunto das redes neurais artificiais, são essenciais para construir funções de aprendizado profundo como o NER.

Reconhecimento de entidades nomeadas: passo a passo

O reconhecimento de entidades nomeadas pega texto não estruturado e permite que as máquinas extraiam categorias valiosas de informações dele. Seu objetivo principal é identificar e classificar entidades nomeadas dos conjuntos de dados em categorias predefinidas. Abaixo estão as etapas de alto nível que ocorrem durante o processo de NER.

Prepare um conjunto de dados anotado

Para treinar modelos NER, você primeiro precisa fornecer um conjunto de dados de exemplo contendo frases que incluam as entidades que você deseja reconhecer. O modelo deve aprender a identificar essas identidades sendo mostrado o que procurar.

Para fazer isso, você prepararia um conjunto de dados com frases que incluam as entidades específicas e os rótulos apropriados para essas entidades. Em nossa demonstração abaixo, focaremos em treinar o modelo NER para reconhecer nomes de pessoas, nomes de organizações e datas no formato AAAA.

Esse processo de treinamento preparará o modelo para reconhecer entidades com sucesso no futuro.

Tokenização e pré-processamento

Uma vez treinado, podemos fornecer texto não estruturado para pré-processamento. Antes de identificar entidades nos dados, ele divide o texto em tokens ou segmentos consistindo de palavras, frases ou até mesmo frases inteiras. Essa tokenização permite que a máquina separe informações, preparando-as para identificação e análise.

Por exemplo, a frase: “Godard Abel é o CEO da G2, uma empresa que ele co-fundou em 2012,” seria dividida em tokens como:

• Godard
• Abel
• CEO
• G2
• empresa
• co-fundou
• 2012

Identificação e classificação de entidades

A máquina usa regras e métodos estatísticos para detectar entidades nomeadas durante a identificação inicial. Ela observa o texto em busca de padrões e formatos textuais específicos. Usando a marcação de partes do discurso (POS), o modelo pode analisar palavras com base em seu contexto e definição. Isso ajuda a analisar homônimos corretamente no contexto.

O modelo categoriza essas entidades com base em tokens, marcação POS e seu conhecimento treinado das entidades que você deseja capturar. Durante a fase final de refinamento, ele pode resolver ambiguidades, mesclar entidades de múltiplos tokens e abordar quaisquer outras nuances de dados antes de rotulá-las.

Em nosso exemplo, nosso modelo treinado rotularia nossa frase da seguinte forma:

Godard Abel (nome de pessoa) é o CEO da G2 (nome da organização), uma empresa que ele co-fundou em 2012 (data).

Treinamento e teste do modelo

Após treinar o modelo, continue a alimentá-lo com dados não estruturados para testar e atualizar o modelo para garantir que ele atenda às suas necessidades.

Métodos de reconhecimento de entidades nomeadas

O tipo de método NER que atenderá às suas necessidades depende do seu conjunto de dados e dos resultados desejados. Existem três categorias amplas de métodos NER, com uma quarta adicional permitindo que as organizações combinem elementos dos três primeiros.

Baseado em dicionário

O método baseado em dicionário envolve treinar modelos NER para referenciar termos dentro de dicionários, identificá-los no texto e classificá-los em categorias predeterminadas. Você pode usar dicionários conhecidos ou criar um com uma coleção de palavras relacionadas ao seu domínio específico.

Por exemplo, na indústria de marketing digital, um dicionário pode incluir acrônimos amplamente utilizados na indústria, como SEO (otimização para motores de busca), CPC (custo por clique) e KPI (indicadores-chave de desempenho).

Baseado em regras

Uma abordagem baseada em regras requer a criação de um conjunto de instruções para guiar o modelo na identificação de entidades com base em gramática, estrutura e outras características das palavras. Existem dois tipos de instruções baseadas em regras:

• Regras baseadas em padrões se relacionam especificamente com formas e estruturas de palavras. Por exemplo, uma regra baseada em padrões pode afirmar: “Uma sequência de palavras capitalizadas seguidas por “Inc.” refere-se a um nome de empresa.”

• Regras baseadas em contexto fornecem instruções com base nos dados em contexto. Um exemplo de uma regra baseada em contexto é: “Se uma palavra precede uma abreviação de estado seguida por uma vírgula, é a capital do estado.”

Baseado em aprendizado de máquina

Mais complexos do que os métodos baseados em dicionário e regras, os métodos NER baseados em aprendizado de máquina usam modelagem estatística e algoritmos para identificar nomes de entidades. Para usar um modelo baseado em aprendizado de máquina, um usuário deve treinar o sistema NER usando documentos anotados e dados de treinamento rotulados. Embora o treinamento adequado garanta que o modelo esteja equipado para fornecer os melhores resultados, esses modelos também podem ser caros e demorados para configurar inicialmente.

Híbrido

Finalmente, uma abordagem híbrida permite que os usuários do modelo misturem e combinem os métodos de aprendizado acima para aproveitar seus pontos fortes. Por exemplo, os usuários podem combinar um método baseado em regras com aprendizado de máquina para identificar entidades complexas e específicas adaptadas às suas necessidades únicas.

Desafios no reconhecimento de entidades nomeadas

Embora as tecnologias NER sejam conhecidas por analisar e rotular rapidamente grandes quantidades de dados não estruturados, as empresas devem estar cientes dos desafios potenciais.

Múltiplos significados e ambiguidade

Os homônimos apresentam problemas de análise para modelos NER sem treinamento e contexto adequados. Por exemplo, a palavra “laranja” pode se referir à cor ou à fruta. Sem informações contextuais suficientes, os modelos NER podem ter dificuldades para identificar e classificar termos ambíguos. Além disso, palavras com múltiplas variações, como “churrasco”, “barbecue” e “BBQ”, podem adicionar complexidade adicional, levando a classificações incorretas ou omissões.

Falta de dados de treinamento

Os modelos NER dependem fortemente de uma quantidade substancial de dados anotados para entender como reconhecer e categorizar entidades. Coletar dados anotados pode ser demorado e, em alguns casos, complicado, pois os usuários podem não ter dados suficientes para treinar o modelo. O treinamento inadequado pode levar a resultados de baixa qualidade.

Termos e frases desconhecidos

Os modelos NER trabalham com base no que sabem, o que significa que termos incomuns e palavras desconhecidas podem representar desafios. Se um modelo NER não reconhecer uma palavra, ele pode falhar em identificá-la e classificá-la na categoria de entidade correta.

Casos de uso para reconhecimento de entidades nomeadas

Muitas indústrias e setores utilizam modelos de reconhecimento de entidades nomeadas para extrair e utilizar dados de negócios rapidamente. Abaixo estão alguns dos casos de uso comuns em várias aplicações hoje.

Atendimento ao cliente

Graças à tecnologia de chatbot e ao acesso online do usuário, o suporte ao cliente está agora disponível 24 horas por dia. O NER alimenta chatbots identificando entidades dentro das submissões dos usuários para determinar o contexto de sua pergunta ou comentário. Com essas informações, o chatbot pode direcionar os usuários para recursos relevantes ou conectá-los a um especialista de suporte ao vivo. Sem um NER eficaz, as informações dos chatbots podem ser menos relevantes ou úteis na resolução de seus desafios.

Finanças

Profissionais financeiros usam modelos NER para classificar informações em formulários financeiros, automatizar processos de avaliação e aprovação e obter insights a partir de dados de clientes. Por exemplo, a papelada de empréstimos imobiliários é extensa, muitas vezes com centenas de páginas de explicações e detalhes. Embora os detalhes sejam essenciais, um modelo NER poderia rapidamente extrair os dados mais críticos para dar aos mutuários uma visão geral de uma página dos destaques.

A DataInFormation treinou um modelo NER em trechos de formulários de fusão da Comissão de Valores Mobiliários dos EUA (SEC). O modelo etiquetou tipos de métodos, faixas de desconto, provedores, destinatários e tipos de taxas de desconto. Eles observaram que o modelo alcançou 92,4% de precisão em seu reconhecimento de entidades.

Saúde

Os registros médicos dos pacientes são críticos para as práticas de saúde, mas ler páginas de documentos para encontrar o que você precisa pode parecer assustador. O NER permite que os profissionais de saúde extraiam informações cruciais dos registros sem perder tempo. Isso é útil ao obter uma visão geral de alto nível do histórico médico de um paciente, incluindo medicamentos e diagnósticos passados.

Um estudo aprofundado de uma década rastreou a evolução do NER em registros eletrônicos de saúde (EHRs), destacando uma mudança de modelos baseados em regras para modelos de aprendizado profundo para aumentar a eficácia.

Análise de currículos

Examinar currículos, especialmente sem a ajuda de um sistema de rastreamento de candidatos (ATS), é uma das tarefas mais demoradas para recrutadores e gerentes de contratação. Em vez de passar por currículos um por um, os modelos NER podem extrair entidades específicas, como requisitos educacionais, habilidades, certificações e realizações, para uma revisão mais rápida. Um modelo relatado em um estudo propôs um sistema para resumir o conteúdo do currículo usando NER e classificar documentos para revisão final por um recrutador humano.

Educação

Para acadêmicos, um modelo NER adequadamente treinado poderia rapidamente resumir volumes de material ou livros extensos para extrair informações sobre tópicos específicos. Isso poderia ajudar a identificar temas ou conexões entre recursos sem ter que trabalhar através do material de leitura por conta própria. Em última análise, os modelos NER podem aprimorar o processo de pesquisa para permitir mais tempo para outras tarefas de pensamento crítico, como escrever e analisar o material.

Identifique a entidade

O reconhecimento de entidades nomeadas é uma tarefa de extração de informações que identifica e categoriza dados não estruturados em categorias predefinidas (ou entidades nomeadas). Você pode treinar um modelo com dados de treinamento rotulados suficientes para reconhecer as entidades que deseja extrair de seus dados. Lembre-se de que o modelo NER será tão eficaz quanto você o preparar para ser.

Leia mais sobre como redes neurais artificiais (ANN) aprendem conosco.