Como você mede a precisão e a qualidade dos sistemas de tradução automática?

1 Avaliação humana

A avaliação humana é a maneira mais intuitiva e confiável de avaliar a precisão e a qualidade dos sistemas de MT. Envolve pedir aos juízes humanos que classifiquem a saída da MT com base em vários critérios, como fluência, adequação, tipos de erro e satisfação geral. A avaliação humana pode fornecer feedback e insights valiosos para melhorar o sistema de MT, mas também tem algumas desvantagens. É demorado, caro, subjetivo e difícil de padronizar. Além disso, a avaliação humana pode variar dependendo do propósito, contexto e público do sistema MT.

2 Avaliação automática

Avaliação automática é o uso de algoritmos ou software para comparar a saída da MT com uma tradução de referência ou um texto fonte. É mais rápido, mais barato e mais consistente do que a avaliação humana, mas também tem algumas limitações. Não consegue captar as nuances, a criatividade e a diversidade da linguagem humana. Também pode ser enviesado pela qualidade e disponibilidade da tradução de referência ou do texto fonte. Algumas das métricas de avaliação automática mais comuns são BLEU, METEOR, TER e NIST.

3 Avaliação híbrida

A avaliação híbrida é a combinação de métodos de avaliação humana e automática. O objetivo é equilibrar os pontos fortes e fracos de cada abordagem e fornecer uma medida mais abrangente e robusta da precisão e qualidade da MT. A avaliação híbrida pode assumir diferentes formas, como o uso de métricas automáticas para filtrar ou classificar a saída de MT antes da avaliação humana, ou usar o feedback humano para calibrar ou ajustar as métricas automáticas. A avaliação híbrida também pode envolver diferentes níveis de granularidade, como nível de palavra, frase, parágrafo ou documento.

4 Avaliação baseada em tarefas

A avaliação baseada em tarefas é a avaliação da saída da MT em relação a uma tarefa ou objetivo específico que o usuário ou o cliente deseja alcançar. Centra-se na utilidade e eficácia do sistema MT em vez de seus aspectos linguísticos ou estéticos. A avaliação baseada em tarefas pode ser realizada por humanos ou máquinas, dependendo da natureza e complexidade da tarefa. Alguns exemplos de tarefas que podem ser usadas para avaliação de MT são recuperação de informações, resumo, análise de sentimento e pós-edição.

5 Estimativa de qualidade

Estimativa de qualidade (QE) é a previsão da qualidade da saída da MT sem usar uma tradução de referência ou um texto de origem. É útil para cenários em que a tradução de referência ou o texto de origem não está disponível, como serviços de tradução online, comunicação multilíngue ou idiomas com poucos recursos. O QE pode fornecer uma estimativa da qualidade da saída de MT em diferentes níveis, como nível de palavra, frase ou documento. Também pode fornecer uma indicação da confiança ou incerteza do sistema MT.

6 Ferramentas e recursos de avaliação

Para medir com precisão a qualidade dos sistemas de MT, você deve ter acesso a ferramentas e recursos de avaliação confiáveis e relevantes. Isso pode incluir conjuntos de dados, métricas, software e plataformas que permitem diferentes tipos de avaliação de MT. Por exemplo, o WMT é uma conferência e workshop anual que organiza tarefas e competições compartilhadas sobre vários aspectos da avaliação de MT. Asiya é um kit de ferramentas de código aberto que suporta várias métricas e linguagens de avaliação automática. QT21 é um projeto que desenvolve e testa novos métodos e ferramentas para QE e avaliação humana. Além disso, o Appraise é uma plataforma baseada na web que facilita a avaliação humana da produção de MT.

7 Veja o que mais considerar

Este é um espaço para compartilhar exemplos, histórias ou insights que não se encaixam em nenhuma das seções anteriores. O que mais gostaria de acrescentar?