Resumo

A tradução automática tornou-se mais popular nos últimos anos, sendo largamente utilizada por diversos usuários, sejam eles leigos, tradutores profissionais ou aqueles que precisam produzir textos acadêmicos em uma língua que não dominam (Bowker & Buitrago Ciro, 2019). Mesmo com os recentes avanços tecnológicos, ainda é necessária a correção, ou pós-edição, dos textos traduzidos automaticamente, o que não deveria demandar mais esforço que a produção de textos diretamente na língua-alvo. Nessa perspectiva, este estudo visou analisar o esforço temporal despendido para realizar três tarefas distintas envolvendo o português brasileiro (L1) e o inglês (L2): escrita na primeira língua (EL1), escrita na língua adicional (EL2) e pós-edição na língua adicional (PEL2). Foram analisados os processos dessas produções textuais realizadas por três participantes (P01, P02 e P03), doutorandos da área de Educação, que executaram essas tarefas em ordens diferentes. Para a coleta, utilizaram-se um questionário prospectivo, o programa Translog©-II, o Tobii Studio Eye Tracking Software©, o OBS Studio, um relógio de pulso do tipo smartwatch e protocolos retrospectivos guiados. Os resultados apontaram que a EL2 demandou mais tempo dos participantes, possivelmente devido à média linguística intermediária na L2. Contudo, o tempo despendido nessa tarefa foi inversamente proporcional à sua posição na ordem das tarefas. Observou-se, também, que a tradução automática tem efeito facilitador sobre a PEL2, demandando menos tempo que a EL2. Finalmente, constatou-se que o esforço temporal combinado entre EL1 e PEL2 foi menor que o da EL2. Apesar de a pós-edição não ser realizada com muita frequência no meio acadêmico e demandar mais esforço para textos mais complexos, os resultados sugerem que esta pode ser uma forma mais eficiente de produção textual na L2, quando a escrita na L1 e a pós-edição em L2 demandarem menos tempo do que a escrita em L2.

Palavras-chave
escrita acadêmica; tradução automática; pós-edição; esforço temporal

Abstract

Machine translation has become more popular in recent years and is now widely used by a broader public, such as laypeople, professional translators or those who need to produce academic texts in a language they do not master (Bowker & Buitrago Ciro, 2019). Even with the advances in technology, it is still necessary to proofread (or post-edit) machine-translated texts. However, this should not require more effort than producing texts directly in the target language. This study aimed to analyze the length of time to complete three different tasks involving L1 Brazilian Portuguese and L2 English: writing in the first language (EL1), writing in the additional language (EL2) and post-editing in the additional language (PEL2). The processes of these textual productions carried out by three PhD candidates in the field of education (P01, P02 and P03), who performed these tasks in different orders, were analyzed. Data was collected with a prospective questionnaire, Translog©-II program, Tobii Studio Eye Tracking Software©, OBS Studio, a smartwatch, and guided retrospective protocols. Results have shown that EL2 required more time from the participants, possibly due to their intermediate L2 proficiency level. Nevertheless, the time spent on this task was inversely proportional to its position in the order of the tasks. It has also been observed that machine translation has a facilitating effect on PEL2, requiring less time than EL2. Finally, it has been noticed that the temporal effort of EL1 and PEL2 altogether was inferior to that of EL2. Although post-editing is not performed very often in academia and requires more effort for more complex texts, results have suggested that it may be a more efficient form of writing in L2 when writing in L1 and post-editing in L2 require less time than writing in L2.

Keywords
academic writing; machine translation; post-editing; temporal effort

1. Introdução

Nos últimos anos, dados os avanços nos sistemas de tradução automática, a prática de traduzir textos para uma L2 com o apoio computacional tem se tornado cada vez mais frequente. No entanto, mesmo com esses aprimoramentos, os textos traduzidos automaticamente ainda precisam passar pelo processo de pós-edição, ou seja, uma correção ou revisão para que se tornem mais adequados na língua-alvo. Desde quando se tornou mais conhecida no meio acadêmico, a partir da publicação do livro de 2001 de Krings, Repairing texts: Empirical investigations of machine translation post-editing processes, a pós-edição tem sido analisada por meio da verificação do esforço na sua execução, comparando-se esse esforço principalmente àquele despendido na escrita em L2. Essa análise segue o que defende o próprio Krings (2001)Krings, H. (2001). Repairing texts: empirical investigations of machine translation post-editing processes. (G. S. Koby et al., Trad.). The Kent State Univ. Press., que argumenta que a pós-edição precisa ser analisada em termos de esforço, destacando que o tempo é a medida mais importante nesse escrutínio.

Visando contribuir para a compreensão do processo de pós-edição, em comparação com outros processos de produção textual, este estudo analisou, de forma exploratória, o esforço temporal em tarefas de escrita e de pós-edição de três participantes durante a execução de três tarefas de produção textual: uma de escrita em L1, uma de escrita em L2 e uma de pós-edição em L2, a partir da escrita em L1. Mais especificamente, os dados desses participantes foram coletados sob condições experimentais para investigar o dispêndio de esforço temporal.

A investigação afilia-se aos Estudos Processuais da Tradução, sendo a concepção de complexidade do processo tradutório expandida a processos de escrita em L1, L2 e pós-edição, os quais podem ser observados e analisados de várias formas (Hurtado Albir & Alves, 2009Hurtado Albir, A., & Alves, F. (2009). Translation as a cognitive activity. In J. Munday (Ed.), The Routledge Companion to Translation Studies (pp. 54–73). Routledge.). Desde o estabelecimento dos Estudos da Tradução como campo disciplinar, vários métodos foram desenvolvidos com o intuito de analisar a tradução sob uma perspectiva processual, ou seja, de se investigar aspectos cognitivos envolvidos durante a execução de tarefas de tradução.

Se, por um lado, há o avanço da tradução automática, permitindo a obtenção de informações em línguas às vezes até desconhecidas dos usuários, por outro há uma demanda cada vez maior por publicações acadêmicas em L2, sobretudo para fins de internacionalização institucional. Sobre essa questão, Bowker e Buitrago Ciro (2019)Bowker, L., & Buitrago Ciro, J. (2019). Machine Translation and Global Research: Towards Improved Machine Translation Literacy in the Scholarly Community. Emerald Publishing Limited. relacionam esse aumento na demanda por publicações acadêmicas, sobretudo em língua inglesa, ao uso de sistemas de tradução automática como ferramentas de auxílio na produção textual especializada. Eles explicam que esse aumento não decorre somente dos avanços acadêmico-científicos em diversas áreas, mas também da facilidade de acesso a esses sistemas tradutores automáticos proporcionada pela internet. Com isso, a demanda pela produção textual mais rápida e eficiente incentiva a tradução humana assistida por computador, e, consequentemente, estudos que abordam o quão eficiente ela é, e se o auxílio da máquina, de fato, otimiza ou não o trabalho do tradutor (Gonçalves, 2020Gonçalves, J. L. V. R. (2020). Em busca de relevância no olhar: à procura de semelhança interpretativa através de dados de rastreamento ocular. Cadernos de Tradução, 40(esp. 2), 17–44. https://doi.org/10.5007/2175-7968.2020v40nesp2p17
https://doi.org/10.5007/2175-7968.2020v4... ; Kasperavičienė et al., 2020Kasperavičienė, R., Motiejūnienė, J., & Patašienė, I. (2020). Quality assessment of machine translation output: Cognitive evaluation approach in an eye tracking experiment. Texto Livre, 13(2), 271–285. https://doi.org/10.35699/1983-3652.2020.24399
https://doi.org/10.35699/1983-3652.2020.... ).

Nesse sentido, destaca-se o quanto os sistemas de tradução automática têm contribuído para atender a essa demanda, uma vez que são essenciais para a geração de insumos que, posteriormente, são pós-editados, com ou sem acesso ao texto-fonte, para se adequarem à língua-alvo.

Esse destaque para o papel da língua inglesa no cenário da publicação acadêmica pode ter se originado após a Segunda Guerra Mundial, quando os Estados Unidos ganharam influência em várias áreas, como a econômica, política e tecnológica, de forma que seu impacto cultural no resto do mundo também avançou. Além disso, o desenvolvimento da internet nesse país contribuiu para que o inglês se tornasse a principal língua utilizada em publicações acadêmicas (Bowker & Buitrago Ciro, 2019Bowker, L., & Buitrago Ciro, J. (2019). Machine Translation and Global Research: Towards Improved Machine Translation Literacy in the Scholarly Community. Emerald Publishing Limited.). Os autores também ressaltam que a hegemonia da língua inglesa na área acadêmica traz dificuldades para pesquisadores falantes de outras línguas, citando adversidades quando tentam publicar seus trabalhos em revistas científicas renomadas devido à falta de proficiência no inglês e ao alto custo do trabalho de tradutores especializados.

Esses são fatores que demonstram que há uma demanda por modos de tradução mais eficientes e mais acessíveis. Considerando-se os parcos estudos que comparam a escrita em L1 com a pós-edição em L2, a partir da produção textual em L1, no intuito de se averiguar a eficiência que se espera dos sistemas de tradução automática no âmbito das ações de internacionalização de instituições de ensino superior, o objetivo geral deste estudo foi analisar o dispêndio de esforço temporal, por doutorandos brasileiros da área de educação, em tarefas de escrita acadêmica em português brasileiro como L1 e em inglês como L2 e em tarefa de pós-edição em L2 da produção textual em L1.

Especificamente, buscou-se investigar: 1) se a tarefa de escrita em L1 demanda menor esforço temporal em comparação com a escrita e com a pós-edição em L2 em decorrência de maior proficiência linguística em L1; 2) se a tarefa de pós-edição em L2 demanda menor esforço temporal em relação às tarefas de escrita em L1 e em L2 em decorrência da experiência em pós-edição; 3) se a tarefa de escrita em L2 demanda maior esforço temporal em comparação com a escrita em L1 e a pós-edição em L2 juntas em decorrência da menor proficiência linguística em L2.

Para atingir esses objetivos específicos, o estudo partiu da elaboração de três hipóteses: a) o conhecimento da L1 por doutorandos torna a escrita nessa língua mais fácil, acarretando menor dispêndio de esforço temporal nessa tarefa, na comparação com a escrita em L2 e com a pós-edição em L2; b) a pós-edição em L2 demanda menor dispêndio de esforço temporal que a escrita em L2, devido à experiência em pós-edição; c) a escrita em L2 demanda mais dispêndio de esforço temporal que a soma do tempo de escrita em L1 e da pós-edição em L2, tendo em vista o menor nível de conhecimento da L2.

Para o relato detalhado desse estudo, além desta Introdução, este artigo apresenta os principais conceitos que fundamentaram a realização deste estudo. Além disso, são apresentados os procedimentos metodológicos de coleta e de análise. Os resultados encontrados são apresentados e discutidos, com vistas à compreensão dos processos analisados e reformulação das hipóteses levantadas. Finalmente, são feitas considerações pertinentes ao prosseguimento da análise e à realização de estudos futuros.

2. Fundamentação teórica

Esta seção apresenta conceitos relevantes para a realização e para a análise dos resultados deste estudo. Ela aborda a pesquisa processual em tradução, destacando, dentre outros conceitos, os tipos de esforço em pós-edição, o letramento acadêmico e a internacionalização institucional, os quais serviram de base teórica para este estudo sobre processos de produção textual, quais sejam: a escrita em L1 e em L2 e a pós-edição em L2.

2.I A pesquisa processual em tradução

Os estudos orientados ao processo constituem-se como uma abordagem cognitiva da tradução. Desse modo, para melhor compreender esses estudos, é necessário expandir o conceito de tradução/interpretação, integrando-lhe uma noção de processo:

A pesquisa de Krings (1986)Krings, H. (1986). Translation problems and translation strategies of advanced German learners of French (L2). In J. House & S. Blum-Kulka (Eds.), Interlingual and Intercultural Communication (pp. 263–275). Gunter Narr. foi o trabalho pioneiro nas pesquisas processuais da tradução. Embora o autor tenha desenvolvido uma pesquisa com estudantes de língua estrangeira, e não com tradutores profissionais ou em formação, a investigação traz contribuições importantes para o estudo da tradução, por concentrar-se na análise de estratégias utilizadas por tais estudantes enquanto executavam tarefas de tradução. Assim, os Estudos da Tradução passam a dedicar-se não apenas ao produto tradutório, mas também à compreensão do que acontece na mente de quem traduz enquanto realiza uma tradução.

Essa compreensão não é tarefa fácil, uma vez que o processo tradutório, conforme Hurtado Albir (2001, p. 375, tradução nossa)Hurtado Albir, A., & Alves, F. (2009). Translation as a cognitive activity. In J. Munday (Ed.), The Routledge Companion to Translation Studies (pp. 54–73). Routledge., pode ser entendido como um “processo complexo que tem um caráter interativo e não linear, que envolve processos controlados e não controlados, e que requer processos de identificação e solução de problemas, adoção de estratégias e tomadas de decisão”² 2 “Complejo proceso que tiene un carácter interactivo y no lineal, en el que se producen procesos controlados y no controlados y que requiere procesos de identificación y resolución de problemas, aplicación de estrategias y toma de decisiones”. . Nesse sentido, a pós-edição também é entendida como um processo complexo, sendo investigada desde o trabalho de Krings (2001)Krings, H. (2001). Repairing texts: empirical investigations of machine translation post-editing processes. (G. S. Koby et al., Trad.). The Kent State Univ. Press., no âmbito dos Estudos da Tradução.

2.2 Tradução automática, pós-edição e tipos de esforço

A tradução automática vem sendo desenvolvida desde o final da década de 1940 e vem passando por evoluções ao longo dos anos, de forma que atualmente se encontra disponível para o público geral, por navegadores de internet ou por meio de aplicativos (Fonseca, 2016Fonseca, N. B. L. (2016). Pós-edição monolíngue: uma análise de indicadores de dispêndio de esforço temporal, técnico e cognitivo. [Tese de doutorado]. Universidade Federal de Minas Gerais. https://repositorio.ufmg.br/bitstream/1843/LETR-AZQMPW/1/1499d
https://repositorio.ufmg.br/bitstream/18... ). A pós-edição, ou seja, a correção de um texto traduzido automaticamente, está presente desde a década de 1950, mas avanços tecnológicos recentes têm despertado ainda mais interesse acadêmico, seja na pós-edição bilíngue, em que o pós-editor tem acesso ao texto-fonte, seja na pós-edição monolíngue, em que o pós-editor não consulta o texto-fonte enquanto corrige o texto traduzido automaticamente (Koehn, 2010Koehn, P. (2010). Enabling Monolingual Translators: Post-Editing vs. Options. In R. Kaplan et al. (Eds.), Proceedings of the human language technologies: The 2010 annual conference of the North American chapter of the ACL. (pp. 537–545). Association for Computational Linguistics.).

A relação entre o ser humano e a máquina também é um ponto importante do crescente uso de programas de tradução automática pela população em geral, e, apesar da disseminação do seu uso, “os textos traduzidos automaticamente, de forma geral, ainda estão distantes de terem a qualidade necessária para publicação” (Koponen, 2016Koponen, M. (2016). Is machine translation post-editing worth the effort? A survey of research into post-editing and effort. The Journal of Specialised Translation, 25, 131–148., p. 132, tradução nossa)³ 3 “Machine-translated texts are generally still far from publishable quality”. . A autora explica que as pesquisas sobre pós-edição bilíngue são conflitantes, dado que algumas apontam para uma melhora significativa na produtividade ao comparar textos pós-editados com textos traduzidos manualmente, e outras não. Ela argumenta que essa discrepância pode ocorrer devido às muitas variáveis nesses estudos, como qualidade da tradução automática ou a familiaridade dos pós-editores com as ferramentas, além do uso de critérios de avaliação diferentes.

No caso de pós-edições monolíngues, outras questões podem surgir, como a capacidade de se entender um texto traduzido automaticamente sem o auxílio do texto-fonte (Koponen, 2016Koponen, M. (2016). Is machine translation post-editing worth the effort? A survey of research into post-editing and effort. The Journal of Specialised Translation, 25, 131–148., p. 137). Apesar do uso inicial da pós-edição ser monolíngue, a autora conclui que, até então, a qualidade da tradução automática não é boa o bastante para que a pós-edição monolíngue seja suficiente para produzir um texto de qualidade equivalente à do texto-fonte.

De maneira semelhante, Neunzig (2011)Neunzig, W. (2011). Empirical Studies in Translation: Methodological and Epistemological Questions. Traduction, Terminologie, Rédaction, 24(2), 15–39. https://doi.org/10.7202/1013393ar
https://doi.org/10.7202/1013393ar... , ao abordar a análise de dados coletados em estudos orientados ao processo, argumenta que, embora a restrição da análise a certa parte dos dados possa causar negligência a aspectos mais interessantes da pesquisa, a grande quantidade de variáveis pode afetar e confundir o escrutínio. O autor recomenda, então, que haja controle das condições experimentais a fim de eliminar variáveis confusas e manipular as variáveis de interesse.

Diante disso, este estudo utiliza uma parcela dos dados coletados para analisar de forma independente o dispêndio de esforço temporal, o qual é definido como o tempo despendido na correção da pós-edição, sendo esse o tipo de esforço de maior relevância na análise do esforço em pós-edição, conforme indica Krings (2001)Krings, H. (2001). Repairing texts: empirical investigations of machine translation post-editing processes. (G. S. Koby et al., Trad.). The Kent State Univ. Press.:

Krings (2001)Krings, H. (2001). Repairing texts: empirical investigations of machine translation post-editing processes. (G. S. Koby et al., Trad.). The Kent State Univ. Press. também analisa dois outros tipos de esforço: o técnico e o cognitivo. O esforço técnico refere-se às ações mecânicas relativas a exclusões, inserções e reorganizações do texto. Para o autor, o esforço cognitivo pode ser definido como uma variável subjacente do esforço temporal e que o influencia diretamente. O esforço cognitivo considera os processos cognitivos ativados para cada correção na pós-edição. Dado o escopo desta pesquisa, a investigação concentra-se apenas na análise do esforço temporal, cujo conceito também é ampliado, neste estudo, para abranger o tempo de execução de outras tarefas de produção textual, quais sejam: a escrita em L1 (Português brasileiro) e a escrita em L2 (Inglês).

Sobre esforço em pós-edição, Krings (2001, p. 178, tradução nossa)Krings, H. (2001). Repairing texts: empirical investigations of machine translation post-editing processes. (G. S. Koby et al., Trad.). The Kent State Univ. Press. afirma ainda que “enquanto uma tradução totalmente automática e de alta qualidade permanecer como um conceito de ideal inalcançável, a quantidade de esforço de pós-edição será o principal determinante se a tradução automática vale a pena”⁵ 5 “As long as fully automatic high-quality machine translation remains an unreachable ideal concept, then the amount of post-editing effort will be the primary determinant of whether machine translation is worthwhile”. . Com base nessa afirmativa e considerando o esforço temporal como o de maior relevância na pós-edição e a necessidade de internacionalização das universidades brasileiras, especialmente via maior produção textual em inglês, faz-se necessária uma investigação, no âmbito acadêmico, sobre o esforço temporal despendido tanto na pós-edição em inglês como L2 quanto na produção textual diretamente nessa língua. Nesse sentido, o presente estudo concentra-se em investigar não somente a pós-edição, mas também a escrita em L1 e L2, relacionando tais produções textuais ao letramento acadêmico no bojo da crescente internacionalização das instituições de ensino superior brasileiras nos últimos anos.

2.3 Letramento acadêmico e internacionalização

Santos e Cristofoleti (2020)Santos, Z. B., & Cristofoleti, R. C. (2020). A escrita no contexto universitário: perspectivas para o letramento acadêmico. Revista Gatilho, 19(2), 94–113. https://doi.org/10.34019/1808-9461.2020.v19.27508
https://doi.org/10.34019/1808-9461.2020.... explicam que o gênero de um texto está relacionado ao seu contexto, incluindo cultura, sociedade ou experiência. Elas ainda ressaltam que, no contexto universitário, existe uma dificuldade de aceitação por parte do corpo docente de que os alunos não sabem produzir textos acadêmicos com a qualidade necessária. No entanto, as autoras sugerem que isso pode ser devido ao fato de tais alunos não estarem familiarizados com o gênero nos ensinos fundamental e médio, explicando que:

Em outras palavras, pode-se afirmar que os alunos universitários não possuem letramento acadêmico em parte porque a eles geralmente não é solicitado que escrevam textos acadêmicos antes de ingressarem na universidade. Nesse sentido, letramento acadêmico pode ser entendido como uma prática discursiva em que a linguagem é utilizada para a produção de significados num contexto específico, construindo, assim, as identidades daqueles que almejam se tornarem membros de determinada comunidade acadêmico-científica (Lea & Street, 1998Lea, M. R., & Street, B. V. (1998). Student writing in higher education: An academic literacies approach. Studies in Higher Education, 23(2), 157–172.; Street, 2009Street, B. V. (2009). “Hidden” Features of Academic Paper Writing. Working Papers in Educational Linguistics, 24(1), 1–17.).

Para Fischer (2008, p. 180)Fischer, A. (2008). Letramento acadêmico: uma perspectiva portuguesa. Acta Scientiarum. Language and Culture. 30(2), 177–187. https://doi.org/10.4025/actascilangcult.v30i2.2334
https://doi.org/10.4025/actascilangcult.... , letramento acadêmico é “a fluência em formas particulares de pensar, ser, fazer, ler e escrever, muitas das quais são peculiares a um contexto social”. A autora destaca que os eventos de letramento presentes no meio acadêmico não são exclusivos desse meio e que, para o desenvolvimento desse letramento, é necessária a prática de atividades cujas habilidades não estejam claramente ligadas ao letramento acadêmico.

Dessa maneira, pode-se entender que o conhecimento apenas da língua e da literatura são insuficientes para a constituição do letramento acadêmico, o que leva à distinção entre letramento autônomo e letramento ideológico proposta por Street (1995)Street, B. V. (1995). Social literacies: critical approaches to literacy in development, ethnography and education. Longman.. O primeiro está relacionado à prática de leitura como decodificação de informações de um texto e de escrita como a obediência a regras, dentro de uma concepção gramatical, sem necessariamente estar ligado a um contexto social. O segundo relaciona-se ao contexto social em que o estudante está inserido, família, comunidade etc., que contribuem para a sua formação como um cidadão crítico.

A escola tende a privilegiar o letramento autônomo. Com isso, ao ingressarem no ambiente universitário, os estudantes apresentam dificuldades por terem de aprender a pensar e a escrever criticamente, e não apenas reproduzir na escrita informações que leram. Essa falta de letramento acadêmico de estudantes universitários tem se tornado mais evidente nos últimos anos, com a crescente internacionalização das universidades brasileiras, que pode ser considerada uma consequência da globalização.

A dificuldade imposta pela escrita acadêmica, a qual envolve o não domínio do gênero textual em questão, é semelhante à observada nas iniciativas de internacionalização, mas esta, por sua vez, caracteriza-se também pela falta de domínio de uma língua adicional. São duas dificuldades que tendem a ocorrer simultaneamente, uma vez que a escrita de texto acadêmico tende a ser cobrada no nível universitário, bem como a exigência pelo conhecimento de língua adicional, dentro de uma realidade em que muitos alunos não tiveram acesso a um ensino de língua adicional de qualidade nos níveis de ensino anteriores.

O que se observa é que apesar das dificuldades, o processo de internacionalização acontece a passos lentos, conforme sugerem Sousa e Fuza (2021)Sousa, M. S. C., & Fuza, A. F. (2021). Os discursos acadêmico-científicos voltados à internacionalização dos programas de pós-graduação. Revista Brasileira de Educação, 26, 1–25. https://doi.org/10.1590/s1413-24782021260019
https://doi.org/10.1590/s1413-2478202126... . Contudo, afirmam que o Brasil não se encontra mais em um momento inicial de inserção na academia internacional, mas tem instâncias de internacionalização ativa, ou seja, produz conhecimento que pode ser acessado internacionalmente.

Essa inserção na comunicação acadêmica, que visa não apenas à expansão de conhecimentos, mas também à troca deles, tende a selecionar uma Língua Franca, que atualmente é a língua inglesa. Tal fato decorre da industrialização e do grande volume de conteúdo em inglês na internet, esta criada e desenvolvida em um país de língua inglesa (Bowker & Buitrago Ciro, 2019Bowker, L., & Buitrago Ciro, J. (2019). Machine Translation and Global Research: Towards Improved Machine Translation Literacy in the Scholarly Community. Emerald Publishing Limited.). Segundo esses autores, com a dominância dessa língua, principalmente em áreas especializadas, o acesso de pesquisadores cujo idioma nativo não é o inglês tem se tornado restrito. Além de não conseguirem compreender o conteúdo disponível, esses pesquisadores também são impedidos de publicar suas pesquisas não só pela falta de proficiência na língua inglesa, mas também por preconceito de revisores e revistas que enfocam nos erros gramaticais ou ortográficos dos textos e ignoram o conteúdo científico.

Há empresas especializadas em traduções de textos acadêmicos que proporcionam um texto de qualidade apto a ser publicado. No entanto, há a dificuldade de produção desse tipo de tradução, sobretudo pelo seu alto preço, o que restringe os possíveis clientes (Bowker & Buitrago Ciro, 2019Bowker, L., & Buitrago Ciro, J. (2019). Machine Translation and Global Research: Towards Improved Machine Translation Literacy in the Scholarly Community. Emerald Publishing Limited., p. 15). Há alternativas para esse problema, como escrever na língua materna e publicar nacionalmente, ou, em caso de algum conhecimento no inglês, escrever nessa língua e contratar um revisor, mas todas as opções possuem aspectos desfavoráveis e excludentes.

Nesse sentido, esses autores defendem o uso da tradução automática como uma possível opção. Eles afirmam que ainda que a tradução não tenha qualidade suficiente para publicação, há a possibilidade de que a pós-edição da tradução automática traga uma noção razoável do que se trata um texto escrito em outra língua, o que seria facilitado pela familiaridade com a área do conhecimento, ainda que o texto gerado não seja de boa qualidade. Os autores também ressaltam que é necessário instruir as pessoas em como utilizar os sistemas de tradução automática de forma otimizada em relação a seu objetivo, apesar de, em teoria, serem recursos fáceis de usar.

3. Metodologia

Esta seção apresenta informações concernentes à metodologia utilizada para analisar o dispêndio de esforço temporal em tarefas de escrita em L1 e L2 e pós-edição em L2 em um estudo exploratório. Nesse tipo de estudo, é possível analisar uma situação de forma geral para avaliar se determinadas tendências poderiam se repetir em outras situações (Neunzig, 2011Neunzig, W. (2011). Empirical Studies in Translation: Methodological and Epistemological Questions. Traduction, Terminologie, Rédaction, 24(2), 15–39. https://doi.org/10.7202/1013393ar
https://doi.org/10.7202/1013393ar... ).

Casula et al. (2021, p. 1.707, tradução nossa)Casula, M., Rangarajan, N., & Shields, P. (2021). The potential of working hypotheses for deductive exploratory research. Quality & Quantity, 55, 1703–1725. https://doi.org/10.1007/s11135-020-01072-9
https://doi.org/10.1007/s11135-020-01072... explicam que “a pesquisa exploratória [...] é um tipo de investigação que está nas etapas preliminares ou iniciais”⁶ 6 “Exploratory research (...) is a type of inquiry that is in the preliminary or early stages”. . Os autores também afirmam que essas etapas do estudo envolvem a exploração, a descrição e, por fim, a explicação, que são também os três tipos de propósito de pesquisa: as investigações explicativas procuram responder o porquê das coisas através do teste de hipóteses; e as pesquisas descritivas que, entre a explicação e a exploração, buscam desenvolver sistemas de categorização e classificação por meio de dedução e lógica. Apesar de os autores ressaltarem que há uma resistência quanto à pesquisa exploratória, eles defendem que ela pode ser aplicada de forma abrangente e para todos os tópicos, indicando a existência de um fenômeno e estabelecendo um ponto de partida para pesquisas sobre um assunto novo ou ainda pouco estudado, que poderá ser investigado mais profundamente no futuro (Casula et al., 2021Casula, M., Rangarajan, N., & Shields, P. (2021). The potential of working hypotheses for deductive exploratory research. Quality & Quantity, 55, 1703–1725. https://doi.org/10.1007/s11135-020-01072-9
https://doi.org/10.1007/s11135-020-01072... ).

3.1 Metodologia de coleta

Para o desenvolvimento deste estudo exploratório, participaram três⁷ 7 Apesar de a coleta de dados da pesquisa abranger a participação de doutorandos de áreas variadas, foram analisados, para o propósito desta pesquisa, apenas os dados de doutorandos de uma mesma área neste estudo exploratório, a fim de diminuir a quantidade de variáveis analisadas e verificar a adequação da análise. doutorandos que, em 2022, ano da coleta de dados feita para este estudo, conduziam pesquisa na área de Educação em programas de pós-graduação há pelo menos dois anos. Além disso, os três participantes têm o português brasileiro como primeira língua e autodeclararam ter, no mínimo, nível A2 de leitura e escrita da língua inglesa, segundo o Quadro Comum Europeu de Referências para Línguas (CEFR).

Esses participantes desempenharam três tarefas de produção textual: escrita em L1, escrita em L2 e pós-edição em L2. A tarefa de escrita em L1 abrangeu a produção de um resumo em português sobre o tema da pesquisa desenvolvida no doutorado, enquanto a tarefa de escrita em L2 referiu-se à produção de um resumo (abstract) em inglês sobre a mesma pesquisa. Finalmente, a tarefa de pós-edição em L2 envolveu a pós-edição do resumo em inglês, gerado a partir da tradução automática do resumo em L1 (português), feita pela ferramenta DeepL⁸ 8 Página da iniciativa: https://www.deepl.com/translator .

Antes da execução das tarefas da coleta definitiva, os participantes realizaram uma tarefa de aquecimento para familiarizarem-se com os dispositivos eletrônicos, incluindo o teclado, o mouse e o computador, e os programas a serem utilizados durante a coleta. Essa tarefa também foi utilizada para calibragem das ferramentas e ajuste da cadeira e do monitor visando ao conforto do participante. Em seguida, os participantes receberam instruções para as tarefas de produção textual, as quais variaram de ordem para cada participante, ou seja, cada uma das tarefas era precedida de instruções e cada participante executou as tarefas em uma ordem diferente e conforme a instrução recebida.

Para as tarefas de escrita em L1 e de escrita em L2, os participantes deveriam redigir, respectivamente, uma versão completa de um resumo em português brasileiro para submetê-lo a uma chamada de trabalho para um congresso no Brasil e uma versão completa de um resumo em língua inglesa para submetê-lo a uma chamada de trabalho para um congresso internacional. Permitiu-se o uso da internet para consultas durante a realização das duas tarefas, porém foi vedado o uso de qualquer tradutor automático e/ou a consulta a qualquer texto de autoria dos participantes.

Para a pós-edição em L2, os participantes deveriam fazer as devidas correções e modificações para que o produto final pudesse ser submetido à chamada de trabalhos do evento internacional. Eles poderiam consultar a internet, mas não poderiam ter acesso ao texto-fonte em português, e nem a outros tradutores automáticos e/ou textos de sua autoria, assim como nas outras tarefas.

A escolha do gênero resumo para as tarefas partiu da necessidade de utilizar-se, no estudo, um gênero que faz parte da rotina desses alunos, que frequentemente precisam escrever resumos sobre a pesquisa que desenvolvem para apresentação em congressos, seminários de pesquisa, bem como em artigos e na própria tese.

Para evitar o efeito facilitador (Ferreira, 2010Ferreira, A. A. (2010). Direcionalidade em tradução: uma investigação do processamento cognitivo de tradutores profissionais em tradução direta e inversa no par linguístico inglês-português. [Dissertação de mestrado]. Universidade Federal de Minas Gerais. https://repositorio.ufmg.br/handle/1843/LETR-8SVNBP
https://repositorio.ufmg.br/handle/1843/... , 2013Ferreira, A. A. (2013). Direcionalidade em tradução: o papel da subcompetência bilíngue em tarefas de tradução L1 e L2. [Tese de doutorado]. Universidade Federal de Minas Gerais. https://repositorio.ufmg.br/handle/1843/MGSS-9BLN48
https://repositorio.ufmg.br/handle/1843/... ) que uma mesma ordem de execução de tarefas poderia causar, a ordem das tarefas foi aleatorizada, havendo, então, três ordens distintas de coleta de dados, levando-se em consideração a necessidade de a escrita em L1 sempre preceder a pós-edição em L2, pois uma tarefa dependia da produção prévia da outra. Desse modo, os três participantes e suas respectivas ordens de execução de tarefas de produção textual foram:

• P01: Escrita em L1, escrita em L2 e pós-edição em L2.

• P02: Escrita em L2, escrita em L1 e pós-edição em L2.

• P03: Escrita em L1, pós-edição em L2 e escrita em L2.

Antes da coleta de dados, cada participante respondeu a um questionário prospectivo com perguntas sobre seu perfil linguístico e acadêmico. Esse questionário forneceu informações sobre o enfoque da pesquisa de doutorado, bem como sobre a aquisição e o nível de proficiência em habilidades específicas em L1 e em outras línguas adicionais, incluindo a escrita em português brasileiro e em inglês.

Para a coleta, foram utilizados os programas Translog©-II, que registra o pressionamento de teclas e os movimentos de mouse durante a produção textual; o rastreador ocular Tobii T120, que acompanha os movimentos oculares; em conjunto com o Tobii Studio, software para análise de dados do rastreador; o OBS Studio, programa que grava o que acontece na tela de um dispositivo; um relógio de pulso do tipo smartwatch, que registra a frequência cardíaca; bem como protocolos retrospectivos verbais livre e guiado, que constituem-se como método subjetivo para buscar entender o que se passa na cabeça do participante. Além desses métodos de coleta, foram feitos protocolos verbais retrospectivos guiados após as tarefas e protocolos verbais antes da primeira tarefa, com perguntas aos participantes sobre práticas de escrita acadêmica, sobre o uso de ferramentas de tradução automática e sobre as percepções subjetivas acerca da dificuldade de execução de cada tarefa.

O uso desses diferentes métodos de coleta de dados permitiu a obtenção de dados diversos, como o tempo de execução das tarefas, o registro da movimentação no teclado e do mouse, a frequência cardíaca, a quantidade e a duração de fixações oculares e as informações fornecidas no questionário e nos protocolos retrospectivos verbais.

Para o propósito do presente estudo, apenas os resultados de execução de tempo de tarefa obtidos com o Translog©-II foram analisados, em conjunto com informações fornecidas no questionário e nos protocolos. A metodologia utilizada para a análise desses dados é detalhada a seguir.

3.2 Metodologia de análise

Para analisar o tempo de execução de cada tarefa, utilizaram-se os metadados gerados pelo Translog©-II. Os dados foram extraídos e inseridos em planilhas com extensão .csv para melhor visualização e posterior análise, conforme a Figura 1.

Para o cálculo do tempo de execução de cada tarefa executada, considerou-se o tempo total de execução, sem a subtração de pausas ou atividades intermitentes, e foi esse o procedimento adotado para a análise do esforço temporal. Em investigações que analisam a pós-edição, essa tem sido a principal medida para verificar a relação custo-benefício da pós-edição. Nesta pesquisa, essa noção tem sido ampliada comparando-se a pós-edição com a escrita em L2 diretamente e com a escrita em L1 seguida da tradução automática e posterior pós-edição. Os resultados dessas comparações são apresentados e discutidos a seguir.

4. Apresentação e discussão dos resultados

Para a análise de esforço temporal, conforme informado anteriormente, foi utilizado o tempo de execução das tarefas de escrita em português brasileiro (EL1) e em inglês (EL2) e na pós-edição em inglês (PEL2). A Tabela 1 a seguir apresenta esses tempos despendidos para a execução de cada tarefa em segundos, por cada participante (P01, P02 e P03).

É necessário salientar que, na segunda coluna da Tabela 1, as tarefas estão dispostas na ordem em que foram desempenhadas por cada participante. Conforme essa tabela, para P01, a PEL2 foi a que exigiu menos tempo (577 s), e a EL2 foi a que exigiu mais tempo (1.800 s), sendo estas, respectivamente, a T3 e a T2. Comparativamente, P02 também despendeu menos tempo na PEL2 (545 s), e a EL2 foi a mais longa (2.805 s). P03, por sua vez, também demorou mais tempo na EL2 (1.719 s), na comparação com as outras, sendo a EL1 a que demandou menos tempo (624 s).

A partir desses resultados, pode-se observar que a EL1 demandou sempre menor esforço temporal quando comparada à EL2. No entanto, quando a PEL2 ocorreu após as duas outras tarefas, ela demandou menos tempo do que a EL1. Quanto à comparação entre o tempo de execução da PEL2 e da EL2, pode-se observar que, em todas as ordens, a PEL2 sempre demandou menor esforço temporal do que a EL2.

Esses resultados mostram que as hipóteses levantadas para o desenvolvimento deste estudo mostram-se coerentes. A primeira, de que o conhecimento da língua portuguesa representa um aspecto facilitador para a escrita nessa língua (L1), parece ser válida, uma vez que, para todos os participantes, a EL1 demandou menor esforço temporal do que a EL2 de forma relevante. Nesse caso, a EL1 demandou entre 30% e 50% do tempo total da execução da EL2. Na Tabela 2, é possível observar esses resultados separadamente, comparando-se o tempo de execução de EL1 e EL2 despendido pelos três participantes.

A segunda hipótese, de que a pós-edição em L2 demanda menos tempo do que a escrita na L2, devido à experiência em pós-edição, também se mostrou válida, uma vez que dois (P02 e P03) dos três participantes têm alguma experiência em pós-edição, conforme informações fornecidas por eles no questionário prospectivo, e esses despenderam menos tempo na execução da pós-edição, assim como P01. Observa-se que P01, no entanto, não declarou experiência em pós-edição.

Além disso, apesar de haver a possibilidade de a execução da EL2 ter sido facilitada pela(s) tarefa(s) anterior(es) a ela para P01, em que ela foi a T2, e para P03, em que ela foi a T3, foi a PEL2 que demandou menos tempo de execução para todos os participantes. Ressalta-se que a PEL2 foi a última tarefa tanto para P01 como para P02, o que pode levar à conclusão de que essa tarefa foi facilitada pelas duas primeiras, independentemente de serem executadas em línguas distintas. É preciso aventar a possibilidade de que o texto em inglês gerado pelo sistema de tradução automática tenha se mostrado adequado, demonstrando possivelmente a eficiência desse sistema.

Na comparação entre o tempo de execução das três tarefas analisadas neste estudo, é importante destacar que a PEL2 só é possível ser gerada a partir da EL1, o que aponta que, para avaliar a tradução automática como de alta qualidade, ou seja, com edições mínimas ou talvez até mesmo sem necessidade de pós-edição, é necessário avaliar se a quantidade de esforço empreendida na correção da tradução automática vale a pena (Krings, 2001Krings, H. (2001). Repairing texts: empirical investigations of machine translation post-editing processes. (G. S. Koby et al., Trad.). The Kent State Univ. Press.). Nesse caso, é essencial que o tempo de execução da EL1 também seja considerado.

Por fim, constatou-se que a última hipótese, de que a EL2 demandaria mais tempo dos participantes do que a soma do tempo de execução das outras duas tarefas devido ao menor nível de fluência na L2, parece adequada, conforme a Tabela 3.

4.1 Conhecimento da língua adicional

Com base nos resultados apresentados de dispêndio de tempo para executar as tarefas, nota-se que, para os três participantes, a EL2 foi a tarefa que demandou mais tempo, conforme apresentado na Tabela 1 e discutido anteriormente. Tal fato, conforme se infere a partir da última hipótese, pode ser explicado pela menor proficiência na língua adicional em comparação à L1, o que levaria a esse maior tempo de execução da EL2 por todos os participantes.

Nesse sentido, tanto P01 quanto P02 declararam ter nível de conhecimento da língua inglesa como B1, enquanto P03 declarou ter nível de inglês como A2, ainda que todos os participantes tenham atestado a necessidade dessa língua em seus percursos acadêmicos. Contudo, P02 foi o que despendeu mais tempo na execução da EL2, na comparação com os outros participantes, ainda que seu conhecimento autodeclarado da língua inglesa fosse o mesmo de P01. Esse fato levanta também uma questão sobre a autodeclaração de conhecimento da língua adicional, o que, nesse caso, pode ser entendido que um participante pode ter afirmado ter um conhecimento de menor ou maior nível do que realmente tinha.

Outro fator a ser considerado na análise é o possível efeito facilitador de tarefa(s) anterior(es) executada(s) por P01 e P03. P02 foi o que demorou mais tempo para finalizar a EL2 e foi o único que executou a EL2 primeiro como T1, enquanto P01 e P03 executaram a mesma tarefa como T2 ou T3, o que pode ser interpretado que, independentemente do conhecimento da língua-alvo, esse efeito facilitador pode ocorrer. Essa interpretação torna-se ainda mais plausível ao observar que, quanto mais tarde a EL2 foi executada, conforme a ordem de execução das tarefas, menos tempo ela demandou, independentemente do nível de conhecimento da língua adicional do participante.

A ordem de execução das tarefas também pode ter parcialmente influenciado o dispêndio de tempo para executá-las, independente do conhecimento da L2. Pode-se observar, na Tabela 1, que, para P01 e P02, a PEL2, ou seja, a última tarefa (T3) demandou menos tempo que as duas anteriores (T1 e T2). P03, entretanto, gastou menos tempo na EL1 como T1. Como esse participante autodeclarou menor domínio da L2 que P01 e P02, a execução da EL1 pode ter sido mais fácil para ele devido à fluência que tem na EL1, o que era esperado, conforme a hipótese de menor tempo na EL1. Além disso, o menor conhecimento da língua adicional por P03, e não a ordem das tarefas, pode explicar sua dificuldade com a L2 a partir do insumo gerado pela tradução automática, uma vez que ele gastou mais tempo na PEL2 (T2) do que na EL1 (T1).

O tema dos resumos produzidos pelos participantes também foi observado durante a análise no que concerne ao conhecimento na língua adicional. P01 e P03, por exemplo, na EL1 e na EL2, abordaram o mesmo tema. Apenas P02 escreveu os resumos com temas diferentes na EL1 (T2) e na EL2 (T1), o que pode justificar o fato de esse participante ter despendido mais tempo que os outros participantes na EL1. Ademais, P02 despendeu maior tempo na EL2 talvez por influência da menor proficiência em L2 do que em L1. Contudo, o dispêndio de tempo de P02 para executar a PEL2 foi o menor de todos (545 s), o que demonstra que, embora o tema da EL1 tenha sido distinto da EL2, o fato de ter executado a EL2 antes da PEL2, ou seja, na mesma língua adicional, pode ter contribuído ainda mais para esse menor dispêndio de tempo para a execução da PEL2, na comparação com P01 e P02.

4.2 Experiência em pós-edição

Os participantes declararam ter diferentes níveis de experiência em pós-edição. P01 informou não utilizar a pós-edição normalmente, enquanto P02 afirmou ter o hábito de fazer um esboço do texto na L1 e utilizar a tradução automática para auxiliar na escrita em L2, culminando em uma pós-edição. P03, por sua vez, declarou que utiliza a pós-edição para produzir textos na L2 com muita frequência.

Essas informações sobre a experiência dos participantes em pós-edição podem ser associadas ao conhecimento autodeclarado na L2. P01, por exemplo, apesar de fazer pós-edição com menos frequência que os outros participantes, não apresentou o maior dispêndio de tempo na PEL2, talvez por ter conhecimento intermediário de inglês. P03, por sua vez, foi o participante que demorou mais tempo para executar a PEL2, apesar de ter declarado que utiliza a pós-edição com mais frequência. Ao mesmo tempo, é P03 quem autodeclarou menor nível de conhecimento de inglês, o que pode ter contribuído para o aumento de tempo na PEL2. Em contrapartida, P02 foi o participante que demandou menos tempo na PEL2, o que pode ser interpretado como devido não apenas à maior experiência dele em pós-edição, fazendo-a habitualmente, como também à autodeclaração de nível de proficiência B1 de L2.

5. Considerações finais

Este trabalho analisou, de forma exploratória, o esforço temporal exigido para a execução de tarefas de escrita em L1 e L2 e de pós-edição em L2 por doutorandos brasileiros da área de Educação, com algum conhecimento autodeclarado de língua inglesa em escrita e leitura e alguma experiência em pós-edição.

A fim de alcançar os objetivos específicos deste estudo, a metodologia adotada foi: a) execução das três tarefas pelos participantes, com aleatorização da ordem das tarefas, utilizando ferramentas como Translog©-II, Tobii Studio Eye Tracking Software© e OBS Studio; b) identificação do tempo despendido em cada tarefa por cada participante; e c) análise dos resultados partindo-se dos objetivos estabelecidos e das hipóteses elaboradas. A análise enfocou o tempo total despendido para execução de cada tarefa, incluindo-se também o tempo em que não havia qualquer produção textual.

O primeiro objetivo específico estabelecido foi investigar se haveria menor demanda de esforço temporal para execução da EL1, na comparação com esse esforço na execução da EL2 e da PEL2, levantando-se a hipótese de que isso ocorreria devido à maior proficiência na L1. Conforme os resultados, uma tendência de confirmação dessa hipótese foi observada apenas para P03, pois P01 e P02 tiveram menor esforço temporal para a execução da PEL2. No entanto, cabe ressaltar que a diferença do tempo de execução de EL1 e PEL2 foi menor que 10% para ambos os participantes.

O segundo objetivo específico, que foi investigar se a PEL2 seria a que demandaria menor esforço temporal comparado às outras tarefas, foi atingido. Para tal, levantou-se a hipótese de que a experiência dos participantes em pós-edição levaria ao menor dispêndio de tempo na execução de PEL2. Observou-se, entretanto, que, embora P01 e P02 foram os que precisaram de menos tempo para executar a PEL2 na comparação com as outras tarefas, P02 e P03 foram os que afirmaram utilizar mais a pós-edição. Dessa maneira, os resultados mostram que essa tendência foi observada apenas para dois dos três participantes, mas a diferença do tempo de execução de PEL2 e EL1 (essa com menor tempo de execução) foi inferior a 10%. Ademais, presume-se que, apesar de P01 ter apresentado também menos tempo para executar a PEL2, pode ter havido o efeito facilitador da ordem das tarefas.

O terceiro objetivo específico, que era investigar se a EL2 demandaria maior esforço temporal comparado à soma do tempo despendido para executar a EL1 e a PEL2, também foi atingido. Para tal, partiu-se da hipótese de que a proficiência menor na L2 levaria a um maior tempo de execução da EL2 do que a soma da EL1 e da PEL2. Os resultados de tempo de execução das tarefas apontaram a tendência de que executar a EL2 sozinha demanda mais tempo para executar a EL1 e a PEL2 juntas. Conforme preconiza Krings (2001)Krings, H. (2001). Repairing texts: empirical investigations of machine translation post-editing processes. (G. S. Koby et al., Trad.). The Kent State Univ. Press., isso revela que o principal determinante se a tradução automática vale a pena é o esforço temporal na pós-edição. Aparentemente, ela é viável, uma vez que os resultados mostraram que compensou mais escrever na L1, traduzir automaticamente e depois pós-editar na L2 do que escrever diretamente o resumo na L2.

Por tratar-se de um estudo exploratório, os dados são insuficientes para se chegar a conclusões definitivas. Contudo, as tendências observadas e as possibilidades de interpretação dos resultados apresentados e discutidos podem ajudar na reformulação das hipóteses levantadas neste estudo.

Assim, o caráter exploratório do presente estudo pode proporcionar uma base para futuros estudos do processo de produção textual na esfera das iniciativas de letramento acadêmico para fins de internacionalização, uma vez que, diante do constante aprimoramento da tradução automática, é possível gerar insumos em inglês como língua adicional que podem ser pós-editados para que estes se tornem textos adequados para publicação nessa língua. Com o desenvolvimento deste estudo, espera-se que outras pesquisas com número maior de participantes investiguem o uso da tradução automática e a subsequente pós-edição, para auxiliar pesquisadores que precisam produzir e publicar seus trabalhos na língua inglesa, mas não a dominam o bastante para produzir um texto academicamente publicável. Esses indivíduos menos proficientes em uma L2 poderiam se beneficiar dos estudos e tecnologias progressivamente melhores para escrever academicamente em outra língua de forma satisfatória, sem precisar depender de um tradutor profissional, o que é oneroso para muitos estudantes de graduação e de pós-graduação.

Os resultados deste estudo parecem apontar também que a escrita acadêmica em L1 também deve ser incentivada nos níveis de ensino fundamental e médio, e não apenas no nível superior, o que pode vir a refletir-se numa escrita de textos acadêmicos mais produtiva em cursos de graduação e de pós-graduação.

Agradecimentos

Os autores rendem seus agradecimentos aos estudantes Larissa Andrade Said e Lucas Henrique Dias Avelar, pelo auxílio na coleta dos dados deste estudo.

Declaração de disponibilidade dos dados da pesquisa

Os dados desta pesquisa, que não estão expressos neste trabalho, poderão ser disponibilizados pelo(s) autor(es) mediante solicitação.

Referências

Editado por

Editores de seção

Datas de Publicação

Histórico