image/svg+xmlEficácia das técnicas de ensino de línguas estrangeiras: Fornecimento de feedback como forma de corrigir erros de escritaRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 1 EFICÁCIA DAS TÉCNICAS DE ENSINO DE LÍNGUAS ESTRANGEIRAS: FORNECIMENTO DE FEEDBACK COMO FORMA DE CORRIGIR ERROS DE ESCRITA EFFECTIVENESS OF FOREIGN LANGUAGE TEACHING TECHNIQUES: PROVISION OF FEEDBACK AS A WAY TO CORRECT WRITING MISTAKES EFICACIA DE LAS TÉCNICAS DE ENSEÑANZA DE LENGUA EXTRANJERA: PROVISIÓN DE RETROALIMENTACIÓN COMO FORMA DE CORREGIR ERRORES DE ESCRITURA Nataliya RETS1Svetlana PIVNEVA2Olga PASIUKOVA3Svetlana ZOLOTAREVA4Zhanna ABALYAN5Elmira KHUTOVA6RESUMO:O estudo analisa o problema do feedback corretivo no estudo de uma língua estrangeira na universidade como um dos tipos de feedback entre professor e aluno. O artigo considera o feedback como uma forma de corrigir os erros dos alunos na execução do controle. O artigo oferece uma característica de feedback escrito, identifica seus vários tipos e subtipos em termos de suas características específicas e eficiência de uso. Várias abordagens para a correção de erros de escrita e fala dos alunos são analisadas. É dada especial atenção às condições de dar feedback eficaz. O estudo experimental realizado sobre a eficácia de diferentes tipos de feedback corretivo escrito entre um professor e um aluno no processo de aprendizagem de língua estrangeira conclui que o feedback corretivo indireto escrito se mostra mais eficaz, pois o feedback indireto requer maior participação dos alunos e seu envolvimento ativo na o processo de aprendizagem.PALAVRAS-CHAVE:Língua estrangeira. Feedback corretivo. Escrevendo. Feedback direto. Feedback indireto.1Universidade Estadual de Tecnologia e Gestão de Moscou em homenagem a K.G Razumovsky (MSUTM), Moscou – Rússia. Professor Associado. ORCID: https://orcid.org/0000-0003-0578-2227. E-mail: n.rets@mgutm.ru 2Universidade Estatal Social Russa (RSSU), Moscou – Rússia. Professor Associado. ORCID: https://orcid.org/0000-0003-2288-9915. E-mail: tlt-swetlana@yandex.ru 3Universidade Estadual de Tecnologia e Gestão de Moscou em homenagem a K.G Razumovsky (MSUTM), Moscou – Rússia. Professor Associado. ORCID: https://orcid.org/0000-0002-5321-0154. E-mail: o.pasuikova@gmail.com 4Universidade Financeira sob o governo da Federação Russa (FinU), Moscou – Rússia. Professor Associado. ORCID: https://orcid.org/0000-0002-5528-9476. E-mail: socege@yandex.ru 5Universidade Financeira sob o governo da Federação Russa (FinU), Moscou – Rússia. Professor Associado. ORCID: https://orcid.org/0000-0003-2255-9019. E-mail: ZAAbalyan@fa.ru 6Universidade Estadual Kabardino-Balkariana em homenagem a H.M. Berbekov (KBSU), Nalchik – Rússia. Professor Associado. ORCID: https://orcid.org/0000-0003-0633-2789. E-mail: khutova@mail.ru
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN e Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 2RESUMEN:El estudio analiza el problema del feedback correctivo en el estudio de una lengua extranjera en la universidad como uno de los tipos de feedback entre un profesor y un alumno. El artículo considera la retroalimentación como una forma de corregir los errores de los estudiantes en la ejecución del control. El documento ofrece una característica de la retroalimentación escrita, identifica sus diversos tipos y subtipos en términos de sus características específicas y eficiencia de uso. Se analizan varios enfoques para la corrección de los errores de los estudiantes en la escritura y el habla. Se presta especial atención a las condiciones para dar una retroalimentación efectiva. El estudio experimental realizado sobre la eficacia de diferentes tipos de feedback correctivo escrito entre un profesor y un alumno en el proceso de aprendizaje de una lengua extranjera concluye que el feedback correctivo indirecto por escrito resulta más eficaz ya que el feedback indirecto requiere una mayor participación de los alumnos y su implicación activa en la el proceso de aprendizaje.PALABRAS CLAVE:Lengua extranjera. Retroalimentación correctiva. Escribiendo. Retroalimentación directa. Retroalimentación indirecta.ABSTRACT: The study analyzes the problem of providing corrective feedback in studying a foreign language at the university as one of the types of feedback between a teacher and a student. The article regards feedback as a way of correcting students’ mistakes in executing control. The paper offers a characteristic of written feedback, identifies its various types and subtypes in terms of their specific characteristics and efficiency of use. Various approaches to the correction of students’ mistakes in writing and speech are analyzed. Particular attention is devoted to the conditions of giving effective feedback. The conducted experimental study of the effectiveness of different types of written corrective feedback between a teacher and a student in the process of foreign language learning concludes that indirect written corrective feedback proves more effective since indirect feedback requires greater participation of the students and their active involvement in the learning process. KEYWORDS: Foreign language. Corrective feedback. Writing. Direct feedback. Indirect feedback. Introdução A renovação atualizada do conteúdo e da estrutura da educação exige uma revisão fundamental das relações professor-aluno, particularmente para uma nova profissionalização do professor a partir de um supervisor de atividades de aprendizagem, que deve controlar o processo de assimilação do conhecimento pelos alunos, em igual participante desse processo (BAIDELDINOVA et al., 2021; DZYUBA et al., 2021). A criação de um ambiente de aprendizagem favorável é impossível sem feedback, o que permite ao professor monitorar e ajustar regularmente o processo de aquisição de conhecimento pelos alunos (BESSONOV, 2016).
image/svg+xmlEficácia das técnicas de ensino de línguas estrangeiras: Fornecimento de feedback como forma de corrigir erros de escritaRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 3 Na fase atual, há maior atenção ao desenvolvimento de tal estratégia do professor em relação aos erros de escrita no estudo de uma língua estrangeira que atenderia às necessidades linguísticas do aluno (BREDIKHINA, 2018). Tendo o propósito de desenvolver a capacidade dos alunos de expressar livremente seus pensamentos por escrito, para alcançar uma certa habilidade na construção de seu próprio texto escrito, o professor, certamente, não pode ignorar aspectos gramaticais e vocabulários da escrita do aluno, não contribuir para o desenvolvimento de habilidades de edição (MALEKI; ESLAMI, 2013). Por essa razão, hoje, as questões de fornecer feedback corretivo no processo de aprendizagem de uma língua estrangeira em instituições de ensino superior, bem como das formas efetivas de sua provisão e da adequada correção dos erros dos alunos na escrita permanecem atuais (USMANOVA; KHOKHLOVA; FEDOSEEV, 2021). Revisão da literatura Considerando a pesquisa pedagógica sobre o fornecimento de feedback, deve-se notar que essa questão tem sido, há muito tempo, considerada predominantemente em termos de classificação dos tipos de feedback. Especificamente, os pesquisadores propõem várias tipologias de feedback e as examinam em diferentes contextos: na comunicação professor-aluno (SHUTE, 2008), na fala oral ou escrita (FARJADNASAB; KHODASHENAS, 2017). Atenção especial é dada pelos estudiosos ao estudo da conscientização dos alunos sobre os tipos de feedback efetivo (GAMLEM; SMITH, 2013), seu reconhecimento da importância de usá-lo (GAMLEM; MUNTHE, 2014), bem como a prestação de feedback entre os alunos uns aos outros (LIU; CARLESS, 2006). O feedback atua em duas direções: na do professor e na do aluno. O feedback que atua na direção do professor fornece-lhes informações sobre o nível de desempenho dos alunos. O professor analisa as informações sobre a presença de algumas deficiências, monitora desvios na atividade de fala dos alunos, revela o grau de cumprimento da estratégia de aprendizagem escolhida e táticas com as reais necessidades. Isso possibilita avaliar oportunamente a situação metodológica e fazer as correções necessárias na seleção de técnicas, formas e métodos de ensino, a seleção de exercícios, determinação da modalidade e duração de seu desempenho, e a sequência da organização de todo o trabalho educativo com os alunos (SKOVHOLT, 2018). Garantir a eficácia do feedback, segundo pesquisadores (PARR; HAWE, 2017), requer seguir uma sequência específica de etapas para doá-lo: na primeira etapa, o desempenho e o grau de domínio do material pelo aluno são avaliados e as metas são definidas; na segunda
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN e Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 4etapa, são realizadas avaliação, autoavaliação e avaliação do trabalho em pares; na terceira etapa, os alunos monitoram suas conquistas e refletem sobre elas. Pesquisadores (BROWN; HARRIS; HARNETT, 2012) aponta três aspectos do feedback efetivo: sua estrutura (metas, localização da provisão, tempo, proficiência do aluno no material), conteúdo (construtivo, diferenciado) e formato (oral, escrito, gráfico, vídeo) (GOLUBEVA et al., 2021). Uma vez que o feedback corretivo, conhecido como correção de erros ou gramática, é a principal ferramenta do professor no trabalho sobre os erros dos alunos (HUBACKOVA, 2016), a pesquisa distingue entre feedback corretivo oral e escrito entre o professor e o aluno no processo de estudo de uma língua estrangeira (MACKEY, 2006). O feedback corretivo escrito está ligado à abordagem da correção dos erros dos alunos que precisam ser bem equilibrados e seletivos a vários tipos de erros. Pesquisadores dessa área exploram as questões relativas aos tipos de erros que requerem análise (BITCHENER; YOUNG; CAMERON, 2005) e quando e como o professor é aconselhado a responder aos erros dos alunos (ELLIS, 2008). Existem várias abordagens para os tipos desse tipo de feedback. Por escrito, alguns pesquisadores (ÖLMEZER-ÖZTÜRK, 2019) distinguem entre feedback direto, no qual o professor corrige o erro e escreve a escrita correta, e o feedback indireto, que envolve codificar os erros (ortografia [SP], gramática [GR], etc.) e enfatizá-los para que o próprio aluno os corrija. Outros pesquisadores (RUDZEWITZ et al., 2018) tendem a diferenciar entre dois tipos de feedback corretivo direto: a correção de erros pelo professor pessoalmente ou por meio de informações metalinguísticas, e feedback corretivo indireto, que se refere apenas às correções próprias dos alunos que os fazem pensar por si mesmos. Uma influência efetiva na formação e aperfeiçoamento de habilidades e habilidades da fala escrita é produzida pela identificação e correção de erros de cooperação com o aluno, combinados com tais tipos de trabalho como discutir erros em um grupo de alunos e individualmente (BLACK; NANNI, 2016), verificando e reescrevendo o trabalho escrito após receber comentários do professor (ELLIS et al., 2008), mantendo registros de erros a fim de desenvolver habilidades e habilidades adequadas do aluno (ARIDAH; ATMOWARDOYO; SALIJA, 2017). Todavia, apesar do substancial conjunto de pesquisas sobre o problema em estudo, é preciso prestar atenção especial ao estudo da eficácia de diferentes mecanismos de fornecimento de feedback corretivo escrito.
image/svg+xmlEficácia das técnicas de ensino de línguas estrangeiras: Fornecimento de feedback como forma de corrigir erros de escritaRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 5 O objetivo deste artigo é investigar a eficácia de diferentes tipos de feedback corretivo escrito entre o professor e o aluno no processo de aprendizagem de uma língua estrangeira em uma universidade. Os objetivos do estudo: 1. Projetar e realizar um estudo experimental sobre o uso de diferentes tipos de feedback corretivo escrito entre o professor e o aluno no processo de aprendizagem de uma língua estrangeira em uma universidade. 2. Concluir sobre o grau de eficácia do uso de diferentes tipos de feedback corretivo escrito com base no estudo experimental realizado. Hipótese da pesquisa: o uso de feedback corretivo escrito indireto é mais eficaz porque o caminho do feedback indireto requer mais participação do aluno, isto é, seu envolvimento ativo no processo. Métodos O estudo experimental da eficácia do fornecimento de feedback corretivo escrito entre o professor e o aluno no processo de aprendizagem de uma língua estrangeira na universidade foi realizado na Universidade Estadual de Tecnologia e Gestão de Moscou em 2021. O estudo experimental é realizado em 192 alunos do 2º e 3º anos de estudo. Destes, 98 pessoas estão incluídas no grupo experimental e 94 – no grupo de controle (CG). O controle da escrita de língua estrangeira dos alunos nas etapas formativas e de controle do experimento envolve a realização de testes de controle escrito. Na fase formativa do experimento, no CG, o método de feedback direto é empregado na verificação das provas de controle por escrito dos alunos: o professor corrige os erros e anota a resposta correta. No EG, o método utilizado na verificação das provas escritas dos alunos na fase formativa do experimento é o feedback indireto: o professor só aponta o erro para o aluno codificando-o de acordo com o esquema estabelecido de títulos de erro e sugere que o próprio aluno o corrija. Os testes de controle escrito concluídos pelos alunos na fase de controle do experimento são verificados de acordo com o seguinte esquema de avaliação:
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN e Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 6Tabela 1– Resultado do teste de controle escrito Tipo de erroPontos removidosMorfológico1Sintático2Lexical2Estilístico2Ortográfico2Pontuação1Fonte: Elaborado pelos autores Os resultados da avaliação dos testes de controle dos alunos na fase de controle do experimento permitem concluir sobre o grau de eficácia dos dois tipos de feedback corretivo escrito entre o professor e o aluno na aprendizagem de uma língua estrangeira em uma universidade. A confiabilidade das diferenças entre os resultados dos dois grupos estudantis antes e depois do experimento é testada através do teste t do estudante para amostras relacionadas e independentes. Resultados Os resultados do estudo do uso de diferentes tipos de feedback corretivo escrito no controle e grupos experimentais são mostrados na Tabela 2. Tabela 2– Resultados do estudo do uso de diferentes tipos de feedback corretivo escrito EgCgtEmppara amostras independentes Número médio de pontos removidos tEmppara amostras relacionadas Número médio de pontos removidos tEmppara amostras relacionadas Antes do experimento 26.4 4.23 25.8 0.87 0.76 Depois do experimento 15.6 22.7 4.51 Fonte: Elaborado pelos autores Como evidente na Tabela 2, a média de pontos removidos no EG antes da fase formativa do experimento é de 26,4 e, no CG, – 25,8. Os resultados da análise estatística da confiabilidade das diferenças pelo teste t do aluno para amostras independentes (para CG e EG) não mostram diferenças significativas entre os grupos (tEmp= 0,76).
image/svg+xmlEficácia das técnicas de ensino de línguas estrangeiras: Fornecimento de feedback como forma de corrigir erros de escritaRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 7 Após a conclusão da etapa formativa do experimento, os resultados no EG são muito melhores (a média de pontos removidos é igual a 15,6). Os resultados da análise estatística da confiabilidade das diferenças pelo teste t do Aluno para amostras relacionadas (para EG) também confirmam os maiores resultados no EG após o experimento formativo (tEmp= 4,23; p≤0,01)Enquanto isso, os resultados no CG não apresentam alteração considerável (o número médio de pontos removidos – 22,7) e os resultados da análise estatística pelo teste t do aluno para amostras relacionadas (para CG) não revelam diferenças significativas nos resultados da CG após a etapa formativa (tEmp= 0,87). Ao mesmo tempo, os resultados da análise estatística da confiabilidade das diferenças pelo teste t do aluno para amostras não relacionadas (para CG e EG) confirmam os maiores resultados no EG em comparação com o CG no número de erros após a fase formativa do experimento (tEmp= 4,51;p≤0,01). Discussão O estudo realizado confirma que o uso do feedback indireto é mais eficaz, uma vez que seu caminho requer maior participação e seu envolvimento ativo no processo, o que garante claramente maior eficiência dessa cooperação. No entanto, não há consenso sobre como exatamente o feedback indireto deve ser fornecido – codificando o erro de acordo com o esquema estabelecido de nomeação de erros (como em nosso estudo) ou através da chamada identificação "oculta" do erro, sublinhando-o no texto para que o aluno faça o diagnóstico e corrija por conta própria. Pesquisadores sugerem (BITCHENER; YOUNG; CAMERON, 2005) que tal detecção indireta de um erro força o aluno a analisá-lo, a estudar um certo fenômeno gramatical mais profundamente, e no processo de tal trabalho, a praticar suas habilidades de edição de texto, o que leva a um melhor sucesso a longo prazo na aprendizagem para escrever. Em nossa opinião, o feedback direto e indireto pode ser combinado eficientemente se o professor pretende elaborar uma determinada categoria de erros e codifica todos os erros nesta categoria, corrigindo fluentemente vários outros erros. Presume-se que a forma como essa correção "oculta" fornecida é pré-acordada com o aluno: seja simplesmente sublinhando os erros, codificando-os, usando símbolos editoriais, correções verbais ou comentários. A codificação de erros geralmente é menos demorada e parece ser a melhor maneira de corrigir, desde que o aluno entenda as marcas de codificação. Pesquisadores (BLACK; NANNI, 2016)
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN e Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 8alertam contra a excessiva intervenção direta na escrita dos alunos e a suposição dos professores sobre a autoria do texto. A literatura pedagógica científica oferece muitas dicas práticas para dar feedback na correção de erros de escrita. Entendendo a importância do feedback como um componente da estratégia metodológica global do processo de aprendizagem, os pesquisadores sugerem a necessidade de os professores desenvolverem um plano para esse trabalho. Em particular, R. Ellis et al. (2008) apresentar uma metodologia de planejamento em várias etapas que envolve análise diagnóstica das necessidades individuais dos alunos, determinação da categoria mais comum de erros, utilização de mini-aulas para trabalhar neles, intensificação do trabalho de parceiros e introdução de autocorreção de erros. Este plano, é claro, assume a presença do feedback do professor, seus comentários sobre as versões primária e final do trabalho escrito, que avaliam o progresso do aluno. Os princípios sobre os quais esse trabalho deve ser baseado são a pontualidade e a relevância para as necessidades linguísticas dos alunos (DMITRICHENKOVA et al., 2021). Ao contrário dos temores de alguns pesquisadores (MACKEY, 2006) sobre se todos os alunos prestam a devida atenção às correções do professor, os resultados de um estudo (RUDZEWITZ et al., 2018) nesta área mostram que cerca de 80% de todos os erros que os alunos são solicitados a corrigir são corrigidos com sucesso. Ao mesmo tempo, os alunos são encontrados para apreciar e contar com essa cooperação com o professor. Há também evidências convincentes (ARIDAH; ATMOWARDOYO; SALIJA, 2017) de um aumento constante na competência linguística dos alunos (POPOVA; BOBROVA; MALTZAGOV, 2021) cujos instrutores respondem a desvios de escrita em tempo hábil e trabalham as habilidades dos alunos em reconhecer e corrigir esses erros, pois as habilidades na identificação e reconhecimento de erros de edição permitem que eles os evitem no futuro. Estudando a questão de diferentes categorias de erros, pesquisadores (ELLIS, 2008) distinguem: (a) – erros que interferem na compreensão do texto e pertencem aos "globais" e (b) – erros que não são críticos para a percepção correta do texto. O critério de "globalidade" deste ou daquele erro varia muito dependendo do contexto. Erros também são, às vezes, divididos entre os que são fáceis de explicar e corretos confiando em normas e regras gramaticais e léxicas, e idiossincráticas, e os que requerem um alto nível de proficiência linguística. Exemplos de erros do primeiro grupo são aqueles em tempos verbais, o acordo entre o sujeito e o predicado, formas substantivos, pontuação, etc.
image/svg+xmlEficácia das técnicas de ensino de línguas estrangeiras: Fornecimento de feedback como forma de corrigir erros de escritaRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 9 O aluno tem um certo tempo para estudar os comentários do professor, discutir os erros, trabalhar neles com exercícios práticos e preparar uma versão corrigida do texto. Os erros mais complexos incluem aqueles em que o aluno é incapaz de corrigir com base apenas em livros didáticos normativos: escolha de palavras, estrutura de frases, uso de expressões idiomáticas e afins. Devido à falta de regras claras, tais erros exigem não apenas codificação, mas correção direta pelo professor. A explicação desses erros é acompanhada pelo desenvolvimento preliminar de exercícios de treinamento, a fim de identificar as fontes de erros e as formas de evitá-los (por exemplo, exercícios para encontrar uma palavra ou expressão adequada). Recomenda-se trabalhar os erros com base em textos de complexidade adequada, que já podem ser familiares ao aluno, prestando atenção ao reconhecimento das estruturas problemáticas e dos fenômenos gramaticais (ARIDAH; ATMOWARDOYO; SALIJA, 2017). Vale destacar a gama de fenômenos gramaticais que normalmente desencadeiam a discussão na análise de erros cometidos por estudantes que estudam uma língua estrangeira. Estes incluem: tempo verbal, verbos auxiliares, artigos, definição substantiva, acordo sujeito-predicado, partes da discurso, ordem da palavra em uma frase, escolha de palavras, estrutura de sentença. A abordagem para corrigir tais erros, em nossa opinião, deve ser bem equilibrada; é necessário evitar tanto subestimar a gravidade do erro como superestimá-lo sem levar em conta outras características do texto. Pesquisadores (BLACK; NANNI, 2016) recomendam que os professores tomem uma abordagem seletiva para diferentes categorias de erros, o que pressupõe que o trabalho principal seja feito na correção dos erros típicos globais, enquanto erros menos críticos (por exemplo, imprecisões de estilo) são apontados apenas nos trabalhos de alunos muito bem sucedidos e fortes. Uma certa economia de tempo é garantida por uma ampla introdução do trabalho em pares, com colegas e a auto-edição, bem como as mini-discussões, considerando as necessidades linguísticas específicas do grupo e tendo uma natureza bastante realista das tarefas. Identificar e corrigir erros em colaboração com o aluno não é a única maneira de promover efetivamente o aprimoramento das habilidades de escrita. Argumentamos que engajar os alunos na correção por pares é um bom fator motivador para desenvolver suas habilidades de aprendizado, porque os erros no trabalho de outras pessoas às vezes são mais fáceis de detectar do que no próprio. Um estudo de Liu e Carless (2006) descreve um processo claramente estruturado, supervisionado, em três estágios, no qual os alunos primeiro examinam erros em
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN e Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 10textos prontos, depois editam o trabalho um do outro, e só depois disso se concentram em editar seu próprio trabalho. Foram realizados estudos (BLACK; NANNI, 2016; ELLIS et al., 2008) sobre o feedback dos alunos sobre qual estratégia é a mais preferível para eles. Os resultados revelam que todos os alunos esperam pelos comentários do professor sobre seus erros. Construir e implementar uma estratégia para desenvolver as habilidades de escrita dos alunos é conhecido por exigir muito tempo e paciência do professor, bem como altas habilidades profissionais, mas a falta desse feedback causa certa ansiedade nos alunos, mina sua confiança tanto em suas habilidades quanto em seu professor. Escolhendo entre categorias de avaliação como conteúdo, organização de texto, gramática e vocabulário, os alunos insistem especialmente na explicação dos erros gramaticais. Certas dificuldades são causadas por comentários muito "escondidos" do professor (sublinhando, circulando, com flechas, etc.) Às vezes, erros de edição podem parecer desinteressantes, sem importância para os alunos, dependendo, em grande medida, dos comentários do professor. A falta de confiança em sua capacidade de corrigir um erro também leva os alunos a estarem relutantes em desenvolver suas habilidades de edição de texto. Ao mesmo tempo, os alunos demonstram claramente o desejo de cooperação no trabalho de correção de erros, pelo autodiagnóstico e pela autocorreção dos erros cometidos, em vez de uma simples cópia da versão correta. Um certo número de alunos sempre prefere correção parcial, ou seja, correção dos erros mais significativos. O ponto principal acordado por todos os alunos é que a estratégia do professor em relação aos erros precisa ser consistente, oportuna e integral e que o professor coopere com os alunos. Épreciso ter em mente que a eficácia deste trabalho também é condicionada por outros fatores: o nível de conhecimento do aluno, sua motivação (ARTEMOVA et al., 2021), peculiaridades de seu estilo de aprendizagem individual e personalidade, etc. (PANIKAROVA et al., 2021). Especificamente, analisando o nível de conhecimento dos alunos como um dos critérios mais importantes no desenvolvimento de uma estratégia de correção de erros, os pesquisadores (BITCHENER; JOVEM; CAMERON, 2005) distingue entre dois níveis: aquele em que o aluno não é capaz de diagnosticar seus próprios erros, e aquele em que o aluno é capaz de autocorrigir os erros apontados pelo professor. Dependendo do nível de conhecimento dos alunos, o professor escolhe diferentes métodos e técnicas de trabalho com o grupo.
image/svg+xmlEficácia das técnicas de ensino de línguas estrangeiras: Fornecimento de feedback como forma de corrigir erros de escritaRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 11 Conclusão Em resumo, a eficácia do feedback corretivo escrito é afetada pelas seguintes condições: a consciência do professor sobre os tipos e métodos de sua provisão; a regularidade de uso; a compreensão do aluno, focando primeiro nos objetivos de aprendizagem e depois na avaliação; a influência positiva sobre o aluno, dando detalhes e tendo uma abordagem individualizada. Os resultados do estudo corroboram a hipótese de que o uso de feedback corretivo escrito indireto é mais eficaz porque requer maior participação do aluno, ou seja, seu envolvimento ativo no processo de aprendizagem. Finalmente, pesquisas prospectivas devem ser direcionadas à análise cientificamente fundamentada e à seleção de técnicas, métodos e meios eficazes de fornecer feedback corretivo escrito sobre os erros de escrita dos alunos como um componente da estratégia metodológica geral do processo de aprendizagem da língua estrangeira. REFERÊNCIAS ARIDAH, A.; ATMOWARDOYO, H.; SALIJA, K. Teacher practices and students’ preferences for written corrective feedback and their implications on writing instruction. International Journal of English Linguistics, v. 7, n. 1, p. 112–125, 2017. Disponível em: https://ccsenet.org/journal/index.php/ijel/article/view/63921. Acesso em: 15 ago. 2021. ARTEMOVA, E. G. et al. El uso de códigos QR y su eficacia en la aplicación de competencias profesionales [The use of QR codes and their efficiency in the application of professional skills]. Apuntes Universitarios, v. 12, n. 1, p. 419–435, 2021. Disponível em: https://apuntesuniversitarios.upeu.edu.pe/index.php/revapuntes/article/view/978. Acesso em: 17 ago. 2021. BAIDELDINOVA, G. et al.Improving students' independent work under teacher's supervision during foreign language learning at the university. European Journal of Contemporary Education, v. 10, n. 4, p. 868-878, 2021. Disponível em: https://oaji.net/pdf.html?n=2022/2-1642888759.pdf. Acesso em: 7 jul. 2021. BESSONOV, K. A. Obratnaia sviaz v pedagogicheskom vzaimodeistvii prepodavatelia i studenta [Feedback in the pedagogical interaction between a teacher and a student]. Juvenis Scientia, n. 2, p. 86-89, 2016. Disponível em: https://cyberleninka.ru/article/n/obratnaya-svyaz-v-pedagogicheskom-vzaimodeystvii-prepodavatelya-i-studenta. Acesso em: 09 jul. 2021. BITCHENER, J.; YOUNG, S.; CAMERON, D. The effect of different types of corrective feedback on ESL student writing. Journal of Second Language Writing, v. 14, n. 3, p. 191–205, 2005. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S1060374305000366. Acesso em: 3 ago. 2021.
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN e Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 12BLACK, D. A.; NANNI, A. Written corrective feedback: Preferences and justifications of teachers and students in a Thai context. Gema Online Journal of Language Studies, v. 16, n. 3, p. 99–114, 2016. Disponível em: https://www.researchgate.net/publication/309922729_Written_Corrective_Feedback_Preferences_and_Justifications_of_Teachers_and_Students_in_a_Thai_Context. Acesso em: 23 jul. 2021. BREDIKHINA, I.A. Metodika prepodavaniia inostrannykh iazykov: Obuchenie osnovnym vidam rechevoi deiatelnosti [Methodology of teaching foreign languages: Teaching the main types of speech activity]. Ekaterinburg: Ural University Publishing House, 2018. BROWN, G. T.; HARRIS, L. R.; HARNETT, J. Teacher beliefs about feedback within an assessment for learning environment: Endorsement of improved learning over student wellbeing. Teaching and Teacher Education, v. 28, n. 7, p. 968–978, 2012. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0742051X12000807?via%3Dihub. Acesso em: 11 ago. 2021. DMITRICHENKOVA, S. V. et al.Especificidades da estabilidade estrutural da criatividade profissional de um professor de línguas estrangeiras [Specifics of the structural stability of professional creativity of a foreign language teacher]. Revista EntreLinguas, v. 7, n. esp. 2, p. e021017, 2021. Available: in: https://periodicos.fclar.unesp.br/entrelinguas/article/view/15143. Acesso em: 20 ago. 2021. DZYUBA, E. M. et al. Open education courses as a relevant environment for improving professional competencies of teachers. Revista Tempos e Espaços Em Educação, v. 14, n. 33, e16164, 2021. Disponível em: https://seer.ufs.br/index.php/revtee/article/view/16164. Acesso em: 07 ago. 2021. ELLIS, R. A typology of written corrective feedback types. ELT Journal, v. 63, n. 2, p. 97–107, 2008. Disponível em: https://academic.oup.com/eltj/article-abstract/63/2/97/440749?login=false. Acesso em:19 jul. 2021. ELLIS, R. et al.The effects of focused and unfocused written corrective feedback in English as a foreign language context. System, v. 26, n. 3, p. 353–371, 2008. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0346251X08000390. Acesso em: 20 jul. 2021. FARJADNASAB, A. H.; KHODASHENAS, M. R. The effect of written corrective feedback on EFL students’ writing accuracy. International Journal of Research in English Education, v. 2, n. 2, p. 30–42, 2017. Disponível em: https://www.sid.ir/en/Journal/ViewPaper.aspx?ID=526154. Acesso em: 07 ago. 2021. GAMLEM, S. M.; MUNTHE, E. Mapping the quality of feedback to support students’ learning in lower secondary classrooms. Cambridge Journal of Education, v. 44, n. 1, p. 75–92, 2014. Disponível em: https://www.tandfonline.com/doi/abs/10.1080/0305764X.2013.855171. Acesso em: 14 jul. 2021.
image/svg+xmlEficácia das técnicas de ensino de línguas estrangeiras: Fornecimento de feedback como forma de corrigir erros de escritaRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 13 GAMLEM, S. M.; SMITH, K. Student perceptions of classroom feedback. Assessment in Education: Principles, Policy & Practice, v. 20, n. 2, p. 150-169, 2013. Disponível em: https://www.tandfonline.com/doi/abs/10.1080/0969594X.2012.749212. Acesso em: 22 jul. 2021. GOLUBEVA, T. I. et al. The impact of visualization tools in distance English language learning: the experience of the Russian university teachers. Revista tempos e espaços em educação, v. 14, n. 33, e16111, 2021. Disponível em: https://dialnet.unirioja.es/servlet/articulo?codigo=8077572. Acesso em: 23 jul. 2021. HUBACKOVA, S. Feedback in on-line foreign language teaching. Procedia - Social and Behavioral Sciences, v. 232, p. 316-320, 2016. Disponível em: https://www.sciencedirect.com/science/article/pii/S1877042816312605. Acesso em: 04 ago. 2021. LIU, N. F.; CARLESS, D. Peer feedback: The learning element of peer assessment. Teaching in Higher Education, v. 11, n. 3, p. 279-290, 2006. Disponível em: https://www.tandfonline.com/doi/abs/10.1080/13562510600680582. Acesso em: 15 jul. 2021. MACKEY, A. Feedback, noticing and instructed second language learning. Applied Linguistics, v. 27, n. 3, p. 405–430, 2006. Disponível em: https://academic.oup.com/applij/article-abstract/27/3/405/182957?login=false. Acesso em: 20 jul. 2021. MALEKI, A.; ESLAMI, E. The effects of written corrective feedback techniques on EFL students’ control over grammatical construction of their written English. Theory and Practice in Language Studies, v. 3, n. 7, p. 1250-1257, 2013. Disponível em: https://www.academypublication.com/issues/past/tpls/vol03/07/24.pdf. Acesso em: 12 ago. 2021. ÖLMEZER-ÖZTÜRK, E. Beliefs and practices of Turkish EFL teachers regarding oral corrective feedback: A small-scale classroom research study. Language Learning Journal, v. 47, n. 2, p. 219-228, 2019. Disponível em: https://www.tandfonline.com/doi/full/10.1080/09571736.2016.1263360. Acesso em: 17 ago. 2021. PANIKAROVA, N. P. et al.A influência da avaliação formativa das realizações acadêmicas dos alunos para aumentar sua motivação para estudar na universidade [The influence of formative assessment of students’ academic achievements on increasing their motivation to study at university]. Revista EntreLinguas, Araraquara, v. 7, n. esp. 4, p. e021088, 2021. Disponível em: https://periodicos.fclar.unesp.br/entrelinguas/article/view/15636. Acesso em: 03 ago. 2021. PARR, J. M.; HAWE, E. Facilitating real-time observation of, and peer discussion and feedback about, practice in writing classrooms. Professional Development in Education, v. 43, n. 5, p. 709–728, 2017. Disponível em: https://www.tandfonline.com/doi/full/10.1080/19415257.2016.1241818. Acesso em: 30 jul. 2021.
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN e Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 14POPOVA, E. N.; BOBROVA, S. E.; MALTZAGOV, I. D. Desenvolvimento da competência e cultura da utilização de ferramentas de tradução automática em futuros tradutores (a exemplo de dominar o uso de ferramentas gatos) [Development of the competency and culture of usingautomatic translation tools in future translators (on the example of mastering the use of cat tools)]. Revista EntreLinguas, Araraquara, v. 7, n. esp. 5, 2021. Disponível em: https://periodicos.fclar.unesp.br/entrelinguas/article/view/16024. Acesso em: 10 ago. 2021. RUDZEWITZ, B. et al. Generating feedback for English foreign language exercises. New Orleans: Association for Computational Linguistics, 2018. SHUTE, V. J. Focus on formative feedback. Review of Educational Research, v. 78, n. 1, p. 153-189, 2008. Disponível em: https://journals.sagepub.com/doi/10.3102/0034654307313795. Acesso em: 12 jul. 2021. SKOVHOLT, K. Anatomy of a teacher–student feedback encounter. Teaching and Teacher Education, v. 69, p. 142–153, 2018. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0742051X17300082. Acesso em: 13 ago. 2021. USMANOVA, E.; KHOKHLOVA, E.; FEDOSEEV, R. Mediation and communication practices in education. Revista Tempos E Espaços Em Educação, v. 14, n. 33, e16562, 2021. Disponível em: https://dialnet.unirioja.es/servlet/articulo?codigo=8120468. Acesso em: 07 ago.2021. Como referenciar este artigo RETS, N.; PIVNEVA, S.; PASIUKOVA, O.; ZOLOTAREVA, S.; ABALYAN, Z.; KHUTOVA, E. Eficácia das técnicas de ensino de línguas estrangeiras: Fornecimento de feedback como forma de corrigir erros de escrita. Rev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, mar. 2022. e-ISSN: 2447-3529. DOI: https://doi.org/10.29051/el.v8iesp.1.16934 Submetido em: 27/12/2021 Revisões requeridas em: 10/02/2022 Aprovado em: 05/03/2022 Publicado em:30/03/2022
image/svg+xmlEffectiveness of foreign language teaching techniques: Provision of feedback as a way to correct writing mistakesRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 1 EFFECTIVENESS OF FOREIGN LANGUAGE TEACHING TECHNIQUES: PROVISION OF FEEDBACK AS A WAY TO CORRECT WRITING MISTAKES EFICÁCIA DAS TÉCNICAS DE ENSINO DE LÍNGUAS ESTRANGEIRAS: FORNECIMENTO DE FEEDBACK COMO FORMA DE CORRIGIR ERROS DE ESCRITA EFICACIA DE LAS TÉCNICAS DE ENSEÑANZA DE LENGUA EXTRANJERA: PROVISIÓN DE RETROALIMENTACIÓN COMO FORMA DE CORREGIR ERRORES DE ESCRITURA Nataliya RETS1Svetlana PIVNEVA2Olga PASIUKOVA3Svetlana ZOLOTAREVA4Zhanna ABALYAN5Elmira KHUTOVA6ABSTRACT: The study analyzes the problem of providing corrective feedback in studying a foreign language at the university as one of the types of feedback between a teacher and a student. The article regards feedback as a way of correcting students’ mistakes in executing control. The paper offers a characteristic of written feedback, identifies its various types and subtypes in terms of their specific characteristics and efficiency of use. Various approaches to the correction of students’ mistakes in writing and speech are analyzed. Particular attention is devoted to the conditions of giving effective feedback. The conducted experimental study of the effectiveness of different types of written corrective feedback between a teacher and a student in the process of foreign language learning concludes that indirect written corrective feedback proves more effective since indirect feedback requires greater participation of the students and their active involvement in the learning process. KEYWORDS: Foreign language. Corrective feedback. Writing. Direct feedback. Indirect feedback. 1Moscow State University of Technologies and Management named after K.G. Razumovskiy (MSUTM), Moscow –Russia. Associate Professor. ORCID: https://orcid.org/0000-0003-0578-2227. E-mail: n.rets@mgutm.ru 2Russian State Social University (RSSU), Moscow –Russia. Associate Professor. ORCID: https://orcid.org/0000-0003-2288-9915. E-mail: tlt-swetlana@yandex.ru 3Moscow State University of Technologies and Management named after K.G. Razumovskiy (MSUTM), Moscow –Russia. Associate Professor. ORCID: https://orcid.org/0000-0002-5321-0154. E-mail: o.pasuikova@gmail.com 4Financial University under the government of the Russian Federation (FinU), Moscow –Russia. Associate Professor. ORCID: https://orcid.org/0000-0002-5528-9476. E-mail: socege@yandex.ru 5Financial University under the government of the Russian Federation (FinU), Moscow –Russia. Associate Professor. ORCID: https://orcid.org/0000-0003-2255-9019. E-mail: ZAAbalyan@fa.ru 6Kabardino-Balkarian State University named after H.M. Berbekov (KBSU), Nalchik –Russia. Associate Professor. ORCID: https://orcid.org/0000-0003-0633-2789. E-mail: khutova@mail.ru
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN and Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.169342RESUMO:O estudo analisa o problema do feedback corretivo no estudo de uma língua estrangeira na universidade como um dos tipos de feedback entre professor e aluno. O artigo considera o feedback como uma forma de corrigir os erros dos alunos na execução do controle. O artigo oferece uma característica de feedback escrito, identifica seus vários tipos e subtipos em termos de suas características específicas e eficiência de uso. Várias abordagens para a correção de erros de escrita e fala dos alunos são analisadas. É dada especial atenção às condições de dar feedback eficaz. O estudo experimental realizado sobre a eficácia de diferentes tipos de feedback corretivo escrito entre um professor e um aluno no processo de aprendizagem de língua estrangeira conclui que o feedback corretivo indireto escrito se mostra mais eficaz, pois o feedback indireto requer maior participação dos alunos e seu envolvimento ativo na o processo de aprendizagem.PALAVRAS-CHAVE:Língua estrangeira. Feedback corretivo. Escrevendo. Feedback direto. Feedback indireto.RESUMEN:El estudio analiza el problema del feedback correctivo en el estudio de una lengua extranjera en la universidad como uno de los tipos de feedback entre un profesor y un alumno. El artículo considera la retroalimentación como una forma de corregir los errores de los estudiantes en la ejecución del control. El documento ofrece una característica de la retroalimentación escrita, identifica sus diversos tipos y subtipos en términos de sus características específicas y eficiencia de uso. Se analizan varios enfoques para la corrección de los errores de los estudiantes en la escritura y el habla. Se presta especial atención a las condiciones para dar una retroalimentación efectiva. El estudio experimental realizado sobre la eficacia de diferentes tipos de feedback correctivo escrito entre un profesor y un alumno en el proceso de aprendizaje de una lengua extranjera concluye que el feedback correctivo indirecto por escrito resulta más eficaz ya que el feedback indirecto requiere una mayor participación de los alumnos y su implicación activa en la el proceso de aprendizaje.PALABRAS CLAVE:Lengua extranjera. Retroalimentación correctiva. Escribiendo. Retroalimentación directa. Retroalimentación indirecta.Introduction Up-to-date renewal of the content and structure of education calls for a fundamental revision of teacher-students’relationships, particularly for a re-profilization of the teacher from a supervisor of learning activities, who must control the process of knowledge assimilation by students, into an equal participant in this process (BAIDELDINOVA et al., 2021; DZYUBA et al., 2021). Creating a favorable learning environment is impossible without feedback, which allows the teacher to regularly monitor and adjust the process of knowledge acquisition by students (BESSONOV, 2016). At the present stage, there is increased attention to the development of such a strategy of the teacher regarding the errors of writing in the study of a foreign language that would
image/svg+xmlEffectiveness of foreign language teaching techniques: Provision of feedback as a way to correct writing mistakesRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 3 meet the linguistic needs of the student (BREDIKHINA, 2018). Having the purpose to develop students’ ability to freely express their thoughts in writing, to achieve a certain skill in constructing their own written text, the teacher, certainly, cannot ignore grammatical and vocabulary aspects of student writing, not to contribute to the development of ерушкediting skills (MALEKI; ESLAMI, 2013). For this reason, today, the issues of providing corrective feedback in the process of learning a foreign language in institutions of higher education, as well as of the effective ways of its provision and the proper correction of students’ mistakes in writing remain topical (USMANOVA; KHOKHLOVA; FEDOSEEV, 2021). Literature review Considering pedagogical research on the provision of feedback, it should be noted that the issue of feedback has for a long time been regarded predominantly in terms of classifying the types of feedback. Specifically, researchers propose various typologies of feedback and examine it in different contexts: in teacher-student communication (SHUTE, 2008), in oral or written speech (FARJADNASAB; KHODASHENAS, 2017). Special attention is paid by scholars to the study of students’ awareness of the types of effective feedback(GAMLEM; SMITH, 2013), their recognition of the importance of using it (GAMLEM; MUNTHE, 2014), as well as the provision of feedback among students to one another (LIU; CARLESS, 2006). Feedback acts in two directions: the teacher’s and the student’s. The feedback acting in the direction of the teacher provides them with information about the level of students’ performance. The teacher analyzes the information about the presence of some deficiencies, monitors deviations in the speech activity of students, reveals the degree of compliance of the chosen learning strategy and tactics with the real needs. This makes it possible to timely assess the methodological situation and make the necessary corrections in the selection of techniques, ways, and methods of teaching, the selection of exercises, determining the mode and duration of their performance, and the sequence of the organization of all educational work with students (SKOVHOLT, 2018). Ensuring the effectiveness of feedback, according to researchers (PARR; HAWE, 2017), requires following a specific sequence of steps in giving it: at the first stage, the performance and degree of mastery of the material by the student is assessed and goals are set; at the second stage, assessment, self-assessment, and evaluation of work in pairs are conducted; at the third stage, the students monitor their achievements and reflect on them.
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN and Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.169344Researchers (BROWN; HARRIS; HARNETT, 2012) point out three aspects of effective feedback: its structure (goals, location of provision, timing, the student’s proficiency in the material), content (constructive, differentiated), and format (oral, written, graphic, video) (GOLUBEVA et al., 2021). Since corrective feedback, known as the correction of mistakes or grammar, is the teacher’s primary tool in working on students’ mistakes(HUBACKOVA, 2016), research distinguishes between oral and written corrective feedback between the teacher and the student in the process of studying a foreign language (MACKEY, 2006). Written corrective feedback is linked to the approach to the correction of students’ mistakes that needs to be well-balanced and selective to various types of mistakes. Researchers in this area explore the issues concerning the types of mistakes that require analysis (BITCHENER; YOUNG; CAMERON, 2005) and when and how the teacher is advised to respond to students’ mistakes (ELLIS, 2008). There are several approaches to the types of this kind of feedback. In writing, some researchers (ÖLMEZER-ÖZTÜRK, 2019) distinguish between direct feedback, in which the teacher corrects the error and writes out the correct writing, and indirect feedback, which involves coding the mistakes (spelling [SP], grammar [GR], etc.) and underlining them so that the student corrects it themselves. Other researchers (RUDZEWITZ et al., 2018) tend to differentiate between two types of direct corrective feedback: the correction of mistakes by the teacher personally or by means of meta-linguistic information, and indirect corrective feedback, which refers to only students’ own corrections that make them think for themselves. An effective influence on the formation and improvement of skills and abilities of written speech is produced by the identification and correction of mistakes in cooperation with the student, combined with such types of work as discussing mistakes in a group of students and individually (BLACK; NANNI, 2016), checking and re-writing the written work after receiving comments from the teacher (ELLIS et al., 2008), keeping records of mistakes in order to develop appropriate skills and abilities of the student (ARIDAH; ATMOWARDOYO; SALIJA, 2017). However, despite the substantial body of research on the problem under consideration, particular attention needs to be paid to the study of the effectiveness of different mechanisms of providing written corrective feedback.
image/svg+xmlEffectiveness of foreign language teaching techniques: Provision of feedback as a way to correct writing mistakesRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 5 The aim of this article is to investigate the effectiveness of different types of written corrective feedback between the teacher and the student in the process of learning a foreign language in a university. The study objectives: 1. To design and conduct an experimental study on the use of different types of written corrective feedback between the teacher and the student in the process of learning a foreign language in a university. 2. To conclude on the degree of effectiveness of using different types of written corrective feedback based on the conducted experimental study. Research hypothesis: the use of indirect written corrective feedback is more effective because the indirect feedback pathway requires more student participation, their active involvement in the process. Methods The experimental study of the effectiveness of the provision of written corrective feedback between the teacher and the student in the process of learning a foreign language in the university was carried out at the Moscow State University of Technology and Management in 2021. The experimental study is conducted on 192 students in the 2nd and 3rd years of study. Of these, 98 people are included in the experimental group and 94 –in the control group. The control of students’ foreign language writing at the formative and control stages of the experiment involves the performance of written control tests. At the formative stage of the experiment, in the CG, the direct feedback method is employed when checking the students’ written control tests: the teacher corrects the mistakes and writes down the correct answer. In the EG, the method used when checking students’ written tests at the formative stage of the experiment is indirect feedback: the teacher only points out the mistake to the student by coding it according to the established scheme of mistake titles and suggests that the student correct it themselves. The written control tests completed by the students at the control stage of the experiment are checked according to the following assessment scheme:
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN and Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.169346Table 1–Results of the written control tests Type of mistake Points removed Morphological 1 Syntactic 2 Lexical 2 Stylistic 2 Spelling 2 Punctuation 1 Source: Elaborated by the authors The results of the assessment of students’ control tests at the control stage of the experiment allow concluding on the degree of effectiveness of the two types of written corrective feedback between the teacher and the student in learning a foreign language at a university. The reliability of differences between the results of the two student groups before and after the experiment is tested via Student’s t-test for related and independent samples. Results The results of the study of the use of different types of written corrective feedback in the control and experimental groups are shown in Table 2. Table 2–Results of the study of the use of different types of written corrective feedback EG CG tEmpfor independent samples Average number of removed points tEmpfor related samples Average number of removed points tEmpfor related samples Before the experiment 26.4 4.23 25.8 0.87 0.76 After the experiment 15.6 22.7 4.51 Source: Elaborated by the authors As evident from Table 2, the average number of removed points in the EG prior to the formative stage of the experiment is 26.4 and, in the CG, –25.8. The results of statistical analysis of the reliability of differences by Student’s t-test for independent samples (for CG and EG) shows no significant differences between the groups (tEmp= 0.76). After the completion of the formative stage of the experiment, the results in the EG are much better (the average number of points removed equals 15.6). The results of statistical
image/svg+xmlEffectiveness of foreign language teaching techniques: Provision of feedback as a way to correct writing mistakesRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 7 analysis of the reliability of differences by Student’s t-test for related samples (for EG) also confirms the higher results in the EG after the formative experiment (tEmp= 4.23;p≤0.01)Meanwhile, the results in the CG show no considerable change (the average number of points removed –22.7) and the results of statistical analysis by Student’s t-test for related samples (for CG) reveal no significant differences in the results of CG after the formative stage (tEmp= 0.87). At the same time, the results of statistical analysis of the reliability of differences by Student’s t-test for unrelated samples (for CG and EG) confirms the higher results in the EG in comparison with the CG in the number of mistakes after the formative stage of the experiment (tEmp= 4.51;p≤0.01). Discussion The conducted study confirms that the use of indirect feedback is more effective since the pathway of indirect feedback requires greater participation and their active involvement in the process, which clearly guarantees greater efficiency of such cooperation. However, there is no consensus on how exactly the indirect feedback should be provided –by coding the mistake according to the established scheme of mistake naming (as in our study) or through the so-called “hidden” identification of the mistake by underlining it in the text so that the student diagnoses and corrects it on their own. Researchers suggest (BITCHENER; YOUNG; CAMERON, 2005) that such indirect detection of a mistake forces the student to analyze it, to study a certain grammatical phenomenon more deeply, and in the process of such work, to practice their text editing skills, which leads to better, long-term success in learning to write. In our view, direct and indirect feedback can be efficiently combined if the teacher aims to work out a particular category of mistakes and codes all errors in this category while fluently correcting various other mistakes. It is assumed that the way in which this “hidden” correction provided is pre-agreed upon with the student: be it by simply underlining the mistakes, coding them, using editorial symbols, verbal corrections, or comments. Mistake coding is usually less time-consuming and appears to be the best way to correct, provided that the student understands the coding marks. Researchers (BLACK; NANNI, 2016) alert against excessive direct intervention in student writing and teachers’ assumption of text authorship.Scientific pedagogical literature offers many practical tips for providing feedback in the correction of writing mistakes. Understanding the importance of feedback as a component of the overall methodological strategy of the learning process, researchers suggest the need
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN and Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.169348for teachers to develop a plan for such work. In particular, R. Ellis et al. (2008) present a multi-step planning methodology that involves diagnostic analysis of individual student needs, determining the most common category of mistakes, using mini-lessons to work on them, intensifying partner work, and introducing self-correction of mistakes. This plan, of course, assumes the presence of the teacher’s feedback, their comments on both the primary and final versions of the written work, which assess the student’s progress. The principles on which such work should be based are timeliness and relevance to students’ language needs(DMITRICHENKOVA et al., 2021). Contrary to the fears of some researchers (MACKEY, 2006) about whether all students pay due attention to the teacher’s corrections, the results of a study (RUDZEWITZ et al., 2018) in this area show that about 80% of all mistakes that students are asked to correct are successfully corrected. At the same time, students are found to greatly appreciate and count on such cooperation with the teacher. There is also compelling evidence (ARIDAH; ATMOWARDOYO; SALIJA, 2017) of a steady increase in the language competence of students (POPOVA; BOBROVA; MALTZAGOV, 2021) whose instructors respond to writing mistakes in a timely manner and work on students’ skills in recognizing and correcting writing mistakes, as skills in identifying and acknowledging editing errors allow them to avoid them in the future. Studying the issue of different categories of mistakes, researchers (ELLIS, 2008) distinguish: (a) –mistakes that interfere with the understanding of the text and belong to the “global” ones, and (b) –mistakes that are not critical for the correct perception of the text. The criterion of “globality” of this or that mistake varies majorly depending on the context. Mistakes are also sometimes divided into those that are easy to explain and correct relying on grammatical and lexical norms and rules, and idiosyncratic ones, the detection of which requires a high level of language proficiency. Examples of errors of the first group are those in verb tenses, the agreement between the subject and the predicate, noun forms, punctuation, etc. The student is given a certain amount of time to study the teacher’s comments, discuss the mistakes, work on them with practice exercises, and prepare a corrected version of the text. The more complex mistakes include those which the student is unable to correct based only on normative textbooks: word choice, sentence structure, the use of idiomatic expressions, and the like.
image/svg+xmlEffectiveness of foreign language teaching techniques: Provision of feedback as a way to correct writing mistakesRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 9 Due to the lack of clear rules, such mistakes require not just coding, but direct correction by the teacher. Explanation of such mistakes is accompanied by preliminary development of training exercises in order to identify the sources of mistakes and ways to avoid them (e.g., exercises on finding an adequate word or expression). It is recommended to work on the mistakes based on texts of appropriate complexity, which may already be familiar to the student while paying attention to the recognition of the problematic structures and grammatical phenomena (ARIDAH; ATMOWARDOYO; SALIJA, 2017). It is worth outlining the range of the grammatical phenomena that typically trigger discussion in the analysis of mistakes made by students studying a foreign language. These include: verb tenses, verb condition, auxiliary verbs, articles, noun definition, subject-participant agreement, parts of speech, word order in a sentence, word choice, sentence structure. The approach to correcting such mistakes, in our opinion, should be well-balanced; it is necessary to avoid both underestimating the seriousness of the mistake and overestimating it without taking into account other features of the text. Researchers (BLACK; NANNI, 2016) recommend teachers to take a selective approach to different categories of mistakes, which presupposes that the main work is done on correcting the typical, global mistakes, while less critical mistakes (e.g., style inaccuracies) are paid attention to only in the works of very successful, strong students. A certain time saving is ensured by a wide introduction of work in pairs, partner and self-editing, mini-discussions, consideration of the specific linguistic needs of the group, and quite a realistic nature of the tasks. Identifying and correcting mistakes in collaboration with the student is not the only way to effectively promote the improvement of writing skills. We argue that engaging students in peer-editing is a good motivating factor for developing their editing skills because mistakes in other people’s work are sometimeseasier to detect than in one’s own. A studyby Liu and Carless (2006) describes a clearly structured, supervised, three-stage process in which students first examine mistakes in ready-made texts, then edit each other’s work, and only after that focus on editing their own work. Studies were conducted (BLACK; NANNI, 2016; ELLIS et al., 2008) on students’feedback about which strategy is the most preferable for them. The results reveal that all students hope for the teacher’s comments on their mistakes. Building and implementing a strategy to develop students’ writing skills is known to require a lot of teacher’s time and patience, as well as high professional skills, but the lack of such feedback causes certain
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN and Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.1693410anxiety in students, undermines their confidence in both their abilities and their teacher. Choosing among such assessment categories as content, text organization, grammar, and vocabulary, students especially insist on the explanation of grammatical errors. Certain difficulties are caused by too “hidden” comments of the teacher (underlining, circling, arrows, etc.) At times, editing mistakes may seem uninteresting, unimportant to students, depending to a large extent on the teacher’s comments. Lack of confidence in their ability to correct a mistake also leads students to be reluctant to develop their text-editing skills. At the same time, students clearly show a desire for cooperation in the work on mistake correction, for self-diagnosis and self-correction of the mistakes made, instead of simple copying of the correct version. A certain number of students always prefer partial correction, that is, correction of the most significant mistakes. The main point agreed upon by all students is that the teacher’s strategy with regard to mistakes needs to be consistent, timely, and integral and that the teacher cooperates with students. It needs to be borne in mind that the effectiveness of this work is also conditioned by other factors: the student’s level of knowledge, their motivation(ARTEMOVA et al., 2021), peculiarities of their individual learning style and personality, etc. (PANIKAROVA et al., 2021). Specifically, analyzing the level of students’ knowledge as one of the most important criteria in the development of a strategy on mistake correction, the researchers (BITCHENER; YOUNG; CAMERON, 2005) distinguish between two levels: the one at which the student is not able to diagnose their mistakes themselves, and the one at which the student is able to self-correct the mistakes pointed out by the teacher. Depending on the level of students’ knowledge, the teacher chooses different methods and techniques of working with the group. Conclusion To draw a summary, the effectiveness of written corrective feedback is affected by the following conditions: the teacher’s awareness of the types and methods of its provision; regularity of use; understandability for the student; focusing first on learning objectives and then on assessment; positive influence on the student; giving details and having an individualized approach. The results of the study support the hypothesis that the use of indirect written corrective feedback is more effective because it requires greater student participation, their active involvement in the learning process.
image/svg+xmlEffectiveness of foreign language teaching techniques: Provision of feedback as a way to correct writing mistakesRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 11 Prospective further research should be aimed at scientifically grounded analysis and selection of effective techniques, methods, and means of providing written corrective feedback on students’ writing mistakes as a component of the overall methodological strategy of the foreign language learning process. REFERENCES ARIDAH, A.; ATMOWARDOYO, H.; SALIJA, K. Teacher practices and students’ preferences for written corrective feedback and their implications on writing instruction. International Journal of English Linguistics, v. 7, n. 1, p. 112–125, 2017. Available in: https://ccsenet.org/journal/index.php/ijel/article/view/63921. Access in: 15 Aug. 2021. ARTEMOVA, E. G. et al. El uso de códigos QR y su eficacia en la aplicación de competencias profesionales [The use of QR codes and their efficiency in the application of professional skills]. Apuntes Universitarios, v. 12, n. 1, p. 419–435, 2021. Available in: https://apuntesuniversitarios.upeu.edu.pe/index.php/revapuntes/article/view/978. Access in: 17 Aug. 2021. BAIDELDINOVA, G. et al.Improving students' independent work under teacher's supervision during foreign language learning at the university. European Journal of Contemporary Education, v. 10, n. 4, p. 868-878, 2021. Available in: https://oaji.net/pdf.html?n=2022/2-1642888759.pdf. Acceso in: 7 July 2021. BESSONOV, K. A. Obratnaia sviaz v pedagogicheskom vzaimodeistvii prepodavatelia i studenta [Feedback in the pedagogical interaction between a teacher and a student]. Juvenis Scientia, n. 2, p. 86-89, 2016. Available in: https://cyberleninka.ru/article/n/obratnaya-svyaz-v-pedagogicheskom-vzaimodeystvii-prepodavatelya-i-studenta. Access in: 09 July 2021. BITCHENER, J.; YOUNG, S.; CAMERON, D. The effect of different types of corrective feedback on ESL student writing. Journal of Second Language Writing, v. 14, n. 3, p. 191–205, 2005. Available in: https://www.sciencedirect.com/science/article/abs/pii/S1060374305000366. Access in: 3 Aug. 2021. BLACK, D. A.; NANNI, A. Written corrective feedback: Preferences and justifications of teachers and students in a Thai context. Gema Online Journal of Language Studies, v. 16, n. 3, p. 99–114, 2016. Available in: https://www.researchgate.net/publication/309922729_Written_Corrective_Feedback_Preferences_and_Justifications_of_Teachers_and_Students_in_a_Thai_Context. Access in: 23 July 2021. BREDIKHINA, I.A. Metodika prepodavaniia inostrannykh iazykov: Obuchenie osnovnym vidam rechevoi deiatelnosti [Methodology of teaching foreign languages: Teaching the main types of speech activity]. Ekaterinburg: Ural University Publishing House, 2018. BROWN, G. T.; HARRIS, L. R.; HARNETT, J. Teacher beliefs about feedback within an assessment for learning environment: Endorsement of improved learning over student
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN and Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.1693412wellbeing. Teaching and Teacher Education, v. 28, n. 7, p. 968–978, 2012. Available in: https://www.sciencedirect.com/science/article/abs/pii/S0742051X12000807?via%3Dihub. Access in: 11 Aug. 2021. DMITRICHENKOVA, S. V. et al. Especificidades da estabilidade estrutural da criatividade profissional de um professor de línguas estrangeiras [Specifics of the structural stability of professional creativity of a foreign language teacher]. Revista EntreLinguas, v. 7, n. esp. 2, p. e021017, 2021. Available: in: https://periodicos.fclar.unesp.br/entrelinguas/article/view/15143. Access in: 20 Aug. 2021. DZYUBA, E. M. et al. Open education courses as a relevant environment for improving professional competencies of teachers. Revista Tempos e Espaços Em Educação, v. 14, n. 33, e16164, 2021. Available in: https://seer.ufs.br/index.php/revtee/article/view/16164. Acceso in: 07 Aug. 2021. ELLIS, R. A typology of written corrective feedback types. ELT Journal, v. 63, n. 2, p. 97–107, 2008. Available in: https://academic.oup.com/eltj/article-abstract/63/2/97/440749?login=false. Access in: 19 July 2021. ELLIS, R. et al.The effects of focused and unfocused written corrective feedback in English as a foreign language context. System, v. 26, n. 3, p. 353–371, 2008. Available in: https://www.sciencedirect.com/science/article/abs/pii/S0346251X08000390. Access in: 20 July 2021. FARJADNASAB, A. H.; KHODASHENAS, M. R. The effect of written corrective feedback on EFL students’ writing accuracy. International Journal of Research in English Education, v. 2, n. 2, p. 30–42, 2017. Available in: https://www.sid.ir/en/Journal/ViewPaper.aspx?ID=526154. Access in: 07 Aug. 2021. GAMLEM, S. M.; MUNTHE, E. Mapping the quality of feedback to support students’ learning in lower secondary classrooms. Cambridge Journal of Education, v. 44, n. 1, p. 75–92, 2014. Available in: https://www.tandfonline.com/doi/abs/10.1080/0305764X.2013.855171. Access in: 14 July 2021. GAMLEM, S. M.; SMITH, K. Student perceptions of classroom feedback. Assessment in Education: Principles, Policy & Practice, v. 20, n. 2, p. 150-169, 2013. Available in: https://www.tandfonline.com/doi/abs/10.1080/0969594X.2012.749212. Access in: 22 July 2021. GOLUBEVA, T. I. et al. The impact of visualization tools in distance english language learning: the experience of the Russian university teachers. Revista tempos e espaços em educação, v. 14, n. 33, e16111, 2021. Available in: https://dialnet.unirioja.es/servlet/articulo?codigo=8077572. Access in: 23 July 2021. HUBACKOVA, S. Feedback in on-line foreign language teaching. Procedia - Social and Behavioral Sciences, v. 232, p. 316-320, 2016. Available in: https://www.sciencedirect.com/science/article/pii/S1877042816312605. Access in: 04 Aug. 2021.
image/svg+xmlEffectiveness of foreign language teaching techniques: Provision of feedback as a way to correct writing mistakesRev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.16934 13 LIU, N. F.; CARLESS, D. Peer feedback: The learning element of peer assessment. Teaching in Higher Education, v. 11, n. 3, p. 279-290, 2006. Available in: https://www.tandfonline.com/doi/abs/10.1080/13562510600680582. Access in: 15 July 2021. MACKEY, A. Feedback, noticing and instructed second language learning. Applied Linguistics, v. 27, n. 3, p. 405–430, 2006. Available in: https://academic.oup.com/applij/article-abstract/27/3/405/182957?login=false. Access in: 20 July 2021. MALEKI, A.; ESLAMI, E. The effects of written corrective feedback techniques on EFL students’ control over grammatical construction of their written English. Theory and Practice in Language Studies, v. 3, n. 7, p. 1250-1257, 2013. Available in: https://www.academypublication.com/issues/past/tpls/vol03/07/24.pdf. Access in: 12 Aug. 2021. ÖLMEZER-ÖZTÜRK, E. Beliefs and practices of Turkish EFL teachers regarding oral corrective feedback: A small-scale classroom research study. Language Learning Journal, v. 47, n. 2, p. 219-228, 2019. Available in: https://www.tandfonline.com/doi/full/10.1080/09571736.2016.1263360. Access in: 17 Aug. 2021. PANIKAROVA, N. P. et al.A influência da avaliação formativa das realizações acadêmicas dos alunos para aumentar sua motivação para estudar na universidade [The influence of formative assessment of students’ academic achievements on increasing their motivation to study at university]. Revista EntreLinguas, Araraquara, v. 7, n. esp. 4, p. e021088, 2021. Available in: https://periodicos.fclar.unesp.br/entrelinguas/article/view/15636. Access in: 03 Aug. 2021. PARR, J. M.; HAWE, E. Facilitating real-time observation of, and peer discussion and feedback about, practice in writing classrooms. Professional Development in Education, v. 43, n. 5, p. 709–728, 2017. Available in: https://www.tandfonline.com/doi/full/10.1080/19415257.2016.1241818. Access in: 30 jul. 2021. POPOVA, E. N.; BOBROVA, S. E.; MALTZAGOV, I. D. Desenvolvimento da competência e cultura da utilização de ferramentas de tradução automática em futuros tradutores (a exemplo de dominar o uso de ferramentas gatos) [Development of the competency and culture of usingautomatic translation tools in future translators (on the example of mastering the use of cat tools)]. Revista EntreLinguas, Araraquara, v. 7, n. esp. 5, 2021. Available in: https://periodicos.fclar.unesp.br/entrelinguas/article/view/16024. Acceso in: 10 Aug. 2021. RUDZEWITZ, B. et al. Generating feedback for English foreign language exercises. New Orleans: Association for Computational Linguistics, 2018. SHUTE, V. J. Focus on formative feedback. Review of Educational Research, v. 78, n. 1, p. 153-189, 2008. Available in: https://journals.sagepub.com/doi/10.3102/0034654307313795. Access in: 12 July 2021.
image/svg+xmlNataliya RETS; Svetlana PIVNEVA; Olga PASIUKOVA; Svetlana ZOLOTAREVA; Zhanna ABALYAN and Elmira KHUTOVARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529 DOI: https://doi.org/10.29051/el.v8iesp.1.1693414SKOVHOLT, K. Anatomy of a teacher–student feedback encounter. Teaching and Teacher Education, v. 69, p. 142–153, 2018. Available in: https://www.sciencedirect.com/science/article/abs/pii/S0742051X17300082. Access in: 13 Aug. 2021. USMANOVA, E.; KHOKHLOVA, E.; FEDOSEEV, R. Mediation and communication practices in education. Revista Tempos E Espaços Em Educação, v. 14, n. 33, e16562, 2021. Available in: https://dialnet.unirioja.es/servlet/articulo?codigo=8120468. Access in: 07 Aug. 2021. How to reference this articleRETS, N.; PIVNEVA, S.; PASIUKOVA, O.; ZOLOTAREVA, S.; ABALYAN, Z.; KHUTOVA, E. Effectiveness of foreign language teaching techniques: Provision of feedback as a way to correct writing mistakes. Rev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022022, Mar. 2022. e-ISSN: 2447-3529. DOI: https://doi.org/10.29051/el.v8iesp.1.16934 Submitted: 27/12/2021 Required revisions: 10/02/2022 Approved: 05/03/2022 Published: 30/03/2022