image/svg+xmlTecnologias da informação e comunicações a distância na avaliação dos resultados de aprendizagem em estudantes de linguísticaRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.169141TECNOLOGIAS DA INFORMAÇÃO E COMUNICAÇÕES A DISTÂNCIA NA AVALIAÇÃO DOS RESULTADOS DE APRENDIZAGEM EM ESTUDANTES DE LINGUÍSTICAINFORMATION AND COMMUNICATIONS TECHNOLOGY IN DISTANCE ASSESSMENT OF LEARNING OUTCOMES IN LINGUISTICS STUDENTSTECNOLOGÍAS DE LA INFORMACIÓN Y LAS COMUNICACIONES EN LA EVALUACIÓN A DISTANCIA DE RESULTADOS DE APRENDIZAJE EN ESTUDIANTES DE LINGÜÍSTICAAmina Bestaevna SATKEEVA1Kapitolina Leonidovna ULANOVA2Natalia Yurjevna FILISTOVA3Elena Grigorievna GALIZINA4Elena Viktorovna FEDOTKINA5RESUMO:O objetivo do estudo é encontrar as condições ideais para o uso de tecnologias digitais para avaliar os resultados da aprendizagem e a qualidade dos serviços educacionais. O artigo apresenta os resultados de um estudo empírico (uma pesquisa online anônima) sobre a atitude de professores e alunos de três universidades russas em relação à avaliação pedagógica usando tecnologias a distância. Os ambientes educacionais das instituições deensino superior de diferentes universidades têm conquistas na ativação do uso de tecnologias eletrônicas e a demanda por seu desenvolvimento na avaliação pedagógica dos resultados de aprendizagem permanece. Os principais problemas que dificultam o processo de introdução da avaliação remota dos resultados do ensino de linguistas com recurso às TIC são a falta de pessoal altamente qualificado; nível insuficiente de prontidão dos sujeitos do processo educativo para essa forma de controle; dificuldade em formar grupos de projetos para o desenvolvimento de testes educacionais; feedback fraco e motivação insuficiente entre professores e alunos.PALAVRAS-CHAVE:Avaliação pedagógica. Ensino adistância. Tecnologias de ensino a distância. Teste de distância. Competência digital.1Universidade Agrária Estadual dos Trans-Urais do Norte, Tiumen –Rússia. Professor. ORCID: https://orcid.org/0000-0003-0296-3743. E-mail:satkeeva.a@mail.ru2Universidade da Amizade dos Povos da Rússia (RUDN)Moscou–Rússia.ProfessorAssociado.ORCID: https://orcid.org/0000-0002-0190-930X. E-mail: ulanova-kl@rudn.ru3Universidade Estadual de Surgut (SSU), Surgut –Rússia. Professor Associado.ORCID: https://orcid.org/0000-0002-1613-4156. E-mail:nataliafilistova@yandex.ru4Universidade Russa de Transportes (RUT)Moscou–Rússia. Professor Associado. ORCID: https://orcid.org/0000-0001-6787-2258. E-mail:el.galizina@yandex.ru5Universidade Russa de Transportes (RUT)Moscou–Rússia. ProfessorAssociado. ORCID: https://orcid.org/0000-0002-6192-5758.E-mail:fedotkinaev@mail.ru
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina Leonidovna ULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA eElena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.169142RESUMEN:El propósito del estudio es encontrar las condiciones óptimas para el uso de tecnologías digitales para evaluar los resultados de aprendizaje y la calidad de los servicioseducativos. El artículo presenta los resultados de un estudio empírico (una encuesta anónima en línea) de la actitud de profesores y estudiantes en tres universidades rusas hacia la evaluación pedagógica utilizando tecnologías a distancia. Los entornos educativos de las instituciones de educación superior de las diferentes universidades tienen logros en la activación del uso de las e-tecnologías y se mantiene la demanda de su desarrollo en la evaluación pedagógica de los resultados del aprendizaje. Los principales problemas que dificultan el proceso de implantación de la evaluación a distancia de los resultados de la enseñanza de lingüistas a través de las TIC son la falta de personal altamente cualificado; insuficiente nivel de preparación de los sujetos del proceso educativo para esta forma de control; dificultad para formar grupos de proyecto para el desarrollo de pruebas educativas; retroalimentación débil y motivación insuficiente entre profesores y estudiantes.PALABRAS CLAVE:Evaluación pedagógica. La educación a distancia. Tecnologías de aprendizaje a distancia. Pruebas a distancia. Competencia digital.ABSTRACT:The purpose of the study is to find the optimal conditions for using digital technologies to evaluate learning outcomes and the quality of educational services. The article presents the results of an empirical study (an anonymous online survey) of the attitude of teachers and students in three Russian universities to pedagogical assessment using distance technologies. The educational environments of higher education institutions of different universities have achievements in activating the use of e-technologies and demand for their development in the pedagogical assessment of learning outcomes remains. The main problems hindering the process of introducingremote assessment of the results of teaching linguists using ICT are the lack of highly qualified personnel; insufficient level of readiness of subjects of the educational process for this form of control; difficulty in forming project groups for the development of educational tests; weak feedback and insufficient motivation among teachers and students.KEYWORDS: Pedagogical assessment.Distance learning. Distance learning technologies.Distance testing.Digital competence.IntroduçãoAtualmente, os resultados da avaliação do aluno são registrados principalmente em marcas que refletem o nível de conhecimento ou habilidades que o candidato dominou e no que diz respeito aos conhecimentos e habilidades profissionais desejados. Com isso, os sistemas de medição de conhecimento podem diferir um pouco em distintas instituições de ensino superior. Ao mesmo tempo, são compreensíveis para aqueles que se familiarizam com os resultados da avaliação.A opinião de Mishchenko (2014) de que a necessidade de avaliar os próprios métodos de avaliação está se tornando mais complexa e traz muitos desafios para o professor é justa.
image/svg+xmlTecnologias da informação e comunicações a distância na avaliação dos resultados de aprendizagem em estudantes de linguísticaRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.169143Desde que certas habilidades e conhecimentos necessários no local de trabalho aumentem, também aumenta a necessidade de sua avaliação adequada. Esses pensamentos se tornam especialmente relevantes durante emergências, por exemplo, durante uma pandemia. Em seguida, o objetivo da avaliação torna-se especialmente significativo –medir e resumir como os alunos dominaram determinado programa educacional, determinado conhecimento profissional e determinadas habilidades desejadas pelo empregador.A pandemia, então, fez ajustes no processo educacional e revelou novos problemas nas instituições de ensino (AL-SHOLI et al., 2021). Devido a oportunidades limitadas na organização do processo educacional em instituições de ensino superior e formação por meio de serviços de videoconferência, foram utilizadas capacidades de LMS (ALLO, 2020;GOLUBEVA et al., 2021). Neste momento, instituições de ensino superior em todo o mundo enfrentaram o problema de como, efetivamente, realizar medidas de controle para avaliar os resultados de aprendizagem dos alunos durante uma emergência que surgiu devido à disseminação de uma pandemia e à introdução de medidas de quarentena (RAPANTA et al., 2020).Como resultado positivo, a grande maioria dos trabalhadores científicose pedagógicos recebeu experiência primária na realização de palestras e aulas práticas com os alunos (ILINA et al., 2021; VRAZHNOVA; ANASTASOV; NIKIPORETS-TAKIGAWA, 2021). Entretanto, nessas condições, a questão da avaliação pedagógica (PA) do conhecimento dos candidatos ao ensino superior utilizando tecnologias de ensino a distância (DLT) permanece problemática. Os temas do processo educativo estão em busca da opção ideal para o acompanhamento das conquistas da aprendizagem (GLEBOV et al., 2021).Revisão da literaturaPesquisadores (DARLING-HAMMOND, 2006; KHARE; LAM, 2008; KIELY, 2009) tendem a acreditar inequivocamente que o sistema existente de PA do século XX está desatualizado e requer não apenas a melhoria do uso tradicional, mas também o usogeneralizado de abordagens inovadoras, incluindo o uso da experiência da tecnologia da informação e comunicação (TIC).Nos últimos anos, a questão da avaliação das conquistas educacionais dos egressos das instituições de ensino superior (universidades) foi atualizada. Segundo Eliseev (2012), a sociedade moderna exige educação profissional para formar jovens que possam enfrentar os desafios da época no mercado de trabalho moderno, com uma posição cívica, criada para o
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina Leonidovna ULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA eElena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.169144autodesenvolvimento e aprendizagem ao longo da vida. Por isso, o pesquisador aciona a questão da avaliação objetiva dos graduados como um problema urgente.Efremova (2010) foca na formação das principais funções de avaliação de futuros especialistas na formação de sua prontidão para futura atividade profissional, a ver: controle, treinamento, diagnóstico-corretivo, estimulante-motivacional, educacional, prognóstico.Crisp e Ward (2008) observam que a avaliação orienta a aprendizagem, e a efetiva modernização dos currículos e programas só é possível no contexto de mudanças adequadas no conteúdo e, às vezes, nas formas de avaliação. Dopper e Sjoer (2004) chamam a atenção para questões problemáticas da atividade diagnóstica nas universidades, incluindo o fato de que o conteúdo das tarefas de teste nos primeiros cursos deve controlar o nível de conhecimento dentro de uma disciplina, nos cursos superiores –considerando o conhecimento e base prática de diversas disciplinas relacionadas, na fase de pré-graduação –para permitir que o aluno demonstre a integração do conhecimento no contexto da profissão ao realizar o controle da prova.Considerando o problema do diagnóstico pedagógico, Black e Wiliam (2009) observam que a avaliação reproduz uma pontuação, ou seja, uma forma digital ou outra forma simbólica de expressão e fixação da avaliação do desempenho acadêmico, julgamentos de valor –uma breve descrição dos resultados de aprendizagem, seus aspectos positivos e deficiências,suaatitude emocional. Gikandi, Morrow e Davis (2011) testaram experimentalmente a eficácia da aplicação do sistema on-line projetado de diagnóstico pedagógico durante a formação profissional de futuros especialistas.Em geral, a educação universitária deu passos adiante nos últimos anos, em particular, a tecnologia de construção dos mais recentes sistemas de alta tecnologia para testes de realizações educacionais está sendo ativamente discutida (BENNETT et al., 2016), com base na análise de classificações de diagnósticos pedagógicos automatizados e sistemas de testes computacionais, os requisitos para software de diagnóstico pedagógico são determinados seguindo o propósito didático de sua aplicação (AFANASIEVASIEVet al., 2021; CRISP; GUÀRDIA; HILLIER, 2016). Deeley (2018) desenvolveu um componente tecnológico orientado paracomputador para criar um teste confiável para medir o nível de conquistas acadêmicas dos alunos.A análise do problema do PA dos candidatos à educação na literatura científica mostra de forma convincente que as formas de controle podem ser diferentes, e todas elas têm o direito de serem utilizadas, independentemente da história de sua criação (ARIOVICH et al., 2019). Segundo Dann (2014), a PA não é uma ciência exata e requer uma busca constante por formas
image/svg+xmlTecnologias da informação e comunicações a distância na avaliação dos resultados de aprendizagem em estudantes de linguísticaRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.169145progressistas e uma abordagem multidimensional. É enfatizado em (HORST; AMES, 2018) que isso é especialmente relevante nas condições da sociedade moderna, em que a informação está se multiplicando rapidamente, tornando-se obsoleta e adquirindo novos contornos qualitativamente, e uma pessoa precisa da formação de novas competências para se adaptar a ela. O exposto acima confirma a ideia (BOUD; SOLER, 2016) no que se refere ao desenvolvimento inovador da PA como importante condição organizacional para a formação da competência profissional de um futuro professor.Hipótese da pesquisa: os principais problemas que dificultam o processo de introdução de avaliação remota dos resultados dos linguistas docentes que utilizam TIC são a falta de pessoal altamente qualificado; o nível insuficiente de prontidão das disciplinas do processo educacional para essa forma de controle; a dificuldade em formar grupos de projetos para o desenvolvimento de provas educacionais; o feedback fraco e a motivação insuficiente entre professores e alunos.Objetivos de pesquisaRealizar uma análise das conquistas teóricas relativas ao estado de desenvolvimento do problema da avaliação estudantil, investigar as formas de aplicação das tecnologias digitais na avaliação do conhecimento dos alunos.Formular e comprovar o conceito geral de um estudo empírico dos problemas de avaliação dos resultados das atividades educativas dos alunos de linguística; determinar a lista de componentes e fatores sobre os quais depende o nível da forma de avaliação a distância.Organizar uma pesquisa de professores e alunos e pesquisar temas do processo educacional.Resumir os materiais do levantamento de professores e alunos de três instituições de ensino superior, realizar uma análise e interpretação comparativas dos resultados e apresentar propostas para melhorar esse processo.O artigo consiste em uma introdução, uma revisão de literatura, métodos, resultados, discussão e conclusão.
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina Leonidovna ULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA eElena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.169146MétodosModelo de pesquisaPara estudar esse problema, pesquisamos em junho de 2020 (pesquisas via e-mail, mensageiros móveis, perguntas em bate-papos durante conferências em tempo real) temas do processo educacional: professores e estudantes de linguística da Universidade Agrícola Do Norte Trans-Ural (NTUSAU), Universidade Estadual de Surgut (SSU) e Universidade da Amizade popular da Rússia (RUDN).MétodosForam utilizados durante a pesquisa os métodos de análise teórica das fontes científicas dedicadas ao estudo da possibilidade de utilização das TIC na implementação das funções de controle e verificação do professor e da capacidade dos alunos de relatar a aquisição de conhecimentos e habilidades do programa.O artigo também utiliza o método do estudo empírico do estado das coisas em relação às medidas de controle do processo educacional –uma pesquisa on-lineanônima.Durante a pesquisa, foram esclarecidas as seguintes questões entre os sujeitos do processo educacional: a prontidão psicológica e pedagógica para utilizar DLT no PA dos desfechos atuais e finais de aprendizagem; o conhecimento de conteúdo educacional digital; aacessibilidade técnica;amotivação para o uso do DLT na aprendizagem e a obtenção de conhecimentos modernos; o nível de autoavaliação de seus conhecimentos, habilidades e competências profissionais adquiridas; a eficácia e a equidade dos resultados das medidas de controle utilizadas na presente fase; o esclarecimento da necessidade de treinamento adicional; a capacidade de determinar as habilidades dos alunos e a classificação do treinamento.A amostra da pesquisa foi composta por 243 alunos linguistas e 32 professores de disciplinas profissionais engajados em sua formação. A tarefa foi avaliar a atitude da pergunta em uma escala de 1 a 12 pontos (1-4 baixo, 5-8 médio, 9-12 de altura).Processamento matemático dos resultados da pesquisaOs métodos matemáticos e estatísticos de processamento dos resultados do estudo incluíramo recálculo do número de participantes da pesquisa que avaliaramo nível de PA utilizando tecnologias remotas, como percentual da amostra universitária.
image/svg+xmlTecnologias da informação e comunicações a distância na avaliação dos resultados de aprendizagem em estudantes de linguísticaRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.169147ResultadosA Tabela 1 mostra os resultados de um levantamento da atitude de professores e alunos para PA utilizando DLT.Tabela 1–Os resultados do levantamento da atitude de professores e alunos para pa utilizando tecnologias a distância, %Componentes de relacionamentoUNIVERSIDADEBaixo, %Média, %Alto, %ProfessorEstudanteProfessorEstudanteProfessorEstudante1. O nível de familiarização com DLTmodernoNTUSAU1444392434SSU12113884505RUDN107206870252. O nível de familiarização com as possibilidades de utilização de DLTnoPANTUSAU72672642110SSU007597253RUDN1020606030203. O nível de prontidão psicológica para usar o DLTnos resultados atuais e finais de aprendizagem da PANTUSAU2964288296SSU016397371RUDN10260933054. O nível de compreensão da significância dos testes a distância dos alunosNTUSAU7143315068SSU0025657535RUDN00305570455. O nível de proficiência na elaboração do banco de testesNTUSAU2195504291SSU12806317253RUDN10915075026. O nível de necessidade para a introdução de treinamento adicionalNTUSAU292157521427SSU3815096123RUDN101680771077. O nível de suporte técnico para o ensino (formação)NTUSAU0164853615SSU013896623RUDN00334567558. O nível de motivação para usar DLTno ensino ou estudoNTUSAU7122975023SSU38146276010RUDN33050931779. O nível de avaliação da competência digitalNTUSAU2995091210SSU13063852415RUDN0760654028NTUSAU71164742915SSU007593257
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina Leonidovna ULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA eElena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.16914810. O nível de eficiência e objetividade dos resultados da PA utilizando DLTRUDN003382671811. O nível de avaliação da possibilidade de determinar as reais habilidades dos alunos que utilizam DLTNTUSAU29134284293SSU0075812519RUDN10040805020Fonte: Preparado pelos autoresPode-se ver a partir da linha 4 que 75% dos professores da SSUe 68% dos alunos da NTUSAUtinham o maior nível de compreensão da significância dos testes a distância dos alunos. Ao mesmo tempo, a compreensão dos professores e alunos sobre a importância da prova a distância dos alunos não está em um nível baixo.Como podemos ver desde a linha 7, o suporte técnico ao ensino ou aprendizagem está principalmente em um nível médio e alto. Esse indicador é o melhor da RUDN–67% dos professores e 55% dos alunos têm alto nível de suporte técnico para o ensino (formação).Os resultados da autoanálise no ponto 8 mostraram que os professores da NTUSAUe da SSUnão têm alto nível de motivação para o uso do DLT no ensino ou aprendizagem. Isso pode ser explicado por um baixo nível de experiência no uso de tecnologias remotas e pela falta de suporte metodológico.A análise da pesquisa sobre autoavaliação da competência digital dos professores mostrou que 40% dos professores da RUDNtêm alto nível de competência digital, enquanto 29% dos professores da NTUSAUobservaram um baixo nível. 9% dos alunos da NTUSAUe 7% dos alunos da RUDNclassificaram o nível de sua competência digital como baixo.Como pode ser visto na linha 10 da tabela, 67% dos professores da RUDNapreciam muito o nível de eficácia e objetividade dos resultados da PA utilizando DLT.DiscussãoA análise dos resultados do monitoramento das opiniões dos sujeitos do processo educacional indica que professores e alunos são cautelosos quanto à organização do controle do semestre utilizando tecnologias eletrônicas nas três universidades. As razões são as seguintes: nível insuficiente de prontidão psicológica, imperfeição de equipamentos técnicos e baixa competência digital. Embora os alunos, devido à sua idade, sejam mais ativos no uso de conteúdo digital, há candidatos para o ensino superior com baixa alfabetização em computador.
image/svg+xmlTecnologias da informação e comunicações a distância na avaliação dos resultados de aprendizagem em estudantes de linguísticaRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.169149Os professores têm o desejo de usar o DLT em testes, mas praticamente não estão prontos para realizar uma função preparatória, ou seja, para preparar profissionalmente os testes de controle.Um aspecto positivo do tipo de controle de teste com a ajuda das tecnologias eletrônicos é que os mesmos requisitos são impostos a todos os alunos. Isso os ajuda a evitar preocupaçõesexcessivas (afinal, todos estão preocupados em não receber perguntas muito difíceis), torna possível usar o tempo de forma mais eficaz e incentiva o autocontrole. Contudo, como observam os pesquisadores (KHARE; LAM, 2008), os testes são mais utilizados para identificar conhecimento dos fatos. Outros métodos de controle são mais eficazes para determinar a capacidade de usar criativamente o conhecimento adquirido.Na fase atual de treinamento de futuros linguistas, tarefas de teste que requerem uma resposta criativa e a capacidade de sintetizar os conhecimentos adquiridos e aplicá-lo à resolução de problemas práticos são altamente apreciados. Portanto, a elaboração de provas educacionais deve ser feita por uma equipe: professores, empregadores e alunos. Isso contribuirá para a qualidade adequada das atribuições de escrita que exigiriam que os alunos demonstrassem habilidades criativas e resultados de aprendizagem fornecidos pelo programa disciplinar e não poderiam ser completados copiando respostas de outras fontes.O número de tarefas de teste deve cobrir o escopo completo do curso de uma disciplina acadêmica, e se for um exame abrangente, então várias disciplinas acadêmicas. A complexidade das tarefas de teste deve ser dividida em simples, média e complexa.Se for tecnicamente possível organizar o controle do exame, os alunos podem ter o direito de começar a fazer o exame no momento escolhido em um determinado intervalo (por exemplo, cinco pessoas entre 10 e 11 horas) (ELISEEV, 2012). A duração máxima do examea partir do momento em que começa deve ser a mesma para todos os alunos. Se a atribuição do exame contiver questões criativas, a duração máxima do exame pode ser aumentada. Devemos sempre lembrar que o controle pedagógico deve ajudar o aluno a se conhecer, a acreditar em sua força, dar a oportunidade de implementar criativamente os conhecimentos e habilidades adquiridos.Apoiamos a opinião justa (CRISP; WARD, 2008) que não é necessário superestimar o papel dos testes educacionais com a ajuda de tecnologiasdigitais, pois nenhuma técnica ou programa mais avançado pode avaliar de forma tão objetiva e justa os resultados de aprendizagem do aluno como professor. O estado interno da personalidade, suas experiências, emoções, lógica de pensamento e a base de conhecimento, habilidades e competências do candidato podem ser amplamente percebidos, compreendidos e avaliados apenas ao vivo. Ao se testar, existe o direito ao uso de tecnologias digitais no PA dos alunos, mas em alguns casos,
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina Leonidovna ULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA eElena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.1691410por exemplo, em emergências quando não há outras possibilidades, é necessária alta competência profissional.Além disso, no processo de elaboração e realização de testes, os gestores educacionais precisam criar um ambiente de motivação adequada para as atividades educativas tanto dos candidatos ao ensino superior quanto dos trabalhadores científicos e pedagógicos (DANN, 2014). Isso contribuirá para a formação da competência do pensamento pedagógico crítico. No nível de instituições de ensino superior e departamentos onde os futuros linguistas são treinados, é necessário formar especialistas competentes em trabalhos especializados para desenvolver testes educacionais, realizar um procedimento de teste perfeito e interpretar objetivamente os resultados.ConclusãoA experiência de organização de estudantes de linguística em três universidades russas em condições de oportunidades limitadas de comunicação offline foi estudada durante o estudo empírico.Os ambientes educacionais de instituições de ensino superior de diferentes universidades têm suas conquistas em ativar o uso de tecnologias eletrônicos e ainda há uma demanda por seu desenvolvimento na PA de resultados de aprendizagem. Todavia, a atitude dos sujeitos do processo educativo para o uso de tecnologias a distância na PA difere significativamente. Os professores das três universidades são mais contidos e cautelosos, os candidatos ao ensino superior –pelo contrário, esperam abordagens inovadoras, têm uma atitude positiva para o uso de métodos de controle usando tecnologias e.Uma análise do status de avaliação no sistema de ensino pedagógico indica falta de experiência na aplicação efetiva dos métodos pedagógicos de medição e avaliação, especialmente os de teste. Os resultados do estudo confirmaram a hipótese de que os principais problemas que dificultam o processo de implementação da avaliação remota dos resultados de aprendizagem dos alunos de linguagem utilizando TIC são a falta de pessoal qualificado; a falta de prontidão dos sujeitos do processo educacional para essa forma de controle; a complexidade na formação de equipes de projetos para o desenvolvimento de testes educacionais; a falta de feedback, eafalta de motivação entre professores e alunos.Outras pesquisas serão destinadas ao estudo da experiência inovadora de criação de condições pedagógicas para a formação de competências diagnósticas entre os participantes do
image/svg+xmlTecnologias da informação e comunicações a distância na avaliação dos resultados de aprendizagem em estudantes de linguísticaRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.1691411processo educacional das instituições de ensino superior, o desenvolvimento de ferramentas didáticas modernas e formas de utilização de TICem diagnósticos pedagógicos.REFERÊNCIASAFANASIEV, I. V. et al. The use of cloud resources and services in distance learning of students in the context of restrictions caused by the pandemic. Revista Tempos e Espaços em Educação, v. 14, n. 33,e16103, 2021. Disponível em: https://seer.ufs.br/index.php/revtee/article/download/16103/11973/. Acesso em: 18 mar. 2021.AL-SHOLI, H. Y. et al. An agile educational framework: A response for the Covid-19 pandemic. Cogent Education, v. 8, n. 1,1980939, 2021.Disponível em: https://www.tandfonline.com/doi/pdf/10.1080/2331186X.2021.1980939. Acesso em: 12 ago. 2021.ALLO, M. D. Is the online learning good in the midst of Covid-19 pandemic? The case of EFL learners. Jurnal Sinestesia, v. 10, n. 1, p. 1-17, 2020.Disponível em: https://www.researchgate.net/publication/340815846_Is_the_online_learning_good_in_the_midst_of_Covid-19_Pandemic_The_case_of_EFL_learners. Acesso em: 13 jul. 2021.ARIOVICH, L. et al.The assessment profession in higher education: A snapshot of perceptions, roles, and activities. Assessment Update, v. 31,n. 3,p. 10-12, 2019.Disponível em: https://www.researchgate.net/publication/333668834_The_Assessment_Profession_in_Higher_Education_A_Snapshot_of_Perceptions_Roles_and_Activities. Acesso em: 17 set. 2021.BENNETT, S. et al. How technology shapes assessment design: Findings from a study of university teachers. British Journal of Educational Technology, v. 48, n. 2, p. 672-682, 2016.Disponível em: https://www.researchgate.net/publication/301281257_How_technology_shapes_assessment_design_Findings_from_a_study_of_university_teachers_How_technology_shapes_assessment_design. Acesso em: 12 jul. 2021.BLACK, P.; WILIAM, D. Developing the theory of formative assessment. Educational assessment. Evaluation and Accountability, v. 21, n. 1, p. 5–31, 2009.Disponível em: https://www.researchgate.net/publication/225590759_Developing_the_theory_of_formative_assessment. Acesso em: 11 jul. 2021.BOUD, D.; SOLER,R. Sustainable assessment revisited. Assessment and Evaluation in Higher Education, v. 41, n. 3, p. 400-413, 2016.Disponível em: https://opus.lib.uts.edu.au/bitstream/10453/43261/4/320AD1B3-686A-46C1-8506-BDB33C8EF875%20am.pdf. Acesso em: 16 jun. 2021.CRISP, G.; GUÀRDIA, L.; HILLIER, M. Using e-Assessment to enhance student learning and evidence learning outcomes. International Journal of Educational Technology in Higher Education, v. 13, n. 1, p.1-3,2016. Disponível em: https://educationaltechnologyjournal.springeropen.com/track/pdf/10.1186/s41239-016-0020-3.pdf. Acesso em: 14 jun. 2021.
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina Leonidovna ULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA eElena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.1691412CRISP,V.; WARD, C. The development ofa formative scenario-based computer assisted assessment tool in psychology for teachers: The PePCAA project. Computers and Education, v. 50, n. 4, p. 1509–1526, 2008.Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0360131507000188. Acesso em: 12 jun. 2021.DANN,R. Assessment as learning: Blurring the boundaries of assessment and learning for theory, policy and practice. Assessment in Education: Principles, Policy and Practice, v. 21, n. 2,p. 149-166, 2014.Disponível em: https://www.tandfonline.com/doi/full/10.1080/0969594X.2014.898128. Acesso em: 03 jul. 2021.DARLING-HAMMOND, L. Assessing teacher education: The usefulness of multiple measures for assessing program outcomes. Journal of Teacher Education, v. 57, n. 2, p. 120-138, 2006.Disponível em: https://journals.sagepub.com/doi/10.1177/0022487105283796. Acesso em: 07 ago. 2021.DEELEY, S. J. Using technology to facilitate effective assessment for learning and feedback in higher education. Assessment and Evaluation in Higher Education, v. 43, n. 3, p. 439-448, 2018.Disponível em: https://eric.ed.gov/?q=Effective+AND+learning&pg=3&id=EJ1172318. Acesso em: 09 jun. 2021.DOPPER, S. M.; SJOER, E. Implementing formative assessment in engineering education: The use of the online assessment system Etude. European Journal of Engineering Education, v. 29, n. 2, p. 259–266, 2004.Disponível em: https://eric.ed.gov/?id=EJ940429. Acesso em: 03 jun. 2021.EFREMOVA, N. F. Formirovanie i otsenivanie kompetentsii v obrazovanii. Rostov-on-Don: Arkol, 2010.ELISEEV, I. N. Metodologiya otsenki urovnya kompetentsii studenta. Russia: Informatika i obrazovanie, 2012.GIKANDI, J. W.; MORROW, D.; DAVIS, N. E. Online formative assessment in higher education: A review of the literature. Computers and Education, v. 57,n. 4,p. 2333–2351, 2011.Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0360131511001333. Acesso em: 09 jun. 2021.GLEBOV, V. A. et al. Distance learning in the humanitarian field amid the Coronavirus pandemic: Risks of creating barriers and innovative benefits. Propositos y Representaciones, v. 9, n. 3, e1258, 2021.Disponível em: https://revistas.usil.edu.pe/index.php/pyr/article/view/1258. Acesso em: 04 jun. 2021.GOLUBEVA, T. I. et al. The impact of visualization tools in distance English language learning: The experience of the Russian university teachers. Revista Tempos e Espaços em Educação, v. 14, n. 33,e16111,2021.Disponível em: https://seer.ufs.br/index.php/revtee/article/view/16111. Acesso em: 20 jun. 2021.
image/svg+xmlTecnologias da informação e comunicações a distância na avaliação dos resultados de aprendizagem em estudantes de linguísticaRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.1691413HORST, S. J.; AMES, A. J. Bringing together assessment and learning improvement: Dreaming big for an inaugural summit. Research and Practice in Assessment, v. 13, p. 6-10,2018.Disponível em: https://files.eric.ed.gov/fulltext/EJ1206335.pdf. Acesso em: 09 jun. 2021.ILINA, I. Y. et al.Transformation of university teachers’ working and employment conditions in the period of distance learning: Socio-psychological aspects and risk assessment. Revista Tempos e Espaços em Educação, v. 14, n. 33, e16165, 2021. Disponível em: https://seer.ufs.br/index.php/revtee/article/view/16165/12017. Acesso em: 12 abr. 2021.KHARE, A.; LAM, H. Assessing student achievement and progress with online examinations: Some pedagogical and technical issues. International Journal on E-Learning, v. 7, n. 3, p. 383–402, 2008.Disponível em: https://eric.ed.gov/?id=EJ800994. Acesso em: 03 ago. 2021.KIELY, R. Small answers to the big question: Learning from language program evaluation. Language Teaching Research, v. 13, n.1, p. 99-116, 2009.Disponível em: https://journals.sagepub.com/doi/10.1177/1362168808095525. Acesso em: 16 ago. 2021.MISHCHENKO, I. K. Ob obektivnosti otsenki znanii studentov. Russia: Vestnik altaiskoi nauki, 2014.RAPANTA, C. et al.Online university teaching during and after the Covid-19 crisis: Refocusing teacher presence and learning activity. Postdigital Science and Education, v. 2, p. 923–945, 2020.Disponível em: https://link.springer.com/article/10.1007/s42438-020-00155-y. Acesso em:29 jun. 2021.VRAZHNOVA, M. N.; ANASTASOV, M. S.; NIKIPORETS-TAKIGAWA, G. Y. Impact of professional self-improvement on the effectiveness of teachers in distance education. Revista Tempos e Espaços em Educação, v. 14, n. 33, e16159, 2021.Disponível em: https://seer.ufs.br/index.php/revtee/article/view/16159. Acesso em: 18 jul. 2021.Como referenciar este artigoSATKEEVA, A. B.; ULANOVA, K. L.; FILISTOVA, N. Y.; GALIZINA, E. G.; FEDOTKINA, E. V. Tecnologias da informação e comunicações a distância na avaliação dos resultados de aprendizagem em estudantes de linguística. Rev. EntreLínguas, Araraquara, v. 8, n. esp.1, e0222004,mar. 2022. e-ISSN: 2447-3529. DOI: https://doi.org/10.29051/el.v8iesp.1.16914Submetido em:20/12/2021Revisões requeridas em:28/01/2022Aprovado em:17/02/2022Publicado em:30/03/2022
image/svg+xmlInformation and communications technology in distance assessment of learning outcomes in linguistics studentsRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,Mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.169141INFORMATION AND COMMUNICATIONS TECHNOLOGY IN DISTANCE ASSESSMENT OF LEARNING OUTCOMES IN LINGUISTICS STUDENTSTECNOLOGIAS DA INFORMAÇÃO E COMUNICAÇÕES A DISTÂNCIA NA AVALIAÇÃO DOS RESULTADOS DE APRENDIZAGEM EM ESTUDANTES DE LINGUÍSTICATECNOLOGÍAS DE LA INFORMACIÓN Y LAS COMUNICACIONES EN LA EVALUACIÓN A DISTANCIA DE RESULTADOS DE APRENDIZAJE EN ESTUDIANTES DE LINGÜÍSTICAAmina Bestaevna SATKEEVA1Kapitolina Leonidovna ULANOVA2Natalia Yurjevna FILISTOVA3Elena Grigorievna GALIZINA4Elena Viktorovna FEDOTKINA5ABSTRACT:The purpose of the study is to find the optimal conditions for using digital technologies to evaluate learning outcomes and the quality of educational services. The article presents the results of an empirical study (an anonymous online survey) of the attitude of teachers and students in three Russian universities to pedagogical assessment using distance technologies. The educational environments of higher education institutions of different universities have achievements in activating the use of e-technologies and demand for their development in the pedagogical assessment of learning outcomes remains. The main problems hindering the process of introducingremote assessment of the results of teaching linguists using ICT are the lack of highly qualified personnel; insufficient level of readiness of subjects of the educational process for this form of control; difficulty in forming project groups for the development of educational tests; weak feedback and insufficient motivation among teachers and students.KEYWORDS: Pedagogical assessment.Distance learning. Distance learning technologies.Distance testing.Digital competence.1State Agrarian University of the Northern Trans-Urals,Tyumen –Russia. Professor. ORCID: https://orcid.org/0000-0003-0296-3743. E-mail:satkeeva.a@mail.ru2Peoples’ Friendship University of Russia (RUDN), Moscow –Russia.Accociate Professor.ORCID: https://orcid.org/0000-0002-0190-930X. E-mail: ulanova-kl@rudn.ru3Surgut State University(SSU), Surgut –Russia. Accociate Professor.ORCID: https://orcid.org/0000-0002-1613-4156.E-mail:nataliafilistova@yandex.ru4Russian University of Transport(RUT), Moscow –Russia. Accociate Professor. ORCID: https://orcid.org/0000-0001-6787-2258. E-mail:el.galizina@yandex.ru5Russian University of Transport(RUT), Moscow –Russia. Accociate Professor. ORCID: https://orcid.org/0000-0002-6192-5758.E-mail:fedotkinaev@mail.ru
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina LeonidovnaULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA and Elena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, Mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.169142RESUMO:O objetivo do estudo é encontrar as condições ideais para o uso de tecnologias digitais para avaliar os resultados da aprendizagem e a qualidade dos serviços educacionais. O artigo apresenta os resultados de um estudo empírico (uma pesquisa online anônima) sobre a atitude de professores e alunos de três universidades russas em relação à avaliação pedagógica usando tecnologias a distância. Os ambientes educacionais das instituições de ensino superior de diferentes universidades têm conquistas na ativação do uso de tecnologias eletrônicas e a demanda por seu desenvolvimento na avaliação pedagógica dos resultados de aprendizagem permanece. Os principais problemas que dificultam o processo de introdução da avaliação remota dos resultados do ensino de linguistas com recurso às TIC são a falta de pessoal altamente qualificado; nível insuficiente de prontidão dos sujeitos do processo educativo para essa forma de controle; dificuldade em formar grupos de projetos para o desenvolvimento de testes educacionais; feedback fraco e motivação insuficiente entre professores e alunos.PALAVRAS-CHAVE:Avaliação pedagógica. Ensino adistância. Tecnologias de ensino a distância. Teste de distância. Competência digital.RESUMEN:El propósito del estudio es encontrar las condiciones óptimas para el uso de tecnologías digitales para evaluar los resultados de aprendizaje y la calidad de los servicios educativos. El artículo presenta los resultados de un estudio empírico (una encuesta anónima en línea) de la actitud de profesores y estudiantes en tres universidades rusas hacia la evaluación pedagógica utilizando tecnologías a distancia. Los entornos educativos de las instituciones de educación superior de las diferentes universidades tienen logros en la activación del uso de las e-tecnologías y se mantiene la demanda de su desarrollo en la evaluación pedagógica de los resultados del aprendizaje. Los principales problemas que dificultan el proceso de implantación de la evaluación a distancia de los resultados de la enseñanza de lingüistas a través de las TIC son la falta de personal altamente cualificado; insuficiente nivel de preparación de los sujetos del proceso educativo para esta forma de control; dificultad para formar grupos de proyecto para el desarrollo de pruebas educativas; retroalimentación débil y motivación insuficiente entre profesores y estudiantes.PALABRAS CLAVE:Evaluación pedagógica. La educación a distancia. Tecnologías de aprendizaje a distancia. Pruebas a distancia. Competencia digital.IntroductionCurrently, the results of student assessment are mainly recorded in marks reflecting the level of knowledge or skills that the applicant has mastered and concerning the desired professional knowledge and skills. Therewith, the knowledge measurement systems may differ somewhat in different institutions of higher education. At thesame time, they are understandable for those who get acquainted with the evaluation results.The opinion of Mishchenko (2014)that the need to assess the assessment methods themselves is becoming more complex and brings many challenges to the teacher is fair. As long as certain skills and knowledge needed in the workplace increases, so does the need for
image/svg+xmlInformation and communications technology in distance assessment of learning outcomes in linguistics studentsRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,Mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.169143their appropriate assessment. These thoughts become especially relevant during emergencies, for example, during a pandemic. Then the purpose of the assessment becomes especially significant –to measure and summarize how students have mastered the certain educational program, professional knowledge, and skills desired by the employer.The pandemic has made adjustments to the educational process and revealed new problems in educational institutions (AL-SHOLI et al., 2021). Due to limited opportunities in the organization of the educational process in higher education institutions, training through videoconferencing services was introduced, LMS capabilities were used(ALLO, 2020;GOLUBEVA et al., 2021). At this time institutions of higher education around the world faced the problem of how to effectively carry out control measures to assess the learning outcomes of students during an emergency that arose due to the spread of a pandemic and the introduction of quarantine measures(RAPANTA et al., 2020).As a positive result, the vast majority ofscientific and pedagogical workers received primary experience in conducting lectures and practical classes with students (ILINA et al., 2021; VRAZHNOVA; ANASTASOV; NIKIPORETS-TAKIGAWA, 2021). However, in these conditions, the issue of pedagogical assessment (PA) of the knowledge of applicants for higher education using distance learning technologies (DLT) remains problematic. The subjects of the educational process are in search of the optimal option for monitoring learning achievements (GLEBOV et al., 2021).Literature reviewResearchers (DARLING-HAMMOND, 2006;KHARE; LAM, 2008; KIELY, 2009)unequivocally tend to believe that the existing system of PA of the 20th century is outdated and requires not only the improvement of traditional but also the widespread use of innovative approaches, including using the experience of information and communications technology (ICT).In recent years, the issue of assessing the educational achievements of graduates of higher educational institutions (universities) has been updated. According to Eliseev (2012), modern society requires professional education totrain young people who can meet the challenges of the time in the modern labor market, with a civic position, set up for self-development and lifelong learning. Therefore, the researcher actualizes the issue of objective evaluation of university graduatesas an urgent problem.
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina LeonidovnaULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA and Elena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, Mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.169144Efremova (2010)focuses on the formation of the main functions of evaluating future specialists in the formation of their readiness for future professional activity, namely: controlling, training, diagnostic-corrective, stimulating-motivational, educational, prognostic.Crisp and Ward (2008)note that assessment guides learning, and effective modernization of curricula and programs is possible only against the background of appropriate changes in the content, and sometimes forms of assessment. Dopper and Sjoer (2004)draw attention to problematic issues of diagnostic activity in universities, including the fact that the content of test tasks in the first courses should control the level of knowledge within one discipline, in the seniorcourses –considering the knowledge and practical base of several related disciplines, at the pre-graduation stage –to enable the student to demonstrate the integration of knowledge in the context of the profession when performing test control.Considering the problem of pedagogical diagnostics, Black and Wiliam (2009)note that the assessment reproduces a score, that is, a digital or another symbolic form of expression and fixation of the assessment of academic performance, value judgments –a brief description of learning outcomes, their positive aspects and shortcomings, emotional attitude. Gikandi, Morrow and Davis (2011)experimentally tested the effectiveness of the application of the designed online system of pedagogical diagnostics during the professional training of future specialists.In general, university education has made steps forward in recent years, in particular, the technology of building the latest high-tech systems for testing educational achievements is being actively discussed (BENNETT et al., 2016), based on the analysis of classifications of automated pedagogical diagnostics and computer testing systems, the requirements for pedagogical diagnostics software are determined following the didactic purpose of its application (AFANASIEVet al., 2021; CRISP; GUÀRDIA; HILLIER, 2016). Deeley (2018)developed a computer-oriented technological component for creating a reliable test to measure the level of students' academic achievements.The analysis of the problem of PA of applicants for education in the scientific literature convincingly shows that the forms of control can be different, and they all have the right to be used, regardless of the history of their creation (ARIOVICH et al., 2019). According toDann (2014), PA is not an exact science and requires a constant search for progressive forms and a multidimensional approach. It is emphasized in (HORST; AMES, 2018)that this is especially relevant in the conditions of modern society, in which information is rapidly multiplying, becoming obsolete, and acquiring qualitatively new outlines, and a person needs the formation of new competencies to adapt to it. The above confirms the idea (BOUD; SOLER, 2016)
image/svg+xmlInformation and communications technology in distance assessment of learning outcomes in linguistics studentsRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,Mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.169145regarding the innovative development of PA as an important organizational condition for the formation of the professional competence of a future teacher.Research hypothesis: the main problems hindering the process of introducing remote assessment of the results of teaching linguists using ICT are the lack of highly qualified personnel; insufficient level of readiness of subjects of the educational process for this form of control; difficulty in forming project groups for the development of educational tests; weak feedback and insufficient motivation among teachers and students.Research objectivesTo carry out an analysis of theoretical achievements concerning the state of development of the problem of student assessment, to investigate the forms of application of digital technologies in the assessment of students' knowledge.Toformulate and substantiate the general concept of an empirical study of the problems of evaluating the results of educational activities of linguistics students, to determine the list of components and factors on which the level of the distance form of assessment depends.Toorganize a survey of teachers and students and survey subjects of the educational process.Tosummarize the materials of the survey of teachers and students of three educational institutions of higher education, to carry out a comparative analysis and interpretation of the results, and to put forward proposals for improving this process.The article consists of an introduction, a literature review, methods, results, discussion, and conclusion.MethodsResearch modelTo study this problem, we surveyed in June 2020 (surveys via e-mail, mobile messengers, questions in chats during conferences in real-time) of subjects of the educational process: teachers and students of linguistics of the Northern Trans-Ural State Agricultural University (NTUSAU), Surgut State University (SSU), and Peoples' Friendship University of Russia (RUDN).
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina LeonidovnaULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA and Elena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, Mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.169146MethodsThe methods of theoretical analysis of scientific sources devoted to the study of the possibility of using ICT in the implementation of the control and verification functions of the teacher and the ability of students to report on the acquisition of program knowledge and skills were used during the research.The paper also uses the method of the empirical study of the state of affairsregarding control measures of the educational process –an anonymous onlinesurvey.During the survey, the following questions were clarified among the subjects of the educational process: psychological and pedagogical readiness to use DLT in the PA of current and final learning outcomes; knowledge of digital educational content; technical accessibility; motivation to use DLT in learning and obtaining modern knowledge; the level of self-assessment of their knowledge, skills and acquired professional competencies; the effectiveness and fairness of the results of control measures used at the present stage; clarification of the need for additional training; the ability to determine the abilities of students and the rating of training.The survey sample consisted of 243 linguist students and 32 teachers of professional disciplines engaged in their training. The task was to evaluate one's attitude to the question on a scale from 1 to 12 points (1-4 low, 5-8 medium, 9-12 high).Mathematical processing of research resultsMathematical and statistical methods of processing the study results includedrecalculation of the number of survey participants who assessed the level of PA using remote technologies, as a percentage of the university sample.ResultsTable 1 shows the results of a survey of the attitude of teachers and students to PA using DLT.Table 1–The results of the survey of the attitude of teachers and students to PA using distance technologies, %Relationship componentsUNIVERSITYLow, %Average, %High, %TeacherStudentTeacherStudentTeacherStudent1. The level of familiarization with modern DLTNTUSAU1444392434SSU12113884505
image/svg+xmlInformation and communications technology in distance assessment of learning outcomes in linguistics studentsRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,Mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.169147RUDN107206870252. The level of familiarization with the possibilities of using DLTinPANTUSAU72672642110SSU007597253RUDN1020606030203. The level of psychological readiness to use DLTin PAcurrent and final learning outcomesNTUSAU2964288296SSU016397371RUDN10260933054. The level of understanding of the significance of distance testing of studentsNTUSAU7143315068SSU0025657535RUDN00305570455. The level of proficiency in the preparation of the test bankNTUSAU2195504291SSU12806317253RUDN10915075026. The level of need for the introduction of additional trainingNTUSAU292157521427SSU3815096123RUDN101680771077. The level of technical support for teaching (training)NTUSAU0164853615SSU013896623RUDN00334567558. The level of motivation to use DLTin teaching or studyingNTUSAU7122975023SSU38146276010RUDN33050931779. The level of assessment of one's digital competenceNTUSAU2995091210SSU13063852415RUDN076065402810. The level of efficiency and objectivity of the PAresults using DLTNTUSAU71164742915SSU007593257RUDN003382671811. The level of assessment of the possibility of determining the real abilities of students using DLTNTUSAU29134284293SSU0075812519RUDN10040805020Source:Prepared by the authorsIt can be seen from line 4 that 75% of SSUteachers and 68% of NTUSAUstudents had the highest level of understanding of the significance of distance testing of students. At the same time, teachers' and students' understanding of the importance of distance testing of students is not at a low level.
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina LeonidovnaULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA and Elena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, Mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.169148As we can see from line 7, the technical support of teaching or learning is mainly at an average and high level. This indicator is the best in RUDN–67% of teachers and 55% of students have a high level of technical support for teaching (training).The results of the self-analysis on point 8 showed that the teachers of NTUSAUand SSUdo not have a high level of motivation to use DLT in teaching or learning. This may be explained by a low level of experience in the use of remote technologies and a lack of methodological support.Analysis of the survey on self-assessment of digital competence of teachers showed that 40% of RUDNteachers have a high level of digital competence, while 29% of NTUSAUteachers noted a low level. 9% of NTUSAUstudents and 7% of RUDNstudents rated the level of their digital competence as low.As can be seen from row 10 of the table, 67% of RUDNteachers highly appreciate the level of effectiveness and objectivity of the results of PA using DLT.DiscussionThe analysis of the results of monitoring the educational process subjects’ opinions indicates that teachers and students are cautious about organizing semester control using e-technologies in all three universities. The reasons are as follows: insufficient level of psychological readiness, imperfection of technical equipment,andlow digital competence. Even though students, due to their age, are more active in the use of digital content, there are applicants for higher education with low computer literacy. Teachers have a desire to useDLT in testing but are practically not ready to perform a preparatory function, that is, to professionally prepare control tests.A positive aspect of the test type of control with the help of e-technologies is that the same requirements are imposed on all students. This helps them avoid excessive worries (after all, everyone is worried that they won't get too difficult questions), makes it possible to use time more effectively, and encourages self-control. However, as the researchers note (KHARE; LAM, 2008), testing is better used to identify knowledge of facts. Other control methods are more effective to determine the ability to creatively use the acquired knowledge.At the present stage of training future linguists, test tasks that require a creative response and the ability to synthesize the knowledge gained and apply it to solving practical problems are highly appreciated. Therefore, the preparation of educational tests should be a team: teachers, employers, and students. This will contribute to the proper quality of writing
image/svg+xmlInformation and communications technology in distance assessment of learning outcomes in linguistics studentsRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,Mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.169149assignments that would require students to demonstrate creative skills and learning outcomes provided by the discipline program and could not be completed by copying answers from other sources.The number of test tasks should cover the full scope of the course of an academic discipline, and if it is a comprehensive exam, then several academic disciplines. The complexity of the test tasks should be divided into simple, medium, and complex.If it is technically possible to organize examination control, students can be given the right to start taking the exam at their chosen time in a certain interval (for example, five people between 10 and 11 o'clock) (ELISEEV, 2012). The maximum duration of the exam from the moment it starts should be the same for all students. If the exam assignment contains creative questions, the maximum duration of the exam can be increased. We must always remember that pedagogical control should help the student to know themselves, to believe in theirstrength, to give the opportunity to creatively implement the acquired knowledge and skills.We support the fair opinion (CRISP; WARD, 2008)that it is not necessary to overestimate the role of educational testing with the help of digital technologies, because no technique or the most advanced program can so objectively and fairly evaluate the student's learning outcomes as a teacher. The internal state of the personality, its experiences, emotions, logic of thinking, and the knowledge base, skills, and abilities of theapplicant can be comprehensively perceived, understood, and evaluated only live. Testing, the use of digital technologies in the PA of students has the right to use it, but in some cases, for example, in emergencies when there are no other possibilities. When using it, high professional competence is required.In addition, in the process of preparing and conducting testing, education managers need to create an atmosphere of proper motivation for educational activities of both applicants for higher education and scientific and pedagogical workers(DANN, 2014). This will contribute to the formation of the competence of critical pedagogical thinking. At the level of higher educational institutions and departments where future linguists are trained, it is necessary to train competent specialists in expert work to develop educational tests, conduct a perfect testing procedure, and objectively interpret the results.
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina LeonidovnaULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA and Elena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, Mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.1691410ConclusionThe experience of organizing PA of linguistics students in three Russian universities in conditions of limited opportunities for offline communication was studied during the empirical study.The educational environments of higher education institutions of different universities have their achievements in activating the use of e-technologies and there remains a demand for their development in the PA of learning outcomes. However, the attitude of the subjects of the educational process to the use of distance technologies in PA differs significantly. Research and teaching staff of thethree universities are more restrained and cautious, applicants for higher education –on the contrary, expect innovative approaches, have a positive attitude to the use of control methods using e-technologies.An analysis of the assessment status in the pedagogical education system indicates a lack of experience in the effective application of pedagogical measurement and evaluation methods, especially test ones. The study results confirmed the hypothesis that the main problems hindering the implementationprocess of the remote assessment of learning outcomes language students using ICT are the lack of qualified personnel; lack of readiness of educational process subjects to this form of control; the complexity in the formation of project teams for the development of educational tests; lack of feedback,and lack of motivation among teachers and students.Further research will be aimed at studying the innovative experience of creating pedagogical conditions for the formation of diagnostic competencies among participants in the educational process of higher education institutions, the development of modern didactic tools, and forms of using ICT in pedagogical diagnostics.REFERENCESAFANASIEV, I. V. et al. The use of cloud resources and services in distance learning of students in the context of restrictions caused by the pandemic. Revista Tempos e Espaços em Educação, v. 14, n. 33,e16103, 2021. Availablein: https://seer.ufs.br/index.php/revtee/article/download/16103/11973/. Access in: 18 Mar. 2021.AL-SHOLI, H. Y. et al. An agile educational framework: A response for the Covid-19 pandemic. Cogent Education, v. 8, n. 1,1980939, 2021.Available in: https://www.tandfonline.com/doi/pdf/10.1080/2331186X.2021.1980939. Access in: 12 Aug. 2021.
image/svg+xmlInformation and communications technology in distance assessment of learning outcomes in linguistics studentsRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,Mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.1691411ALLO, M. D. Is the online learning good in the midst of Covid-19 pandemic? The case of EFL learners. Jurnal Sinestesia, v. 10, n. 1, p. 1-17, 2020.Available in: https://www.researchgate.net/publication/340815846_Is_the_online_learning_good_in_the_midst_of_Covid-19_Pandemic_The_case_of_EFL_learners. Access in: 13 July2021.ARIOVICH, L. et al.The assessment profession in higher education: A snapshotof perceptions, roles, and activities. Assessment Update, v. 31,n. 3,p. 10-12, 2019.Available in: https://www.researchgate.net/publication/333668834_The_Assessment_Profession_in_Higher_Education_A_Snapshot_of_Perceptions_Roles_and_Activities. Access in: 17 Sept. 2021.BENNETT, S. et al. How technology shapes assessment design: Findings from a study of university teachers. British Journal of Educational Technology, v. 48, n. 2, p. 672-682, 2016.Available in: https://www.researchgate.net/publication/301281257_How_technology_shapes_assessment_design_Findings_from_a_study_of_university_teachers_How_technology_shapes_assessment_design. Access in: 12 July2021.BLACK, P.; WILIAM, D. Developing the theory of formative assessment. Educational assessment. Evaluation and Accountability, v. 21, n. 1, p. 5–31, 2009.Available in: https://www.researchgate.net/publication/225590759_Developing_the_theory_of_formative_assessment. Access in: 11 July2021.BOUD, D.; SOLER, R. Sustainable assessment revisited. Assessment and Evaluation in Higher Education, v. 41, n. 3, p. 400-413, 2016.Available in: https://opus.lib.uts.edu.au/bitstream/10453/43261/4/320AD1B3-686A-46C1-8506-BDB33C8EF875%20am.pdf. Access in: 16 June2021.CRISP, G.; GUÀRDIA, L.; HILLIER, M. Using e-Assessment to enhance student learning and evidence learning outcomes. International Journal of Educational Technology in Higher Education, v. 13, n. 1, p.1-3,2016. Available in: https://educationaltechnologyjournal.springeropen.com/track/pdf/10.1186/s41239-016-0020-3.pdf. Access in: 14 June2021.CRISP,V.; WARD, C. The development of a formative scenario-based computer assisted assessment tool in psychology for teachers: The PePCAA project. Computers and Education, v. 50, n. 4, p. 1509–1526, 2008.Available in: https://www.sciencedirect.com/science/article/abs/pii/S0360131507000188. Access in: 12 June2021.DANN,R. Assessment as learning: Blurring the boundaries of assessment and learning for theory, policy and practice. Assessment in Education: Principles, Policy and Practice, v. 21, n. 2,p. 149-166,2014.Available in: https://www.tandfonline.com/doi/full/10.1080/0969594X.2014.898128. Access in: 03 July2021.DARLING-HAMMOND, L. Assessing teacher education: The usefulness of multiple measures for assessing program outcomes. Journal of Teacher Education, v. 57, n. 2, p. 120-138, 2006.Available in: https://journals.sagepub.com/doi/10.1177/0022487105283796. Access in: 07 Aug. 2021.
image/svg+xmlAmina Bestaevna SATKEEVA; Kapitolina LeonidovnaULANOVA; Natalia Yurjevna FILISTOVA; Elena Grigorievna GALIZINA and Elena Viktorovna FEDOTKINARev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e022004, Mar. 2022.e-ISSN: 2447-3529DOI: https://doi.org/10.29051/el.v8iesp.1.1691412DEELEY, S. J. Using technology to facilitate effective assessment for learning and feedback in higher education. Assessment and Evaluation in Higher Education, v. 43, n. 3, p. 439-448, 2018.Available in: https://eric.ed.gov/?q=Effective+AND+learning&pg=3&id=EJ1172318. Access in: 09 June2021.DOPPER, S. M.; SJOER, E. Implementing formative assessment in engineering education: The use of the online assessment system Etude. European Journal of Engineering Education, v. 29, n. 2, p. 259–266, 2004.Available in: https://eric.ed.gov/?id=EJ940429. Access in: 03 June2021.EFREMOVA, N. F. Formirovanie i otsenivanie kompetentsii v obrazovanii. Rostov-on-Don: Arkol, 2010.ELISEEV, I. N. Metodologiya otsenki urovnya kompetentsii studenta. Russia: Informatika i obrazovanie, 2012.GIKANDI, J. W.; MORROW, D.; DAVIS, N. E. Online formative assessment in higher education: A review of the literature. Computers and Education, v. 57,n. 4,p. 2333–2351, 2011.Available in: https://www.sciencedirect.com/science/article/abs/pii/S0360131511001333. Access in: 09 June2021.GLEBOV, V. A. et al. Distance learning in the humanitarian field amid the Coronavirus pandemic: Risks of creating barriers and innovative benefits. Propositos y Representaciones, v. 9, n. 3, e1258, 2021.Available in: https://revistas.usil.edu.pe/index.php/pyr/article/view/1258. Access in: 04 June2021.GOLUBEVA, T. I. et al. The impact of visualization tools in distance English language learning: The experience of the Russian university teachers. Revista Tempos e Espaços em Educação, v. 14, n. 33,e16111,2021.Available in: https://seer.ufs.br/index.php/revtee/article/view/16111. Access in: 20 June2021.HORST, S. J.; AMES, A. J. Bringing together assessment and learning improvement: Dreaming big for an inaugural summit. Research and Practice in Assessment, v. 13, p. 6-10, 2018.Available in: https://files.eric.ed.gov/fulltext/EJ1206335.pdf. Access in: 09 June2021.ILINA, I. Y. et al.Transformation of university teachers’ working and employment conditions in the period of distance learning: Socio-psychological aspects and risk assessment. Revista Tempos e Espaços em Educação, v. 14, n. 33, e16165, 2021. Available in: https://seer.ufs.br/index.php/revtee/article/view/16165/12017. Access in: 12 Apr. 2021.KHARE, A.; LAM, H. Assessing student achievement and progress with online examinations: Some pedagogical and technical issues. International Journal on E-Learning, v. 7, n. 3, p. 383–402, 2008.Available in: https://eric.ed.gov/?id=EJ800994. Access in: 03 Aug. 2021.
image/svg+xmlInformation and communications technology in distance assessment of learning outcomes in linguistics studentsRev. EntreLínguas, Araraquara, v.8, n.esp. 1, e022004,Mar. 2022.e-ISSN: 2447-3529DOI:https://doi.org/10.29051/el.v8iesp.1.1691413KIELY, R. Small answers to the big question: Learning from language program evaluation. Language Teaching Research, v. 13, n.1, p. 99-116, 2009.Available in: https://journals.sagepub.com/doi/10.1177/1362168808095525. Access in: 16 Aug. 2021.MISHCHENKO, I. K. Ob obektivnosti otsenki znanii studentov. Russia: Vestnik altaiskoi nauki, 2014.RAPANTA, C. et al.Online university teaching during and after the Covid-19 crisis: Refocusing teacher presence and learning activity. Postdigital Science and Education, v. 2, p. 923–945, 2020.Available in: https://link.springer.com/article/10.1007/s42438-020-00155-y. Access in:29 June2021.VRAZHNOVA, M. N.; ANASTASOV, M. S.; NIKIPORETS-TAKIGAWA, G. Y. Impact of professional self-improvement on the effectiveness of teachers in distance education. Revista Tempos e Espaços em Educação, v. 14, n. 33, e16159, 2021.Available in: https://seer.ufs.br/index.php/revtee/article/view/16159. Access in: 18 July2021.How to reference this articleSATKEEVA, A. B.; ULANOVA, K. L.; FILISTOVA, N. Y.; GALIZINA, E. G.; FEDOTKINA, E. V. Information and communications technology in distance assessment of learning outcomes in linguistics students. Rev. EntreLínguas, Araraquara, v. 8, n. esp. 1, e0222004,Mar. 2022. e-ISSN: 2447-3529. DOI: https://doi.org/10.29051/el.v8iesp.1.16914Submitted:20/12/2021Required revisions:28/01/2022Approved:17/02/2022Published:30/03/2022