A AVALIAÇÃO EDUCACIONAL NOS PROJETOS DE CURSO DE LICENCIATURAS: UMA PESQUISA SOBRE O ESTADO DO CONHECIMENTO


LA EVALUACIÓN EDUCACIONAL EN LOS PROYECTOS PEDAGÓGICOS DE CURSOS DE PROFESORADOS: UNA INVESTIGACIÓN SOBRE EL ESTADO DEL CONOCIMIENTO


EDUCATIONAL ASSESSMENT IN TEACHER’S FORMATION COURSE PROJECTS: A RESEARCH ON THE STATE OF KNOWLEDGE


Andreliza Cristina de SOUZA1 Amanda de Mattos Pereira MANO2


RESUMO: Este artigo apresenta resultados de uma investigação bibliográfica acerca de como a avaliação educacional é contemplada nos Projetos Pedagógicos de Cursos – PPCs de licenciaturas. O estudo caracteriza-se como uma pesquisa qualitativa, na perspectiva do Estado do Conhecimento. O recorte temporal compreende os anos entre 2009 a 2019, sendo o material bibliográfico coletado nas seguintes bases de dados: Biblioteca Digital de Teses e Dissertações (BDTD); Catálogo de Teses e Dissertações da CAPES; bibliotecas online de programas de pós-graduação em avaliação (educacional); Google e Scientific Electronic Library Online (SciELO). Os resultados encontrados nos trabalhos inventariados revelam que a avaliação educacional aparece de forma pontual nos documentos de curso, como disciplina ou na ementa de outras disciplinas, mas não recebe atenção de forma aprofundada, enquanto transdisciplina. Destaca-se o abismo entre estar presente no PPC versus a prática de avaliação de docentes, pois não fica claro se estas são pautadas apenas na avaliação para verificação da aprendizagem ou na avaliação para promoção das aprendizagens.


PALAVRAS-CHAVE: Avaliação educacional. Projeto pedagógico de curso. Licenciaturas.


RESUMEN: En este artículo se presentan resultados de una investigación bibliográfica sobre cómo se contempla la evaluación educativa en los Proyectos Pedagógicos de Cursos (PPC) de cursos de licenciatura en Pedagogía de una universidad federal. El estudio se caracteriza por ser una investigación cuali-cuantitativa, desde la perspectiva del conocimiento. El recorte temporal comprende el período entre 2009 y 2019, y el material bibliográfico fue recogido en las siguientes bases de datos: Biblioteca Digital de Tesis y Disertaciones (BDTD); Catálogo de Tesis y Disertaciones CAPES; bibliotecas en línea de programas de posgrados en evaluación (educativa); Google y Scientific Electronic Library Online (SciELO). Los resultados encontrados en los trabajos inventariados revelan que la evaluación aparece de forma puntual en los documentos del curso, como asignatura o en los



1 Universidade Federal de Mato Grosso do Sul (UFMS), Corumbá – MS – Brasil. Professora Adjunta nos cursos de Licenciatura. Coordenadora de Gestão Acadêmica do CPAN. Doutorado em Educação (UFSCAR). ORCID: https://orcid.org/0000-0002-4860-7608. E-mail: andreliza.souza@ufms.br

2 Universidade Federal de Mato Grosso do Sul (UFMS), Corumbá – MS – Brasil. Professora Adjunta nos cursos de Licenciatura e no Programa de Pós-Graduação em Educação (PPGE/CPAN). Doutorado em Educação (UNESP). ORCID: https://orcid.org/0000-0003-2924-583X. E-mail: amanda.mano@ufms.br



contenidos programáticos de otras asignaturas. Se destaca la brecha entre estar presente en el PPC versus la práctica de evaluación del docente, ya que no está claro si estas se basan solo en la evaluación para verificar el aprendizaje o en la evaluación para promover el aprendizaje.


PALABRAS CLAVE: Evaluación educativa. Proyecto pedagógico de curso. Licenciaturas.


ABSTRACT: This article presents the results of a bibliographic investigation about how educational assessment is contemplated in the Pedagogical Projects of Courses - PPCs of teaching degree courses. The study is characterized as qualitative and quantitative research, from the state of knowledge perspective. The time frame comprises the years between 2009 and 2019, with the bibliographic material being collected in the following databases: Digital Library of Theses and Dissertations (BDTD); CAPES Theses and Dissertations Catalog; online libraries of postgraduate programs in (educational) assessment; Google and Scientific Electronic Library Online (SciELO). The results found in the inventoried works reveal that the evaluation appears in an exact way in the course documents, as a discipline, or in the menu of other disciplines. The gap between being present in the PPC versus the teacher´s practice evaluation stands out, as it is not clear whether these are based only on the evaluation to verify learning or on the evaluation to promote learning.


KEYWORDS: Educational evaluation. Pedagogical course projects. Undergraduate degrees.


Introdução


A avaliação educacional vem sendo amplamente discutida nas últimas décadas em seus diferentes domínios: da aprendizagem, institucional, de políticas e programas, de currículos; em âmbito nacional e internacional, em grupos de pesquisas e programas de pós- graduação (AFONSO, 2014; ARRETCHE, 2007; DIAS SOBRINHO, 2003; COHEN;

FRANCO, 2012; FERNANDES, 2010, entre outros).

Podemos compreender a avaliação enquanto prática social (FERNANDES, 2010), sendo elemento constitutivo do ser humano em suas diversas facetas, como componente inerente ao processo pedagógico. Ela está presente desde o início do caminho estudantil permitindo que se conheça a realidade e os diferentes espaços sociais, acompanhando a trajetória das pessoas que percorrem a formação e o trabalho docente, que passam de avaliadas a avaliadoras.

Esse entendimento reforça a necessidade em analisar a avaliação educacional na interação com o sistema econômico e social, uma vez que Estados e agências internacionais utilizam-se da avaliação para definir políticas educacionais. Todos esses elementos interferem diretamente na educação e na ação docente, daí a importância em pesquisar como a avaliação educacional é contemplada nos Projetos Pedagógicos dos Cursos de formação docente, uma



vez que a prática é permeada por diferentes domínios e pode ser realizada e utilizada sob diferentes perspectivas.

Este trabalho apresenta resultados parciais referentes a uma pesquisa que vem sendo realizada no âmbito de uma universidade federal brasileira a respeito de como a avaliação educacional é contemplada enquanto conteúdo e área do conhecimento em Projetos Pedagógicos de Cursos de Licenciatura em Pedagogia. As reflexões são realizadas com base no levantamento do estado do conhecimento em trabalhos que trazem como temática a avaliação educacional em Projetos Pedagógico de Cursos (PPCs).

A pesquisa geral que ampara este trabalho traz como objetivo analisar quais são as tendências, perspectivas, práticas para o ensino e discussões sobre avaliação presentes nos Projetos Pedagógicos dos Cursos de Pedagogia. Já este trabalho, que traz resultados parciais, propõe-se a realizar um levantamento do estado do conhecimento na produção científica disponível online sobre o ensino e discussões sobre avaliação educacional presentes nos Projetos Pedagógicos de Cursos de licenciatura em nosso país.

Pretende-se, nesse momento, identificar quais dimensões e aspectos vêm sendo priorizados nesses estudos e quais não foram suficientemente explorados, em qual período e espaços eles ocorreram com mais frequência e onde estão disponibilizados. O material foi coletado na produção científica disponibilizada nas seguintes fontes e bases de dados: a) bibliotecas online de dissertações e teses da CAPES; b) bibliotecas online de programas de pós-graduação; c) periódicos disponíveis online em bases de dados indexadora Scientific Electronic Library Online (SciELO).

A importância deste trabalho se justifica na necessidade de qualificação do ensino e da aprendizagem sobre a avaliação educacional nos cursos de formação de docentes. A hipótese que permeia este trabalho é de que as licenciaturas não aprofundam aspectos da avaliação educacional em seus PPCs. Acredita-se que as discussões são realizadas no contexto da sala de aula, no decorrer das disciplinas, mas que a temática não é suficientemente aprofundada teórica e epistemologicamente nos projetos, o que evidencia uma fragilidade no fortalecimento da avaliação educacional enquanto campo de estudos.

Para tal, este texto traz na primeira parte conceitos fundantes: avaliação educacional, domínios/dimensões da avaliação e avaliação enquanto transdisciplina e enquanto campo. Em seguida é apresentado um mapeamento de produções científicas referente ao período que compreende os anos de 2009 e 2019 sobre o tema em voga.




As reflexões apresentadas buscam fortalecer a compreensão sobre a avaliação enquanto elemento fundamental para a ação docente em busca de práticas mais politicamente conscientes, eticamente refletidas e potencialmente emancipatórias.


Aproximações e conceitos em avaliação educacional


A avaliação faz parte de nosso cotidiano. Seja na vida profissional ou particular, estamos em constante avaliação. É uma prática social que traz contribuições para diferentes áreas da atividade humana, como economia, saúde a educação. Dentre as contribuições que os processos avaliativos podem assumir podemos citar o vislumbre de soluções mais eficientes para problemas contemporâneos, como acesso a bens sociais e distribuição de recursos e a tomada de decisões mais fundamentadas, buscando melhorias (FERNANDES, 2010; FERNANDES, 2013).

Enquanto um domínio do conhecimento a avaliação está presente em todas as áreas do conhecimento (FERNANDES, 2013). De forma particular no que se refere a este trabalho, a avaliação permeia a educação diariamente, seja na sala de aula ou na organização dos sistemas educativos.

Atualmente, o estudo da avaliação educacional remete a diferentes enquadramentos e regulamentações e apresenta concepções e abordagem teórico-metodológicas vinculadas aos interesses sociais em disputa. Enquanto processo amplo não se confunde com a mera prestação de contas e não funciona tão somente como mecanismo de controle e mensuração, mas pode ser utilizada como instrumento que possibilita entender o fenômeno educativo em suas diferentes nuances.

Cada vez mais utilizada para compreender as inúmeras questões que perpassam o fenômeno educativo, a avaliação educacional possibilita descrever e agir sobre os problemas em foco de acordo com os objetivos aos quais se coloca. Por ser exercida por pessoas com trajetórias próprias é eminentemente ética e política, pois cada sujeito traz consigo valores e práticas, crenças e experiências, que atribuem ao objeto avaliado singularidades e especificidades. Por isso mesmo produz resultados que variam de acordo com a perspectiva em que é realizada e, estes mesmos resultados, podem produzir sentidos e significados que vão ao encontro das teorias subjacentes.

A avaliação educacional é uma expressão polissêmica que indica a necessidade de levar em conta o contexto em que é tratada. Atualmente, a utilização da expressão tem extrapolado o contexto das aprendizagens em função da importância que a avaliação adquiriu




no contexto do Estado-avaliador. Vai além da avaliação pedagógica, domínio mais comumente exercido por professoras e professores, mas está relacionada às diversas dimensões avaliativas. Pode referir-se à avaliação de aprendizagens, à avaliação de escolas, à avaliação de currículos e programas, à avaliação de projetos, à avaliação de sistemas educativos, à avaliação de profissionais da educação, ou, ainda, à avaliação de políticas públicas (AFONSO, 2010).

Sousa (2000, p. 101) explica que “é possível classificar as dimensões da avaliação educacional segundo o espaço pedagógico que define sua atuação”. Ela define as seguintes dimensões: avaliação da sala de aula, avaliação institucional, avaliação de programa e projetos educativos, avaliação de currículo, avaliação de sistemas. Já para Brandalise et al. (2020) os domínios são os objetos de estudo da avaliação educacional, sendo eles: a avaliação da aprendizagem, a avaliação de programas, a avaliação de políticas, a avaliação institucional, a avaliação em larga escala, a avaliação de currículo, entre outros.

Isso indica que as discussões referentes à avaliação educacional devem permear a formação docente para além dos instrumentos de verificação e promoção das aprendizagens, pois as decisões que são (ou não) tomadas em nível macro interferem diretamente no contexto das escolas. Sendo assim, professoras e professores precisam conhecer as discussões e construções afetas ao campo da avaliação, evitando práticas ingênuas e desconectadas do contexto social, político e econômico, que determinam mais ou menos diretamente a educação.

Fernandes (2018) coloca a avaliação enquanto uma transdisciplina. O teórico explica que historicamente a avaliação teve dificuldades em determinar sua área pura de estudos, como as disciplinas primárias de física, química ou filosofia, o que retardou a afirmação da avaliação enquanto disciplina. Para ele o conteúdo de uma transdisciplina é oriundo de outras disciplinas primárias e possui, além de sua área pura, área aplicada “[...] cuja principal finalidade é a de desenvolver instrumentos que possam ser utilizados por outras disciplinas” (FERNANDES, 2013, p. 18). No entanto, atualmente a relevância da avaliação “[...] decorre da necessidade da sua presença em todos os domínios do conhecimento e áreas de funcionamento da sociedade, o que lhe confere a sua natureza transdisciplinar” (FERNANDES, 2018, p. 50).

Afonso (2014) explica que a avaliação enquanto um campo de conhecimento compreende funções e dimensões de diversas ordens (pedagógica, técnica, científica, cultural, simbólica, social, política, controle e legitimação) e “converge na preocupação de reforçar a




dignidade da avaliação e da correspondente complexidade das suas teorias e metodologias”

(AFONSO, 2014, p. 488).

Tais afirmações enfatizam a relevância do campo da avaliação desde um sentido sociológico, com suas teorias, metodologias e agentes


[...] com uma dinâmica própria e específica, onde se desenvolvem práticas profissionais, reflexões teóricas e conceituais e pesquisas empíricas, atravessadas por interesses divergentes e relações de poder e conflito, e um lugar onde se jogam e se conformam tensões a partir de aspectos científicos, técnicos e metodológicos plurais, mas também a partir de valores (morais éticos, políticos, econômicos, educacionais) muito diferenciado e por vezes, contraditórios (AFONSO, 2007, p. 9-10).


O campo da avaliação demonstra sua complexidade ao se inserir nos âmbitos político e social, uma vez que evidencia as contradições ali presentes, não só epistemológicas como também de concepções de mundo. Frente a esse debate, a avaliação se insere num debate político e ético. Político porque se desenvolve nas contraditórias dinâmicas sociais, ético porque se realiza num meio social e se assegura na intersubjetividade (DIAS SOBRINHO, 2003). Além disso,


podem ser convocados, por exemplo, os contributos da filosofia, da psicologia, da pedagogia, das teorias do currículo, da administração e gestão, da história, da antropologia, da economia, da política ou da sociologia, para, consoante os casos, circunscrever ou dar maior densidade analítica à problemática da avaliação, ou compreender e pôr em prática processos de avaliação. Trata-se, portanto, de um campo aberto a diferentes abordagens, sejam elas mais circunscritas a fronteiras conceptuais, ou mais transversais e interdisciplinares (AFONSO, 2010, s/p).


Para além das diferentes perspectivas e argumentos que defendem a avaliação enquanto transdisciplina ou a avaliação enquanto campo, tais divergências convergem para que o debate atente para “[...]reforçar a dignidade da avaliação e da correspondente complexidade das suas teorias e metodologias – em clara oposição com a profundamente redutora e conservadora [...]” (AFONSO, 2014, p. 488).

É fundamental que a avaliação educacional esteja presente no Projeto Pedagógico Curricular dos cursos de formação de docentes, isso garante, ao menos em teoria, que futuras professoras e professores terão contato, com aspectos teóricos e metodológicos em avaliação educacional. Espera-se que isso se reflita na prática pedagógica docente, uma vez que poderão compreender as implicações políticas da avaliação no contexto escolar e social.

No entanto, o estudo de Barbosa (2012) indica que há uma precariedade no domínio dos conhecimentos acerca da avaliação educacional que fundamentam a prática cotidiana



destas futuras professoras e professores, resultado da ineficiente forma de contemplar a avaliação em cursos de formação inicial. De forma geral, a avaliação educacional é abordada enquanto disciplina e/ou conteúdo de forma mais ou menos aprofundada nas licenciaturas, no entanto, a crítica que se faz é quanto ao ato de ‘ensinar’ avaliação ao passo em que as práticas avaliativas em tais cursos é predominantemente mecânica, classificatória e reprodutivista. Tomemos como exemplo a avaliação da aprendizagem, muitas vezes futuras professoras e professores ‘aprendem’ a avaliar ao ser avaliada ou avaliado de forma muito mais significativa do que em discussões teóricas e distantes da prática. Podemos ampliar esta discussão para outros domínios da avaliação, como avaliação institucional ou de políticas públicas, pois estas avaliações dificilmente são trabalhadas em cursos de formação inicial como atividades práticas.

A realidade da prática docente exige conhecimentos teórico-metodológicos para a realização de avaliações, contudo, Barbosa (2012, p. 1) explica que “estudantes de cursos de licenciatura “sofrem” avaliações (e com as avaliações) sem, no entanto, aprender com elas e sobre elas”. Estas professoras e professores contam apenas com os saberes da experiência enquanto estudantes, saberes estes que muitas vezes não condizem com uma perspectiva crítica porque foram classificatórias e sem reflexão. Esta falta de preparo para conduzir e participar de avaliações faz com que estas professoras e professores sustentes modelos ineficazes de avaliação (BARBOSA, 2012).

A partir do exposto este texto tem por objetivo apresentar os resultados de uma investigação bibliográfica acerca de como a avaliação educacional é contemplada nos Projetos Pedagógicos de Cursos – PPCs de licenciaturas.


Aspectos metodológicos


O estudo realizado caracteriza-se como uma pesquisa qualitativa (MINAYO, 2002), de caráter bibliográfico na perspectiva do estado do conhecimento (FERREIRA, 2002). Tais pesquisas buscam mapear e compreender a produção de conhecimento de uma determinada área (ROMANOWSKI; ENS, 2006). Teixeira (2006, p. 60) explica que uma pesquisa sobre o estado do conhecimento “procura compreender o conhecimento elaborado, acumulado e sistematizado sobre determinado tema, num período temporal”. Para tal é realizado o resgate da produção acadêmica de uma certa área.

Foi realizado levantamento das produções científicas do período que compreende os anos entre 2009 e 2019 relacionadas ao objeto de estudo. O material bibliográfico foi coletado




nas seguintes bases de dados: a) Biblioteca Digital de Teses e Dissertações (BDTD); b) Catálogo de Teses e Dissertações da CAPES; c) bibliotecas online de programas de pós- graduação em avaliação (educacional); d) periódicos disponíveis online na base de dados indexadora Scientific Electronic Library Online (SciELO).

Os descritores utilizados para a busca foram: avaliação educacional; projeto pedagógico de curso; PPC; avaliação AND projeto pedagógico de curso; avaliação AND PPC. A partir delas foram selecionados apenas os trabalhos com relação direta à temática. Após, as pesquisas elegidas foram pormenorizadas quanto ao seu objetivo, metodologia e principais resultados, os quais apresentam-se em sequência.


Resultados e discussões


Conforme dito, o mapeamento descrito buscou identificar a incidência de produção científica a respeito da avaliação educação educacional nos PPCs de cursos de licenciaturas. Com isso, pretendeu-se identificar quais dimensões e aspectos foram priorizados nesses estudos e quais não foram suficientemente explorados, bem como em qual período e espaços eles ocorrem com mais frequência e onde estão disponibilizados.

Passemos a descrição inicial destes trabalhos e, logo após, trazemos algumas discussões pertinentes aos achados.

A busca resultou em um total de 12 trabalhos distribuídos entre artigos 6 artigos em períodos e anais de eventos e 6 dissertações. Com relação às áreas em que os trabalhos estão inseridos, observe-se a Tabela 1.


Tabela 1 – Incidência de trabalhos por área


Área

Quantidade

Avaliação

6

Educação

4

Educação em Ciências e Matemática

2

Total

12

Fonte: Dados da pesquisa organizados pelas autoras


Nota-se que a avaliação educacional nos PPCs não se apresenta de modo consolidado. Embora a uma primeira vista esse dado pareça estar presente em diferentes domínios vemos, a partir da descrição desses estudos, tem-se que eles aparecem em momentos estanques, distantes de uma perspectiva global e integralizadora necessária ao estudo do campo da avaliação na formação de professoras e professores. Passa-se a descrição destas pesquisas.

RPGE– Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2778-2793, set./dez. 2021. e-ISSN: 1519-9029



Costa (2013) buscou analisar em sua pesquisa de Mestrado o processo de avaliação da aprendizagem desenvolvido em disciplinas em um curso de Licenciatura em Matemática a distância. Com base na matriz curricular do curso, a pesquisadora selecionou quatro disciplinas de conhecimento específico para fazer parte da investigação, utilizando como fonte de dados o PPC do curso; o ambiente virtual de aprendizagem de cada disciplina escolhida quanto ao desenho didático, as tarefas avaliativas propostas, os feedbacks dos tutores aos alunos e as provas presenciais. Dentre os resultados da pesquisa, apesar do PPC apontar uma concepção de avaliação formativa, o que define o formato avaliativo é a concepção docente. Além disso, a ênfase nos conhecimentos específicos não favorece a reflexão sobre os conhecimentos pedagógicos, dentre eles a avaliação.

Lopes (2013) em sua dissertação faz uma análise dos princípios e concepções que fundamentam a avaliação dos processos de ensino e aprendizagem nos projetos pedagógicos dos cursos de graduação da Universidade Federal do Ceará, com o fim de identificar se a prática avaliativa proposta atende ao perfil de formação definido pelos PPCs. Como métodos de coleta dos dados a pesquisadora fez uma análise de documentos institucionais e entrevistas coordenações de cursos, o que permitiu concluir que há desconhecimento dos documentos institucionais pelos diversos sujeitos institucionais (corpo docente, discente e técnico- administrativo). O estudo ressalta ainda a falta de articulação entre as concepções institucionais presentes nos documentos e o que é praticado em termos de avaliação da aprendizagem, ainda caracterizada como instrumento de poder.

Poltronieri e Calderón (2015) dedicaram-se a analisar a produção científica, a respeito da avaliação da aprendizagem na educação superior, divulgada na revista Estudos em Avaliação Educacional (EAE) em um período de 20 anos, abarcando desde sua criação em 1990 até 2010. Nesse minucioso estudo, foi identificado que a maior produção da revista no período investigado volta-se à operacionalização da avaliação no ensino superior. Vale dizer que não foram encontrados estudos concernentes a avaliação nos projetos pedagógicos de curso.

Villas Boas e Soares (2016) problematizam em seu estudo o lugar da avaliação nos

cursos de Licenciatura em Letras, Matemática e Pedagogia. Para tanto, entrevistaram estudantes, docentes e coordenações desses cursos, bem como observaram aulas da disciplina de avaliação escolar. A pesquisa revelou que na formação dessas futuras professoras e professores o tema avaliação não recebe a atenção devida, exemplificado na ausência de feedback nas avaliações por parte de docentes, na confusão entre avaliação e instrumentos





avaliativos e na crença de que avaliação deve ser trabalhada apenas por professoras ou professores específicos, que ficam responsáveis pelas disciplinas ditas pedagógicas.

Ainda no mesmo ano, Ramos et al. (2019) tiveram por objetivo analisar como o curso de Pedagogia da Universidade Federal do Amazonas (IEAA/UFAM) concebe a avaliação da aprendizagem em seu campo de formação. Desse modo, a partir de uma análise crítica do PPC verificou-se que o curso de Pedagogia tem demonstrado que se propõem a avaliar acadêmicas e acadêmicos, futuras professoras e professores, pedagogas e pedagogos, de uma forma contextualizada, considerando o ensino e aprendizagem numa perspectiva construtivista e progressista de educação. Porém, as autoras destacam que se faz necessário investigar se o previsto na documentação está sendo efetivado na prática.

A dissertação de Gonzaga (2016) buscou compreender como são pensadas e empreendidas as práticas avaliativas de docentes do curso de licenciatura em Matemática, tendo em vista o discurso e as ações realizadas em sala de aula. A autora identificou que grande parte das práticas avaliativas gira em torno dos exames e há dificuldade em mobilizar outros instrumentos para verificação da aprendizagem. Dentre os resultados a pesquisa aponta para a necessidade de formação continuada do corpo docente, visto que não há o preparo específico para avaliação educacional; mobilização do corpo discente sobre a importância das disciplinas do núcleo pedagógico, para que haja maior reconhecimento da avaliação educacional enquanto instrumento de promoção das aprendizagens.

Silva et al. (2016) empreenderam uma pesquisa com o objetivo de levantar a abordagem do conteúdo de Avaliação Educacional em Larga Escala nos cursos de Pedagogia presenciais, públicos e privados do País e, também, de verificar como corpo docente e coordenações pensam acerca da relevância dessa abordagem. Ainda que este conteúdo seja obrigatório na formação de profissionais da Pedagogia, a pesquisa mostra um baixo o índice de instituições de educação superior que ministram o conteúdo, todavia, as coordenações e docentes participantes consideravam relevante a abordagem da Avaliação Educacional em Larga Escala nos cursos de graduação em Pedagogia.

A pesquisa de Sales (2017) destaca a dicotomia entre o que está estabelecido nos PPCs e a prática avaliativa em cursos de licenciatura em Química em duas IES diferentes. O pesquisador explica que os projetos analisados fazem uma discussão incipiente sobre avaliação e mesmo quando a proposta avaliativa mostra uma tendência inovadora, há o distanciamento com relação à prática avaliativa docente. O trabalho conclui defendendo uma sólida formação para o corpo docente que vai formar professoras e professores, com discussões que possibilitem caminhos avaliativos mais inovadores e inclusivos; revisão



constante e coletiva dos PPCs, de forma que o corpo docente do curso se reconheça nele, o que leva a um desenvolvimento mais consciente do documento.

Carvalho, Benfatti e Silva (2017) buscaram investigar a avaliação em educação como componente curricular nos PPCs dos Cursos de Pedagogia de universidades federais brasileiras. Nessa investigação, a partir das instituições participantes do Enade, realizou-se uma amostragem com 20 universidades nas quais analisou-se o PPC quanto às características da oferta da disciplina de avaliação educacional, elementos constitutivos da disciplina de avaliação, relação dessas disciplinas com as categorias das Diretrizes Curriculares Nacionais de Pedagogia (DCN). Os resultados evidenciaram que mais da metade dos projetos de curso contemplam a avaliação educacional ou do ensino-aprendizagem como componente curricular e de tipologia obrigatória, o que legalmente comprova o atendimento do curso às DCN.

Também investigando o projeto pedagógico do curso de Pedagogia de uma universidade da capital baiana, Freitas (2017), em um primeiro momento de análise de documentos do curso e de entrevistas com docentes e estudantes, destacou quanto à avaliação a ausência de componentes curriculares de Avaliação e Gestão no PPC vigente, na contramão das DCN, além de dúvidas de estudantes quanto aos processos avaliativos utilizados por docentes. Posteriormente o autor apresentou a reformulação do PPC de forma coletiva, buscando amenizar as fragilidades relatadas.

França (2017) descreve os conhecimentos sobre avaliação ofertadas no processo de formação de graduandos e egressos do curso de Pedagogia da Universidade Federal de Alagoas – Campus do Sertão. Por meio de entrevistas, a pesquisadora verificou a contradição entre o referencial teórico trabalhado na disciplina de avaliação e o modo de avaliação de docentes do curso. Em específico, quanto a egressos, observou-se que tendem a não reproduzir os modelos de avaliação que foram submetidos na universidade e, enquanto docentes, buscam utilizar os instrumentos de avaliação como mecanismo de acompanhamento da aprendizagem de estudantes.

Rego (2019) traz como objeto de sua pesquisa de Mestrado as implicações para a formação de professoras e professores da perspectiva de avaliação da aprendizagem presentes em PPCs de cursos de licenciatura em Química e Física de duas Instituições de educação superior. A autora analisou a relação existente entre as propostas avaliativas presentes nos PPCs com as Gerações da Avaliação descritas por Guba e Lincoln (2011). A autoria identificou que a discussão nos PPCs analisados está situada em propostas mais inovadoras de avaliação, contudo, o espaço destinado para estas discussões está restrito às disciplinas pedagógicas.

RPGE– Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2778-2793, set./dez. 2021. e-ISSN: 1519-9029



Nos estudos apresentados ainda que em distintos cursos de formação de professores, observa-se que a avaliação é objeto e área pouco explorada. Isso implica dizer que, em linhas gerais, embora o componente avaliação esteja presente nos PPCs de cursos de licenciatura, ela não é inserida de maneira globalizada junto aos demais componentes, tampouco, entendida como promotora de aprendizagens.

Nas pesquisas apresentadas, a avaliação aparece como disciplina ou na ementa de outras disciplinas, isto é, percebe-se seu lugar é reduzido na formação docente e, quando ele ocorre, o trabalho pedagógico desenvolvido é de forma pontual, muitas vezes, atribuído a professoras e professores de disciplinas específicas.

Nos estudos apresentados, em distintos cursos de formação de professores, observa -se que a avaliação é objeto e área pouco explorada. Faz-se importante destacar que as DCNs que regulamentam as licenciaturas em nosso país (BRASIL, 2015) apresentam que estudos sobre avaliação devem fazer parte da formação inicial de professores em nosso país.

Dessa forma, PPCs que não comtemplam disciplinas e/ou momentos formativos que tenham por objetivo explorar os mais diversos âmbitos da avaliação, não preconizam as mínimas discussões esperadas na formação docente.

Em específico, no que tange a avaliação educacional, a qual vem-se defendendo neste texto como transdisciplinar enquanto campo de conhecimento, a sua ausência em documentos norteadores de formação ou quando presente relacionada a momentos estanques, permite-nos inferir que o lugar da avaliação educacional acaba minimizado e sem ligação com os contextos sociais e políticos

De fato, este lugar é reduzido na formação docente e desenvolvido de forma pontual, muitas vezes, atribuído a professoras e professores de disciplinas específicas, sem inserção globalizada junto aos demais componentes curriculares, tampouco, entendido como promotor de aprendizagens.


Considerações finais


De maneira progressiva nos últimos anos a avaliação vem sendo contemplada nos PPCs, o que pode ser entendido com um avanço na formação de professoras e professores. Entretanto, a forma que a disciplina é conduzida e as vivências universitárias quanto à avaliação colocam a necessidade de melhor investigar a avaliação na educação superior, sobretudo, nas licenciaturas.





Mesmo abordada nos PPCs ficam dúvidas com relação a sua execução e contribuição para a formação de docentes. Ademais, o maior questionamento dá-se no abismo entre estar presente no PPC, ter uma disciplina específica no curso para trabalhar avaliação, a qual, quase sempre, apresenta referenciais teóricos reflexivos e construtivistas para compreender a avaliação, mas a prática de avaliação de docentes acaba sendo pautada apenas na verificação da aprendizagem por meio de instrumentos como provas e seminários.

Os desdobramentos dessas práticas quanto à avaliação educacional encaminham indagações acerca da formação de professoras e professores no que diz respeito à vivência que esses futuros profissionais da educação têm com a avaliação educacional. Assim, indagamos se seus saberes universitários permitem, portanto, que na educação básica novas práticas avaliativas sejam empregadas. Nossa hipótese, que advém de nosso trabalho empírico nesta etapa de escolarização, revela que ainda os docentes compreendem a avaliação da aprendizagem como um momento pontual, como se marcasse o final da aprendizagem, submetendo os educandos a rankings e comparações.

Ressalta-se que se o docente não tem a oportunidade de pensar a avaliação de outra forma, seja em sua formação inicial ou continuada, práticas classificatórias e descontextualizadas perpetuam-se no cenário educacional. Advogamos, então, em prol de uma vivência reflexiva quanto à avaliação educacional. Para tanto, em um primeiro momento, consideramos positiva a existência de pesquisas que mostram a presença desta, ainda que como uma disciplina que aborde em específico aspectos da avaliação educacional. Entretanto, os desdobramentos disto à formação docente carecem de maiores investigações.


REFERÊNCIAS


AFONSO, A. J. Avaliação educacional. In: OLIVEIRA, D. A.; DUARTE, A.; VIEIRA, L.

(Org.). Dicionário sobre trabalho, profissão e condição docente. Belo Horizonte, MG: UFMG/Faculdade de Educação, 2010. Disponível em: https://gestrado.net.br/verbetes/avaliacao-educacional/. Acesso em: 17 set. 2020


AFONSO, A. J. Avaliação em educação: perspectivas de emancipação social ou regulação gestionária. In: MELLO, M. M. (Org.). Avaliação em educação. Pinhais, PR: Melo, 2007. p. 9-14.


AFONSO, A. J. Questões, objetos e perspetivas em avaliação. Avaliação, Campinas (SP), v. 19, n. 2, p. 487-507, jul. 2014.


ARRETCHE, M. T. D. S. Tendências no estudo sobre avaliação. In: RICO, E. M. Avaliação de políticas sociais: uma questão em debate. São Paulo, SP: Cortez, 2007.





BARBOSA, F. R. P. Avaliação da aprendizagem na formação de professores: estão os futuros professores preparados para avaliar? In: SEMINÁRIO DE PESQUISA EM EDUCAÇÃO DA REGIÃO SUL, 9., 2012, Caxias do Sul. Anais [...]. Caxias do Sul, RS: ANPED SUL, 2012.


BRANDALISE, M. Â. T. et al. Avaliação educacional: sistematização coletiva de conceitos, de termos e de perspectivas. In: BRANDALISE, M. Â. T. (Org.). Avaliação educacional: interfaces, conceitos, termos e perspectivas. Ponta Grossa, PR: Ed. UEPG, 2020. p. 11-16.


BRASIL. Conselho Nacional de Educação. Resolução CNE/CP n. 02, de 01 de julho de 2015. Define as Diretrizes Curriculares Nacionais para a formação inicial em nível superior (cursos de licenciatura, cursos de formação pedagógica para graduados e cursos de segunda licenciatura) e para a formação continuada. Diário Oficial da União: Seção 1, Brasília, DF, p. 8-12, n. 124, 02 jul. 2015.


CARVALHO, A. O. P.; BENFATTI, X. D.; SILVA, H. B. A avaliação educacional com componente curricular na formação de professores: um estudo documental a partir dos projetos pedagógicos dos cursos de Pedagogia. In: CONGRESSO INTERNACIONAL EM AVALIAÇÃO EDUCACIONAL, 7., 2016, Fortaleza. Anais [...]. Fortaleza, CE: UFC, 2016.

Tema: Avaliação e seus espaços: desafios e reflexões.


COHEN, E.; FRANCO, R. Avaliação de projetos sociais. Petrópolis, RJ: Vozes, 2012.


COSTA, P. K. A. Avaliação da aprendizagem na licenciatura em matemática a distância. 2013. 197 f. Dissertação (Mestrado em Educação) – Universidade Estadual de Ponta Grossa, Ponta Grossa, 2013.


DIAS SOBRINHO, J. Universidade e novos modos de produção, circulação e aplicação do conhecimento. Avaliação, Campinas (AP), v. 19, n. 3, p. 643-662, nov. 2014.


FERNANDES, D. Acerca da articulação de perspectivas e da construção teórica em avaliação educacional. In: ESTEBAN, M. T.; AFONSO, A. J. (Org.), Olhares e interfaces: reflexões críticas sobre a avaliação. São Paulo, SP: Cortez, 2010. p. 15-44.


FERNANDES, D. Avaliação em Educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Ensaio: aval. pol. públ. Educ., Rio de Janeiro (RJ), v. 21, n. 78, p. 11-34, mar. 2013.


FERNANDES, D. Contributos das perspetivas orientadas por/para uma agenda social. In: FERRÃO, J. F.; PAIXÃO, J. M. P. (Org.). Metodologias de avaliação de políticas públicas. Lisboa, Portugal: Imprensa da Universidade de Lisboa, 2018. p. 49-70.


FERREIRA, N. S. A. As pesquisas denominadas "estado da arte". Educ. Soc., Campinas (SP), v. 23, n. 79, p. 257-272, ago. 2002.


FRANÇA, M. L. C. A avaliação da aprendizagem na formação docente: um retrato dos saberes dos concluintes e egressos do curso de Pedagogia da Universidade Federal de Alagoas/Campus Sertão. 2017. 162 f. Dissertação (Mestrado em Educação) – Universidade Federal de Sergipe, Faculdade de Educação, São Cristóvão, 2017.





FREITAS, A. A. S. M. Construção coletiva do PPC: a experiência do curso de Pedagogia da Universidade Católica do Salvador (UCSAL). Revista de Estudios y Experiencias en Educación, Santiago (Chile), v. 16, n. 31, p 157-173, ago. 2017.


GONZAGA, A. E. S. Das concepções às práticas de avaliação: um estudo sobre as práticas avaliativas no Curso de Licenciatura em Matemática do Instituto Federal de Educação, Ciência e Tecnologia da Paraíba – Cajazeiras. 2016. 122 f. Dissertação (Mestrado) – Universidade Federal do Ceará, Fortaleza, 2016.


GUBA, E. G.; LINCOLN, Y. S. Avaliação de quarta geração. Campinas, SP: Editora da Unicamp, 2011.


LOPES, K. K. V. Avaliação do ensino-aprendizagem nos projetos pedagógicos dos cursos de graduação da Universidade Federal do Ceará. 2013. 130 f. Dissertação (Mestrado) – Universidade Federal do Ceará, Fortaleza, 2013.


MINAYO, M. C. S. (Org.). Pesquisa social. Teoria, método e criatividade. 19. ed. Petrópolis, RJ: Vozes, 2002.


POLTRONIERI, H.; CALDERÓN, A. I. Avaliação da aprendizagem na educação superior: a produção científica da revista Estudos em Avaliação Educacional em questão. Avaliação, Campinas (SP), v. 20, n. 2, p. 467-487, jul. 2015.


RAMOS, K. L. et al. Avaliação da aprendizagem: uma análise crítica do PPC do curso de pedagogia do IEAA-UFAM. In: CONGRESSO NACIONAL DE EDUCAÇÃO – CONEDU,

6., 2019, Fortaleza. Anais [...]. Campina Grande, PB: Realize Editora, 2019. Tema: Avaliação: processos e políticas. Disponível em: https://editorarealize.com.br/artigo/visualizar/59378. Acesso em: 10 maio 2021.


REGO, A. M. C. A formação de professores em química e física de Pernambuco e suas relações com as novas perspectivas de avaliação da aprendizagem: uma análise documental à luz da teoria dos construtos pessoais e das gerações da avaliação. 2019.

Dissertação (Mestrado) – Universidade Federal de Pernambuco, Caruaru, 2019.


ROMANOWSKI, J. P.; ENS, R. T. As pesquisas denominadas do tipo "estado da arte" em educação Revista Diálogo Educacional, v. 6, n. 19, p. 37-50, set./dez. 2006.


SALES, E. S. Formação inicial de professores de química: um estudo acerca das condicionantes da prática avaliativa. 2017. 168 f. Dissertação (Mestrado) – Universidade Federal de Pernambuco, Caruaru 2017.


SILVA, M. M. S. et al. A abordagem da Avaliação Educacional em Larga Escala nos cursos de graduação em Pedagogia. Rev. bras. Estud. pedagog., Brasília (DF), v. 97, n. 245, p. 46- 67, jan./abr. 2016.


SOUSA, C. P. Dimensões da Avaliação Educacional. Estudos em Avaliação Educacional, São Paulo (SP), n. 22, p. 101-118, 2000.





TEIXEIRA, C. R. O “estado da arte”: a concepção de avaliação na produção acadêmica do Programa de Pós-graduação em Educação: currículo (1975-2000). Cadernos de Pós- graduação em Educação, São Paulo (SP), v. 5, n. 1, p. 59-66, 2006.


VILLAS BOAS, B. M. F.; SOARES, S. L. O lugar da avaliação na formação de professores.

Cad. Cedes, Campinas (SP), v. 36, n. 99, p. 239-254, maio/ago. 2016.


Como referenciar este artigo


SOUZA, A. C.; MANO, A. M. P. A avaliação educacional nos projetos de curso de licenciaturas: uma pesquisa sobre o estado do conhecimento. Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2778-2793, set./dez. 2021. e-ISSN:1519-

9029. DOI: https://doi.org/10.22633/rpge.v25i3.15045


Submetido em: 20/08/2021 Revisões requeridas em: 28/09/2021 Aprovado em: 16/10/2021 Publicado em: 01/08/2021





EDUCATIONAL ASSESSMENT IN TEACHER’S FORMATION COURSE

PROJECTS: A RESEARCH ON THE STATE OF KNOWLEDGE


A AVALIAÇÃO EDUCACIONAL NOS PROJETOS DE CURSO DE LICENCIATURAS: UMA PESQUISA SOBRE O ESTADO DO CONHECIMENTO


LA EVALUACIÓN EDUCACIONAL EN LOS PROYECTOS PEDAGÓGICOS DE CURSOS DE PROFESORADOS: UNA INVESTIGACIÓN SOBRE EL ESTADO DEL CONOCIMIENTO


Andreliza Cristina de SOUZA1 Amanda de Mattos Pereira MANO2


ABSTRACT: This article presents the results of a bibliographic investigation about how educational assessment is contemplated in the Pedagogical Projects of Courses - PPCs of teaching degree courses. The study is characterized as qualitative and quantitative research, from the state of knowledge perspective. The time frame comprises the years between 2009 and 2019, with the bibliographic material being collected in the following databases: Digital Library of Theses and Dissertations (BDTD); CAPES Theses and Dissertations Catalog; online libraries of postgraduate programs in (educational) assessment; Google and Scientific Electronic Library Online (SciELO). The results found in the inventoried works reveal that the evaluation appears in an exact way in the course documents, as a discipline, or in the menu of other disciplines. The gap between being present in the PPC versus the teacher´s practice evaluation stands out, as it is not clear whether these are based only on the evaluation to verify learning or on the evaluation to promote learning.


KEYWORDS: Educational evaluation. Pedagogical course projects. Teaching degrees.


RESUMO: Este artigo apresenta resultados de uma investigação bibliográfica acerca de como a avaliação educacional é contemplada nos Projetos Pedagógicos de Cursos – PPCs de licenciaturas. O estudo caracteriza-se como uma pesquisa qualitativa, na perspectiva do Estado do Conhecimento. O recorte temporal compreende os anos entre 2009 a 2019, sendo o material bibliográfico coletado nas seguintes bases de dados: Biblioteca Digital de Teses e Dissertações (BDTD); Catálogo de Teses e Dissertações da CAPES; bibliotecas online de programas de pós-graduação em avaliação (educacional); Google e Scientific Electronic Library Online (SciELO). Os resultados encontrados nos trabalhos inventariados revelam que a avaliação educacional aparece de forma pontual nos documentos de curso, como disciplina ou na ementa de outras disciplinas, mas não recebe atenção de forma aprofundada, enquanto transdisciplina. Destaca-se o abismo entre estar presente no PPC



1 Federal University of Mato Grosso do Sul (UFMS), Corumbá – MS – Brazil. Adjunct Professor in the Teaching degree courses. Academic Management Coordinator at CPAN. Doctorate in Education (UFSCAR). ORCID: https://orcid.org/0000-0002-4860-7608. E-mail: andreliza.souza@ufms.br

2 Federal University of Mato Grosso do Sul (UFMS), Corumbá – MS – Brazil. Adjunct Professor in the Teaching Degree courses and in the Postgraduate Program in Education (PPGE/CPAN). Doctorate in Education (UNESP). ORCID: https://orcid.org/0000-0003-2924-583X. E-mail: amanda.mano@ufms.br




versus a prática de avaliação de docentes, pois não fica claro se estas são pautadas apenas na avaliação para verificação da aprendizagem ou na avaliação para promoção das aprendizagens.


PALAVRAS-CHAVE: Avaliação educacional. Projeto pedagógico de curso. Licenciaturas.


RESUMEN: En este artículo se presentan resultados de una investigación bibliográfica sobre cómo se contempla la evaluación educativa en los Proyectos Pedagógicos de Cursos (PPC) de cursos de licenciatura en Pedagogía de una universidad federal. El estudio se caracteriza por ser una investigación cuali-cuantitativa, desde la perspectiva del conocimiento. El recorte temporal comprende el período entre 2009 y 2019, y el material bibliográfico fue recogido en las siguientes bases de datos: Biblioteca Digital de Tesis y Disertaciones (BDTD); Catálogo de Tesis y Disertaciones CAPES; bibliotecas en línea de programas de posgrados en evaluación (educativa); Google y Scientific Electronic Library Online (SciELO). Los resultados encontrados en los trabajos inventariados revelan que la evaluación aparece de forma puntual en los documentos del curso, como asignatura o en los contenidos programáticos de otras asignaturas. Se destaca la brecha entre estar presente en el PPC versus la práctica de evaluación del docente, ya que no está claro si estas se basan solo en la evaluación para verificar el aprendizaje o en la evaluación para promover el aprendizaje.


PALABRAS CLAVE: Evaluación educativa. Proyecto pedagógico de curso. Licenciaturas.


Introduction


Educational evaluation has been widely discussed in recent decades in its different domains: learning, institutional, policies and programs, curricula; nationally and internationally, in research groups and postgraduate programs (AFONSO, 2014; ARRETCHE, 2007; DIAS SOBRINHO, 2003; COHEN; FRANCO, 2012; FERNANDES,

2010, among others).

We can understand evaluation as a social practice (FERNANDES, 2010), being a constitutive element of the human being in its various facets, as an inherent component of the pedagogical process. It has been present since the beginning of the student journey, allowing one to get to know the reality and the different social spaces, following the trajectory of people who go through formation and teaching work, who go from being evaluated to being evaluators.

This understanding reinforces the need to analyze educational evaluation in the interaction with the economic and social system, since States and international agencies use evaluation to define educational policies. All these elements directly interfere in education and teaching action, hence the importance of researching how educational assessment is




contemplated in the Pedagogical Projects of Teacher Formation Courses, since the practice is permeated by different domains and can be carried out and used under different perspectives.

This work presents partial results referring to research that has been carried out in the scope of a Brazilian federal university regarding how educational evaluation is considered as a content and area of knowledge in Pedagogical Projects of Teaching Degree Courses in Pedagogy. The reflections are carried out based on the survey of the state of knowledge in works that have as their theme the educational evaluation in Pedagogical Projects of Courses (PPCs).

The general research that supports this work aims to analyze what are the trends, perspectives, practices for teaching and discussions on evaluation present in the Pedagogical Projects of Pedagogy Courses. This work, which brings partial results, proposes to carry out a survey of the state of knowledge in the scientific production available online on teaching and discussions on educational evaluation present in the Pedagogical Projects of Teaching degree Courses in our country.

At this point, it is intended to identify which dimensions and aspects have been prioritized in these studies and which have not been sufficiently explored, in which period and spaces they occurred more frequently and where they are available. The material was collected from the scientific production available in the following sources and databases: a) online libraries of CAPES dissertations and theses; b) online libraries of postgraduate programs; c) journals available online in Scientific Electronic Library Online (SciELO) indexing databases.

The importance of this work is justified by the need to qualify teaching and learning about educational assessment in teacher formation courses. The hypothesis that permeates this work is that the degrees do not deepen aspects of educational assessment in their PPCs. It is believed that the discussions are carried out in the context of the classroom, during the course of the disciplines, but that the theme is not sufficiently in-depth theoretically and epistemologically in the projects, which shows a weakness in the strengthening of educational assessment as a field of study.

To this end, this text brings in the first part fundamental concepts: educational evaluation, domains/dimensions of evaluation and evaluation as a transdisciplinary and as a field. Then, a mapping of scientific productions is presented for the period that comprises the years 2009 and 2019 on the topic in vogue.





The reflections presented seek to strengthen the understanding of evaluation as a fundamental element for teaching action in search of more politically conscious, ethically reflective and potentially emancipatory practices.


Approaches and concepts in educational assessment


Assessment is part of our daily life. Whether in professional or private life, we are constantly being evaluated. It is a social practice that brings contributions to different areas of human activity, such as economics, health and education. Among the contributions that evaluation processes can make, we can cite the glimpse of more efficient solutions to contemporary problems, such as access to social goods and distribution of resources and more informed decision-making, seeking improvements (FERNANDES, 2010; FERNANDES, 2013).

As a domain of knowledge, evaluation is present in all areas of knowledge (FERNANDES, 2013). Particularly regarding this work, assessment permeates education on a daily basis, whether in the classroom or in the organization of educational systems.

Currently, the study of educational evaluation refers to different frameworks and regulations and presents theoretical-methodological concepts and approach linked to the social interests in dispute. As a broad process, it is not to be confused with the mere rendering of accounts and does not work only as a control and measurement mechanism but can be used as an instrument that makes it possible to understand the educational phenomenon in its different nuances.

Increasingly used to understand the numerous issues that permeate the educational phenomenon, educational evaluation makes it possible to describe and act on the problems in focus according to the objectives to which it is placed. As it is exercised by people with their own trajectories, it is eminently ethical and political, as each subject brings with them values and practices, beliefs and experiences, which attribute singularities and specificities to the evaluated object. For this reason, it produces results that vary according to the perspective in which it is carried out and, these same results, can produce senses and meanings that meet the underlying theories.

Educational evaluation is a polysemic expression that indicates the need to consider the context in which it is treated. Currently, the use of the expression has extrapolated the context of learning in function of the importance that the evaluation acquired in the context of the State-evaluator. It goes beyond pedagogical evaluation, a domain most commonly




exercised by teachers, but is related to the various evaluative dimensions. It can refer to the evaluation of learning, the evaluation of schools, the evaluation of curricula and programs, the evaluation of projects, the evaluation of educational systems, the evaluation of education professionals, or even the evaluation of public policies (AFONSO, 2010).

Sousa (2000, p. 101, our translation) explains that “it is possible to classify the dimensions of educational evaluation according to the pedagogical space that defines its performance”. It defines the following dimensions: classroom evaluation, institutional evaluation, evaluation of educational programs and projects, curriculum evaluation, systems evaluation. As for Brandalise et al. (2020) the domains are the objects of study of educational evaluation, namely: learning evaluation, program evaluation, policy evaluation, institutional evaluation, large-scale evaluation, curriculum evaluation, among others.

This indicates that discussions regarding educational evaluation must permeate teacher formation beyond the instruments of verification and promotion of learning, as decisions that are (or are not) taken at a macro level directly interfere in the context of schools. Therefore, teachers and professors need to know the discussions and constructions related to the field of evaluation, avoiding naive practices disconnected from the social, political and economic context, which more or less directly determine education.

Fernandes (2018) places evaluation as a transdisciplinary. The theorist explains that, historically, evaluation has had difficulties in determining its pure area of studies, such as the primary disciplines of physics, chemistry or philosophy, which has delayed the affirmation of evaluation as a discipline. For him, the content of a transdiscipline comes from other primary disciplines and has, in addition to its pure area, an applied area “[...] whose main purpose is to develop instruments that can be used by other disciplines” (FERNANDES, 2013, p. 18 , our translation). However, currently the relevance of evaluation “[...] stems from the need for its presence in all fields of knowledge and areas of functioning of society, which gives it its transdisciplinary nature” (FERNANDES, 2018, p. 50, our translation).

Afonso (2014) explains that evaluation as a field of knowledge comprises functions and dimensions of various orders (pedagogical, technical, scientific, cultural, symbolic, social, political, control and legitimation) and “converges on the concern of reinforcing the dignity of evaluation and the corresponding complexity of its theories and methodologies” (AFONSO, 2014, p. 488, our translation).

Such statements emphasize the relevance of the field of evaluation from a sociological point of view, with its theories, methodologies and agents.




[...] with its own specific dynamics, where professional practices, theoretical and conceptual reflections and empirical research are developed, crossed by divergent interests and relations of power and conflict, and a place where tensions are played out and formed from plural scientific, technical and methodological aspects, but also based on very different and sometimes contradictory values (ethical, political, economic, educational) (AFONSO, 2007, p. 9-10, our translation).


The field of evaluation demonstrates its complexity when inserted in the political and social spheres, since it highlights the contradictions present there, not only epistemological but also of conceptions of the world. Faced with this debate, the evaluation is part of a political and ethical debate. Political because it develops in contradictory social dynamics, ethical because it takes place in a social environment and is assured in intersubjectivity (DIAS SOBRINHO, 2003). Furthermore,


contributions from philosophy, psychology, pedagogy, curriculum theories, administration and management, history, anthropology, economics, politics or sociology can be called upon to, depending on the case, circumscribe or give greater analytical density to the issue of evaluation, or understand and put into practice evaluation processes. It is, therefore, a field open to different approaches, whether they are more limited to conceptual boundaries, or more transversal and interdisciplinary (AFONSO, 2010, n/p, our translation).


In addition to the different perspectives and arguments that defend evaluation as a transdiscipline or evaluation as a field, such divergences converge so that the debate seeks to “[...] reinforce the dignity of evaluation and the corresponding complexity of its theories and methodologies – in clear opposition with the deeply reductive and conservative [...]” (AFONSO, 2014, p. 488, our translation).

It is essential that educational assessment be present in the Curricular Pedagogical Project of teacher formation courses, guaranteeing, at least in theory, that future teachers and professors will have contact with theoretical and methodological aspects in educational assessment. It is hoped that this will be reflected in the teaching pedagogical practice, since they will be able to understand the political implications of evaluation in the school and social context.

However, the study by Barbosa (2012) indicates that there is a precariousness in the field of knowledge about educational assessment that underlies the daily practice of these future teachers, a result of the inefficient way of contemplating assessment in initial formation courses. In general, educational assessment is approached as a discipline and/or content in a more or less in-depth way in the degrees, however, the criticism that is made is about the act




of 'teaching' assessment while the assessment practices in such courses are predominantly mechanical, classificatory and reproductive. Take as an example the evaluation of learning, often future teachers and teachers 'learn' to evaluate when being evaluated in a much more significant way than in theoretical discussions and distant from practice. We can extend this discussion to other domains of evaluation, such as institutional or public policy evaluation, as these evaluations are rarely used in initial formation courses as practical activities.

The reality of teaching practice requires theoretical-methodological knowledge to carry out assessments, however, Barbosa (2012, p. 1) explains that “students of teaching degree courses “suffer” assessments (and with the assessments) without, however, learning with them and about them”. These teachers rely only on the knowledge of experience as students, knowledge that often does not match a critical perspective because they were classificatory and without reflection. This lack of preparation to conduct and participate in assessments makes these teachers support ineffective assessment models (BARBOSA, 2012).

Based on the above, this text aims to present the results of a bibliographic investigation about how educational assessment is contemplated in the Pedagogical Projects of Courses - PPCs of teaching degree courses.


Methodological aspects


The study carried out is characterized as qualitative research (MINAYO, 2002), with a bibliographic character in the perspective of the state of knowledge (FERREIRA, 2002). Such research seeks to map and understand the production of knowledge in a given area (ROMANOWSKI; ENS, 2006). Teixeira (2006, p. 60, our translation) explains that research on the state of knowledge “seeks to understand the knowledge elaborated, accumulated and systematized on a given topic, over a period of time”. For this, the rescue of the academic production of a certain area is carried out.

A survey was carried out of the scientific productions of the period that comprises the years between 2009 and 2019 related to the object of study. The bibliographic material was collected in the following databases: a) Digital Library of Theses and Dissertations (BDTD);

b) Catalog of CAPES Theses and Dissertations; c) online libraries of postgraduate programs in (educational) evaluation; d) journals available online in the Scientific Electronic Library Online (SciELO) indexing database.

The descriptors used for the search were: educational assessment; course pedagogical project; PPC; evaluation AND pedagogical course project; AND PPC assessment (avaliação




educacional; projeto pedagógico de curso; PPC; avaliação AND projeto pedagógico de curso; avaliação AND PPC). From them, only the works directly related to the theme were selected. Afterwards, the selected research were detailed regarding their objective, methodology and main results, which are presented in sequence.


Results and discussions


As stated, the mapping described sought to identify the incidence of scientific production regarding the evaluation of educational education in the PPCs of teaching degree courses. With this, it was intended to identify which dimensions and aspects were prioritized in these studies and which were not sufficiently explored, as well as in which period and spaces they occur more frequently and where they are available.

Let's go through the initial description of these works and, soon after, we bring some discussions relevant to the findings.

The search resulted in a total of 12 works distributed among articles, 6 articles in periods and annals of events and 6 dissertations. Regarding the areas in which the works are inserted, see Table 1.


Table 1 – Incidence of work by area


Area

Amount

Evaluation

6

Education

4

Science and Mathematics Education

2

Total

12

Soure: Research data organized by the authors


It is noted that the educational assessment in the PPCs is not presented in a consolidated way. Although at first glance this data seems to be present in different domains, we can see, from the description of these studies, that they appear in stagnant moments, far from a global and integral perspective necessary for the study of the field of evaluation in teacher education. The description of these research is given.

Costa (2013) sought to analyze in his Master's research the process of assessment of learning developed in disciplines in a distance learning Mathematics Teaching Degree course. Based on the curriculum of the course, the researcher selected four subjects of specific knowledge to be part of the investigation, using the course's PPC as a data source; the virtual

learning environment of each chosen subject in terms of the didactic design, the proposed

RPGE– Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2779-2793, Sep./Dec. 2021. e-ISSN: 1519-9029



assessment tasks, feedback from tutors to students and face-to-face tests. Among the research results, despite the PPC pointing to a formative assessment concept, which defines the assessment format is the teaching concept. Furthermore, the emphasis on specific knowledge does not favor reflection on pedagogical knowledge, including assessment.

Lopes (2013) in his dissertation analyzes the principles and concepts that underlie the evaluation of teaching and learning processes in the pedagogical projects of teaching degree courses at the Federal University of Ceará, in order to identify whether the proposed evaluative practice meets the profile of formation defined by the PPCs. As data collection methods, the researcher analyzed institutional documents and interviews with course coordinators, which allowed the conclusion that there is a lack of knowledge of institutional documents by the various institutional subjects (teaching, student and technical-administrative staff). The study also highlights the lack of articulation between the institutional conceptions present in the documents and what is practiced in terms of learning assessment, still characterized as an instrument of power.

Poltronieri and Calderón (2015) dedicated themselves to analyzing the scientific production on the assessment of learning in higher education, published in the journal Estudos em Avaliação Educacional (EAE) over a period of 20 years, spanning from its creation in 1990 to 2010 In this detailed study, it was identified that the largest production of the journal in the period investigated is focused on the operationalization of evaluation in higher education. It is worth mentioning that no studies concerning evaluation were found in the pedagogical course projects.

Villas Boas and Soares (2016) problematize in their study the place of evaluation in the Teaching Degree of Letters, Mathematics and Pedagogy courses. To this end, they interviewed students, teachers and coordinators of these courses, as well as observed classes in the discipline of school evaluation. The research revealed that, in the formation of these future teachers, the subject of evaluation does not receive due attention, exemplified in the absence of feedback in the evaluations by professors, in the confusion between evaluation and evaluative instruments and in the belief that evaluation should be worked only by specific teachers or professors, who are responsible for the so-called pedagogical subjects.

In the same year, Ramos et al. (2019) aimed to analyze how the Pedagogy course at the Federal University of Amazonas (IEAA/UFAM) conceives the assessment of learning in its field of formation. Thus, from a critical analysis of the PPC, it was found that the Pedagogy course has demonstrated that it proposes to evaluate academics, future teachers and pedagogues, in a contextualized way, considering teaching and learning in a constructivist and



progressive perspective on education. However, the authors emphasize that it is necessary to investigate whether what is foreseen in the documentation is being implemented in practice.

Gonzaga's dissertation (2016) sought to understand how the evaluative practices of teachers of the Mathematics teaching degree course are thought and undertaken, in view of the discourse and actions carried out in the classroom. The author identified that most evaluative practices revolve around exams and there is difficulty in mobilizing other instruments to verify learning. Among the results, the research points to the need for continuous formation of the teaching staff, since there is no specific preparation for educational evaluation; mobilization of the student body on the importance of the subjects of the pedagogical core, so that there is greater recognition of educational assessment as a tool for promoting learning.

Silva et al. (2016) undertook research with the objective of raising the approach of the content of Large-Scale Educational Assessment in face-to-face, public and private Pedagogy courses in the country and also to verify how faculty and coordinations think about the relevance of this approach. Although this content is mandatory in the formation of Pedagogy professionals, the research shows a low rate of higher education institutions that teach the content, however, the coordinators and participating teachers considered the Large-Scale Educational Assessment approach to be relevant in the courses of degree in Pedagogy.

Sales' research (2017) highlights the dichotomy between what is established in the PPCs and the evaluative practice in Chemistry teaching degree courses at two different HEIs. The researcher explains that the analyzed projects make an incipient discussion about evaluation and even when the evaluative proposal shows an innovative tendency, there is a detachment in relation to the teaching evaluative practice. The work concludes by defending a solid formation for the teaching staff that will qualify teachers and professors, with discussions that allow more innovative and inclusive evaluation paths; constant and collective review of the PPCs, so that the course faculty recognize themselves in it, which leads to a more conscious development of the document.

Carvalho, Benfatti and Silva (2017) sought to investigate assessment in education as a curricular component in the PPCs of Pedagogy Courses at Brazilian federal universities. In this investigation, from the institutions participating in the Enade, a sampling was carried out with 20 universities in which the PPC was analyzed in terms of the characteristics of the offer of the educational evaluation discipline, constitutive elements of the evaluation discipline, the relationship of these disciplines with the categories of the National Curriculum Guidelines for Pedagogy (DCN, Portuguese initials). The results showed that more than half of the course

RPGE– Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2779-2793, Sep./Dec. 2021. e-ISSN: 1519-9029



projects include educational or teaching-learning assessment as a curricular component and of a mandatory typology, which legally proves the course's compliance with the DCN.

Also investigating the pedagogical project of the Pedagogy course at a university in the capital of Bahia, Freitas (2017), in a first moment of analysis of course documents and interviews with professors and students, highlighted the absence of curricular components of Evaluation in terms of Assessment and Management in the current PPC, contrary to the DCN, in addition to students' doubts about the evaluation processes used by teachers. Later, the author presented the reformulation of the PPC collectively, seeking to alleviate the reported weaknesses.

França (2017) describes the knowledge about assessment offered in the formation process of undergraduates and graduates of the Pedagogy course at the Federal University of Alagoas – Campus do Sertão. Through interviews, the researcher verified the contradiction between the theoretical framework used in the evaluation discipline and the way in which the course's professors are evaluated. Specifically, about graduates, it was observed that they tend not to reproduce the assessment models that were submitted at the university and, as professors, they seek to use assessment instruments as a mechanism for monitoring student learning.

Rego (2019) brings as the object of her Master's research the implications for the formation of teachers and professors from the perspective of learning assessment present in PPCs of teaching degree courses in Chemistry and Physics of two higher education institutions. The author analyzed the relationship between the evaluation proposals present in the PPCs with the Evaluation Generations described by Guba and Lincoln (2011). The authorship identified that the discussion in the analyzed PPCs is situated in more innovative proposals of evaluation, however, the space destined for these discussions is restricted to the pedagogical disciplines.

In the studies presented, even in different teacher formation courses, it is observed that evaluation is an object and area that is little explored. This implies that, in general terms, although the assessment component is present in the PPCs of teaching degree courses, it is not inserted in a globalized way together with the other components, nor is it understood as a promoter of learning.

In the research presented, evaluation appears as a discipline or in the menu of other disciplines, that is, its place is perceived to be reduced in teacher formation and, when it occurs, the pedagogical work developed is punctual, often attributed to teachers of specific subjects.



In the studies presented, in different teacher formation courses, it is observed that evaluation is an object and area that is little explored. It is important to point out that the DCNs that regulate teaching degrees in our country (BRASIL, 2015) show that studies on evaluation should be part of the initial formation of teachers in our country.

Thus, PPCs that do not include disciplines and/or formative moments that aim to explore the most diverse areas of evaluation, do not advocate the minimum discussions expected in teacher formation.

Specifically, regarding educational evaluation, which has been defended in this text as transdisciplinary as a field of knowledge, its absence in formation guiding documents or when present related to stagnant moments, allows us to infer that the place of evaluation education ends up being minimized and disconnected from social and political contexts.

In fact, this place is reduced in teacher formation and developed in a punctual way, often attributed to teachers of specific subjects, without globalized insertion with the other curricular components, nor understood as a promoter of learning.


Final considerations


Progressively in recent years, evaluation has been contemplated in PPCs, which can be understood as an advance in the formation of teachers and professors. However, the way the discipline is conducted and the university experiences regarding assessment raise the need to better investigate assessment in higher education, especially in teaching degree courses.

Even addressed in the PPCs, doubts remain regarding their execution and contribution to the formation of teachers. In addition, the biggest questioning takes place in the abyss between being present in the PPC, having a specific subject in the course to work on evaluation, which, almost always, presents reflective and constructivist theoretical references to understand evaluation, but the practice of evaluating teachers ends up being based only on the verification of learning through instruments such as tests and seminars.

The unfolding of these practices in terms of educational assessment raise questions about the formation of teachers regarding the experience that these future education professionals have with educational assessment. Thus, we ask if their university knowledge allows, therefore, that new evaluative practices are employed in basic education. Our hypothesis, which comes from our empirical work at this stage of schooling, reveals that teachers still understand the assessment of learning as a punctual moment, as if marking the end of learning, submitting students to rankings and comparisons.



It is noteworthy that if the teacher does not have the opportunity to think about evaluation in another way, whether in their initial or continuing education, classifying and decontextualized practices are perpetuated in the educational scenario. We advocate, then, in favor of a reflective experience regarding educational assessment. Therefore, at first, we consider positive the existence of research that shows the presence of this, even if as a discipline that addresses specific aspects of educational assessment. However, the consequences of this to teacher formation need further investigation.


REFERENCES


AFONSO, A. J. Avaliação educacional. In: OLIVEIRA, D. A.; DUARTE, A.; VIEIRA, L.

(Org.). Dicionário sobre trabalho, profissão e condição docente. Belo Horizonte, MG: UFMG/Faculdade de Educação, 2010. Available: https://gestrado.net.br/verbetes/avaliacao- educacional/. Access: 17 Sep. 2020


AFONSO, A. J. Avaliação em educação: perspectivas de emancipação social ou regulação gestionária. In: MELLO, M. M. (Org.). Avaliação em educação. Pinhais, PR: Melo, 2007. p. 9-14.


AFONSO, A. J. Questões, objetos e perspetivas em avaliação. Avaliação, Campinas (SP), v. 19, n. 2, p. 487-507, jul. 2014.


ARRETCHE, M. T. D. S. Tendências no estudo sobre avaliação. In: RICO, E. M. Avaliação de políticas sociais: uma questão em debate. São Paulo, SP: Cortez, 2007.


BARBOSA, F. R. P. Avaliação da aprendizagem na formação de professores: estão os futuros professores preparados para avaliar? In: SEMINÁRIO DE PESQUISA EM EDUCAÇÃO DA REGIÃO SUL, 9., 2012, Caxias do Sul. Anais [...]. Caxias do Sul, RS: ANPED SUL, 2012.


BRANDALISE, M. Â. T. et al. Avaliação educacional: sistematização coletiva de conceitos, de termos e de perspectivas. In: BRANDALISE, M. Â. T. (Org.). Avaliação educacional: interfaces, conceitos, termos e perspectivas. Ponta Grossa, PR: Ed. UEPG, 2020. p. 11 -16.


BRASIL. Conselho Nacional de Educação. Resolução CNE/CP n. 02, de 01 de julho de 2015. Define as Diretrizes Curriculares Nacionais para a formação inicial em nível superior (cursos de licenciatura, cursos de formação pedagógica para graduados e cursos de segunda licenciatura) e para a formação continuada. Diário Oficial da União: Seção 1, Brasília, DF, p. 8-12, n. 124, 02 jul. 2015.


CARVALHO, A. O. P.; BENFATTI, X. D.; SILVA, H. B. A avaliação educacional com componente curricular na formação de professores: um estudo documental a partir dos projetos pedagógicos dos cursos de Pedagogia. In: CONGRESSO INTERNACIONAL EM AVALIAÇÃO EDUCACIONAL, 7., 2016, Fortaleza. Anais [...]. Fortaleza, CE: UFC, 2016.

Tema: Avaliação e seus espaços: desafios e reflexões.


COHEN, E.; FRANCO, R. Avaliação de projetos sociais. Petrópolis, RJ: Vozes, 2012.



COSTA, P. K. A. Avaliação da aprendizagem na licenciatura em matemática a distância. 2013. 197 f. Dissertação (Mestrado em Educação) – Universidade Estadual de Ponta Grossa, Ponta Grossa, 2013.


DIAS SOBRINHO, J. Universidade e novos modos de produção, circulação e aplicação do conhecimento. Avaliação, Campinas (AP), v. 19, n. 3, p. 643-662, nov. 2014.


FERNANDES, D. Acerca da articulação de perspectivas e da construção teórica em avaliação educacional. In: ESTEBAN, M. T.; AFONSO, A. J. (Org.), Olhares e interfaces: reflexões críticas sobre a avaliação. São Paulo, SP: Cortez, 2010. p. 15-44.


FERNANDES, D. Avaliação em Educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Ensaio: aval. pol. públ. Educ., Rio de Janeiro (RJ), v. 21, n. 78, p. 11-34, mar. 2013.


FERNANDES, D. Contributos das perspetivas orientadas por/para uma agenda social. In: FERRÃO, J. F.; PAIXÃO, J. M. P. (Org.). Metodologias de avaliação de políticas públicas. Lisboa, Portugal: Imprensa da Universidade de Lisboa, 2018. p. 49-70.


FERREIRA, N. S. A. As pesquisas denominadas "estado da arte". Educ. Soc., Campinas (SP), v. 23, n. 79, p. 257-272, ago. 2002.


FRANÇA, M. L. C. A avaliação da aprendizagem na formação docente: um retrato dos saberes dos concluintes e egressos do curso de Pedagogia da Universidade Federal de Alagoas/Campus Sertão. 2017. 162 f. Dissertação (Mestrado em Educação) – Universidade Federal de Sergipe, Faculdade de Educação, São Cristóvão, 2017.


FREITAS, A. A. S. M. Construção coletiva do PPC: a experiência do curso de Pedagogia da Universidade Católica do Salvador (UCSAL). Revista de Estudios y Experiencias en Educación, Santiago (Chile), v. 16, n. 31, p 157-173, ago. 2017.


GONZAGA, A. E. S. Das concepções às práticas de avaliação: um estudo sobre as práticas avaliativas no Curso de Licenciatura em Matemática do Instituto Federal de Educação, Ciência e Tecnologia da Paraíba – Cajazeiras. 2016. 122 f. Dissertação (Mestrado) – Universidade Federal do Ceará, Fortaleza, 2016.


GUBA, E. G.; LINCOLN, Y. S. Avaliação de quarta geração. Campinas, SP: Editora da Unicamp, 2011.


LOPES, K. K. V. Avaliação do ensino-aprendizagem nos projetos pedagógicos dos cursos de graduação da Universidade Federal do Ceará. 2013. 130 f. Dissertação (Mestrado) – Universidade Federal do Ceará, Fortaleza, 2013.


MINAYO, M. C. S. (Org.). Pesquisa social. Teoria, método e criatividade. 19. ed. Petrópolis, RJ: Vozes, 2002.


POLTRONIERI, H.; CALDERÓN, A. I. Avaliação da aprendizagem na educação superior: a produção científica da revista Estudos em Avaliação Educacional em questão. Avaliação, Campinas (SP), v. 20, n. 2, p. 467-487, jul. 2015.




RAMOS, K. L. et al. Avaliação da aprendizagem: uma análise crítica do PPC do curso de pedagogia do IEAA-UFAM. In: CONGRESSO NACIONAL DE EDUCAÇÃO – CONEDU,

6., 2019, Fortaleza. Anais [...]. Campina Grande, PB: Realize Editora, 2019. Tema: Avaliação: processos e políticas. Available: https://editorarealize.com.br/artigo/visualizar/59378. Access: 10 May 2021.


REGO, A. M. C. A formação de professores em química e física de Pernambuco e suas relações com as novas perspectivas de avaliação da aprendizagem: uma análise documental à luz da teoria dos construtos pessoais e das gerações da avaliação. 2019.

Dissertação (Mestrado) – Universidade Federal de Pernambuco, Caruaru, 2019.


ROMANOWSKI, J. P.; ENS, R. T. As pesquisas denominadas do tipo "estado da arte" em educação Revista Diálogo Educacional, v. 6, n. 19, p. 37-50, set./dez. 2006.


SALES, E. S. Formação inicial de professores de química: um estudo acerca das condicionantes da prática avaliativa. 2017. 168 f. Dissertação (Mestrado) – Universidade Federal de Pernambuco, Caruaru 2017.


SILVA, M. M. S. et al. A abordagem da Avaliação Educacional em Larga Escala nos cursos de graduação em Pedagogia. Rev. bras. Estud. pedagog., Brasília (DF), v. 97, n. 245, p. 46- 67, jan./abr. 2016.


SOUSA, C. P. Dimensões da Avaliação Educacional. Estudos em Avaliação Educacional, São Paulo (SP), n. 22, p. 101-118, 2000.


TEIXEIRA, C. R. O “estado da arte”: a concepção de avaliação na produção acadêmica do Programa de Pós-graduação em Educação: currículo (1975-2000). Cadernos de Pós- graduação em Educação, São Paulo (SP), v. 5, n. 1, p. 59-66, 2006.


VILLAS BOAS, B. M. F.; SOARES, S. L. O lugar da avaliação na formação de professores.

Cad. Cedes, Campinas (SP), v. 36, n. 99, p. 239-254, maio/ago. 2016.


How to reference this article


SOUZA, A. C.; MANO, A. M. P. Educational assessment in teacher’s formation course projects: a research on the state of knowledge. Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2779-2793, Sep./Dec. 2021. e-ISSN:1519-9029. DOI: https://doi.org/10.22633/rpge.v25i3.15045


Submitted: 20/08/2021 Required revisions: 28/09/2021 Approved: 16/10/2021 Published: 01/08/2021