image/svg+xml
Evidências de validade de conteúdo da Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala (EAAE)
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1806
EVIDÊNCIAS DE VALIDADE DE CONTEÚDO DA ESCALA DE ATITUDES
PERANTE AS AVALIAÇÕES EXTERNAS APLICADAS EM LARGA
ESCALA
(EAAE)
EVIDENCIA DE LA VALIDEZ DEL CONTENIDO DE LA ESCALA DE ACTITUD
HACIA LAS EVALUACIONES EXTERNAS A GRAN ESCALA (EAAE)
EVIDENCE OF CONTENT VALIDITY OF THE SCALE OF ATTITUDES TOWARDS
EXTERNAL ASSESSMENTS APPLIED ON A LARGE SCALE (EAAE)
Denilson Junio Marques SOARES
1
Talita Emidio Andrade SOARES
2
Wagner dos SANTOS
3
RESUMO
: Este estudo teve como objetivo desenvolver e verificar as evidências de validade
de conteúdo da Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala
(EAAE). Esse instrumento foi construído de modo a capturar o que os professores da educação
básica pensam, sentem e como se comportam mediante esse tipo de avaliação. Trata-se de um
estudo com abordagem quantitativa, estruturado em duas vertentes: avaliação de juízes
especialistas com base no cálculo do Coeficiente de Validade de Conteúdo (CVC); e aplicação
piloto, realizada com uma amostra da população-alvo. A versão final da escala contou com 30
itens, cujo CVC geral mostrou-se em 0,92, evidenciando sua validade de conteúdo e sinalizando
para a clareza de linguagem, pertinência prática e relevância teórica do instrumento. Espera-se
que este trabalho abra perspectivas para novas pesquisas, com vistas a dar continuidade ao
processo de validação da EAAE e, consequentemente, possibilitar seu uso em estudos sobre
avaliação educacional.
PALAVRAS-CHAVE
: Escala de atitudes. Avaliações externas aplicadas em larga escala.
Validade de conteúdo. Avaliação educacional. Psicometria.
RESUMEN
: Este artículo presenta el proceso de construcción y evidencia de validez de
contenido de la Escala de Actitudes hacia las Evaluaciones Externas aplicadas a gran escala
(EAAE). Este instrumento fue desarrollado con el fin de captar lo que piensan, sienten y se
comportan los docentes de educación básica a través de este tipo de evaluación. Se trata de un
estudio con enfoque cuantitativo, estructurado en dos maneras: evaluación por jueces expertos,
mediante el cálculo del Coeficiente de Validez de Contenido (CVC); y aplicación previa,
realizada con una muestra de la población objeto de estudio. La versión final de la escala contó
con 30 ítems, cuyo CVC global fue de 0,92, evidenciando su validez de contenido y señalando
1
Instituto Federal de Minas Gerais (IFMG), Piumhi – MG – Brasil. Professor. Doutorando em Educação (UFES).
ORCID: https://orcid.org/0000-0003-3075-3532. E-mail: denilson.marques@ifmg.edu.br
2
Universidade Federal do Espírito Santo (UFES), Vitória – ES – Brasil. Doutoranda em Educação. ORCID:
https://orcid.org/0000-0003-2692-4941. E-mail: talitaeandrade@gmail.com
3
Universidade Federal do Espírito Santo (UFES), Vitória – ES – Brasil. Professor no Programa de Pós-Graduação
em Educação. Líder do Instituto de Pesquisa em Educação e Educação Física (Proteoria/UFES). Doutorado em
Educação (UFES). ORCID: https://orcid.org/0000-0002-9216-7291. E-mail: wagnercefd@gmail.com
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES e Wagner dos SANTOS
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1807
la claridad del lenguaje, la relevancia práctica y teórica del instrumento. Se espera que este
trabajo aporte datos importantes para futuras investigaciones, con miras a continuar el
proceso de validación de la EAAE, y en consecuencia, posibilitar su uso en estudios acerca de
la evaluación educativa.
PALABRAS CLAVE
:
Escala de actitudes. Evaluaciones externas a gran escala. Validez de
contenido. Evaluación educativa. Psicometría.
ABSTRACT
:
This study presents the process of development of the Scale of Attitudes towards
External Assessments applied on a large scale (EAAE) and evidence of its content validity. This
instrument was developed in order to capture what basic education teachers think, feel and how
they behave through this type of assessment. This is a study with a quantitative approach,
structured in two stages: evaluation by expert, using the Content Validity Index (CVI); and pilot
application was conducted with a sample of the target population. The final version of the EAAE
was reduced to 30 items. The overall CVI of the scale was 0.92, evidencing its content validity
and signaling the clarity of language, practice relevance and theoretical relevance of the
instrument. It is hoped that this study will open perspectives for further research, with a view
to continuing the EAAE validation process and, consequently, enabling its use in studies on
educational assessment.
KEYWORDS
:
Attitude scales. External assessments applied on a large scale. Content validity.
Educational assessment. Psychometry.
Introdução
No âmbito educacional, a avaliação se configura em variadas modalidades: avaliação de
aprendizagens; de currículos e programas; de sistemas educativos; de profissionais; e de
políticas públicas (AFONSO, 2000). Conforme Stadler (2017), em todas, a avaliação tem o
papel crucial de analisar a qualidade da educação por meio do acompanhamento do processo
educativo ou da leitura de seus resultados.
Quando esse processo se realiza por agentes externos à escola, a avaliação é dita externa.
Na maioria das vezes, sua aplicação ocorre em larga escala, ou seja, para um grande número de
pessoas. Em síntese, as avaliações externas aplicadas em larga escala têm sido utilizadas pelos
órgãos governamentais como ferramentas balizadoras de políticas, projetos, programas e ações
educativas escolares e comunitárias, podendo ser classificadas conforme: sua natureza,
referindo-se à sua abrangência; seus propósitos/finalidades; e seus efeitos (BAUER;
ALAVARSE; OLIVEIRA, 2015; ORFIELD; WALD, 2000).
A classificação quanto aos efeitos considera os impactos que a avaliação traz para a sua
popul
ação-alvo. Nessa vertente, as avaliações de alto impacto (
high stakes tests
) podem
oferecer subsídios para os processos de tomada de decisões e, assim, fazer ressurgir
image/svg+xml
Evidências de validade de conteúdo da Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala (EAAE)
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1808
consequências conspícuas para os atores do processo escolar. Em contrapartida, as avaliações
de baixo impacto (
low stakes tests
) não oferecem efeitos direta ou indiretamente para esses
sujeitos (BAUER; ALAVARSE; OLIVEIRA, 2015; ORFIELD; WALD, 2000).
No Brasil, a Política Nacional de Avaliação da Educação Básica, instituída por meio da
publicação da Portaria nº 458, de 5 de maio de 2020 (BRASIL, 2020), é composta por três
avaliações externas aplicadas em larga escala: o Sistema de Avaliação da Educação Básica
(Saeb), criado em 1990; o Exame Nacional do Ensino Médio (Enem), criado em 1998; e o
Exame Nacional para Certificação de Competências de Jovens e Adultos (Encceja), criado em
2002. O art. 8º e o art. 18 da referida portaria conferem ao Saeb e ao Enem, respectivamente, o
mesmo objetivo geral: “[...] aferir o domínio das competências e das habilidades esperadas ao
longo da educação básica, de acordo com a Base Nacional Comum Curricular - BNCC e as
correspondentes diretrizes curriculares nacionais” (BRASIL, 2020, p. 2). Ao Encceja, conforme
o art. 12, cabe aferir “[...] as competências e as habilidades exigidas para a conclusão do ensino
fundamental e médio, conforme o caso” (BRASIL, 2020, p. 2).
Em comum, todas elas possuem o Instituto Nacional de Estudos e Pesquisas
Educacionais Anísio Teixeira (Inep), autarquia federal vinculada ao Ministério da Educação do
Brasil (MEC), como agente externo responsável por sua organização e gerenciamento.
Ademais, essas avaliações, de natureza nacional, podem ser consideradas de alto impacto para
os estudantes a quem se destinam e, consequentemente, aos demais sujeitos que constituem o
cotidiano das escolas. O Encceja, por exemplo, pode ser utilizado com o propósito de certificar
diferentes níveis de ensino; e o Saeb e o Enem, como mecanismo único, alternativo ou
complementar para o acesso desses estudantes à educação superior.
Também é preciso ressaltar que, a partir dos resultados obtidos nessas avaliações, é
possível realizar um diagnóstico da educação básica brasileira e de fatores que podem interferir
no desempenho do estudante, pois, juntamente com elas, são aplicados questionários que
permitem explicar os níveis de aprendizagem demonstrados pelos estudantes avaliados a partir
das diversas informações contextuais coletadas. Com isso, o uso político desses instrumentos
tem ocorrido há décadas e é frequente a apropriação dos seus resultados para delinear as
políticas educacionais contemporâneas (MILITÃO; SANTANA; PERBONI, 2019).
Contudo, ainda há uma lacuna no que diz respeito aos estudos voltados a analisar as
a
titudes dos professores perante essas avaliações. Em um levantamento realizado em janeiro de
2022, no Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível
Superior (Capes), mediante consulta expandida às bases de dados eletrônicos
Scientific
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES e Wagner dos SANTOS
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1809
Electronic Library Online (SciELO
),
Scopus
e
Web of Science
(
WoS
), utilizando os descritores
[“Avaliação externa” OR “Avaliações externas”] AND [“atitude de professores” OR “atitude
de docentes”], não foram mapeadas pesquisas produzidas com essa finalidade.
Desse modo, este artigo tem o objetivo de apresentar a Escala de Atitudes perante as
Avaliações Externas aplicadas em larga escala (EAAE) e as análises realizadas a fim de
encontrar evidências de validade do seu conteúdo. Essa é uma das etapas iniciais do seu
processo de construção.
O construto atitudes, utilizado nesse processo, tem origens no início do século XX, a
partir do estudo dos sociólogos Thomas e Znaniecki (1918), que o conceituam como um estado
individual e determinante para a ação dos indivíduos. De acordo com Sarti, Vendramini e
Camilo (2021), para explicá-lo, há diferentes modelos na literatura. O tripartido é o mais
relevante, sobretudo por abarcar múltiplos fatores psicológicos. Esse modelo considera as
seguintes dimensões inter-relacionadas: cognitiva, afetiva e comportamental.
Segundo Camilo (2021), a dimensão cognitiva abrange as percepções, pensamentos e
conceitos em relação ao objeto investigado, buscando captar o que os sujeitos sabem (ou
acreditam que sabem) sobre ele; a dimensão afetiva, por sua vez, refere-se às emoções e
sentimentos desses sujeitos; e a comportamental
abarca suas ações e/ou intenções de agir diante
do objeto. Nessa vertente, a EAAE foi desenvolvida de modo a capturar o que os(as)
professores(as) da educação básica, que se constituem como a população-alvo da escala,
pensam (dimensão cognitiva), sentem (dimensão afetiva) e como se comportam (dimensão
comportamental) mediante as avaliações externas aplicadas em larga escala no Brasil.
Dessa forma, o presente artigo encontra-se estruturado em três seções, para além desta
introdução. Na primeira, apresenta-se o método utilizado para a realização da pesquisa. Em
seguida, são evidenciados os resultados alcançados. Posteriormente, encerrando o artigo, é
realizada uma discussão acerca dos resultados obtidos, acompanhada das considerações finais,
seguidas das referências.
image/svg+xml
Evidências de validade de conteúdo da Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala (EAAE)
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1810
Método
Participantes
Os itens da EAAE foram inicialmente submetidos à avaliação de dez juízes
especialistas: oito professores doutores e dois doutorandos, todos vinculados a Programas de
Pós-Graduação em Educação e/ou Psicologia das cinco regiões brasileiras. A seleção desses
profissionais se deu intencionalmente, considerando a reconhecida competência na área de
avaliação educacional e/ou psicológica.
A partir dos resultados obtidos na análise dos juízes especialistas, os itens pré-
selecionados para compor a escala passaram por uma avaliação semântica, por meio da
aplicação do instrumento para uma amostra de 30 professores da educação básica (aplicação
piloto). O propósito dessa etapa foi verificar se os itens eram compreensíveis quanto à
linguagem, considerando os sujeitos pertencentes à população-alvo da escala, conforme
indicado por Glaser e Strauss (2017). O tamanho da amostra se deu pelo critério da saturação
(GLASER; STRAUSS, 2017).
Instrumento
A EAAE (em processo de elaboração) contou, inicialmente, com 42 itens elaborados
por pesquisadores do Instituto de Pesquisa em Educação e Educação Física da Universidade
Federal do Espírito Santo, a partir de estudos que consideram a definição constitutiva e
operacional do fenômeno investigado (PASQUALI, 2010), desenvolvidos desde 2017 no
âmbito do instituto.
Para tanto, foi considerado o construto atitudes, composto pelas dimensões cognitiva
(15 itens), afetiva (12 itens) e comportamental (15 itens), no intuito de capturar o que os(as)
professores(as) da educação básica (público-alvo) pensam, sentem e como se comportam,
respectivamente, em relação às avaliações externas que são aplicadas em larga escala no Brasil.
Cada dimensão é acompanhada por uma frase norteadora: para a dimensão cognitiva é
solicitada uma resposta referente ao que se acredita (crenças, conhecimentos, informações e/ou
opiniões) em relação às avaliações externas aplicadas em larga escala; para a dimensão afetiva,
é solicitada uma resposta baseada nos sentimentos; e, para a dimensão comportamental, a
resposta deve estar alicerçada nas ações cotidianas em relação ao objeto.
Os itens que compõem o instrumento foram elaborados na forma de asserções e, como
o
pção de resposta, eles se estruturam em uma escala do tipo
Likert
de cinco pontos de
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES e Wagner dos SANTOS
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1811
concordância, variando de 1 (discordo fortemente) a 5 (concordo fortemente). Em síntese, é
esperado que menores (maiores) pontuações indiquem atitudes menos (mais)
positivas/favoráveis em relação ao objeto investigado.
Procedimentos
As análises realizadas foram viabilizadas mediante envio, por correio eletrônico, de uma
carta-convite, acompanhada da solicitação de avaliação dos itens previamente elaborados.
Dessa forma, após a aceitação e anuência do participante ao Termo de Consentimento Livre e
Esclarecido (TCLE), disponibilizou-se o acesso ao formulário de análise. O sigilo dos
participantes foi mantido durante todo o processo.
Na avaliação, cada juiz especialista deveria atribuir um valor ordinal, entre 1 e 5, de
acordo com a qualidade do item. Foram considerados três aspectos: a clareza de linguagem (1.
nada claro – 5. totalmente claro); a pertinência prática (1. nada pertinente – 5. totalmente
pertinente); e a relevância teórica (1. nada relevante – 5. totalmente relevante) dos itens. Esse
procedimento assumiu como referência os estudos de Hernandez-Nieto (2002), Cassepp-
Borges, Balbinotti e Teodoro (2010) e Pacico (2015).
Conforme indicado por Cassepp-Borges, Balbinotti e Teodoro (2010), a clareza de
linguagem consiste na análise da linguagem utilizada nos itens, considerando as características
do público-alvo. A pertinência prática, por sua vez, objetiva analisar se o item é, de fato,
importante na constituição do instrumento. Já a relevância teórica busca avaliar o grau de
associação entre o item e a teoria que lhe oferece suporte.
Para a análise semântica, foi elaborado um questionário em que os participantes da
aplicação piloto puderam classificar a linguagem adotada como clara, difícil ou
incompreensível. Nessa etapa, assumiu-se como subsídio teórico o estudo de Pasquali (2010).
Análise estatística
A análise quantitativa foi realizada calculando-
se a média aritmética e o desvio padrão
das respostas atribuídas pelos juízes especialistas para cada item, em cada aspecto analisado.
Em síntese, quanto maior (menor) o valor para a primeira, mais (menos) bem avaliado é, em
média, o item. Já em relação ao desvio padrão, valores altos (baixos) indicam uma menor
(maior) regularidade de respostas, sinalizando para uma possível divergência de opiniões entre
os avaliadores.
image/svg+xml
Evidências de validade de conteúdo da Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala (EAAE)
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1812
Para determinar o nível de concordância entre os juízes especialistas, foi utilizado o
Coeficiente de Validade de Conteúdo (CVC), proposto por Hernández-Nieto (2002). Trata-se
de um indicador utilizado para calcular o nível de consenso, mediante o cálculo da média do
valor atribuído pelos juízes em cada item do instrumento, expresso em termos percentuais,
subtraindo-se o viés de resposta. Em termos matemáticos:
em que representa o valor atribuído ao item pelo juiz representa o número de juízes; e
, a pontuação máxima da escala utilizada.
Além do CVC para clareza de linguagem, pertinência prática e relevância teórica, a
média para todos os itens e o CVC global da escala também foram calculados. Conforme
indicado por Polit e Beck (2006), foram considerados válidos itens com CVC igual ou superior
a 80%. Todas as análises foram conduzidas com o auxílio do
software
Microsoft Excel®.
Resultados
A partir das avaliações dos juízes especialistas, dos 42 itens previamente elaborados, 12
foram excluídos por apresentarem informações repetidas ou CVC inferior a 80%. Dos demais,
cinco foram reformulados considerando as sugestões dos avaliadores a fim de dar objetividade
à escrita ou facilitar a sua compreensão.
Dessa forma, 30 itens foram previamente selecionados para compor a EAAE: 12 do
componente cognitivo, oito do componente afetivo e dez do componente comportamental. A
análise semântica, realizada a partir da aplicação piloto do instrumento, não indicou problemas
quanto à sua compreensão para a amostra do público-alvo investigada (N=30).
O escore total obtido pelos respondentes pode variar de 30 a 150 pontos, com ponto
médio igual a 90 pontos. Assim, pontuações acima (abaixo) desse valor indicam atitudes mais
(menos) positivas do que negativas dos professores em relação às avaliações externas aplicadas
em larga escala.
Os Quadros 1, 2 e 3 trazem esses itens, organizados por dimensão e acompanhados da
pergunta norteadora, média e desvio padrão dos valores da escala
Likert
atribuídos pelos juízes,
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES e Wagner dos SANTOS
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1813
bem como o CVC para cada critério considerado (clareza de linguagem, pertinência prática e
relevância teórica do item).
Quadro 1 –
Média, desvio padrão e CVC dos itens do componente cognitivo da EAAE
Componente Cognitivo
C. L.
P. P
R. T.
Itens
M
(DP)
CVC
M
(DP)
CVC
M
(DP)
CVC
Responda
baseando-se no
que você
acredita (seus
conhecimentos,
opiniões e/ou
crenças) em
relação às
avaliações
externas
aplicadas em
larga escala.
Avaliam adequadamente a qualidade do
ensino e da aprendizagem
4,50
(0,85)
0,90
4,60
(0,52)
0,92
4,90
(0,32)
0,98
Constituem o principal instrumento de
monitoramento da efetividade de
políticas
educacionais
4,70
(0,67)
0,94
4,80
(0,63)
0,96
4,90
(0,32)
0,98
Cumprem satisfatoriamente o propósito
de medir os níveis de aprendizagem dos
alunos
4,20
(1,03)
0,84
4,40
(1,35)
0,88
4,40
(1,35)
0,88
São úteis para selecionar
adequadamente estudantes para outras
etapas/níveis de ensino
4,70
(0,67)
0,94
4,50
(1,27)
0,90
4,60
(1,26)
0,92
Têm impacto na seleção dos conteúdos
ensinados na escola
4,40
(0,84)
0,88
4,30
(1,34)
0,86
4,10
(1,37)
0,82
Medem adequadamente o nível de
conhecimento dos estudantes em
relação aos conteúdos programáticos
previstos na Base Nacional Comum
Curricular (BNCC)
4,40
(0,84)
0,88
4,90
(0,32)
0,98
5,00
(0,00)
1,00
Suas matrizes curriculares conferem
igual valor a todos os conhecimentos
previstos na Base Nacional Comum
Curricular (BNCC)
4,60
(1,26)
0,92
4,20
(1,69)
0,84
4,20
(1,69)
0,84
Permitem a análise dos aspectos sociais
e culturais dos alunos
4,20
(1,03)
0,84
4,80
(0,63)
0,96
4,80
(0,63)
0,96
São instrumentos
necessários para
reduzir as desigualdades educacionais
4,80
(0,63)
0,96
5,00
(0,00)
1,00
5,00
(0,00)
1,00
São importantes instrumentos de
prestação de contas à sociedade
4,80
(0,63)
0,96
5,00
(0,00)
1,00
5,00
(0,00)
1,00
São importantes instrumentos de
monitoramento da prática docente
4,90
(0,32)
0,98
4,40
(1,35)
0,88
4,40
(1,35)
0,88
São instrumentos eficientes para
promover bonificações financeiras aos
profissionais da educação
4,50
(0,71)
0,90
4,40
(0,84)
0,88
4,50
(0,85)
0,90
Total:
4,56
(0,79)
0,91
4,61
(0,86)
0,92
4,65
(0,76)
0,93
Nota: M = média aritmética; D. P. = desvio padrão; C. L. = clareza de linguagem; P. P.= pertinência prática;
R. T. = relevância teórica.
Fonte: Elaborado pelos autores (2021)
image/svg+xml
Evidências de validade de conteúdo da Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala (EAAE)
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1814
Quadro 2
– Média, desvio padrão e CVC dos itens do componente afetivo da EAAE
Componente Afetivo
C. L.
P. P
R. T.
Itens
M
(DP)
CVC
M
(DP)
CVC
M
(DP)
CVC
Responda
baseando-
se em seus
sentimentos
em relação
às
avaliações
externas
aplicadas
em larga
escala
Tenho apreço por esse tipo de
avaliação
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Anseio por conhecer os seus
resultados
4,80
(0,42)
0,96
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Confio em seus resultados
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Confio nas comparações entre
escolas/estudantes que são feitas a
partir delas
4,60
(0,84)
0,92
4,70
(0,67)
0,94
4,80
(0,63)
0,96
Confio nas certificações de conclusão
de um nível/etapa de ensino que são
realizadas a partir delas
4,70
(0,67)
0,94
4,80
(0,63)
0,96
4,80
(0,63)
0,96
Sinto que meus conhecimentos são
valorizados por elas
5,00
(0,00)
1,00
4,90
(0,32)
0,98
5,00
(0,00)
1,00
Percebo que a disciplina que leciono é
valorizada por elas
4,40
(0,84)
0,88
4,30
(0,82)
0,86
4,50
(0,53)
0,90
Gosto de orientar meu
trabalho a partir
dos seus resultados
4,90
(0,32)
0,98
4,40
(1,35)
0,88
4,40
(1,35)
0,88
Total:
4,77
(0,44)
0,95
4,73
(0,54)
0,95
4,81
(0,39)
0,96
Nota: M = média aritmética; D. P. = desvio padrão; C. L. = clareza de linguagem; P. P.= pertinência prática;
R. T. = relevância teórica.
Fonte: Elaborado pelos autores (2021)
Quadro 3
– Média, desvio padrão e CVC dos itens do componente comportamental da EAAE
Componente Comportamental
C. L.
P. P
R. T.
Itens
M
(DP)
CVC
M
(DP)
CVC
M
(DP)
CVC
Responda
baseando-
se em
suas
ações
cotidianas
em
relação às
avaliações
externas
aplicadas
em larga
escala
Planejo minhas aulas a partir dos seus
resultados
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Incorporo seus resultados em minhas
ações cotidianas na sala de aula
4,50
(0,85)
0,90
4,60
(1,26)
0,92
4,60
(1,26)
0,92
Organizo o cronograma escolar para
valorizar sua realização
5,00
(0,00)
1,00
4,60
(1,26)
0,92
4,60
(1,26)
0,92
Priorizo o ensino dos conteúdos que são
mais frequentes nessas avaliações
4,70
(0,67)
0,94
4,90
(0,32)
0,98
4,90
(0,32)
0,98
Converso com estudantes sobre sua
importância
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Recomendo a participação nessas
avaliações
4,50
(1,08)
0,90
4,60
(0,84)
0,92
4,60
(0,84)
0,92
Apresento um retorno (
feedback
) sobre
os resultados obtidos em sala de aula
4,90
(0,32)
0,98
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Resolvo questões de avaliações
anteriores em sala de aula
4,80
(0,42)
0,96
4,90
(0,32)
0,98
4,80
(0,63)
0,96
Utilizo questões anteriores em minhas
avaliações escolares (internas)
4,70
(0,67)
0,94
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Participo de formação específica para
uma melhor utilização dos seus
resultados
4,00
(1,49)
0,80
4,10
(1,37)
0,82
4,20
(1,40)
0,84
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES e Wagner dos SANTOS
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1815
Total:
4,68
(0,61)
0,94
4,74
(0,60)
0,95
4,77
(0,57)
0,950
Nota: M = média aritmética; D. P. = desvio padrão; C. L. = clareza de linguagem; P. P.= pertinência
prática; R. T. = relevância teórica.
Fonte: Elaborado pelos autores (2021)
Além do CVC para cada critério, o CVC da escala como um conjunto uniforme também
foi calculado. Assim, para o aspecto clareza de linguagem, o CVC geral foi de 0,92, para a
pertinência prática foi de 0,93 e para a relevância teórica 0,94. O CVC global da escala foi de
0,93, conferindo sua validade de conteúdo conforme os métodos de análise utilizados nesta
pesquisa.
Quanto às análises descritivas, percebe-se uma melhor média, na avaliação dos juízes,
para o critério relevância teórica (M=4,73), em comparação com os demais (M=4,70 em
ambos). Quanto ao desvio padrão, essa avaliação é mais heterogênea para o critério pertinência
prática (D. P. = 0,64) e mais homogênea para a clareza de linguagem (D. P. = 0,57). Para o
critério relevância teórica, o desvio padrão calculado foi 0,60.
Discussão e considerações finais
Este artigo foi desenvolvido com o intuito de apresentar o processo de construção e
evidências de validade de conteúdo da Escala de Atitudes perante as Avaliações Externas
aplicadas em larga escala (EAAE). Esse instrumento foi construído a partir da adoção do
modelo tripartido do construto atitudes, de modo a capturar o que os professores da educação
básica pensam, sentem e como se comportam mediante as avaliações externas aplicadas em
larga escala.
O processo de construção e a busca por evidências de validação de conteúdo da EAAE
foram pautados rigorosamente em procedimentos reconhecidos pela literatura especializada,
consultada para o desenvolvimento do instrumento. A utilização do CVC, na análise dos juízes
especialistas, e a análise semântica demonstraram bons resultados, fornecendo subsídios para a
conclusão de que o instrumento apresenta evidências de validade de conteúdo, sinalizando para
a clareza de linguagem, pertinência teórica e relevância prática dos itens que o compõem.
Nessa vertente, é preciso ressaltar que quatro itens apresentaram concordância de 100%
e
m todos os aspectos avaliados: dois do componente afetivo (“Tenho apreço por esse tipo de
avaliação” e “Confio em seus resultados”) e dois do comportamental (“Planejo minhas aulas a
partir dos seus resultados” e “Converso com estudantes sobre sua importância”), indicando uma
avaliação perfeita unânime entre os avaliadores. É esperado, assim, teoricamente, que esses
image/svg+xml
Evidências de validade de conteúdo da Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala (EAAE)
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1816
itens tragam maiores informações a respeito das atitudes dos professores da educação básica
em relação às avaliações externas aplicadas em larga escala.
Entretanto, para confirmar essa hipótese, bem como para avaliar outros aspectos
psicométricos da escala, é preciso que novas análises de validade sejam realizadas, como a
baseada na estrutura interna do instrumento, nas relações com medidas externas ou no padrão
de resposta aos itens. Isso se fará em estudos posteriores, considerando que a EAAE ainda se
encontra em construção.
Como principal limitação deste estudo, ressalta-se o fato de as análises terem sido
realizadas no formato on-line, o que dificulta o controle de variáveis, como cansaço e distração
dos avaliadores, que podem comprometer os resultados encontrados. Por outro lado, foi
possível contar com a colaboração de profissionais que atuam em todas as regiões do país,
proporcionando uma avaliação consideravelmente abrangente dos itens da escala.
Por fim, ressalta-se que, quando finalizada, a EAAE poderá subsidiar uma nova agenda
de pesquisa no âmbito educacional, contribuindo para o crescimento e aprimoramento da
produção científica. A partir de sua aplicação para o público-alvo, algumas questões poderão
ser respondidas, por exemplo: a) Como os professores da educação básica se posicionam em
relação às avaliações externas aplicadas em larga escala? b) Há relação significativa entre
variáveis sociais/demográficas/econômicas e atitudes mais positivas quanto a elas? c) Atitudes
mais positivas influenciam os resultados educacionais alcançados? Entre outras.
Com isso, a EAAE poderá oferecer subsídios para o estabelecimento de soluções
eficientes, estratégicas e inovadoras voltadas para a melhoria da qualidade da educação,
evidenciada por meio das referidas avaliações. Dessa forma, ressalta-se que a construção dessa
escala é de extrema relevância, sobretudo diante da escassez de estudos que abordam a temática
investigada.
AGRADECIMENTOS
: À Fundação de Amparo à Pesquisa e Inovação do Espírito Santo
(Fapes) pelo apoio ao desenvolvimento desta pesquisa.
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES e Wagner dos SANTOS
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1817
REFERÊNCIAS
AFONSO, A. J.
Avaliação educacional
: Regulação e emancipação para uma sociologia das
políticas avaliativas contemporâneas. 2. ed. São Paulo: Cortez, 2000.
BAUER, A.; ALAVARSE, O. M.; OLIVEIRA, R. P. Avaliação em larga escala: Uma
sistematização do debate.
Educação e Pesquisa
, São Paulo, v. 41, n. esp., p. 1367-1382, dez.
2015. Disponível em: http://www.scielo.br/pdf/ep/v41nspe/1517-9702-ep-41-spe-1367.pdf.
Acesso em: 03 jan. 2022.
BRASIL.
Portaria n. 458, de 5 de maio de 2020
. Institui normas complementares
necessárias ao cumprimento da Política Nacional de Avaliação da Educação Básica. Brasília,
DF: Ministro de Estado da Educação, 2020. Disponível em: https://www.in.gov.br/web/dou/-
/portaria-n-458-de-5-de-maio-de-2020-255378342. Acesso em: 05 jan. 2022.
CAMILO, C. C.
Construção e estudos psicométricos da Escala de Atitude frente à
atuação do psicólogo
. 2021. Tese (Doutorado em Psicologia) – Programa de Pós-Graduação
Stricto Sensu em Psicologia, Universidade São Francisco, Campinas, 2021. Disponível em:
https://www.usf.edu.br/galeria/getImage/427/4000894494237433.pdf. Acesso em: 5 jan.
2022.
CASSEPP-BORGES, V.; BALBINOTTI, M. A. A.; TEODORO, M. L. M. Tradução e
validação de conteúdo: Uma proposta para a adaptação de instrumentos.
In
: PASQUALI, L.
Instrumentação psicológica
: Fundamentos e práticas. Porto Alegre: Artmed, 2010.
GLASER, B. G.; STRAUSS, A. L.
Discovery of grounded theory
: S
trategies for qualitative
research. New York: Aldine de Gruyter, 2017.
HERNÁNDEZ-NIETO, R. A.
Contribuciones al análisis estatístico
. Mérida, Venezuela:
Universidad de Los Andes/Iesinfo, 2002.
MILITÃO, A. N.; SANTANA, A. C. M.; PERBONI, F. A expansão dos sistemas avaliativos
e a teoria crítica: Um diálogo (im)pertinente.
Revista Ibero-Americana de Estudos em
Educação
, Araraquara, v. 14, n. esp. 4, p. 2046-2056, 2019. Disponível em:
https://periodicos.fclar.unesp.br/iberoamericana/article/view/12927. Acesso em: 22 dez. 2021.
ORFIELD, G.; WALD, J. Testing, testing: The high-stakes testing mania hurts poor and
minority students the most.
The Nation
, New York, v. 270, n. 22, p. 38-40, jun. 2000.
Disponível em: https://thenation.s3.amazonaws.com/pdf/testingtesting2000.pdf. Acesso em:
05 jan. 2022.
PACICO, J. C. Como é feito um teste? Produção de itens.
In
: HUTZ, C. S.; BANDEIRA, D.
R.; TRENTINI; C. M.
Psicometria
. Porto Alegre: Artmed, 2015.
PASQUALI, L.
Instrumentação psicológica
. Brasília, DF: Editora Vetor, 2010.
POLIT, D. F.; BECK, C. T. The content validity index: Are you sure you know what's being
reported? Critique and recommendations.
Research in Nursing & Health
, v. 29, n. 5, p. 489-
497, 2006. Disponível em: https://onlinelibrary.wiley.com/doi/abs/10.1002/nur.20147
. Acesso
e
m: 15 jan. 2022.
image/svg+xml
Evidências de validade de conteúdo da Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala (EAAE)
RIAEE
– Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set. 2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1818
SARTI, A. G.; VENDRAMINI, C. M. M.; CAMILO, C. C. Evidências de validade da escala
de atitudes de estudantes do ensino superior frente à estatística-EAEst.
Ciência & Educação,
Bauru, v. 27, e21042, 2021. Disponível em:
https://www.scielo.br/j/ciedu/a/zJ9mkwgzpzyP5zRZjhsYsfh/abstract/?lang=pt. Acesso em: 10
dez. 2021.
STADLER, J. C.
Prova Brasil de Matemática do 5º ano do ensino fundamental
:
Resultados nas plataformas Devolutivas Pedagógicas e QEdu. Ponta Grossa, 2017. 165 f.
Dissertação (Mestrado em Educação) – Universidade Estadual de Ponta Grossa, Ponta Grossa,
2017. Disponível em: http://tede2.uepg.br/jspui/handle/prefix/2394. Acesso em: 15 jan. 2022.
THOMAS, W. I.; ZNANIECKI, F.
The Polish peasant in Europe and America
:
Monograph of an immigrant group. Chicago: University of Chicago Press, 1918.
Como referenciar este artigo
SOARES, D. J. M.; SOARES, T. E. A.; SANTOS, W. Evidências de validade de conteúdo da
Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala (EAAE).
Revista
Ibero-Americana de Estudos em Educação
, Araraquara, v. 17, n. 3, p. 1806-1818, jul./set.
2022. e-ISSN: 1982-5587. DOI: https://doi.org/10.21723/riaee.v17i3.16191
Submetido em
:
26/01/2022
Revisões requeridas em
: 15/04/2022
Aprovado em
: 06/05/2022
Publicado em
: 01/07/2022
Processamento e editoração: Editora Ibero-Americana de Educação.
Revisão, formatação, normalização e tradução.
image/svg+xml
Evidencia de la validez del contenido de la Escala de Actitud hacia las Evaluaciones Externas a gran escala (EAEE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1814
EVIDENCIA DE LA VALIDEZ DEL CONTENIDO DE LA ESCALA DE ACTITUD
HACIA LAS EVALUACIONES EXTERNAS A GRAN ESCALA (EAAE)
EVIDÊNCIAS DE VALIDADE DE CONTEÚDO DA ESCALA DE ATITUDES
PERANTE AS AVALIAÇÕES EXTERNAS APLICADAS EM LARGA
ESCALA (EAAE)
EVIDENCE OF CONTENT VALIDITY OF THE SCALE OF ATTITUDES TOWARDS
EXTERNAL ASSESSMENTS APPLIED ON A LARGE SCALE (EAAE)
Denilson Junio Marques SOARES
1
Talita Emidio Andrade SOARES
2
Wagner dos SANTOS
3
RESUMEN
: Este artículo presenta el proceso de construcción y evidencia de validez de
contenido de la Escala de Actitudes hacia las Evaluaciones Externas aplicadas a gran escala
(EAAE). Este instrumento fue desarrollado con el fin de captar lo que piensan, sienten y se
comportan los docentes de educación básica a través de este tipo de evaluación. Se trata de un
estudio con enfoque cuantitativo, estructurado en dos maneras: evaluación por jueces expertos,
mediante el cálculo del Coeficiente de Validez de Contenido (CVC); y aplicación previa,
realizada con una muestra de la población objeto de estudio. La versión final de la escala contó
con 30 ítems, cuyo CVC global fue de 0,92, evidenciando su validez de contenido y señalando
la claridad del lenguaje, la relevancia práctica y teórica del instrumento. Se espera que este
trabajo aporte datos importantes para futuras investigaciones, con miras a continuar el proceso
de validación de la EAAE, y en consecuencia, posibilitar su uso en estudios acerca de la
evaluación educativa.
PALABRAS CLAVE
: Escala de actitudes. Evaluaciones externas a gran escala. Validez de
contenido. Evaluación educativa. Psicometría.
RESUMO
: Este estudo teve como objetivo desenvolver e verificar as evidências de validade
de conteúdo da Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala
(EAAE). Esse instrumento foi construído de modo a capturar o que os professores da educação
básica pensam, sentem e como se comportam mediante esse tipo de avaliação. Trata-se de um
estudo com abordagem quantitativa, estruturado em duas vertentes: avaliação de juízes
especialistas com base no cálculo do Coeficiente de Validade de Conteúdo (CVC); e aplicação
piloto, realizada com uma amostra da população-alvo. A versão final da escala contou com 30
itens, cujo CVC geral mostrou-se em 0,92, evidenciando sua validade de conteúdo e sinalizando
para a clareza de linguagem, pertinência prática e relevância teórica do instrumento. Espera-
1
Instituto Federal de Minas Gerais (IFMG), Piumhi
–
MG
–
Brasil. Maestro. Estudiante de Doctorado en
Educación (UFES). ORCID: https://orcid.org/0000-0003-3075-3532. E-mail: denilson.marques@ifmg.edu.br
2
Universidad Federal de Espírito Santo (UFES), Vitória - ES - Brasil. Estudiante de Doctorado en Educación.
ORCID: https://orcid.org/0000-0003-2692-4941. E-mail: talitaeandrade@gmail.com
3
Universidad Federal de Espírito Santo (UFES), Vitória
–
ES
–
Brasil. Profesor en el Programa de Posgrado en
Educación. Líder del Instituto de Investigación en Educación y Educación Física (Proteoria/UFES). Doctorado en
Educación (UFES). ORCID: https://orcid.org/0000-0002-9216-7291. E-mail: wagnercefd@gmail.com
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES y Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1815
se que este trabalho abra perspectivas para novas pesquisas, com vistas a dar continuidade ao
processo de validação da EAAE e, consequentemente, possibilitar seu uso em estudos sobre
avaliação educacional.
PALAVRAS-CHAVE
: Escala de atitudes. Avaliações externas aplicadas em larga escala.
Validade de conteúdo. Avaliação educacional. Psicometria.
ABSTRACT
:
This study presents the process of development of the Scale of Attitudes towards
External Assessments applied on a large scale (EAAE) and evidence of its content validity. This
instrument was developed in order to capture what basic education teachers think, feel and how
they behave through this type of assessment. This is a study with a quantitative approach,
structured in two stages: evaluation by expert, using the Content Validity Index (CVI); and pilot
application was conducted with a sample of the target population. The final version of the EAAE
was reduced to 30 items. The overall CVI of the scale was 0.92, evidencing its content validity
and signaling the clarity of language, practice relevance and theoretical relevance of the
instrument. It is hoped that this study will open perspectives for further research, with a view
to continuing the EAAE validation process and, consequently, enabling its use in studies on
educational assessment.
KEYWORDS
:
Attitude scales. External assessments applied on a large scale. Content validity.
Educational assessment. Psychometry.
Introducción
En el ámbito educativo, la evaluación se configura en varias modalidades: evaluación
del aprendizaje; planes de estudio y programas; sistemas educativos; de profesionales; y
políticas públicas (AFONSO, 2000). Según Stadler (2017), en general, la evaluación tiene el
papel crucial de analizar la calidad de la educación mediante el seguimiento del proceso
educativo o la lectura de sus resultados.
Cuando este proceso es realizado por agentes ajenos a la escuela, la evaluación se dice
externa. La mayoría de las veces, su aplicación ocurre a gran escala, es decir, para un gran
número de personas. En resumen, las evaluaciones externas aplicadas a gran escala han sido
utilizadas por organismos gubernamentales como herramientas que guían políticas, proyectos,
programas y acciones educativas entre escuela y comunidad, y pueden clasificarse según: su
naturaleza, en referencia a su alcance; propósitos/ propósitos; y sus efectos (BAUER;
ALAVARSE; OLIVEIRA, 2015; ORFIELD; WALD, 2000).
La clasificación de los efectos considera los impactos que la evaluación trae a su
población objetivo. A este respecto, las evaluaciones de alto impacto (
high stakes tests
) pueden
ofrecer subsidios para los procesos de toma de decisiones y, por lo tanto, traer consecuencias
image/svg+xml
Evidencia de la validez del contenido de la Escala de Actitud hacia las Evaluaciones Externas a gran escala (EAEE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1816
notorias para los actores del proceso escolar. Por otro lado, las evaluaciones de bajo impacto
(
low stakes tests
) no ofrecen efectos directos o indirectos a estos sujetos (BAUER;
ALAVARSE; OLIVEIRA, 2015; ORFIELD; WALD, 2000).
En Brasil, la Política Nacional de Evaluación de la Educación Básica, instituida a través
de la publicación de la Ordenanza N° 458 del 5 de mayo de 2020 (BRASIL, 2020), está
compuesta por tres evaluaciones externas aplicadas a gran escala: el Sistema de Evaluación de
la Educación Básica (Saeb), creado en 1990; el Examen Nacional de Bachillerato (Enem),
creado en 1998; y el Examen Nacional de Certificación de Habilidades de Jóvenes y Adultos
(Encceja), creado en 2002. El artículo 8 y el artículo 18 de dicha ordenanza confieren a Saeb y
Enem, respectivamente, el mismo objetivo general: "[...] evaluar el dominio de las
competencias y habilidades esperadas a lo largo de la educación básica, de acuerdo con la Base
Nacional de Currículo Común - BNCC y las correspondientes directrices curriculares
nacionales" (BRASIL, 2020, p.
2). Encceja, de acuerdo con el artículo 12, procede medir "[...]
las competencias y habilidades requeridas para la finalización de la escuela primaria y
secundaria, según sea el caso" (BRASIL, 2020, p. 2).
En común, todos ellos tienen al Instituto Nacional de Estudios e Investigaciones
Educativas Anísio Teixeira (Inep), una autoridad federal vinculada al Ministerio de Educación
de Brasil (MEC), como agente externo responsable de su organización y gestión. Además, estas
evaluaciones, de carácter nacional, pueden considerarse de alto impacto para los estudiantes a
los que están destinadas y, en consecuencia, para las demás asignaturas que constituyen la vida
cotidiana de las escuelas. Encceja, por ejemplo, se puede utilizar con el propósito de certificar
diferentes niveles de educación; y Saeb y Enem, como mecanismo único, alternativo o
complementario para el acceso de estos estudiantes a la educación superior.
También es necesario destacar que, a partir de los resultados obtenidos en estas
evaluaciones, es posible realizar un diagnóstico de la educación básica brasileña y de los
factores que pueden interferir en el desempeño del estudiante, porque, junto con ellos, se aplican
cuestionarios que permiten explicar los niveles de aprendizaje demostrados por los estudiantes
evaluados a partir de la diversa información contextual recopilada. Con esto, el uso político de
estos instrumentos se ha producido durante décadas y es frecuente la apropiación de sus
resultados para delinear las políticas educativas contemporáneas (MILITÃO; SANTANA,
SANTANA, PERBONI, 2019).
Sin embargo, todavía existe una brecha con respecto a los estudios dirigidos a analizar
las actitudes de los docentes hacia estas evaluaciones. En una encuesta realizada en enero de
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES y Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1817
2022, en el Portal de revistas de la Coordinación para el Perfeccionamiento del Personal de
Educación Superior (Capes), a través de consulta ampliada con bases de datos electrónicas
Scientific Electronic Library Online (SciELO
),
Scopus
e
Web of Science
(
WoS
), utilizando los
descriptores ["Evaluación externa"
OR “
Evaluaciones externas"] AND ["actitud de los
maestros" OR "actitud de los maestros"], no se mapeó ninguna investigación producida para
este propósito.
Así, este artículo pretende presentar la Escala de Actitudes hacia las Evaluaciones
Externas aplicadas a gran escala (EAAE) y los análisis realizados con el fin de encontrar
evidencia de validez de su contenido. Esta es una de las primeras etapas de su proceso de
construcción.
Las actitudes de constructo, utilizadas en este proceso, tienen su origen a principios del
siglo XX, a partir del estudio de los sociólogos Thomas y Znaniecki (1918), quienes lo
conceptualizan como un estado individual y determinante para la acción de los individuos.
Según Sarti, Vendramini y Camilo (2021), para explicarlo, existen diferentes modelos en la
literatura. El tripartito es el más relevante, sobre todo porque incluye múltiples factores
psicológicos. Este modelo considera las siguientes dimensiones interrelacionadas: cognitiva,
afectiva y conductual.
Según Camilo (2021), la dimensión cognitiva abarca percepciones, pensamientos y
conceptos con relación al objeto investigado, buscando captar lo que los sujetos saben (o creen
saber) sobre él; la dimensión afectiva, a su vez, se refiere a las emociones y sentimientos de
estos sujetos; y conductual abarca sus acciones y/o intenciones de actuar ante el objeto. En este
aspecto, la EAAE fue desarrollada con el fin de captar lo que los maestros de educación básica,
que se constituyen como la población objetivo de la escala, piensan (dimensión cognitiva),
sienten (dimensión afectiva) y cómo se comportan (dimensión conductual) a través de
evaluaciones externas aplicadas a gran escala en Brasil.
Así, este artículo se estructura en tres apartados, además de esta introducción. En el
primero, se presenta el método utilizado para llevar a cabo la investigación. Luego, se
evidencian los resultados obtenidos. Posteriormente, cerrando el artículo, se lleva a cabo una
discusión sobre los resultados obtenidos, acompañada de las consideraciones finales, seguidas
de las referencias.
image/svg+xml
Evidencia de la validez del contenido de la Escala de Actitud hacia las Evaluaciones Externas a gran escala (EAEE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1818
Método
Participantes
Los ítems de la EAAE fueron sometidos inicialmente a la evaluación de diez jueces
expertos: ocho profesores de doctorado y dos estudiantes de doctorado, todos vinculados a
Programas de Posgrado en Educación y/o Psicología de las cinco regiones brasileñas. La
selección de estos profesionales fue intencional, considerando la competencia reconocida en el
área de evaluación educativa y/o psicológica.
A partir de los resultados obtenidos en el análisis de los jueces expertos, los ítems
preseleccionados para conformar la escala fueron sometidos a una evaluación semántica,
mediante la aplicación del instrumento a una muestra de 30 docentes de educación básica
(aplicación piloto). El propósito de esta etapa fue verificar si los ítems eran comprensibles en
cuanto al lenguaje, considerando los sujetos pertenecientes a la población objetivo de la escala,
como lo indican Glaser y Strauss (2017). El tamaño de la muestra se basó en el criterio de
saturación (GLASER; STRAUSS, 2017).
Instrumento
La EAAE (en proceso de elaboración) contó inicialmente con 42 ítems elaborados por
investigadores del Instituto de Investigaciones en Educación y Educación Física de la
Universidad Federal de Espírito Santo, a partir de estudios que consideran la definición
constitutiva y operativa del fenómeno investigado (PASQUALI, 2010), desarrollados desde
2017 dentro del instituto.
Para este propósito, se consideraron las actitudes de constructo, compuestas por las
dimensiones cognitiva (15 ítems), afectiva (12 ítems) y conductual (15 ítems), con el fin de
captar lo que los docentes de educación básica (público objetivo) piensan, sienten y cómo se
comportan, respectivamente, en relación con las evaluaciones externas que se aplican a gran
escala en Brasil.
Cada dimensión va acompañada de una frase guía: para la dimensión cognitiva se
solicita una respuesta respecto a lo que se cree (creencias, conocimientos, información y/u
opiniones) en relación con las evaluaciones externas aplicadas a gran escala; para la dimensión
afectiva, se solicita una respuesta basada en los sentimientos; y, para la dimensión conductual,
la respuesta debe basarse en acciones cotidianas en relación con el objeto.
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES y Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1819
Los ítems que componen el instrumento fueron elaborados en forma de sueros y, como
opción de respuesta, se estructuran en una escala
Likert
de cinco puntos de acuerdo, que van
desde 1 (muy en desacuerdo) hasta 5 (Totalmente de acuerdo). En resumen, se espera que las
puntuaciones más bajas (más altas) indiquen menos (más) actitudes positivas/favorables hacia
el objeto investigado.
Procedimientos
Los análisis fueron posibles mediante el envío, por correo electrónico, de una carta de
invitación, acompañada de la solicitud de evaluación de los ítems previamente preparados. Así,
tras la aceptación y consentimiento del participante al Formulario de Consentimiento Libre e
Informado (TCLE), se puso a disposición el acceso al formulario de análisis. La
confidencialidad de los participantes se mantuvo durante todo el proceso.
En la evaluación, cada juez experto debe asignar un valor ordinal, entre 1 y 5, de acuerdo
con la calidad del ítem. Se consideraron tres aspectos: la claridad del lenguaje (1. nada claro -
5. totalmente claro); relevancia práctica (1. nada relevante - 5. totalmente pertinente); y la
relevancia teórica (1. nada relevante - 5. totalmente relevante) de los ítems. Este procedimiento
tomó como referencia los estudios de Hernández-Nieto (2002), Cassepp-Borges, Balbinotti y
Teodoro (2010) y Pacico (2015).
Como indican Cassepp-Borges, Balbinotti y Teodoro (2010), la claridad lingüística
consiste en el análisis del lenguaje utilizado en los ítems, considerando las características del
público objetivo. La relevancia práctica, a su vez, tiene como objetivo analizar si el elemento
es, de hecho, importante en la constitución del instrumento. La relevancia teórica busca evaluar
el grado de asociación entre el ítem y la teoría que lo sustenta.
Para el análisis semántico, se elaboró un cuestionario en el que los participantes de la
aplicación piloto pudieron clasificar el lenguaje adoptado como claro, difícil o incomprensible.
En esta etapa, el estudio de Pasquali (2010) fue asumido como soporte teórico.
Análisis estadístico
El análisis cuantitativo se realizó calculando la media aritmética y la desviación estándar
de las respuestas atribuidas por los jueces expertos para cada ítem, en cada aspecto analizado.
En resumen, cuanto mayor (cuanto menor) es el valor para el primero, más (menos) bien
evaluado es, en promedio, el elemento. En relación con la desviación estándar, los valores altos
image/svg+xml
Evidencia de la validez del contenido de la Escala de Actitud hacia las Evaluaciones Externas a gran escala (EAEE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1820
(bajos) indican una menor (mayor) regularidad de las respuestas, lo que indica una posible
divergencia de opiniones entre los evaluadores.
Para determinar el nivel de acuerdo entre los jueces expertos, se utilizó el Coeficiente
de Validez de Contenido (CVC), propuesto por Hernández-Nieto (2002). Es un indicador
utilizado para calcular el nivel de consenso, calculando el promedio del valor asignado por los
jueces en cada ítem del instrumento, expresado en términos porcentuales, restando el sesgo de
respuesta. En términos matemáticos:
en que representa el valor asignado al tema por el juez representa el número de
magistrados; y , la puntuación máxima de la escala utilizada.
Además del CVC para la claridad del lenguaje, la relevancia práctica y la relevancia
teórica, también se calculó la media para todos los ítems y el CVC general de la escala. Como
indican Polit y Beck (2006), los ítems con CVC igual o superior al 80% se consideraron válidos.
Todos los análisis se realizaron con la ayuda del
software
Microsoft Excel®.
Resultados
Con base en las evaluaciones de los jueces expertos, de los 42 ítems previamente
elaborados, 12 fueron excluidos por presentar información repetida o CVC por debajo del 80%.
De los otros, cinco fueron reformulados considerando las sugerencias de los evaluadores con el
fin de dar objetividad a la escritura o facilitar su comprensión.
Así, se seleccionaron previamente 30 ítems para comparar con la EAAE: 12 del
componente cognitivo, ocho del componente afectivo y diez del componente conductual óptimo
c. El análisis semántico, realizado a partir de la aplicación piloto del instrumento, no indicó
problemas en cuanto a su comprensión para la muestra del público objetivo investigado (N=30).
La puntuación total obtenida por los encuestados puede oscilar entre 30 y 150 puntos,
con un punto medio igual a 90 puntos. Así, las puntuaciones por encima (por debajo) de este
valor indican actitudes más (menos) positivas que negativas de los docentes en relación con las
evaluaciones externas aplicadas a gran escala.
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES y Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1821
Las tablas 1, 2 y 3 traen estos ítems, organizados por dimensión y acompañados de la
pregunta guía, media y desviación estándar de los valores de la escala
Likert asignados
por los
jueces, así como el CVC para cada criterio considerado (claridad lingüística, relevancia práctica
y relevancia teórica del ítem).
Tabla 1 -
Media, desviación estándar y CVC de los ítems del componente cognitivo de la
EAAE
Componente cognitivo
C.L.
P.P.
R.T.
Artículos
M
(DP)
CVC
M
(DP)
CVC
M
(DP)
CVC
Responda en
función de lo
que cree (sus
conocimientos,
opiniones y / o
creencias) en
relación con
las
evaluaciones
externas
aplicadas a
gran escala.
Evaluar adecuadamente la calidad de la
enseñanza y el aprendizaje
4,50
(0,85)
0,90
4,60
(0,52)
0,92
4,90
(0,32)
0,98
Son el principal instrumento de
seguimiento de la eficacia de las
políticas educativas
4,70
(0,67)
0,94
4,80
(0,63)
0,96
4,90
(0,32)
0,98
Cumplir satisfactoriamente con el
propósito de medir los niveles de
aprendizaje de los estudiantes
4,20
(1,03)
0,84
4,40
(1,35)
0,88
4,40
(1,35)
0,88
Son útiles para seleccionar
adecuadamente a los estudiantes para
otras etapas / niveles de educación
4,70
(0,67)
0,94
4,50
(1,27)
0,90
4,60
(1,26)
0,92
Impacto en la selección de contenidos
impartidos en la escuela
4,40
(0,84)
0,88
4,30
(1,34)
0,86
4,10
(1,37)
0,82
Medir adecuadamente el nivel de
conocimiento de los estudiantes en
relación con los contenidos del
programa previstos en la Base
Curricular Común Nacional (BNCC)
4,40
(0,84)
0,88
4,90
(0,32)
0,98
5,00
(0,00)
1,00
Sus matrices curriculares dan igual
valor a todos los conocimientos
previstos en la Base Curricular Común
Nacional (BNCC)
4,60
(1,26)
0,92
4,20
(1,69)
0,84
4,20
(1,69)
0,84
Permitir el análisis de los aspectos
sociales y culturales de los estudiantes
4,20
(1,03)
0,84
4,80
(0,63)
0,96
4,80
(0,63)
0,96
Estas son herramientas necesarias para
reducir las desigualdades educativas
4,80
(0,63)
0,96
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Estos son importantes instrumentos de
rendición de cuentas a la empresa
4,80
(0,63)
0,96
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Estos son instrumentos importantes
para el seguimiento de la práctica
docente
4,90
(0,32)
0,98
4,40
(1,35)
0,88
4,40
(1,35)
0,88
Son herramientas eficientes para
promover bonos financieros a los
profesionales de la educación
4,50
(0,71)
0,90
4,40
(0,84)
0,88
4,50
(0,85)
0,90
Total:
4,56
(0,79)
0,91
4,61
(0,86)
0,92
4,65
(0,76)
0,93
Nota: M = media aritmética; D. P. = desviación estándar; C. L. = claridad del lenguaje; P. P.= pertinencia
práctica;
R. T. = relevancia teórica.
Fuente: Elaboración propia (2021)
image/svg+xml
Evidencia de la validez del contenido de la Escala de Actitud hacia las Evaluaciones Externas a gran escala (EAEE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1822
Tabla 2
- Media, desviación estándar y CVC de los ítems del componente afectivo de la
EAAE
Componente afectivo
C.L.
P.P.
R.T.
Artículos
M
(DP)
CVC
M
(DP)
CVC
M
(DP)
CVC
Responder a
en función
de sus
sentimientos
con respecto
a las
evaluaciones
externas a
gran escala
Tengo una apreciación para este tipo
de evaluación
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Espero conocer sus resultados
4,80
(0,42)
0,96
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Confío en tus resultados
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Confío en las diferencias entre
escuelas / estudiantes que se hacen a
partir de ellos
4,60
(0,84)
0,92
4,70
(0,67)
0,94
4,80
(0,63)
0,96
Confío en las certificaciones de
finalización de un nivel/etapa de
enseñanza que se llevan a cabo desde
ellas
4,70
(0,67)
0,94
4,80
(0,63)
0,96
4,80
(0,63)
0,96
Siento que mi conocimiento es
valorado por ellos
5,00
(0,00)
1,00
4,90
(0,32)
0,98
5,00
(0,00)
1,00
Me doy cuenta de que la disciplina que
enseño es valorada por ellos
4,40
(0,84)
0,88
4,30
(0,82)
0,86
4,50
(0,53)
0,90
Me gusta guiar mi trabajo a partir de
tus resultados
4,90
(0,32)
0,98
4,40
(1,35)
0,88
4,40
(1,35)
0,88
Total:
4,77
(0,44)
0,95
4,73
(0,54)
0,95
4,81
(0,39)
0,96
Nota: M = media aritmética; D. P. = desviación estándar; C. L. = claridad del lenguaje; P. P.= pertinencia
práctica;
R. T. = relevancia teórica.
Fuente: Elaboración propia (2021)
Tabla 3
- Media, desviación estándar y CVC de los ítems del componente conductual de la
EAAE
Componente conductual
C.L.
P.P.
R.T.
Artículos
M
(DP)
CVC
M
(DP)
CVC
M
(DP)
CVC
Responda en
función de
sus acciones
diarias en
relación con
las
evaluaciones
externas
aplicadas a
gran escala
Planifico mis clases a partir de tus
resultados
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Incorporo tus resultados en mis
acciones cotidianas en el aula
4,50
(0,85)
0,90
4,60
(1,26)
0,92
4,60
(1,26)
0,92
Organizo el horario escolar para
mejorar su rendimiento
5,00
(0,00)
1,00
4,60
(1,26)
0,92
4,60
(1,26)
0,92
Priorizo la enseñanza de los contenidos
que son más frecuentes en estas
evaluaciones
4,70
(0,67)
0,94
4,90
(0,32)
0,98
4,90
(0,32)
0,98
Hablo con los estudiantes sobre su
importancia
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Recomiendo participar en estas
evaluaciones
4,50
(1,08)
0,90
4,60
(0,84)
0,92
4,60
(0,84)
0,92
Presento un feedback
sobre los
resultados obtenidos en el aula
4,90
(0,32)
0,98
5,00
(0,00)
1,00
5,00
(0,00)
1,00
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES y Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1823
Resuelvo preguntas de evaluaciones
previas en el aula
4,80
(0,42)
0,96
4,90
(0,32)
0,98
4,80
(0,63)
0,96
Utilizo preguntas anteriores en mis
evaluaciones escolares (internas)
4,70
(0,67)
0,94
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Participo en formación específica para
un mejor uso de tus resultados
4,00
(1,49)
0,80
4,10
(1,37)
0,82
4,20
(1,40)
0,84
Total:
4,68
(0,61)
0,94
4,74
(0,60)
0,95
4,77
(0,57)
0,950
Nota: M = media aritmética; D. P. = desviación estándar; C. L. = claridad del lenguaje; P. P.= pertinencia
práctica; R. T. = relevancia teórica.
Fuente: Elaboración propia (2021)
Además del CVC para cada criterio, también se calculó el CVC de la escala como un
conjunto uniforme. Así, para el aspecto de claridad del lenguaje, el CVC general fue de 0,92,
para la relevancia práctica fue de 0,93 y para la relevancia teórica de 0,94. El CVC global de la
escala fue de 0,93, confiriendo validez a su contenido según los métodos de análisis utilizados
en esta investigación.
En cuanto a los análisis descriptivos, se percibe una mejor media, en la evaluación de
los jueces, para el criterio de relevancia teórica (M=4,73), frente a los demás (M=4,70 en
ambos). En cuanto a la desviación estándar, esta evaluación es más heterogénea para el criterio
de pertinencia práctica (D. P. = 0,64) y más homogénea para la claridad lingüística (D. P. =
0,57). Para el criterio de relevancia teórica, la desviación estándar calculada fue de 0,60.
Discusión y consideraciones finales
Este artículo fue desarrollado con el propósito de presentar el proceso de construcción
y evidencia de validez de contenido de la Escala de Actitudes hacia evaluaciones externas
aplicadas a gran escala (EAAE). Este instrumento se construyó a partir de la adopción del
modelo tripartito del constructo de actitudes, con el fin de captar lo que los docentes de
educación básica piensan, sienten y cómo se comportan a través de evaluaciones externas
aplicadas a gran escala.
image/svg+xml
Evidencia de la validez del contenido de la Escala de Actitud hacia las Evaluaciones Externas a gran escala (EAEE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1824
El proceso de construcción y la búsqueda de evidencias de validación de contenido de
las EAAE se basaron estrictamente en procedimientos reconocidos por la literatura
especializada, consultada para el desarrollo del instrumento. El uso de CVC, en el análisis de
los jueces expertos, y el análisis semántico demostraron buenos resultados, apoyando la
conclusión de que el instrumento presenta evidencia de validez de contenido, señalando la
claridad del lenguaje, la pertinencia teórica y la relevancia práctica de los ítems que lo
componen.
En este sentido, es necesario destacar que cuatro ítems presentaron 100% de acuerdo en
todos los aspectos evaluados: dos del componente afectivo ("Tengo aprecio por este tipo de
evaluación" y "Confío en sus resultados") y dos de los conductuales ("Planifico mis clases a
partir de sus resultados" y "Hablo con los alumnos sobre su importancia"), indicando una
evaluación perfecta unánime entre los evaluadores. Se espera, por tanto, teóricamente, que estos
ítems aporten más información sobre las actitudes de los docentes de educación básica en
relación con las evaluaciones externas aplicadas a gran escala.
Sin embargo, para confirmar esta hipótesis, así como para evaluar otros aspectos
psicométricos de la escala, es necesario que se realicen nuevos análisis de validez, como el
basado en la estructura interna del instrumento, en las relaciones con medidas externas o en el
patrón de respuesta a los ítems. Esto se hará en estudios posteriores, teniendo en cuenta que la
EAAE todavía está en construcción.
Como principal limitación de este estudio, destacamos el hecho de que los análisis se
realizaron en formato online, lo que dificulta el control de variables, como el cansancio y la
distracción de los evaluadores, que pueden comprometer los resultados encontrados. Por otro
lado, se pudo contar con la colaboración de profesionales que trabajan en todas las regiones del
país, proporcionando una evaluación considerablemente integral de los ítems de la escala.
Por último, se destaca que, una vez finalizado, las EAAE podrán subvencionar una
nueva agenda de investigación en el ámbito educativo, contribuyendo al crecimiento y mejora
de la producción científica. Desde su aplicación al público objetivo, se pueden responder
algunas preguntas, por ejemplo: a) ¿Cómo se posicionan los docentes de educación básica en
relación con las evaluaciones externas aplicadas a gran escala? b) ¿Existe una relación
significativa entre las variables sociales/demográficas/económicas y las actitudes más positivas
hacia ellas? c) ¿Influyen actitudes más positivas en los resultados educativos alcanzados? Entre
otros.
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES y Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1825
Con ello, EAAE podrá ofrecer subvenciones para el establecimiento de soluciones
eficientes, estratégicas e innovadoras orientadas a mejorar la calidad de la educación,
evidenciadas a través de estas evaluaciones. Así, se enfatiza que la construcción de esta escala
es sumamente relevante, sobre todo en vista de la escasez de estudios que aborden el tema
investigado.
GRACIAS
: A la Fundación de Apoyo a la Investigación y la Innovación de Espírito Santo
(FAPES) por apoyar el desarrollo de esta investigación.
REFERENCIAS
AFONSO, A. J.
Avaliação educacional
: Regulação e emancipação para uma sociologia das
políticas avaliativas contemporâneas. 2. ed. São Paulo: Cortez, 2000.
BAUER, A.; ALAVARSE, O. M.; OLIVEIRA, R. P. Avaliação em larga escala: Uma
sistematização do debate.
Educação e Pesquisa
, São Paulo, v. 41, n. esp., p. 1367-1382, dez.
2015. Disponible en: http://www.scielo.br/pdf/ep/v41nspe/1517-9702-ep-41-spe-1367.pdf.
Acceso: 03 enero 2022.
BRASIL.
Portaria n. 458, de 5 de maio de 2020
. Institui normas complementares
necessárias ao cumprimento da Política Nacional de Avaliação da Educação Básica. Brasília,
DF: Ministro de Estado da Educação, 2020. Disponible en: https://www.in.gov.br/web/dou/-
/portaria-n-458-de-5-de-maio-de-2020-255378342. Acceso: 05 enero 2022.
CAMILO, C. C.
Construção e estudos psicométricos da Escala de Atitude frente à
atuação do psicólogo
. 2021. Tese (Doutorado em Psicologia)
–
Programa de Pós-Graduação
Stricto Sensu em Psicologia, Universidade São Francisco, Campinas, 2021. Disponible en:
https://www.usf.edu.br/galeria/getImage/427/4000894494237433.pdf. Acceso: 5 enero 2022.
CASSEPP-BORGES, V.; BALBINOTTI, M. A. A.; TEODORO, M. L. M. Tradução e
validação de conteúdo: Uma proposta para a adaptação de instrumentos.
In
: PASQUALI, L.
Instrumentação psicológica
: Fundamentos e práticas. Porto Alegre: Artmed, 2010.
GLASER, B. G.; STRAUSS, A. L.
Discovery of grounded theory
: Strategies for qualitative
research. New York: Aldine de Gruyter, 2017.
HERNÁNDEZ-NIETO, R. A.
Contribuciones al análisis estatístico
. Mérida, Venezuela:
Universidad de Los Andes/Iesinfo, 2002.
MILITÃO, A. N.; SANTANA, A. C. M.; PERBONI, F. A expansão dos sistemas avaliativos
e a teoria crítica: Um diálogo (im)pertinente.
Revista Ibero-Americana de Estudos em
Educação
, Araraquara, v. 14, n. esp. 4, p. 2046-2056, 2019. Disponible en:
https://periodicos.fclar.unesp.br/iberoamericana/article/view/12927. Acceso: 22 dic. 2021.
image/svg+xml
Evidencia de la validez del contenido de la Escala de Actitud hacia las Evaluaciones Externas a gran escala (EAEE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept
.
2022. e-ISSN: 1982-5587
DOI: https://doi.org/10.21723/riaee.v17i3.16191
1826
ORFIELD, G.; WALD, J. Testing, testing: The high-stakes testing mania hurts poor and
minority students the most.
The Nation
, New York, v. 270, n. 22, p. 38-40, jun. 2000.
Disponible en: https://thenation.s3.amazonaws.com/pdf/testingtesting2000.pdf.
Acceso: 05
enero 2022.
PACICO, J. C. Como é feito um teste? Produção de itens.
In
: HUTZ, C. S.; BANDEIRA, D.
R.; TRENTINI; C. M.
Psicometria
. Porto Alegre: Artmed, 2015.
PASQUALI, L.
Instrumentação psicológica
. Brasília, DF: Editora Vetor, 2010.
POLIT, D. F.; BECK, C. T. The content validity index: Are you sure you know what's being
reported? Critique and recommendations.
Research in Nursing & Health
, v. 29, n. 5, p. 489-
497, 2006. Disponible en: https://onlinelibrary.wiley.com/doi/abs/10.1002/nur.20147. Acceso:
15 enero 2022.
SARTI, A. G.; VENDRAMINI, C. M. M.; CAMILO, C. C. Evidências de validade da escala
de atitudes de estudantes do ensino superior frente à estatística-EAEst.
Ciência & Educação,
Bauru, v. 27, e21042, 2021. Disponible en:
https://www.scielo.br/j/ciedu/a/zJ9mkwgzpzyP5zRZjhsYsfh/abstract/?lang=pt. Acceso: 10
dic. 2021.
STADLER, J. C.
Prova Brasil de Matemática do 5º ano do ensino fundamental
:
Resultados nas plataformas Devolutivas Pedagógicas e QEdu. Ponta Grossa, 2017. 165 f.
Dissertação (Mestrado em Educação)
–
Universidade Estadual de Ponta Grossa, Ponta Grossa,
2017. Disponible en: http://tede2.uepg.br/jspui/handle/prefix/2394. Acceso: 15 enero 2022.
THOMAS, W. I.; ZNANIECKI, F.
The Polish peasant in Europe and America
:
Monograph of an immigrant group. Chicago: University of Chicago Press, 1918.
Cómo hacer referencia a este artículo
SOARES, D. J. M.; SOARES, T. E. A.; SANTOS, W. Evidencia de la validez del contenido de
la Escala de Actitud hacia las Evaluaciones Externas a gran escala (EAEE).
Revista Ibero-
Americana de Estudos em Educação
, Araraquara, v. 17, n. 3, p. 1814-1826, jul./sept. 2022.
e-ISSN: 1982-5587. DOI: https://doi.org/10.21723/riaee.v17i3.16191
Enviado en
:
26/01/2022
Revisiones requeridas en
: 15/04/2022
Aprobado en
: 06/05/2022
Publicado en
: 01/07/2022
Procesamiento y edición: Editora Ibero-Americana de Educação.
Corrección, formateo, normalización y traducción.
image/svg+xml
Evidence of content validity of the Scale of Attitudes towards External Assessments applied on a large scale (EAAE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1805
EVIDENCE OF CONTENT VALIDITY OF THE SCALE OF ATTITUDES
TOWARDS EXTERNAL ASSESSMENTS APPLIED ON A LARGE SCALE (EAAE)
EVIDÊNCIAS DE VALIDADE DE CONTEÚDO DA ESCALA DE ATITUDES
PERANTE AS AVALIAÇÕES EXTERNAS APLICADAS EM LARGA
ESCALA (EAAE)
EVIDENCIA DE LA VALIDEZ DEL CONTENIDO DE LA ESCALA DE ACTITUD
HACIA LAS EVALUACIONES EXTERNAS A GRAN ESCALA (EAAE)
Denilson Junio Marques SOARES
1
Talita Emidio Andrade SOARES
2
Wagner dos SANTOS
3
ABSTRACT
: This study presents the process of development of the Scale of Attitudes
towards External Assessments applied on a large scale (EAAE) and evidence of its content
validity. This instrument was developed in order to capture what basic education teachers
think, feel and how they behave through this type of assessment. This is a study with a
quantitative approach, structured in two stages: evaluation by expert, using the Content
Validity Index (CVI); and pilot application was conducted with a sample of the target
population. The final version of the EAEA was reduced to 30 items. The overall CVI of the
scale was 0.92, evidencing its content validity and signaling the clarity of language, practice
relevance and theoretical relevance of the instrument. It is hoped that this study will open
perspectives for further research, with a view to continuing the EAAE validation process and,
consequently, enabling its use in studies on educational assessment.
KEYWORDS
: Attitude scales. External assessments applied on a large scale. Content
validity. Educational assessment. Psychometry.
RESUMO
: Este estudo teve como objetivo desenvolver e verificar as evidências de validade
de conteúdo da Escala de Atitudes perante as Avaliações Externas aplicadas em larga escala
(EAAE). Esse instrumento foi construído de modo a capturar o que os professores da
educação básica pensam, sentem e como se comportam mediante esse tipo de avaliação.
Trata-se de um estudo com abordagem quantitativa, estruturado em duas vertentes:
avaliação de juízes especialistas com base no cálculo do Coeficiente de Validade de
Conteúdo (CVC); e aplicação piloto, realizada com uma amostra da população-alvo. A
versão final da escala contou com 30 itens, cujo CVC geral mostrou-se em 0,92,
evidenciando sua validade de conteúdo e sinalizando para a clareza de linguagem,
pertinência prática e relevância teórica do instrumento. Espera-se que este trabalho abra
1
Federal Institute of Minas Gerais (IFMG), Piumhi
–
MG
–
Brazil. Professor. PhD student in Education (Ufes).
ORCID: https://orcid.org/0000-0003-3075-3532. E-mail: denilson.marques@ifmg.edu.br
2
Federal University of Espírito Santo (Ufes), Vitória
–
ES
–
Brazil. PhD student in Education. ORCID:
https://orcid.org/0000-0003-2692-4941. E-mail: talitaeandrade@gmail.com
3
Federal University of Espírito Santo (Ufes), Vitória
–
ES
–
Brazil. Professor in the Graduate Program in
Education. Leader of the Institute for Research in Education and Physical Education (Proteoria/Ufes). PhD in
Education (Ufes). ORCID: https://orcid.org/0000-0002-9216-7291. E-mail: wagnercefd@gmail.com
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES and Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1806
perspectivas para novas pesquisas, com vistas a dar continuidade ao processo de validação
da EAAE e, consequentemente, possibilitar seu uso em estudos sobre avaliação educacional.
PALAVRAS-CHAVE
: Escala de atitudes. Avaliações externas aplicadas em larga escala.
Validade de conteúdo. Avaliação educacional. Psicometria.
RESUMEN
: Este artículo presenta el proceso de construcción y evidencia de validez de
contenido de la Escala de Actitudes hacia las Evaluaciones Externas aplicadas a gran escala
(EAAE). Este instrumento fue desarrollado con el fin de captar lo que piensan, sienten y se
comportan los docentes de educación básica a través de este tipo de evaluación. Se trata de
un estudio con enfoque cuantitativo, estructurado en dos maneras: evaluación por jueces
expertos, mediante el cálculo del Coeficiente de Validez de Contenido (CVC); y aplicación
previa, realizada con una muestra de la población objeto de estudio. La versión final de la
escala contó con 30 ítems, cuyo CVC global fue de 0,92, evidenciando su validez de
contenido y señalando la claridad del lenguaje, la relevancia práctica y teórica del
instrumento. Se espera que este trabajo aporte datos importantes para futuras
investigaciones, con miras a continuar el proceso de validación de la EAAE, y en
consecuencia, posibilitar su uso en estudios acerca de la evaluación educativa.
PALABRAS CLAVE
:
Escala de actitudes. Evaluaciones externas a gran escala. Validez de
contenido. Evaluación educativa. Psicometría.
Introduction
In the educational field, the evaluation is configured in various ways: evaluation of
learning; of curricula and programs; of educational systems; of professionals; and of public
policies (AFONSO, 2000). According to Stadler (2017), in all of them, evaluation has the
crucial role of analyzing the quality of education by monitoring the educational process or
reading its results.
When this process is carried out by agents external to the school, the evaluation is said
to be external. Most of the time, it is applied on a large scale, that is, to a large number of
people. In summary, external evaluations applied on a large scale have been used by
government agencies as tools to guide policies, projects, programs and educational actions in
schools and communities, and can be classified according to: its nature, referring to its scope;
its purposes / objectives; and its effects (BAUER; ALAVARSE; OLIVEIRA, 2015;
ORFIELD; WALD, 2000).
The classification regarding effects considers the impacts that the evaluation brings to
its target population. In this aspect, high stakes tests can provide inputs for decision-making
processes and thus bring out conspicuous consequences for the actors of the school process.
image/svg+xml
Evidence of content validity of the Scale of Attitudes towards External Assessments applied on a large scale (EAAE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1807
In contrast, low stakes tests do not offer direct or indirect effects for these subjects (BAUER;
ALAVARSE; OLIVEIRA, 2015; ORFIELD; WALD, 2000).
In Brazil, the National Policy for Evaluation of Basic Education, established through
the publication of Ordinance No. 458 of May 5, 2020 (BRAZIL, 2020), is composed of three
external assessments applied on a large scale: the System for Evaluation of Basic Education
(Saeb), created in 1990; the National High School Exam (Enem), created in 1998; and the
National Exam for Certification of Skills of Youth and Adults (Encceja), created in 2002. The
art. 8 and art. 18 of the mentioned ordinance give to Saeb and Enem, respectively, the same
general objective: "[...] to assess the mastery of skills and abilities expected throughout basic
education, according to the Common National Curricular Base - BNCC and the corresponding
national curriculum guidelines" (BRAZIL, 2020, p. 2). Encceja, according to art. 12, is
responsible for assessing "[...] the competencies and skills required for the conclusion of
primary and secondary education, as the case may be. (BRAZIL, 2020, p. 2).
In common, all of them have the National Institute of Educational Studies and
Research Anísio Teixeira (Inep), a federal agency linked to the Brazilian Ministry of
Education (MEC), as the external agent responsible for their organization and management.
Furthermore, these national assessments can be considered to have a high impact on the
students to whom they are intended and, consequently, on the other subjects that make up the
daily life of schools. Encceja, for example, can be used with the purpose of certifying
different levels of education; and Saeb and Enem, as single, alternative or complementary
mechanisms for the access of these students to higher education.
It should also be noted that, based on the results obtained in these assessments, it is
possible to make a diagnosis of Brazilian basic education and of factors that may interfere
with student performance, because, along with them, questionnaires are applied to explain the
levels of learning demonstrated by the students assessed from the various contextual
information collected. With that, the political use of these instruments has been occurring for
decades and the appropriation of their results to outline contemporary educational policies is
frequent (MILITÃO; SANTANA; PERBONI, 2019).
However, there is still a gap regarding the studies aimed at analyzing the attitudes of
teachers towards these assessments. In a survey conducted in January 2022, in the Periodical
Portal of the Coordination for the Improvement of Higher Level Personnel (Capes), through
expanded consultation to the electronic databases Scientific Electronic Library Online
(SciELO), Scopus and Web of Science (WoS), using the descriptors ["External evaluation"
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES and Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1808
OR "External evaluations"] AND ["teachers' attitude" OR "teachers' attitude"], no research
produced with this purpose was mapped.
Thus, this article aims to present the Scale of Attitudes towards External Evaluations
applied on a large scale (EAAE in the Portuguese acronym) and the analyses performed in
order to find evidence of its content validity. This is one of the initial stages of its construction
process.
The attitudes construct, used in this process, has its origins in the early twentieth
century, from the study of sociologists Thomas and Znaniecki (1918), who conceptualize it as
an individual state and determinant for the action of individuals. According to Sarti,
Vendramini, and Camilo (2021), to explain it, there are different models in the literature. The
tripartite one is the most relevant, mainly because it encompasses multiple psychological
factors. This model considers the following interrelated dimensions: cognitive, affective, and
behavioral.
According to Camilo (2021), the cognitive dimension covers perceptions, thoughts,
and concepts in relation to the object under investigation, seeking to capture what subjects
know (or believe they know) about it; the affective dimension, in turn, refers to the emotions
and feelings of these subjects; and the behavioral dimension encompasses their actions and/or
intentions to act in the face of the object. In this perspective, the EAAE was developed in
order to capture what the basic education teachers, who constitute the target population of the
scale, think (cognitive dimension), feel (affective dimension), and how they behave
(behavioral dimension) when facing the external evaluations applied in large scale in Brazil.
Thus, this article is structured in three sections, in addition to this introduction. The
first section presents the method used to conduct the research. Next, the results achieved are
highlighted. Subsequently, the article ends with a discussion of the results obtained,
accompanied by the final considerations, followed by the references.
Method
Participants
The items of the EAAE were initially submitted to the evaluation of ten expert judges:
eight doctoral professors and two doctoral students, all linked to graduate programs in
education and/or psychology in the five Brazilian regions. The selection of these professionals
image/svg+xml
Evidence of content validity of the Scale of Attitudes towards External Assessments applied on a large scale (EAAE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1809
was intentional, considering their recognized competence in the area of educational and/or
psychological evaluation.
Based on the results obtained in the expert judges' analysis, the pre-selected items to
compose the scale underwent a semantic evaluation, by applying the instrument to a sample of
30 basic education teachers (pilot application). The purpose of this step was to verify whether
the items were understandable in terms of language, considering the subjects belonging to the
target population of the scale, as indicated by Glaser and Strauss (2017). The sample size was
based on the saturation criterion (GLASER; STRAUSS, 2017).
Instrument
The SAEA (under development) initially had 42 items developed by researchers at the
Institute for Research in Education and Physical Education at the Federal University of
Espírito Santo, from studies that consider the constitutive and operational definition of the
investigated phenomenon (PASQUALI, 2010), developed since 2017 within the institute.
To this end, the attitudes construct was considered, composed of the cognitive (15
items), affective (12 items), and behavioral (15 items) dimensions, in order to capture what
teachers of basic education (target audience) think, feel, and how they behave, respectively, in
relation to external assessments that are applied on a large scale in Brazil.
Each dimension is accompanied by a guiding phrase: for the cognitive dimension, a
response is requested referring to what is believed (beliefs, knowledge, information and/or
opinions) in relation to the external evaluations applied in large scale; for the affective
dimension, a response based on feelings is requested; and for the behavioral dimension, the
answer must be grounded on the daily actions in relation to the object.
The items that make up the instrument were elaborated in the form of assertions and,
as response options, they are structured on a Likert-type scale of five points of agreement,
ranging from 1 (strongly disagree) to 5 (strongly agree). In summary, it is expected that lower
(higher) scores indicate less (more) positive/favorable attitudes towards the object
investigated.
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES and Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1810
Procedures
The analyses were made possible by sending an invitation letter by e-mail,
accompanied by a request to evaluate the previously prepared items. Thus, after the
acceptance and agreement of the participant to the Free and Informed Consent Form (FICF),
access to the analysis form was made available. The confidentiality of the participants was
maintained throughout the process.
In the evaluation, each expert judge should assign an ordinal value, between 1 and 5,
according to the quality of the item. Three aspects were considered: language clarity (1. not at
all clear - 5. totally clear); practical relevance (1. not at all relevant - 5. totally relevant); and
theoretical relevance (1. not at all relevant - 5. totally relevant) of the items. This procedure
took as reference the studies of Hernandez-Nieto (2002), Cassepp-Borges, Balbinotti and
Teodoro (2010) and Pacico (2015).
As indicated by Cassepp-Borges, Balbinotti and Teodoro (2010), the clarity of
language consists in the analysis of the language used in the items, considering the
characteristics of the target audience. The practical relevance, in turn, aims to analyze whether
the item is, in fact, important in the constitution of the instrument. Theoretical relevance, on
its turn, seeks to assess the degree of association between the item and the theory that
supports it.
For the semantic analysis, a questionnaire was prepared in which the participants of
the pilot application could classify the language adopted as clear, difficult or
incomprehensible. At this stage, we used Pasquali's study as theoretical support (2010).
Statistical Analysis
The quantitative analysis was performed by calculating the arithmetic mean and
standard deviation of the responses assigned by the expert judges for each item, in each aspect
analyzed. In summary, the higher (lower) the value for the former, the more (less) well
evaluated the item is, on average. As for the standard deviation, high (low) values indicate a
lower (higher) regularity of answers, signaling a possible divergence of opinions among
raters.
To determine the level of agreement between the expert judges, we used the Content
Validity Coefficient (CVC), proposed by Hernández-Nieto (2002). This is an indicator used to
calculate the level of consensus, by calculating the average of the value attributed by the
image/svg+xml
Evidence of content validity of the Scale of Attitudes towards External Assessments applied on a large scale (EAAE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1811
judges in each item of the instrument, expressed in percentage terms, subtracting response
bias. In mathematical terms:
in which represents the value assigned to the item by the judge represents the number
of judges; and , the maximum score on the scale used.
In addition to the CVC for clarity of language, practical relevance, and theoretical
relevance, the mean for all items and the overall CVC of the scale were also calculated. As
indicated by Polit and Beck (2006), items with CVC equal to or greater than 80% were
considered valid. All analyses were conducted with the aid of Microsoft Excel® software.
Results
Based on the expert judges' evaluations, of the 42 items previously elaborated, 12 were
excluded for presenting repeated information or CVC lower than 80%. Of the remaining
items, five were reformulated considering the suggestions of the evaluators in order to give
objectivity to the writing or facilitate their understanding.
Thus, 30 items were previously selected to compose the SAE: 12 from the cognitive
component, eight from the affective component, and ten from the behavioral component. The
semantic analysis, carried out after the pilot application of the instrument, did not indicate any
problems regarding its understanding for the sample of the target audience investigated
(N=30).
The total score obtained by the respondents can vary from 30 to 150 points, with the
average point equal to 90 points. Thus, scores above (below) this value indicate more (less)
positive than negative attitudes of teachers toward external evaluations applied on a large
scale.
Tables 1, 2 and 3 show these items, organized by dimension and accompanied by the
guiding question, mean and standard deviation of the Likert scale values assigned by the
judges, as well as the CVC for each criterion considered (clarity of language, practical
relevance and theoretical relevance of the item).
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES and Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1812
Chart 1
–
Mean, standard deviation and CVC of the items of the cognitive component of the
EAAE
Cognitive Component
C. L.
P. P
R. T.
Items
M
(SD)
CVC
M
(SD)
CVC
M
(SD)
CVC
Answer
based on
what you
believe
(your
knowledge,
opinions
and/or
beliefs)
about the
external
assessments
applied on
a large
scale.
Adequately assess the quality of
teaching and learning
4,50
(0,85)
0,90
4,60
(0,52)
0,92
4,90
(0,32)
0,98
They are the main instrument for
monitoring the effectiveness of
educational policies
4,70
(0,67)
0,94
4,80
(0,63)
0,96
4,90
(0,32)
0,98
They satisfactorily fulfill the purpose of
measuring students' learning levels
4,20
(1,03)
0,84
4,40
(1,35)
0,88
4,40
(1,35)
0,88
They are useful for adequately selecting
students for other stages/levels of
education
4,70
(0,67)
0,94
4,50
(1,27)
0,90
4,60
(1,26)
0,92
Have an impact on the selection of
contents taught in school
4,40
(0,84)
0,88
4,30
(1,34)
0,86
4,10
(1,37)
0,82
Adequately measure the level of
knowledge of the students in relation to
the programmatic contents foreseen in
the Common National Curricular Base
(BNCC)
4,40
(0,84)
0,88
4,90
(0,32)
0,98
5,00
(0,00)
1,00
Its curricular matrices give equal value
to all the knowledge foreseen in the
Common National Curricular Base
(BNCC)
4,60
(1,26)
0,92
4,20
(1,69)
0,84
4,20
(1,69)
0,84
They allow for the analysis of social and
cultural aspects of the students
4,20
(1,03)
0,84
4,80
(0,63)
0,96
4,80
(0,63)
0,96
The following are necessary instruments
to reduce educational inequalities
4,80
(0,63)
0,96
5,00
(0,00)
1,00
5,00
(0,00)
1,00
They are important instruments of
accountability to society
4,80
(0,63)
0,96
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Important instruments for monitoring
teaching practice are
4,90
(0,32)
0,98
4,40
(1,35)
0,88
4,40
(1,35)
0,88
They are efficient instruments to
promote financial bonuses for education
professionals
4,50
(0,71)
0,90
4,40
(0,84)
0,88
4,50
(0,85)
0,90
Total:
4,56
(0,79)
0,91
4,61
(0,86)
0,92
4,65
(0,76)
0,93
Note: M = arithmetic mean; S.D. = standard deviation; C. L. = clarity of language; P. P.= practical relevance;
R. T. = theoretical relevance.
Source: Prepared by the authors (2021)
image/svg+xml
Evidence of content validity of the Scale of Attitudes towards External Assessments applied on a large scale (EAAE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1813
Chart 2
–
Mean, standard deviation and CVC of the items of the affective component of the
EAAE
Affective Component
C. L.
P. P
R. T.
Items
M
(SD)
CVC
M
(SD)
CVC
M
(SD)
CVC
Answer
based on
your
feelings
about the
external
evaluations
applied on
a large
scale
I appreciate this kind of evaluation
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
Looking forward to its results
4,80
(0,42)
0,96
5,00
(0,00)
1,00
5,00
(0,00)
1,00
I trust its results
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
I trust the school/student comparisons
that are made from them
4,60
(0,84)
0,92
4,70
(0,67)
0,94
4,80
(0,63)
0,96
I trust the certifications of completion
of a level/stage of education that are
made from them
4,70
(0,67)
0,94
4,80
(0,63)
0,96
4,80
(0,63)
0,96
I feel that my knowledge is valued by
them
5,00
(0,00)
1,00
4,90
(0,32)
0,98
5,00
(0,00)
1,00
I notice that the subject I teach is
valued by them
4,40
(0,84)
0,88
4,30
(0,82)
0,86
4,50
(0,53)
0,90
I like to guide my work from its results
4,90
(0,32)
0,98
4,40
(1,35)
0,88
4,40
(1,35)
0,88
Total:
4,77
(0,44)
0,95
4,73
(0,54)
0,95
4,81
(0,39)
0,96
Note: M = arithmetic mean; S.D. = standard deviation; C. L. = clarity of language; P. P.= practical
relevance;
R. T. = theoretical relevance.
Source: Prepared by the authors (2021)
Chart 3
–
Mean, standard deviation and CVC of the items of the behavioral component of the
EAAE
Behavioral Component
C. L.
P. P
R. T.
Items
M
(SD)
CVC
M
(SD)
CVC
M
(SD)
CVC
Answer
based on
your daily
actions in
relation to
the
external
evaluations
applied on
a large
scale
I plan my lessons based on its results
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
I incorporate its results into my daily
actions in the classroom
4,50
(0,85)
0,90
4,60
(1,26)
0,92
4,60
(1,26)
0,92
I organize the school timetable to
enhance its realization
5,00
(0,00)
1,00
4,60
(1,26)
0,92
4,60
(1,26)
0,92
I prioritize teaching the content that is
most frequent in these assessments
4,70
(0,67)
0,94
4,90
(0,32)
0,98
4,90
(0,32)
0,98
I talk to students about its importance
5,00
(0,00)
1,00
5,00
(0,00)
1,00
5,00
(0,00)
1,00
I recommend participating in these
evaluations
4,50
(1,08)
0,90
4,60
(0,84)
0,92
4,60
(0,84)
0,92
I provide feedback on the results
obtained in class
4,90
(0,32)
0,98
5,00
(0,00)
1,00
5,00
(0,00)
1,00
I solve questions from previous
assessments in class
4,80
(0,42)
0,96
4,90
(0,32)
0,98
4,80
(0,63)
0,96
I use previous questions in my school
assessments (internal)
4,70
(0,67)
0,94
5,00
(0,00)
1,00
5,00
(0,00)
1,00
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES and Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1814
I participate in specific training for a
better use of its results
4,00
(1,49)
0,80
4,10
(1,37)
0,82
4,20
(1,40)
0,84
Total:
4,68
(0,61)
0,94
4,74
(0,60)
0,95
4,77
(0,57)
0,950
Note: M = arithmetic mean; S.D. = standard deviation; C. L. = clarity of language; P. P. = practical
relevance; R. T. = theoretical relevance.
Source: Prepared by the authors (2021)
In addition to the CVC for each criterion, the CVC of the scale as a uniform whole
was also calculated. Thus, for the clarity of language aspect, the overall CVC was 0.92, for
practical relevance 0.93, and for theoretical relevance 0.94. The overall CVC of the scale was
0.93, confirming its content validity according to the analysis methods used in this research.
As for the descriptive analyses, we noticed a better average, in the judges' evaluation,
for the criterion theoretical relevance (M=4.73), compared to the others (M=4.70 in both). As
for the standard deviation, this evaluation is more heterogeneous for the criterion practical
relevance (S.D. = 0.64) and more homogeneous for clarity of language (S.D. = 0.57). For the
criterion theoretical relevance, the calculated standard deviation was 0.60.
Discussion and final remarks
This article was developed in order to present the construction process and evidence of
content validity of the Scale of Attitudes towards External Assessments applied on a large
scale (EAAE). This instrument was built from the adoption of the tripartite model of the
attitudes construct, in order to capture what teachers of basic education think, feel and how
they behave when facing external evaluations applied on a large scale.
The construction process and the search for evidence of content validation of the
EAAE were strictly guided by procedures recognized by the specialized literature, consulted
for the development of the instrument. The use of the CVC, in the expert judges' analysis, and
the semantic analysis showed good results, providing subsidies for the conclusion that the
instrument presents evidence of content validity, pointing to the clarity of language,
theoretical pertinence, and practical relevance of the items that compose it.
In this regard, it should be noted that four items showed 100% agreement in all aspects
assessed: two of the affective component ("I appreciate this type of assessment" and "I trust
its results") and two of the behavioral ("I plan my classes based on its results" and "I talk to
students about its importance"), indicating a perfect unanimous assessment among the raters.
Thus, it is theoretically expected that these items provide more information about the attitudes
of basic education teachers toward external evaluations applied on a large scale.
image/svg+xml
Evidence of content validity of the Scale of Attitudes towards External Assessments applied on a large scale (EAAE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1815
However, to confirm this hypothesis, as well as to assess other psychometric aspects
of the scale, it is necessary to conduct further validity analyses, such as those based on the
internal structure of the instrument, the relationships with external measures or the response
pattern to items. This will be done in later studies, considering that the EAAE is still under
construction.
As a main limitation of this study, we highlight the fact that the analyses were carried
out in the online format, which makes it difficult to control variables such as assessors'
tiredness and distraction, which can compromise the results found. On the other hand, it was
possible to count on the collaboration of professionals who work in all regions of the country,
providing a considerably comprehensive assessment of the scale items.
Finally, it should be noted that, when completed, the EAAE may subsidize a new
research agenda in the educational field, contributing to the growth and improvement of
scientific production. From its application to the target audience, some questions can be
answered, for example: a) How do basic education teachers position themselves in relation to
external evaluations applied on a large scale? b) Is there a significant relationship between
social/demographic/economic variables and more positive attitudes towards them? c) Do
more positive attitudes influence the educational results achieved? Among others.
With this, the EAAE can offer subsidies for the establishment of efficient, strategic,
and innovative solutions aimed at improving the quality of education, as evidenced by these
assessments. Thus, the construction of this scale is extremely relevant, especially given the
scarcity of studies that address the subject investigated.
ACKNOWLEDGEMENTS:
To the Espírito Santo State Foundation for the Support of
Research and Innovation (FAPES) for supporting the development of this research
.
REFERENCES
AFONSO, A. J.
Avaliação educacional
: Regulação e emancipação para uma sociologia das
políticas avaliativas contemporâneas. 2. ed. São Paulo: Cortez, 2000.
BAUER, A.; ALAVARSE, O. M.; OLIVEIRA, R. P. Avaliação em larga escala: Uma
sistematização do debate.
Educação e Pesquisa
, São Paulo, v. 41, n. esp., p. 1367-1382, dez.
2015. Available at: http://www.scielo.br/pdf/ep/v41nspe/1517-9702-ep-41-spe-1367.pdf.
Access on: 03 Jan. 2022.
image/svg+xml
Denilson Junio Marques SOARES; Talita Emidio Andrade SOARES and Wagner dos SANTOS
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1816
BRAZIL.
Portaria n. 458, de 5 de maio de 2020
. Institui normas complementares
necessárias ao cumprimento da Política Nacional de Avaliação da Educação Básica. Brasília,
DF: Ministro de Estado da Educação, 2020. Available at: https://www.in.gov.br/web/dou/-
/portaria-n-458-de-5-de-maio-de-2020-255378342. Access on: 05 Jan. 2022.
CAMILO, C. C.
Construção e estudos psicométricos da Escala de Atitude frente à
atuação do psicólogo
. 2021. Tese (Doutorado em Psicologia)
–
Programa de Pós-Graduação
Stricto Sensu em Psicologia, Universidade São Francisco, Campinas, 2021. Available at:
https://www.usf.edu.br/galeria/getImage/427/4000894494237433.pdf. Access on: 5 Jan. 2022.
CASSEPP-BORGES, V.; BALBINOTTI, M. A. A.; TEODORO, M. L. M. Tradução e
validação de conteúdo: Uma proposta para a adaptação de instrumentos.
In
: PASQUALI, L.
Instrumentação psicológica
: Fundamentos e práticas. Porto Alegre: Artmed, 2010.
GLASER, B. G.; STRAUSS, A. L.
Discovery of grounded theory
: Strategies for qualitative
research. New York: Aldine de Gruyter, 2017.
HERNÁNDEZ-NIETO, R. A.
Contribuciones al análisis estatístico
. Mérida, Venezuela:
Universidad de Los Andes/Iesinfo, 2002.
MILITÃO, A. N.; SANTANA, A. C. M.; PERBONI, F. A expansão dos sistemas avaliativos
e a teoria crítica: Um diálogo (im)pertinente.
Revista Ibero-Americana de Estudos em
Educação
, Araraquara, v. 14, n. esp. 4, p. 2046-2056, 2019. Available at:
https://periodicos.fclar.unesp.br/iberoamericana/article/view/12927. Access on: 22 Dec. 2021.
ORFIELD, G.; WALD, J. Testing, testing: The high-stakes testing mania hurts poor and
minority students the most.
The Nation
, New York, v. 270, n. 22, p. 38-40, jun. 2000.
Available at: https://thenation.s3.amazonaws.com/pdf/testingtesting2000.pdf. Access on: 05
Jan. 2022.
PACICO, J. C. Como é feito um teste? Produção de itens.
In
: HUTZ, C.S.; BANDEIRA,
D.R.; TRENTINI; C.M.
Psicometria
. Porto Alegre: Artmed, 2015.
PASQUALI, L.
Instrumentação psicológica
. Brasília, DF: Editora Vetor, 2010.
POLIT, D. F.; BECK, C. T. The content validity index: Are you sure you know what's being
reported? Critique and recommendations.
Research in Nursing & Health
, v. 29, n. 5, p. 489-
497, 2006. Available at: https://onlinelibrary.wiley.com/doi/abs/10.1002/nur.20147. Access
on: 15 Jan. 2022.
SARTI, A. G.; VENDRAMINI, C. M. M.; CAMILO, C. C. Evidências de validade da escala
de atitudes de estudantes do ensino superior frente à estatística-EAEst.
Ciência & Educação,
Bauru, v. 27, e21042, 2021. Available at:
https://www.scielo.br/j/ciedu/a/zJ9mkwgzpzyP5zRZjhsYsfh/abstract/?lang=pt. Access on: 10
Dec. 2021.
STADLER, J. C.
Prova Brasil de Matemática do 5º ano do ensino fundamental
:
Resultados nas plataformas Devolutivas Pedagógicas e QEdu. Ponta Grossa, 2017. 165 f.
Dissertação (Mestrado em Educação)
–
Universidade Estadual de Ponta Grossa, Ponta Grossa,
2017. Available at: http://tede2.uepg.br/jspui/handle/prefix/2394. Access on: 15 Jan. 2022.
image/svg+xml
Evidence of content validity of the Scale of Attitudes towards External Assessments applied on a large scale (EAAE)
RIAEE
–
Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 17, n. 3, p. 1805-1817, July/Sept. 2022. e-ISSN: 1982-5587
DOI:https://doi.org/10.21723/riaee.v17i3.16191
1817
THOMAS, W. I.; ZNANIECKI, F.
The Polish peasant in Europe and America
:Monograph
of an immigrant group. Chicago: University of Chicago Press, 1918.
How to reference this article
SOARES, D. J. M.; SOARES, T. E. A.; SANTOS, W. Evidence of content validity of the
Scale of Attitudes towards External Assessments applied on a large scale (EAAE).
Revista
Ibero-Americana de Estudos em Educação
, Araraquara, v. 17, n. 3, p. 1805-1817,
July/Sept. 2022. e-ISSN: 1982-5587. DOI: https://doi.org/10.21723/riaee.v17i3.16191
Submitted
:
26/01/2022
Revisions required
: 15/04/2022
Approved
: 06/05/2022
Published
: 01/07/2022
Processing and publishing by the Editora Ibero-Americana de Educação.
Correction, formatting, standardization and translation.