POLÍTICAS DE EVALUACIÓN EN GRAN ESCALA EN EL CONTEXTO CATARINENSE: EN BÚSQUEDA DE LAS TRADUCCIONES LOCALES
LARGE-SCALE ASSESSMENT POLICIES IN THE SANTA CATARINA STATE CONTEXT: SEEKING LOCAL TRANSLATIONS
Adriene Bolzan DUARTE-ANTUNES1 Geovana Mendonça LUNARDI-MENDES2
RESUMEN: El artículo tiene por objeto analizar las traducciones locales que los municipios catarinenses construyen en el ámbito de la política de evaluación en gran escala (EGE). Tomando como epistemología la perspectiva de análisis de los contextos y de actuación de políticas de Stephen Ball y sus colaboradores, el estudio involucró los 295 municipios catarinenses. Con base en el levantamiento realizado, se estudió las políticas locales de evaluación en gran escala constituidas por 110 municipios. En el cuadro analizado fue posible identificar que los municipios catarinenses tienen interés en la realización de evaluaciones en gran escala locales de dos formas: una creada y otra comprada/adquirida. Dichas respuestas se configuran como la política de evaluación en gran escala en circulación, nos muestran que las EGE se han fortalecido y expandido y trasformando. La
Universidade do Estado de Santa Catarina (UDESC), Florianópolis – SC – Brasil. Doutoranda no Programa de Pós-Graduação em Educação. ORCID: https://orcid.org/0000-0002-4757-7291. E-mail: adrienebd@gmail.com
Universidade do Estado de Santa Catarina (UDESC), Florianópolis – SC – Brasil. Professora Titular do
Programa de Pós-graduação em Educação. Doutorado em Educação: História, Política, Sociedade (PUC/SP). Bolsista de Produtividade em Pesquisa do CNPq - Nível 2. ORCID: https://orcid.org/0000-0002-8848-7436. E- mail: geolunardi@gmail.com
trasformación queda a cargo de los actores vía interpretación y traducción de la política. Esa actuación y traducción revelan desdoblamientos de esas respuestas a la política.
PALABRAS CLAVE: Evaluación en larga escala. Traducción y evaluación de políticas. Municipios catarinenses.
ABSTRACT: The present article aims to analyze the local translations constructed by the municipalities of Santa Catarina in the context of the large-scale evaluation policy (ALE). Taking as epismethodology the perspective of context analysis and policy performance of Stephen Ball and his collaborators, the study involved the 295 municipalities of Santa Catarina. Based on the survey, the local policies of large-scale assessment were studied in
110 municipalities. In the analyzed framework it was possible to identify that the municipalities of Santa Catarina are interested in conducting local large scale evaluations in two ways: one created and the other bought/acquired. Such answers are configured as the policy of large scale evaluation in circulation, showing us that the ALEs have been strengthening, expanding and transforming themselves. The transformation is up to the actors via interpretation and translation of the policy. This performance and translation also reveal unfoldings of these responses to the policy.
KEYWORDS: Large-scale assessment. Translation and performance of policies. Municipalities of Santa Catarina.
“O aumento da cultura da mensuração na educação tem exercido um impacto profundo sobre a prática educacional, desde os mais altos escalões das políticas educacionais em nível nacional e supranacional até as práticas locais de escolas e professores. Em certa medida, esse impacto tem sido benéfico, pois permitiu que as discussões se baseassem em dados factuais em vez de apenas em suposições ou opiniões acerca do que pode se tratar. Contudo, o problema é que a abundância de informações sobre resultados educacionais tem dado a impressão de que as decisões acerca dos rumos da política educacional e os modelos e a forma das práticas educacionais podem ser baseados apenas em informações factuais”
(BIESTA, 2012, p. 812)
Políticas de avaliação em larga escala (ALE) têm sido disseminadas globalmente, adquirindo “status de políticas educacionais globais” (VERGER, 2018). Conforme explicita Biesta na epígrafe acima, o aumento desta cultura de mensuração teve uma difusão mundial, e compõem o quadro do movimento de globalização das políticas educacionais, tão apontado por diferentes autores (BIESTA, 2012; BALL, 2014; DALE, 2004). Tal disseminação é visível em diferentes políticas assumidas e produzidas pelos estados nação, com vistas à melhoria da tão proclamada eficácia educacional, articulada a um conjunto de políticas e também à própria nova configuração do Estado e da gestão pública.
No Brasil a situação não é diferente. Diversos autores (AFONSO; LUNARDI MENDES, 2018; CARVALHO, 2018; CARVALHO; PERONI, 2018; DUARTE, 2014;
FREITAS, 2016) têm atestado que as ALE fazem parte de uma política de controle e centralização do poder público.
Esforços são desprendidos na adesão e desenvolvimento de ALE, e essa política para ser materializada perpassa diferentes contextos, dentre eles o “contexto de influência” (BOWE; BALL; BALL, 1994; GOLD, 1992). Neste contexto a formulação da política acontece mediada por “processos de compreensão e tradução” (BALL; MAGUIRE; BRAUN, 2016, p. 14). Isso porque corroboramos com Avelar e acreditamos que a política não é somente documento ou diretriz, mas sim “uma entidade social que se move no espaço e o modifica enquanto se move, e modifica coisas nesse movimento, modifica o espaço pelo qual se move” (AVELAR, 2016, p. 6).
Assim, quando nos referimos às ALE como “políticas globais” não estamos nos referindo a um modelo único com réplica idêntica, pelo contrário, acreditamos que a política passa por um processo de transformação; nas palavras de Ball, Maguire e Braun (2016), a política é traduzida em diferentes contextos. A tradução de políticas é uma forma de atuação sobre a política, é o espaço dos processos interativos de fazer textos e colocá-los em prática. A tradução é um processo não linear de ressignificação, reordenação e representação mediante a atuação, mas ao mesmo tempo também é um “processo de conformidade” e adaptação (IBID, p. 74).
Esse movimento de tradução de políticas ocorre em diferentes contextos, diferentes momentos com diferentes atores e diferentes práticas. E é na singularidade da atuação articulada à especificidade do contexto que a tradução da política acontece. Deste modo, a tradução é um modo de fazer política e de atuação no “valor simbólico” desta (BALL; MAGUIRE; BRAUN, 2016, p. 70).
Se pensarmos nos caminhos percorridos pelas políticas de avaliação em larga escala no Brasil, é possível visualizar, pelo menos, a coexistência de três contextos de tradução distintos, porém conectados.
O primeiro contexto emergiu na década de 90, quando presenciamos a criação e consolidação das avaliações em larga escala em âmbito nacional via Sistema Nacional de Avaliação da Educação Básica - SAEB. No início dos anos 2000 as avaliações nacionais potencializaram “as iniciativas de responsabilização que vinham se esboçando de modo tímido” (SOUSA; LOPES, 2010, p. 55) em outros contextos, com a criação da Prova Brasil e a divulgação de resultados via Índice de Desenvolvimento da Educação Básica - IDEB. A
divulgação dos resultados passou a ser conduzida pela mídia brasileira no viés do ranqueamento (DUARTE; GAMA, 2015), gerando uma sensação de pressão interna para a adesão de políticas educacionais avaliativas.
Em um segundo contexto, no ingresso dos anos 2000, emergiram as iniciativas estaduais de políticas de avaliação em larga escala. Pesquisas sinalizam pelo menos dezenove inciativas estaduais (BROOKE; CUNHA; FALEIROS, 2011). Com isso se evidencia o surgimento de uma nova forma de gestão educacional voltada a dados obtidos por avaliações externas.
Diante deste cenário, surge um novo contexto, o contexto local de políticas de avaliação em larga escala protagonizados por municípios, ou seja, surgem iniciativas municipais de ALE. Essas políticas locais são mais silenciosas, pois como abrangem contextos específicos e atores locais, a visibilidade fica restrita ao âmbito local e, dependendo do município, pode-se dizer até “regional”. 3
No entanto, não podemos cair no erro de pensar que essas políticas são menos importantes que a dos outros dois contextos, ou que o impacto delas é menos expressivo. Visto que essas políticas por serem estratégias locais estão no “chão da escola”, são trabalhadas em formação continuada de professores, na mídia local, e inclusive, são utilizadas em campanhas políticas eleitorais4. Do mesmo modo, ainda que locais, para o próprio processo de adesão em uma política desse tipo, temos ciência que não podemos pensar as ALE somente como um fenômeno local, pois estão impregnadas de interesses econômicos, políticos e sociais.
Ao mesmo tempo, em pesquisa recente realizada em parceria entre a Fundação Carlos Chagas e o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (2018), foram identificadas 1.573 iniciativas municipais de ALE em todo o Brasil. Isso mostra a importância dos microcontextos para a análise, entre outras coisas de políticas globais.
Esses três contextos podem ser representados como 3 engrenagens distintas (ver figura 1), onde cada engrenagem representa um contexto específico de abrangência das ALE.
4 Links de reportagem sobre o assunto Disponível em: https://www.cartacapital.com.br/opiniao/educacao-tema- em-destaque-nas-eleicoes-municipais/; https://www.apufsc.org.br/2020/10/05/quase-1-000-cidades-repetiram- de-ano-na-avaliacao-da-educacao-aponta-relatorio/; https://g1.globo.com/politica/eleicoes/2020/eleicao-em- numeros/noticia/2020/12/06/mdb-pp-e-psd-vao-administrar-40percent-das-cidades-que-nao-atingiram-metas-do- ideb-para-os-anos-iniciais.ghtml; https://www.lagesdiario.com.br/2020/10/eleicoes-2020-o-que-os-candidatos-a- prefeitura-de-lages-pretendem-fazer-na-area-da-educacao.html; https://www.pagina3.com.br/eleicoes/2020/out/5/1/compare-as-propostas-dos-candidatos-a-prefeito-de- balneario-camboriu-para-a-educacao. Acesso em: 10 jul. 2020.
Fonte: Elaborado pelas autoras
Em cada um destes contextos as políticas de avaliação em larga escala são traduzidas individualmente cada qual em seu tempo e ritmo, mas estão conectadas. Inclusive, na fala dos atores locais é comum encontrar o argumento que a realização de ALE municipais está vinculada ao esforço da Secretaria Municipal de Educação em melhorar os índices das escolas nas avaliações nacionais5.
Na figura 1, fora da esfera das políticas de avaliação em larga escala, acrescentamos outras esferas para representar outras políticas educacionais que permeiam a atuação e tradução das políticas de ALE e fortalecer o argumento de que políticas educacionais não são e nem estão isoladas. Importante frisar que essa é uma representação que foca nas políticas de avaliação em larga escala, e é por esse motivo que a esfera desta política está em destaque na figura, e o “diâmetro” reduzido das demais esferas não quer dizer que outras políticas estão em segundo plano, são menores ou menos relevantes. Não temos a intenção de aqui tratar com profundidade essas outras políticas, mas pensamos que trazer para o diálogo aspectos externos relacionados às políticas de avaliação nos ajudam a pensar a amplitude e complexidade que as avaliações vêm adquirindo, e além disso nos trazem elementos que são necessários para a compreensão dos processos da política.
De modo geral, as políticas de avaliação em larga escala são operadas para auxiliar na disseminação do debate sobre a qualidade que se tem em relação à qualidade que se quer alcançar. Diante desta situação vale considerar que não há neutralidade nos caminhos
5 Declarações presentes nas entrevistas realizadas com Secretários de Educação de Municípios de Santa Catarina.
utilizados em uma atividade avaliativa, visto que se avalia para afirmar valores e induzir mudanças em uma dada direção (SOUSA; LOPES, 2010).
Diante deste cenário, no recorte feito para esse artigo apresentamos os resultados de duas investigações6 desenvolvidas no âmbito de nosso grupo de pesquisa7. Objetivamos apontar as apropriações locais e a tradução de políticas de avaliação em larga escala no contexto dos municípios catarinenses. Para acessar a complexidade da tradução das políticas de avaliação é necessário nos aproximarmos dos contextos locais. No entanto para isso precisávamos saber que municípios possuem políticas locais de avaliação em larga escala, visto que não existe nenhum registro sistematizado com essa informação. À vista disso, o nosso interesse nos levou à necessidade de fazer o mapeamento das políticas de avaliação em larga escala locais de Santa Catarina, Brasil (SC).
E é sobre esse mapeamento que trataremos neste texto, com a intenção de discutir a tradução das políticas de avaliação em larga escala no contexto catarinense. Para isso apresentamos alguns achados da pesquisa e categorias de análise que foram sendo descortinadas durante os procedimentos de coleta de informação.
Nossa interlocução é baseada na Abordagem do Ciclo de Políticas proposta por Stephen Ball e colaboradores8, por revelar a natureza complexa das políticas educacionais sinalizando a necessidade de articulações na análise dos processos da política. Também trabalhamos com a Teoria da Atuação Política (BALL; MAGUIRE; BRAUN, 2016), que trata as relações entre texto e ação, refutando a ideia de implementação de política, dando voz aos atores envolvidos nos processos da política a fim de trabalhar com a noção de interpretação, tradução e atuação. Isto posto, anunciamos nosso interesse em discutir as ALE com a ambição de considerar as formas em que políticas educacionais se movem, são traduzidas e recontextualizadas em locais específicos.
Junto com Mainardes e Gandin (2013), acreditamos que o ciclo de políticas faz uma ruptura com os modelos lineares e hierárquicos de análise que o antecederam, e propicia ao pesquisador olhar a política em um sentido mais amplo, galgando múltiplas possibilidades de análise e interlocuções. Assim sendo, utilizamos o ciclo de políticas para além de nosso
6 As duas pesquisas que apresentamos partes dos resultados aqui são: a primeira intitulada “Do local ao global: avaliação em larga escolas no município catarinense”, coordenada pela Profa. Dra. Geovana Mendonça Lunardi Mendes; e a segunda é a Tese de Doutorado em elaboração, intitulada “A Circulação de Políticas de Avaliação em Larga Escala para a Educação Básica em contextos locais catarinenses”, orientada pela professora e desenvolvida pela pesquisadora Adriene Bolzan Duarte Antunes.
7 Observatório de Práticas Escolares - OPE, vinculado ao Programa de Pós-graduação em Educação da Universidade do Estado de Santa Catarina (UDESC). Disponível em: https://ope.education. Acesso em: 10 jul. 2019.
8 Bowe, Ball e Gold (1992) e Ball (1994).
referencial teórico e sim como “epismetodologia”. O termo epismetodologia, lançado por Mainardes e Tello (2016, p. 3), “objetiva exatamente expressar a articulação existente entre decisões epistemológicas e metodologia da pesquisa”. Assim sendo, utilizamos o ciclo de políticas como fio condutor para pensar, pesquisar e teorizar sobre as políticas de avaliação em larga escala (MAINARDES; MARCONDES, 2009).
Acreditamos nas potencialidades do ciclo de políticas por este considerar a política como texto e como discurso da mesma forma que permite ao pesquisador reunir informações de diferentes fontes para a análise. Ademais,
Essa abordagem destaca o papel dos sujeitos no processo de formulação e colocação da política em ação. Os sujeitos no ciclo de políticas, são “dotados de voz”, em vez de silenciados (Ball 2005 [2012, p.35]) (MAINARDES; GANDIN, 2013, p. 157).
Estamos, aqui, trabalhando com a dimensão do contexto de influência, especificamente por este envolver os discursos e as tomadas de decisão na formulação da política, e o fazemos com o intuito de analisar os processos de tradução das ALE nestes contextos locais específicos.
Assim, a seguir, tratamos dos procedimentos metodológicos adotados na pesquisa, na sequência trazemos a análise do material empírico e por fim tecemos nossas considerações finais.
A pesquisa qualitativa compreende que os diferentes fenômenos são igualmente importantes e preciosos nos processos de coleta e análise de informações (CHIZZOTTI, 2006). Esse tipo de pesquisa busca esmiuçar a forma como as pessoas constroem o mundo à sua volta, o que estão fazendo ou o que está acontecendo, tendo ou não sentido explícito e oferecendo uma visão rica da realidade (FLICK, 2009). Diante disso e de nosso entendimento de política educacional e da epismetodologia a qual nos propomos a utilizar, a pesquisa qualitativa se adequa a este estudo em função do tipo de informações que nos propomos coletar e da forma como percebemos ser necessário analisá-las.
Nossas fontes de informação são sujeitos e documentos. Os sujeitos são os atores envolvidos nos processos das políticas de avaliação em larga escala locais que possuem algum tipo de responsabilidade ou os que são legalmente responsáveis pela ALE, como por exemplo os secretários municipais de educação. Os documentos compõem três conjuntos de
informações, os documentos oficiais relativos às ALE locais, informações via sites das secretarias de educação e notícias jornalísticas de circulação local sobre as ALE.
Para o mapeamento das políticas de avaliação em larga escala locais buscamos por informações das Secretarias Municipais de Educação dos 295 municípios catarinenses. Essa foi uma busca longa e tateante, à qual foi necessária desenvolver 3 processos de coleta distintos.
No primeiro, elaboramos um questionário online com quatro questões amplas de múltipla escolha, que foi enviado por e-mail para as secretarias. Recebemos pouquíssimos retornos, assim entendemos que o questionário online não era o instrumento adequado que nos ajudaria a encontrar as informações.
No segundo momento, buscamos no Diário Oficial dos Municípios de Santa Catarina9, documentos que tratavam das Políticas de Avaliação em Larga Escala contratadas pelas prefeituras. Junto a isso, também buscamos informações nos sites das prefeituras e secretarias municipais de educação, bem como, em sites de notícias sobre possíveis contratações de serviços e realizações de avaliações municipais.
No terceiro momento, construímos o “Roteiro para contato telefônico com Secretarias Municipais de Educação” e contatamos cada uma das Secretarias Municipais dos 295 municípios catarinenses via ligação telefônica.
Visando organizar e sistematizar as informações coletadas diante destes três processos, construímos o “Quadro de Políticas de Avaliação em Larga Escala Municipais” com os 295 municípios catarinenses listados, divididos em blocos por número de habitantes e região geográfica10.
Com base nas informações dos 295 municípios identificamos que 110 possuem algum tipo de avaliação em larga escala municipal, e esta é a empiria que compõem nossa análise e as interlocuções tecidas neste texto.
Nós procuramos mapear as ALE em uma auditoria mais geral de todas as formas de avaliações que estavam ativas em cada um dos municípios contatados. Abrangemos em nossa pesquisa os municípios que diziam fazer algum tipo de avaliação organizada pela secretaria municipal de educação. Os atores da política ao nos relatarem as avaliações usavam diferentes
9 Atualmente o Diário Oficial dos Municípios de Santa Catarina é veículo de publicação oficial em 538 entidades distintas, situadas em 256 municípios do estado.
10 Pelo tamanho desse quadro não é possível partilhar essa informação aqui considerando o espaço desse artigo.
nomenclaturas, tais como: avaliação em larga escala, simulados, testes diagnósticos, avaliação de desempenho, testes e provas, porém, nas descrições percebemos similaridades nas formas de realização dessas avaliações. Ou seja, os nomes eram diversos, mas as estratégias eram semelhantes, o que já sinaliza interpretações e traduções locais. Independente da nomenclatura utilizada, os municípios aderiram às políticas de avaliação em larga escala realizando avaliações locais, assim, optamos por incluir todas essas avaliações em nossa análise. Desta forma, analisaremos as 110 iniciativas municipais de ALE, o que representa que mais de 1/3 dos municípios catarinenses (38%) desenvolvem ALE locais.
A primeira categoria descortinada neste mapeamento é quanto à natureza da ALE. Percebemos que os municípios catarinenses têm interesse na realização de avaliações em larga escala locais de duas formas, são elas:
a iniciativa do município em idealizar e criar sua própria política de avaliação em larga escala;
a contratação de serviços via pacotes educacionais e parcerias para a realização das avaliações em larga escala locais.
Os municípios que dizem criar sua própria avaliação em larga escala totalizam 61 iniciativas, o que representa 56% do número total de municípios que realizam ALE. Na realização de ações avaliativas próprias, esses municípios ressignificam políticas macro e transferem para seus contextos locais processos da política. Parece-nos que nestes contextos busca-se encontrar um ponto de equilíbrio entre as “políticas globais” e as políticas/atuações locais. Visto que ao optar por criar suas ALE os atores locais nos dizem que o contexto também cria a política, “que o contexto precede a política” (BALL; MAGUIRRE; BRAUN, 2016, p. 36), molda, realoca e dá autonomia ao ator na tradução de uma política global. É o contexto local agindo na formulação, tradução e atuação da própria política, são as dinâmicas do contexto dando forma à tradução das ALE. Além disso, vale sempre lembrar que, conforme explicita Lunardi Mendes e Pletsch (2015, p. 5):
Os municípios, o menor ente político da Federação, diante das regulações e orientações nacionais, foram obrigados a escolher os caminhos possíveis diante de suas realidades locais, na busca por adequar os sistemas de ensino a essa nova realidade. Nessa direção, também cumpre dizer que é nos municípios que atuam de maneira mais intensa muitos dos agentes que na contemporaneidade tem reivindicado a expansão e difusão de políticas educacionais voltadas à melhoria da qualidade do ensino básico, tais como movimentos sociais, sindicatos, ONGs e outros agentes resultantes da
organização da sociedade civil sensível aos desafios de se pensar e fazer educação pública.
No caso estudado, por mais que esta situação figure sinais de autonomia, os artefatos dessas ALE locais também contam com a utilização de instrumentos avaliativos tradicionais, como as provas de múltipla escolha destinada aos estudantes da educação básica. Os estudantes ainda são os sujeitos avaliados para dizer se a totalidade do trabalho escolar desenvolvido nas escolas garante qualidade educacional ou não. Ou seja, o foco ainda reside unicamente no desempenho de estudantes para validar a educação local, não trazendo sinais de inovação.
Embora “haja sempre espaço para a invenção dentro dos termos das estruturas formais” (BALL; MAGUIRRE; BRAUN, 2016, p. 131) da política, na criação de ALE próprias a atuação e criatividade são marcadas sem originalidade. Essas traduções locais reiteram que as políticas de avaliação em larga escala naturalizaram um conjunto de práticas e estratégias, as quais prescrevem sobre as atuações, esses são os sinais da “política global” em circulação.
Mesmo assim, a tentativa de protagonismo dos municípios, ao criarem suas avaliações, deve ser vista como avanço no sentido da materialização da política. Nos mostra que os atores locais estão na busca do autogoverno no exercício das atividades educacionais, desvelando o contexto e a atuação local como um possível agente de mudança.
Em outra direção, 51 iniciativas, ou seja 46% dos municípios que dizem desenvolver ALE locais, realizaram algum tipo de contratação de serviços via pacotes educacionais e/ou parcerias. Dentre os parceiros das prefeituras é possível identificar as seguintes presenças:
Fonte: Elaborado pelas autoras
A narrativa institucional para o desenvolvimento de ações em conjunto com esses órgãos, em alguns casos, está relacionada a vínculos, metas e interlocuções estipuladas pelos governantes municipais. Em outros termos, são escolhas políticas determinadas por governantes municipais e cumpridas pelas secretarias de educação, exemplificando o que já vem sendo dito sobre as influências de acordos entre empreendedores, fundações, organizações, agências internacionais e negócios educacionais globais sobre as políticas neoliberais (VERGER; LUBIENSKI; STAINER-KHAMSI, 2016).
A tradução das ALE locais estão contribuindo para transformações na educação e abrindo possibilidades para um mercado educacional. E esses órgãos emergem também como atores das políticas locais: essa relação parceria público-privado descortina um cenário de atores públicos e atores privados.
O Anglo Sistema de Ensino11 no contexto catarinense atuou unicamente durante o ano de 2019, contratado pelo município de Tijucas. Por mais que a secretaria de educação relate satisfação com a atuação do Anglo, o contrato não foi renovado visto que o Anglo decidiu que não trabalharia com o sistema público de ensino. A empresa Anglo decide por romper o vínculo com o serviço público e foca seus investimentos somente na educação privada. Essa situação reflete o quanto as conexões público-privado são superficiais e vulneráveis aos interesses e jogadas de mercado.
Outras três empresas também atuam, cada uma delas, em apenas um município: o Programa InDICA da Editora Opet12 foi contratado pelo município de Garopaba; o Sistema de Ensino NAME da Pearson13 é contratado há 5 anos pelo município de Bom Jesus; e o FTD
12 “A Editora Opet desenvolveu o Programa de Gestão da Educação – inDICA para avaliar os alunos de 5.º e 9.º anos do Ensino Fundamental em Língua Portuguesa e Matemática. O objetivo é diagnosticar se os alunos desenvolveram as habilidades esperadas para cada componente curricular: na totalidade, parcialmente ou não desenvolveram. A avaliação externa oferece informações necessárias para auxiliar a equipe da escola na definição de um projeto de intervenção pedagógica para elevar os níveis de desempenho dos alunos”. Disponível em: http://www.editoraopet.com.br/blog/em-primeira-mao-as-novidades-editoriais-opet-para-2020/. Acesso em: 10 jul. 2020.
Sistema de Ensino14 foi contratado por Tijucas de 2015 a 2018, e recontratado em 2020 após a saída do Anglo.
O Hábile15 está presente em 48 municípios; esta avaliação faz parte das ações desenvolvidas pelo Sistema Positivo junto à educação brasileira via diferentes articulações, como o Sistema Aprende Brasil16 e Arranjos de Desenvolvimento da Educação (ADE)17. No ADE da Associação dos municípios da região da Grande Florianópolis (GRANFPOLIS18) o Sistema Positivo e o Instituto Airton Senna trabalharam em parceria e atuaram nos 22 municípios da associação.
A avaliação Hábile, em alguns casos, entra no contexto escolar mesmo que não seja uma estratégia adotada pela secretaria de educação local, visto que ela compõe um pacote mais amplo, logo, se o pacote é adquirido a avaliação deve ser realizada. Isso nos permite visualizar que as avaliações em larga escala são de interesse do empresariado e constituem-se como importante meio de acesso aos contextos locais, abrindo portas para a influência sobre a formulação e execução de políticas e a contratação de serviços educacionais.
Em suma, essas duas formas de ALE presente nos contextos locais catarinenses configuram-se como resposta à política de avaliação em larga escala em circulação. E essa resposta nos mostra que as ALE vem se fortalecendo, se expandindo e se transformando. A transformação fica à cargo dos atores via interpretação e tradução da política. Essa atuação e tradução também revelam desdobramentos dessas respostas à política.
Os relatos sobre as justificativas de adesão às ALE caminham para a associação entre qualidade educacional local e avaliação, porém essa justificativa também integra a fala dos atores, que advogam sobre a não adesão ou descontinuidade das ALE, por exemplo, municípios que realizaram avaliações em larga escala e não deram continuidade à política alegando que a ALE não é um elemento útil para a avaliação das escolas da rede. Também, houve municípios que realizaram as avaliações do Hábile mas decidiram por finalizar a
14 Nos sites do FTD não encontramos informações específicas sobre as avaliações, entramos em contato e aguardamos o retorno. Disponível em: https://ftd.com.br/. Acesso em: 10 jul. 2020.
16 “O Aprende Brasil é um sistema de ensino completo, que oferece um conjunto específico de soluções para a rede de ensino pública: Livro Didático Integrado, Assessoria Pedagógica, Aprende Brasil On e os sistemas Hábile e SimeB”. Disponível em: http://sistemaaprendebrasil.com.br/conheca/. Acesso em: 10 jul. 2020.
17 No campo educacional, como em todo o campo social, podemos identificar, desde então, diferentes iniciativas de parcerias e relações intergovernamentais entre os entes federados ou entre entes federados e entidades com ou sem fins de lucro, dentre as quais fundos, convênios, consórcios e, mais recentemente, os denominados ‘Arranjos de Desenvolvimento da Educação’ (ADEs) (CARVALHO, 2019, p. 58).
18 Disponível em: https://www.granfpolis.org.br. Acesso em: 10 jul. 2020.
parceria, visto que na interpretação dos atores locais o resultado dessa avaliação não representou o trabalho escolar desenvolvido nas escolas, e assim resolveram por criar sua própria ALE local, na crença de que envolver os professores e comunidade escolar local na organização e realização de ALE próprias, que estariam de fato mais próximas do real trabalho escolar.
Esses desdobramentos revelam que na formulação de políticas locais também são envolvidos processos de negociações, contestações e lutas entre os diferentes grupos na tradução de política “global”. O que nos mostra que “a política não é “feita” em um ponto no tempo; [...] é sempre um processo de “tornar-se”, mudando de fora para dentro e de dentro para fora. É analisada e revista, bem como, por vezes; dispensada ou simplesmente esquecida” (BALL; MAGUIRE; BRAUN, 2016, p. 15).
Neste mapeamento, nós trouxemos cidades e ALE locais como exemplos de traduções de políticas, porém essas são muito sensíveis ao tempo, por exemplo a cidade de Florianópolis, que possuía uma avaliação local (Prova Floripa19) com uma certa tradição e visibilidade, teve sua última aplicação em 2017 e decidiu por extingui-la. Por mais que ela tenha sido extinta ainda faz parte de nossa análise. Ou seja, as Secretarias estão em constante movimento, do mesmo modo que a adesão, continuidade e descontinuidade das ALE também se movem junto às tomadas de decisões dos atores locais.
Assim, esse mapeamento é um retrato das ALE ativas entre os anos de 2016 e 2020, e não temos a intenção de aqui tê-lo como um retrato acabado, muito pelo contrário. Esse mapeamento representa escolhas políticas em circunstâncias específicas, uma vez que os processos de adesão e tradução de políticas os quais procuramos descrever “movimentam-se incrivelmente rápido” (BALL, 2014, p. 12). Assim, esse mapeamento é um retrato possível da realidade que nos apresenta os movimentos de adesão às políticas de avaliação em larga escala, bem como elementos chave de interpretação e tradução nos processos da política.
Esse mapeamento nos mostra que investigar a tradução de políticas de avaliação em larga escala via uma coleta de dados ampla traz fortes subsídios para a discussão, e desvela diferentes cenários. Neste caso, foram descortinados cenários de resposta à política “global” em duas formas de tradução, a criação de ALE locais e a parceria público-privado na
19 Disponível em: http://www.provafloripa.caedufjf.net. Acesso em: 10 jul. 2020.
realização de ALE. A gama de relações e movimentos que a política de ALE vem tomando em contextos locais ficam marcadas e visíveis.
Por conseguinte, é possível inferir que a adesão e tradução das avaliações é dinâmica, não linear, e existe todo um complexo que compõe os processos dessa política. Os formuladores de políticas locais adotam políticas educacionais globais de forma voluntária, por mais que os motivos e as circunstâncias dessas adesões ainda não sejam claros. No entanto, as ALE também vêm sendo utilizadas, por atores externos, como instrumentos para adentrar os contextos municipais, abrindo possibilidades para um mercado educacional. Logo, as ALE não são isoladas, são políticas permeadas por um campo de possibilidades, as quais estão contribuindo para transformações na educação.
O que devemos nos preocupar é que caminhos as iniciativas locais como as ALE encontradas ajudam a transformar no campo educacional? Nessa direção, as preocupações apresentadas por Biesta, sobre as finalidades educacionais e o próprio sentido das avaliações, ajudam, num tempo de pandemia20, a redimensionar a função social da escola e também as políticas avaliativas em nível global.
O que sabemos de tudo isso é que nosso estudo ajuda a reforçar a premissa de Ball, Maguirre e Braun (2016), de que os contextos importam quando falamos de políticas educacionais.
AFONSO, A. J.; LUNARDI MENDES, G. M. Políticas de administração e gestão em países da Lusofonia: Perspectivas críticas sobre a Nova Gestão Pública e a pós-burocracia em educação. Archivos analíticos de políticas educativas, v. 26, p. 127-138, 2018.
AVELAR, M. Entrevista com Stephen J. Ball: Uma análise de sua contribuição para a pesquisa em política educacional. Archivos Analíticos de Políticas Educativas, v. 24, n. 24, 2016. DOI: http://dx.doi.org/10.14507/epaa.24.2368
20 Aqui nos referimos à pandemia COVID-19 que causou mudanças repentinas e profundas na organização e funcionamento social de todo o mundo.
BALL, S. J. Educação global S. A: novas redes políticas e o imaginário neoliberal. Trad. Janete Bridon. Ponta Grossa: UEPG, 2014.
BALL, S. J. Educational reform: a critical and post structural approach. Buckiangham: Open University Press, 1994.
BALL, S. J. The policy processes and the processes of policy. In: BOWE, R.; BALL, S. J.; GOLD, A. (Org.). Reforming education & changing school: case studies in policy sociology. London/New York: Routlegde, 1992. p. 6-23.
BALL, S. J.; MAGUIRRE, M.; BRAUN, A. Como as escolas fazem as políticas: atuação em escolas secundárias. Trad. Janete Bridon. Ponta Grossa: UEPG, 2016.
BAUER, A.; NETO, J. L. H. (Coord.). Avaliação e gestão educacional em municípios brasileiros: mapeamento e caracterização das iniciativas em curso. Relatório final: resultados do survey. Brasília, DF: INEP, 2018. v. 1.
BIESTA, G. Boa educação na era da mensuração. Cadernos de pesquisa, São Paulo, v. 42, n. 147, p. 808-825, set./dez. 2012. DOI: https://doi.org/10.1590/S0100-15742012000300009
BROOKE, N. P.; CUNHA, M. A.; FALEIROS, M. A avaliação externa como instrumento da gestão educacional nos estados: relatório final. Belo Horizonte: Game/UFMG; Fundação Victor Civita, 2011.
CARVALHO, E. J. G. Arranjos de desenvolvimento da educação (ADEs): instrumento de soluções colaborativas para a educação ou uma nova estratégia de expansão e de controle do mercado educacional? Currículo sem Fronteiras, v. 18, n. 1, p. 103-128, 2018.
CARVALHO, E. J. G.; PERONI, V. M. V. A crescente influência do empresariado na elaboração e na execução de políticas públicas para a educação básica brasileira: um estudo sobre os Arranjos de Desenvolvimento da Educação (ADEs). In: ANPED-SUL, 12., 2018, Porto Alegre. Anais [...]. Porto Alegre: ANPED, 2018.
CHIZZOTTI, A. Pesquisa em ciências humanas e sociais. São Paulo: Cortez, 2006.
DALE, R. Globalização e educação: demonstrando a existência de uma “Cultura Educacional Mundial Comum” ou localizando uma “Agenda Globalmente Estruturada para a Educação”? Educação e Sociedade, Campinas, v. 25, n. 87, p. 423-460, maio/ago. 2004. DOI: https://doi.org/10.1590/S0101-73302004000200007
DUARTE, A. B. A Participação de escolas da Rede Escolar Pública Municipal de Santa Maria (RS) no Sistema de Avaliação da Educação Básica. 2014. 249 f. Dissertação (Mestrado em Educação) – Universidade Federal de Santa Maria, Santa Maria, 2014.
DUARTE, A. B.; GAMA, M. E. R. Sistema de avaliação da educação básica: potencialidades, problemas e desafios. Revista Eventos Pedagógicos, Sinop, v. 6, p. 115-129, 2015.
Disponível em: http://sinop.unemat.br/projetos/revista/index.php/eventos/article/view/1702. Acesso em: 10 jul. 2020.
FLICK, U. Qualidade na pesquisa qualitativa. Porto Alegre: Artmed, 2009.
FREITAS, L. C. Três teses sobre as reformas Empresariais da educação: perdendo a ingenuidade. Cad. Cedes, Campinas, v. 36, n. 99, p. 137-153, maio/ago. 2016. DOI: https://doi.org/10.1590/CC0101-32622016160502
MAINARDES, J.; GANDIN, L. “A abordagem do ciclo de políticas como epistemetodologia: usos no Brasil e contribuições para a pesquisa sobre políticas educacionais”. In: TELLO, C.; ALMEIDA, M. L. P. (Org.). Estudos epistemológicos no campo da pesquisa em política educacional. Campinas: Mercado das Letras, 2013. p. 143-168.
MAINARDES, J.; MARCONDES, M. I. Entrevista com Stephen J. Ball: um diálogo sobre justiça social, pesquisa e política educacional. Educação & Sociedade, Campinas, v. 30, n. 106, p. 303-318, 2009. Disponível em:
https://www.scielo.br/pdf/es/v30n106/v30n106a15.pdf. Acesso em: 10 jul. 2020.
MAINARDES, J.; TELLO, C. A pesquisa no campo da política educacional: Explorando diferentes níveis de abordagem e abstração. Arquivos Analíticos de Políticas Educativas, v. 24, n. 75, 2016. DOI: http://dx.doi.org/10.14507/epaa.24.2331
PLETSCH, M. D.; MENDES, G. M. L. Entre políticas e práticas: os desafios da educação inclusiva no Brasil. Archivos Analíticos de Políticas Educativas, v. 23, p. 1-12, 2015.
SOUSA, S. Z.; LOPES, V. V. Avaliação nas políticas educacionais atuais reitera desigualdades. Revista Adusp, São Paulo, n. 46, jan. 2010.
VERGER, A. A política educacional global: conceito e marcos teóricos chaves. Práxis Educativa, Ponta Grossa, v. 14, n. 1, p. 9-33, jan./abr. 2019 Disponível em:
http://www.revistas2.uepg.br/index.php/praxiseducativa. Acesso em: 10 jul. 2020.
VERGER, A.; LUBIENSKI, C.; STEINER-KHAMSI, G. (Eds.). World yearbook of
DUARTE-ANTUNES, A. B.; LUNARDI-MENDES, G. M. Políticas de avaliação em larga escala no contexto catarinense: em busca das traduções locais. Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 16, n. esp. 2, p. 1077-1092, maio 2021. e-ISSN: 1982-
5587. DOI: https://doi.org/10.21723/riaee.v16iesp2.15116
POLÍTICAS DE AVALIAÇÃO EM LARGA ESCALA NO CONTEXTO CATARINENSE: EM BUSCA DAS TRADUÇÕES LOCAIS
LARGE-SCALE ASSESSMENT POLICIES IN THE SANTA CATARINA STATE CONTEXT: SEEKING LOCAL TRANSLATIONS
Adriene Bolzan DUARTE-ANTUNES1 Geovana Mendonça LUNARDI-MENDES2
RESUMO: O presente artigo objetiva analisar as traduções locais construídas pelos municípios catarinenses no âmbito da política de avaliação em larga escala (ALE). Tomando como epismetodologia a perspectiva de análise dos contextos e de atuação de políticas de Stephen Ball e seus colaboradores, o estudo envolveu os 295 municípios catarinenses. Com base no levantamento realizado, foram estudadas as políticas locais de avaliação em larga escala constituídas por 110 munícipios. No quadro analisado foi possível identificar que os municípios catarinenses têm interesse na realização de avaliações em larga escala locais de duas formas: uma criada e outra comprada/adquirida. Tais respostas configuram-se como a política de avaliação em larga escala em circulação, nos mostram que as ALE vem se fortalecendo, se expandindo e se transformando. A transformação fica a cargo dos atores via interpretação e tradução da política. Essa atuação e tradução também revelam desdobramentos dessas respostas à política.
Universidad del Estado de Santa Catarina (UDESC), Florianópolis – SC – Brasil. Doctoranda en el Programa de Posgrado en Educación. ORCID: https://orcid.org/0000-0002-4757-7291. E-mail: adrienebd@gmail.com
Universidad del Estado de Santa Catarina (UDESC), Florianópolis – SC – Brasil. Profesora Titular del
Programa de Posgrado en Educación. Doctorado en Educación: História, Política, Sociedad (PUC/SP). Becario de Productividad en Investigación del CNPq - Nivel 2. ORCID: https://orcid.org/0000-0002-8848-7436. E-mail: geolunardi@gmail.com
PALAVRAS-CHAVE: Avaliação em larga escala. Tradução e atuação de políticas. Municípios catarinenses.
ABSTRACT: The present article aims to analyze the local translations constructed by the municipalities of Santa Catarina in the context of the large-scale evaluation policy (ALE). Taking as epismethodology the perspective of context analysis and policy performance of Stephen Ball and his collaborators, the study involved the 295 municipalities of Santa Catarina. Based on the survey, the local policies of large-scale assessment were studied in
110 municipalities. In the analyzed framework it was possible to identify that the municipalities of Santa Catarina are interested in conducting local large scale evaluations in two ways: one created and the other bought/acquired. Such answers are configured as the policy of large scale evaluation in circulation, showing us that the ALEs have been strengthening, expanding and transforming themselves. The transformation is up to the actors via interpretation and translation of the policy. This performance and translation also reveal unfoldings of these responses to the policy.
KEYWORDS: Large-scale assessment. Translation and performance of policies. Municipalities of Santa Catarina.
“El incremento de la cultura de la medición en la educación ha tenido un profundo impacto en la práctica educativa, desde las más altas esferas de la política educativa a nivel nacional y supranacional hasta las prácticas locales de las escuelas y los profesores. Hasta cierto punto, este impacto ha sido beneficioso, ya que ha permitido que los debates se basen en datos objetivos y no sólo en suposiciones u opiniones sobre lo que podría ser. Sin embargo, el problema es que la abundancia de información sobre los resultados educativos ha dado la impresión de que las decisiones sobre las orientaciones de la política educativa y las pautas y la forma de la práctica educativa pueden basarse únicamente en información objetiva”
(BIESTA, 2012, p. 812)
Las políticas de evaluación a gran escala (ALE) se han difundido a nivel mundial, adquiriendo "estado de las políticas educativas mundiales" (VERGER, 2018). Como explica Biesta en el epígrafe anterior, el auge de esta cultura de la medición ha tenido una difusión mundial, y conforman el marco del movimiento de globalización de las políticas educativas, así lo señalan diferentes autores (BIESTA, 2012; BALL, 2014; DALE, 2004). Dicha difusión es visible en diferentes políticas asumidas y producidas por los estados nacionales, con miras a mejorar la tan cacareada eficacia educativa, articulada a un conjunto de políticas y también a la muy nueva configuración del Estado y la gestión pública.
En Brasil la situación no es distinta. Diversos autores (AFONSO; LUNARDI MENDES, 2018; CARVALHO, 2018; CARVALHO; PERONI, 2018; DUARTE, 2014;
FREITAS, 2016) has atestado que las ALE forman parte de una política de control y centralización del poder público.
Los esfuerzos se centran en la adhesión y el desarrollo de la ALE, y esta política para materializarse pasa por diferentes contextos, entre ellos el "contexto de influencia" (BOWE; BALL; BALL, 1994; GOLD, 1992). En este contexto, la formulación de políticas ocurre mediada por "procesos de comprensión y traducción" (BALL; MAGUIRE; BRAUN, 2016, p. 14). Y es que corroboramos con Avelar y creemos que la política no es sólo documento o directriz, sino "un ente social que se mueve en el espacio y lo modifica mientras se mueve, y modifica las cosas en ese movimiento, modifica el espacio por el que se mueve" (AVELAR, 2016, p. 6).
Así, cuando nos referimos a los AEA como "políticas globales" no nos referimos a un único modelo con idéntica réplica, por el contrario, creemos que la política pasa por un proceso de transformación; en palabras de Ball, Maguire y Braun (2016), la política se traduce en diferentes contextos. La traducción política es una forma de actuar sobre la política, es el espacio de los procesos interactivos de elaboración de textos y puesta en práctica. La traducción es un proceso no lineal de resignificación, reordenación y representación a través de la actuación, pero al mismo tiempo es también un "proceso de conformidad" y adaptación (IBID, p. 74).
Este movimiento de traducción de políticas se produce en diferentes contextos, en diferentes momentos, con diferentes actores y diferentes prácticas. Y es en la singularidad de la acción articulada a la especificidad del contexto donde se produce la traducción de la política. Así, la traducción es una forma de hacer política y de actuar sobre el "valor simbólico" de esta (BALL; MAGUIRE; BRAUN, 2016, p. 70).
Si pensamos en los caminos tomados por las políticas de evaluación a gran escala en Brasil, es posible visualizar, al menos, la coexistencia de tres contextos de traducción distintos pero conectados.
El primer contexto surgió en la década de 1990, cuando asistimos a la creación y consolidación de evaluaciones nacionales a gran escala a través del Sistema Nacional de Evaluación de la Educación Básica - SAEB. A principios de la década de 2000, las evaluaciones nacionales reforzaron "las iniciativas de rendición de cuentas que se venían esbozando de manera tímida" (SOUSA; LOPES, 2010, p. 55) en otros contextos, con la creación del Prova Brasil y la difusión de los resultados a través del Índice de Desarrollo de la Educación Básica - IDEB. La divulgación de los resultados comenzó a ser realizada por los medios de comunicación brasileños en el sesgo del ranking (DUARTE; GAMA, 2015),
generando un sentido de presión interna para la adhesión de las políticas educativas evaluativas.
En un segundo contexto, a principios de la década de 2000, surgieron iniciativas estatales de políticas de evaluación a gran escala. Las investigaciones indican al menos diecinueve iniciativas estatales (BROOKE; CUNHA; FALEIROS, 2011). Con ello, es evidente la aparición de una nueva forma de gestión educativa centrada en los datos obtenidos por las evaluaciones externas.
En este contexto, ha surgido un nuevo contexto, el contexto local de las políticas de evaluación a gran escala dirigidas por los municipios, es decir, las iniciativas municipales de ALE. Estas políticas locales son más silenciosas, ya que abarcan contextos específicos y actores locales, la visibilidad se limita a lo local y, dependiendo del municipio, puede incluso decirse que es "regional". 3
Sin embargo, no podemos cometer el error de pensar que estas políticas son menos importantes que los otros dos contextos, o que su impacto es menos significativo. Como estas políticas son estrategias locales, están en el "terreno escolar", se trabajan en la formación continua de los profesores, en los medios de comunicación locales, e incluso se utilizan en las campañas políticas electorales4. Asimismo, aunque local, por el propio proceso de adhesión en una política de este tipo, somos conscientes de que no podemos pensar en las ALE sólo como un fenómeno local, ya que están impregnadas de intereses económicos, políticos y sociales.
Al mismo tiempo, en una encuesta reciente realizada en colaboración entre la Fundación Carlos Chagas y el Instituto Nacional de Estudios e Investigaciones Educativas Anísio Teixeira (2018), se identificaron 1.573 iniciativas municipales de ALE en todo Brasil. Esto demuestra la importancia de los microcontextos para el análisis de, entre otras cosas, las políticas globales.
4 Enlaces a informes sobre el tema Disponibles en: https://www.cartacapital.com.br/opiniao/educacao-tema-em- destaque-nas-eleicoes-municipais/; https://www.apufsc.org.br/2020/10/05/quase-1-000-cidades-repetiram-de- ano-na-avaliacao-da-educacao-aponta-relatorio/; https://g1.globo.com/politica/eleicoes/2020/eleicao-em- numeros/noticia/2020/12/06/mdb-pp-e-psd-vao-administrar-40percent-das-cidades-que-nao-atingiram-metas-do- ideb-para-os-anos-iniciais.ghtml; https://www.lagesdiario.com.br/2020/10/eleicoes-2020-o-que-os-candidatos-a- prefeitura-de-lages-pretendem-fazer-na-area-da-educacao.html; https://www.pagina3.com.br/eleicoes/2020/out/5/1/compare-as-propostas-dos-candidatos-a-prefeito-de- balneario-camboriu-para-a-educacao. Consultado el: 10 Jul. 2020.
Esos tres contextos se pueden representar como 3 engranajes distintas (véase figura 1), en la que cada engranaje representa un contexto específico de amplitud de las ALE.
Fuente: Elaborado por las autoras
En cada uno de estos contextos, las políticas de evaluación a gran escala se traducen individualmente, cada una a su tiempo y ritmo, pero están conectadas. Incluso en el discurso de los actores locales, es común encontrar el argumento de que la implementación de las ALE municipales está vinculada a los esfuerzos de la Secretaría Municipal de Educación por mejorar los resultados de las escuelas en las evaluaciones nacionales5.
En la Figura 1, fuera de la esfera de las políticas de evaluación a gran escala, hemos añadido otras esferas para representar otras políticas educativas que impregnan la actuación y la traducción de las políticas de ALE y refuerzan el argumento de que las políticas educativas no son ni están aisladas. Es importante destacar que se trata de una representación centrada en las políticas de evaluación a gran escala, y es por ello que la esfera de esta política está resaltada en la figura, y el reducido "diámetro" de las demás esferas no significa que otras políticas queden en segundo plano, sean más pequeñas o menos relevantes. No pretendemos aquí tratar en profundidad estas otras políticas, pero creemos que traer al diálogo aspectos externos relacionados con las políticas de evaluación nos ayudan a pensar la amplitud y complejidad que han ido adquiriendo las evaluaciones, y también nos aportan elementos necesarios para la comprensión de los procesos políticos.
5 Declaraciones presentes en las entrevistas realizadas a los Secretarios de Educación de los Municipios de Santa Catarina.
En general, las políticas de evaluación a gran escala funcionan para ayudar a la difusión del debate sobre la calidad que se tiene en relación con la calidad que se quiere alcanzar. Ante esta situación, cabe considerar que no existe neutralidad en las formas utilizadas en una actividad evaluativa, ya que se evalúa para afirmar valores e inducir cambios en una determinada dirección (SOUSA; LOPES, 2010).
Frente a ese escenario, en el recorte realizado para este artículo presentamos los resultados de dos investigaciones6 desarrolladas en el ámbito de nuestro grupo de investigación7. Tenemos por objeto señalar las apropiaciones locales y la traducción de políticas de evaluación en larga escala en el contexto de los municipios catarinenses. Para acceder la complejidad de la traducción de las políticas de evaluación se hace necesario acercanos de los contextos locales. Sin embargo, para ello necesitábamos saber qué municipios poseen políticas locales de evaluación en larga escala, puesto que no hay ningún registro sistematizado con esa información. Teniendo eso en cuenta, nuestro interés nos llevó a la necesidad de hacer el mapeo de las políticas de evaluación en larga escala locales de Santa Catarina, Brasil (SC).
Y es sobre este mapeo que trataremos en este texto, con la intención de discutir la traducción de las políticas de evaluación a gran escala en el contexto de Santa Catarina. Para ello, presentamos algunas conclusiones de la investigación y categorías de análisis que se fueron desvelando durante los procedimientos de recogida de información.
Nuestra interlocución se basa en el enfoque del ciclo político propuesto por Stephen Ball y sus colaboradores8, por revelar la naturaleza compleja de las políticas educativas señalando la necesidad de articulaciones en el análisis de los procesos políticos. También trabajamos con la Teoría de la Actuación Política (BALL; MAGUIRE; BRAUN, 2016), que aborda la relación entre el texto y la acción, refutando la idea de la aplicación de las políticas, dando voz a los actores involucrados en los procesos políticos para trabajar con la noción de interpretación, traducción y actuación. Dicho esto, anunciamos nuestro interés por debatir sobre las ALE con la ambición de considerar las formas en que las políticas educativas se mueven, se traducen y se recontextualizan en lugares concretos.
6 Las dos investigaciones de las que presentamos aquí parte de los resultados son: la primera titulada "Do local ao global: avaliação em larga escolas no município catarinense", coordinada por la Prof. Dra. Geovana Mendonça Lunardi Mendes; y la segunda es la Tesis Doctoral en preparación, titulada "A Circulação de Políticas de Avaliação em Larga Escala para a Educação Básica em contextos locais catarinenses", supervisada por la profesora y desarrollada por la investigadora Adriene Bolzan Duarte Antunes.
7 Observatorio de Prácticas Escolares - OPE, vinculado al Programa de Postgrado en Educación de la Universidad Estatal de Santa Catarina (UDESC). Disponible en: https://ope.education. Consultado el: 10 jul. 2019.
8 Bowe, Ball y Gold (1992) y Ball (1994).
Junto con Mainardes y Gandin (2013), creemos que el ciclo de la política rompe con los modelos lineales y jerárquicos de análisis que le preceden, y permite al investigador mirar la política en un sentido más amplio, ganando múltiples posibilidades de análisis e interlocuciones. Así, utilizamos el ciclo político más allá de nuestro marco teórico, sino como una "epistemología". El término epistemología, lanzado por Mainardes y Tello (2016, p. 3), "pretende exactamente expresar la articulación existente entre las decisiones epistemológicas y la metodología de investigación". Por ello, utilizamos el ciclo político como hilo conductor para pensar, investigar y teorizar sobre las políticas de evaluación a gran escala (MAINARDES; MARCONDES, 2009).
Creemos en el potencial del ciclo de la política porque considera la política como texto y como discurso del mismo modo que permite al investigador reunir información de diferentes fuentes para su análisis. Además
Este enfoque pone de relieve el papel de los sujetos en el proceso de formulación y puesta en marcha de la política. Se "da voz" a los sujetos del ciclo político en lugar de silenciarlos (Ball 2005 [2012, p.35]) (MAINARDES; GANDIN, 2013, p. 157).
Aquí trabajamos con la dimensión del contexto de influencia, específicamente en lo que se refiere a los discursos y la toma de decisiones en la formulación de políticas, para analizar los procesos de traducción del ALE en estos contextos locales específicos.
Así, a continuación, abordamos los procedimientos metodológicos adoptados en la investigación, luego traemos el análisis del material empírico y finalmente hacemos nuestras consideraciones finales.
La investigación cualitativa entiende que los diferentes fenómenos son igualmente importantes y valiosos en los procesos de recogida y análisis de la información (CHIZZOTTI, 2006). Este tipo de investigación busca escudriñar cómo las personas construyen el mundo que les rodea, lo que hacen o lo que sucede, teniendo o no un significado explícito y ofreciendo una rica visión de la realidad (FLICK, 2009). Teniendo en cuenta esto y nuestra comprensión de la política educativa y la epistemología que nos proponemos utilizar, la investigación cualitativa se adapta a este estudio debido al tipo de información que nos proponemos recoger y a la forma que percibimos como necesaria para analizarla.
Nuestras fuentes de información son sujetos y documentos. Los sujetos son los actores implicados en los procesos de las políticas locales de evaluación a gran escala que tienen algún tipo de responsabilidad o que son legalmente responsables del ALE, como los secretarios municipales de educación. Los documentos comprenden tres conjuntos de información: documentos oficiales relacionados con las ALE locales, información a través de los sitios web de las secretarías de educación y reportajes de los periódicos locales sobre las ALE.
Para el mapeo de las políticas locales de evaluación a gran escala, buscamos información en los Departamentos Municipales de Educación de los 295 municipios de Santa Catarina. Fue una búsqueda larga y a tientas, para la que fue necesario desarrollar 3 procesos de recogida diferentes.
En el primero, preparamos un cuestionario en línea con cuatro amplias preguntas de opción múltiple, que se envió por correo electrónico a las secretarías. Recibimos muy pocas respuestas, por lo que entendimos que el cuestionario online no era el instrumento adecuado que nos ayudaría a encontrar la información.
En el segundo momento, buscamos en el Diario Oficial de los Municipios de Santa Catarina9, documentos que trataban de las Políticas de Evaluación en Larga Escala contratadas por las municipalidades. Junto a ello, también buscamos informaciones en los sitio web de las municipalidades y secretarías municipales de educación, así como en sitio web de noticias sobre posibles contrataciones de servicios y realizaciones de evaluaciones municipales.
En el tercer momento, construimos la "Hoja de ruta para el contacto telefónico con los Departamentos Municipales de Educación" y nos pusimos en contacto con cada uno de los Departamentos Municipales de los 295 municipios de Santa Catarina a través de una llamada telefónica.
Con el objetivo de organizar y sistematizar las informaciones recogidas en estos tres procesos, construimos el "Cuadro de Políticas Municipales de Evaluación en Gran Escala" con los 295 municipios de Santa Catarina listados, divididos en bloques por número de habitantes y región geográfica10.
9 Actualmente el Boletín Oficial de los Municipios de Santa Catarina es el vehículo de publicación oficial en 538 entidades diferentes, ubicadas en 256 municipios del estado.
10 Debido al tamaño de este tablero no es posible compartir esta información aquí considerando el espacio de este artículo.
A partir de la información de 295 municipios identificamos que 110 cuentan con algún tipo de evaluación municipal a gran escala, y esta es la empírica que conforma nuestro análisis y las interlocuciones que se tejen en este texto.
Intentamos mapear las ALE en una auditoría más general de todas las formas de evaluación que estaban activas en cada uno de los municipios contactados. En nuestra investigación se incluyeron los municipios que afirmaban llevar a cabo algún tipo de evaluación organizada por el departamento municipal de educación. Los agentes políticos, al informar sobre las evaluaciones, utilizaron diferentes nomenclaturas, como: evaluación a gran escala, simulaciones, pruebas de diagnóstico, evaluación de resultados, ensayos y pruebas, sin embargo, en las descripciones observamos similitudes en las formas en que se llevaron a cabo estas evaluaciones. Es decir, los nombres eran diversos, pero las estrategias eran similares, lo que ya señala las interpretaciones y traducciones locales. Independientemente de la nomenclatura utilizada, los municipios se adhirieron a las políticas de evaluación a gran escala realizando evaluaciones locales, por lo que decidimos incluir todas estas evaluaciones en nuestro análisis. Así, analizaremos las 110 iniciativas municipales de ALE, lo que representa que más de 1/3 de los municipios de Santa Catarina (38%) desarrollan ALE locales.
La primera categoría descubierta en este mapeo es la naturaleza del ALE. Hemos observado que los municipios de Santa Catarina están interesados en realizar evaluaciones locales a gran escala de dos maneras, a saber:
la iniciativa del municipio en idealizar y crear su propia política de evaluación en larga escala;
la contratación de servicios vía paquetes educacionales y asociaciones para la realización de las evaluaciones en larga escala locales.
Los municipios que dicen crear su propia evaluación a gran escala suman 61 iniciativas, lo que representa el 56% del total de municipios que realizan ALE. Al llevar a cabo sus propias acciones de evaluación, estos municipios dan un nuevo significado a las macropolíticas y trasladan los procesos políticos a sus contextos locales. Nos parece que estos contextos tratan de encontrar un punto de equilibrio entre las "políticas globales" y las políticas/acciones locales. Ya que al elegir crear sus ALE, los actores locales nos dicen que el
contexto también crea la política, "que el contexto precede a la política" (BALL; MAGUIRRE; BRAUN, 2016, p. 36), da forma, reubica y da autonomía al actor en la traducción de una política global. Es el contexto local el que actúa en la formulación, la traducción y la ejecución de la propia política; es la dinámica del contexto la que da forma a la traducción de las ALE. Además, siempre conviene recordar que, como explican Lunardi Mendes y Pletsch (2015, p. 5):
Los municipios, la entidad política más pequeña de la Federación, frente a las normas y directrices nacionales, se vieron obligados a elegir los caminos posibles frente a sus realidades locales, en la búsqueda de la adaptación de los sistemas educativos a esta nueva realidad. En este sentido, también hay que decir que es en los municipios donde se encuentran muchos de los agentes que vienen reivindicando la expansión y difusión de las políticas educativas orientadas a la mejora de la calidad de la educación básica, como son los movimientos sociales, los sindicatos, las ONG y otros agentes resultantes de la organización de la sociedad civil sensibles a los retos de pensar y hacer pública la educación.
En el caso estudiado, si bien esta situación muestra signos de autonomía, los artefactos de estas ALE locales también se basan en el uso de instrumentos de evaluación tradicionales, como las pruebas de opción múltiple dirigidas a los estudiantes de educación básica. Los alumnos siguen siendo los sujetos evaluados para decir si la totalidad del trabajo escolar desarrollado en los centros educativos garantiza la calidad educativa o no. En otras palabras, la atención se sigue centrando únicamente en los resultados de los alumnos para validar la educación local, sin aportar ningún signo de innovación.
Aunque "siempre hay espacio para la invención dentro de los términos de las estructuras formales" (BALL; MAGUIRRE; BRAUN, 2016, p. 131) de la política, en la creación de ALE la propia actuación y la creatividad están marcadas sin originalidad. Estas traducciones locales reiteran que las políticas de evaluación a gran escala naturalizaron un conjunto de prácticas y estrategias, que prescriben sobre las actuaciones, estos son los signos de la "política global" en circulación.
Aun así, el intento de los municipios de desempeñar un papel protagonista en la creación de sus evaluaciones debe considerarse un avance hacia la materialización de la política. Nos muestra que los actores locales están en la búsqueda del autogobierno en el ejercicio de las actividades educativas, desvelando el contexto y la actuación local como posible agente de cambio.
En otro sentido, 51 iniciativas, o sea el 46% de los municipios que dicen desarrollar ALE locales, realizaron algún tipo de contratación de servicios vía paquetes educacionales y/o
asociaciones. Entre los asociados de las municipalidades es posible identificar las presencias de:
Fuente: Elaborado por las autoras
La narrativa institucional para el desarrollo de acciones en conjunto con estos organismos, en algunos casos, se relaciona con vínculos, metas e interlocuciones estipuladas por los gobernantes municipales. En otros términos, se trata de opciones políticas determinadas por los gobernantes municipales y cumplidas por las secretarías de educación, ejemplificando lo ya dicho sobre las influencias de los acuerdos entre empresarios, fundaciones, organizaciones, agencias internacionales y negocios educativos globales en las políticas neoliberales (VERGER; LUBIENSKI; STAINER-KHAMSI, 2016).
La traducción de los ALE locales está contribuyendo a las transformaciones de la educación y abriendo posibilidades para un mercado educativo. Y estos organismos surgen también como actores de las políticas locales: esta relación de colaboración público-privada desvela un escenario de actores públicos y actores privados.
El Anglo Sistema de Enseñanza11 en el contexto catarinense actuó únicamente durante el año de 2019, contratado por el municipio de Tijucas. Por mucho que la secretaría de educación se muestre satisfecha con el rendimiento de Anglo, el contrato no se renovó porque Anglo decidió que no trabajaría con el sistema de educación pública. La empresa Anglo decidió romper el vínculo con el servicio público y centrar sus inversiones únicamente en la
enseñanza privada. Esta situación refleja lo superficiales y vulnerables que son las conexiones público-privadas a los intereses y movimientos del mercado.
Otras tres empresas que también actúan, cada una de ellas, en solo un município: el Programa InDICA da Editora Opet12 lo ha contratado el municipio de Garopaba el Sistema de Enseñanza NAME de Pearson13 lo ha contratado desde hace 5 años el municipio de Bom Jesus; y el FTD Sistema de Enseñanza14 lo contrató Tijucas desde 2015 hasta 2018, y recontratado en 2020 tras la salida de Anglo.
El Hábile15 está presente en 48 municipios; esta evaluación forma parte de las acciones desarrolladas por el Sistema Positivo junto a la educación brasileña a través de diferentes articulaciones, como el Sistema Aprende Brasil16 y Arranjos de Desenvolvimento da Educação (ADE)17. En ADE de la Asociación de Municipios de la Gran Región de Florianópolis (GRANFPOLIS18), el Sistema Positivo y el Instituto Airton Senna trabajaron en asociación y actuaron en los 22 municipios de la asociación.
La evaluación Habilile, en algunos casos, entra en el contexto escolar aunque no sea una estrategia adoptada por el departamento de educación local, ya que conforma un paquete más amplio, por lo tanto, si se adquiere el paquete se debe realizar la evaluación. Esto nos permite ver que las evaluaciones a gran escala son de interés para la comunidad empresarial y
12 "Editora Opet desarrolló el Programa de Gestión Educativa - inDICA para evaluar a los alumnos de 5º y 9º grado en Lengua Portuguesa y Matemáticas. El objetivo es diagnosticar si los alumnos han desarrollado las habilidades esperadas para cada componente curricular: totalmente, parcialmente o no. La evaluación externa proporciona la información necesaria para ayudar al equipo escolar a definir un proyecto de intervención pedagógica para elevar los niveles de rendimiento de los alumnos". Disponible en: http://www.editoraopet.com.br/blog/em-primeira-mao-as-novidades-editoriais-opet-para-2020/. Consultado el: 10 Jul. 2020.
13 “O NAME ofrece a sus socios la Prova Brasil Premiada. La evaluación, que involucra todas las habilidades y competencias evaluadas por Prova Brasil, se aplica a los alumnos de 5º y 9º grado de primaria, con la exclusiva herramienta TRI - Teoría de Respuesta al Ítem, 100% fiel al método de corrección del examen. Esto significa más agilidad en la corrección, confidencialidad de la información y mejor preparación para los estudiantes. Y lo mejor de todo: se premia a los mejores estudiantes". Disponible en: https://www.netname.com.br/solucao- educacional.html. Consultado el: 10 Jul. 2020.
14 En las páginas web del FTD no encontramos información específica sobre las evaluaciones, nos pusimos en contacto con ellos y esperamos su respuesta. Disponible en: https://ftd.com.br/. Consultado el: 10 Jul. 2020.
16 “Aprende Brasil es un sistema educativo completo que ofrece un conjunto de soluciones específicas para la red pública de enseñanza: Libro de Texto Integrado, Asesoría Pedagógica, Aprende Brasil On y los sistemas Hábile y SimeB. Disponible en: http://sistemaaprendebrasil.com.br/conheca/. Consultado el: 10 Jul. 2020.
17 En el ámbito educativo, como en todo el ámbito social, podemos identificar, desde entonces, diferentes iniciativas de partenariado y relaciones intergubernamentales entre entidades federadas o entre entidades federadas y entidades con o sin ánimo de lucro, entre las que destacan los fondos, los convenios, los consorcios y, más recientemente, los denominados "Arreglos para el Desarrollo Educativo" (ADEs) (CARVALHO, 2019, p. 58).
18 Disponible en: https://www.granfpolis.org.br. Consultado el: 10 jul. 2020.
constituyen un importante medio de acceso a los contextos locales, abriendo puertas para influir en la formulación y aplicación de políticas y en la contratación de servicios educativos. En resumen, estas dos formas de ALE presentes en los contextos locales de Santa Catarina s contextos locales se configuran como respuesta a la política de evaluación a gran escala en circulación. Y esta respuesta nos muestra que las AEL se han ido fortaleciendo, ampliando y transformando. La transformación está a cargo de los actores a través de la interpretación y traducción de la política. Esta actuación y la traducción también revelan los
desdoblamientos de estas respuestas a la política.
Los informes sobre las justificaciones de la adhesión a las ALE se basan en la asociación entre la calidad educativa local y la evaluación; sin embargo, esta justificación también forma parte del discurso de los actores, que abogan por la no adhesión o la discontinuidad de las ALE. Por ejemplo, los municipios que realizaron evaluaciones a gran escala no continuaron con la política, alegando que las ALE no son un elemento útil para evaluar las escuelas de la red. También hubo municipios que llevaron a cabo las evaluaciones Hábile pero decidieron poner fin a la asociación, ya que los actores locales consideraron que los resultados de estas evaluaciones no representaban el trabajo escolar desarrollado en las escuelas, por lo que decidieron crear su propia ALE local, en la creencia de que involucrar a los profesores y a la comunidad escolar local en la organización y ejecución de sus propias ALE se acercaría más al trabajo escolar real.
Estos acontecimientos revelan que la elaboración de políticas locales también implica procesos de negociación, contestación y lucha entre los distintos grupos en la traducción de la política "global". Lo que nos demuestra que "la política no se 'hace' en un momento dado; [...] es siempre un proceso de 'devenir', que cambia de fuera a dentro. Se analiza y se revisa, así como a veces; se descarta o simplemente se olvida" (BALL; MAGUIRE; BRAUN, 2016, p. 15).
En este mapeo, trajimos ciudades locales y ALE como ejemplos de traducciones de políticas, sin embargo estas son muy sensibles al tiempo, por ejemplo la ciudad de Florianopolis, que tuvo una evaluación local (Prova Floripa19) con una cierta traducción y visibilidad, tuvo su última aplicación en 2017 y decidió por extinguirla. Por mucho que haya sido extinta todavía hace parte de nuestro análisis. Es decir, las Secretarías están en constante
19 Disponible en: http://www.provafloripa.caedufjf.net. Consultado el: 10 jul. 2020.
movimiento, del mismo modo que la adhesión, continuidad y discontinuidad de las ALE también se mueven junto a las tomas de decisiones de los actores locales.
Así pues, esta cartografía es una instantánea de los ALE activos entre los años 2016 y 2020, y no pretendemos que sea una imagen acabada, sino todo lo contrario. Esta cartografía representa las opciones políticas en circunstancias específicas, ya que los procesos de adhesión y traducción de políticas que pretendemos describir "se mueven increíblemente rápido" (BALL, 2014, p. 12). Así, esta cartografía es un posible retrato de la realidad que nos presenta los movimientos de adhesión a las políticas de evaluación a gran escala, así como los elementos clave de interpretación y traducción en los procesos políticos.
Este mapeo nos muestra que la investigación de la traducción de las políticas de evaluación a gran escala a través de una amplia recopilación de datos proporciona un fuerte apoyo a la discusión, y revela diferentes escenarios. En este caso, los escenarios de respuesta a la política "global" se descubrieron en dos formas de traducción, la creación de ALE locales y la asociación público-privada en la prestación de ALE. El abanico de relaciones y movimientos que la política de ALE ha asumido en los contextos locales son marcados y visibles.
Por lo tanto, es posible inferir que la adhesión y la traducción de las evaluaciones es dinámica, no lineal, y que existe todo un complejo que conforma los procesos de esta política. Los responsables políticos locales adoptan voluntariamente las políticas educativas globales, aunque los motivos y las circunstancias de su adhesión siguen sin estar claros. Sin embargo, los ALE también están siendo utilizados por actores externos como instrumentos para entrar en contextos municipales, abriendo posibilidades para un mercado educativo. Así pues, las ALE no están aisladas; son políticas impregnadas de un campo de posibilidades que están contribuyendo a las transformaciones de la educación.
Lo que nos debe preocupar es qué caminos han encontrado las iniciativas locales como las AEL para ayudar a transformar en el ámbito educativo. En esta dirección, las preocupaciones presentadas por Biesta, sobre los propósitos educativos y el sentido mismo de las evaluaciones, ayudan, en una época de pandemia20, a redimensionar la función social de la escuela y también las políticas evaluativas en nivel global.
Lo que sabemos de todo esto es que nuestro estudio ayuda a reforzar la premisa de Ball, Maguirre y Braun (2016) de que los contextos importan cuando hablamos de política educativa.
20 Aqui nos referimos à pandemia COVID-19 que causou mudanças repentinas e profundas na organização e funcionamento social de todo o mundo.
AFONSO, A. J.; LUNARDI MENDES, G. M. Políticas de administração e gestão em países da Lusofonia: Perspectivas críticas sobre a Nova Gestão Pública e a pós-burocracia em educação. Archivos analíticos de políticas educativas, v. 26, p. 127-138, 2018.
AVELAR, M. Entrevista com Stephen J. Ball: Uma análise de sua contribuição para a pesquisa em política educacional. Archivos Analíticos de Políticas Educativas, v. 24, n. 24, 2016. DOI: http://dx.doi.org/10.14507/epaa.24.2368
BALL, S. J. Educação global S. A: novas redes políticas e o imaginário neoliberal. Trad. Janete Bridon. Ponta Grossa: UEPG, 2014.
BALL, S. J. Educational reform: a critical and post structural approach. Buckiangham: Open University Press, 1994.
BALL, S. J. The policy processes and the processes of policy. In: BOWE, R.; BALL, S. J.; GOLD, A. (Org.). Reforming education & changing school: case studies in policy sociology. London/New York: Routlegde, 1992. p. 6-23.
BALL, S. J.; MAGUIRRE, M.; BRAUN, A. Como as escolas fazem as políticas: atuação em escolas secundárias. Trad. Janete Bridon. Ponta Grossa: UEPG, 2016.
BAUER, A.; NETO, J. L. H. (Coord.). Avaliação e gestão educacional em municípios brasileiros: mapeamento e caracterização das iniciativas em curso. Relatório final: resultados do survey. Brasília, DF: INEP, 2018. v. 1.
BIESTA, G. Boa educação na era da mensuração. Cadernos de pesquisa, São Paulo, v. 42, n. 147, p. 808-825, set./dez. 2012. DOI: https://doi.org/10.1590/S0100-15742012000300009
BROOKE, N. P.; CUNHA, M. A.; FALEIROS, M. A avaliação externa como instrumento da gestão educacional nos estados: relatório final. Belo Horizonte: Game/UFMG; Fundação Victor Civita, 2011.
CARVALHO, E. J. G. Arranjos de desenvolvimento da educação (ADEs): instrumento de soluções colaborativas para a educação ou uma nova estratégia de expansão e de controle do mercado educacional? Currículo sem Fronteiras, v. 18, n. 1, p. 103-128, 2018.
CARVALHO, E. J. G.; PERONI, V. M. V. A crescente influência do empresariado na elaboração e na execução de políticas públicas para a educação básica brasileira: um estudo sobre os Arranjos de Desenvolvimento da Educação (ADEs). In: ANPED-SUL, 12., 2018, Porto Alegre. Anais [...]. Porto Alegre: ANPED, 2018.
CHIZZOTTI, A. Pesquisa em ciências humanas e sociais. São Paulo: Cortez, 2006.
DALE, R. Globalização e educação: demonstrando a existência de uma “Cultura Educacional Mundial Comum” ou localizando uma “Agenda Globalmente Estruturada para a Educação”? Educação e Sociedade, Campinas, v. 25, n. 87, p. 423-460, maio/ago. 2004. DOI: https://doi.org/10.1590/S0101-73302004000200007
DUARTE, A. B. A Participação de escolas da Rede Escolar Pública Municipal de Santa Maria (RS) no Sistema de Avaliação da Educação Básica. 2014. 249 f. Dissertação (Mestrado em Educação) – Universidade Federal de Santa Maria, Santa Maria, 2014.
DUARTE, A. B.; GAMA, M. E. R. Sistema de avaliação da educação básica: potencialidades, problemas e desafios. Revista Eventos Pedagógicos, Sinop, v. 6, p. 115-129, 2015.
Disponível em: http://sinop.unemat.br/projetos/revista/index.php/eventos/article/view/1702. Acesso em: 10 jul. 2020.
FLICK, U. Qualidade na pesquisa qualitativa. Porto Alegre: Artmed, 2009.
FREITAS, L. C. Três teses sobre as reformas Empresariais da educação: perdendo a ingenuidade. Cad. Cedes, Campinas, v. 36, n. 99, p. 137-153, maio/ago. 2016. DOI: https://doi.org/10.1590/CC0101-32622016160502
MAINARDES, J.; GANDIN, L. “A abordagem do ciclo de políticas como epistemetodologia: usos no Brasil e contribuições para a pesquisa sobre políticas educacionais”. In: TELLO, C.; ALMEIDA, M. L. P. (Org.). Estudos epistemológicos no campo da pesquisa em política educacional. Campinas: Mercado das Letras, 2013. p. 143-168.
MAINARDES, J.; MARCONDES, M. I. Entrevista com Stephen J. Ball: um diálogo sobre justiça social, pesquisa e política educacional. Educação & Sociedade, Campinas, v. 30, n. 106, p. 303-318, 2009. Disponível em:
https://www.scielo.br/pdf/es/v30n106/v30n106a15.pdf. Acesso em: 10 jul. 2020.
MAINARDES, J.; TELLO, C. A pesquisa no campo da política educacional: Explorando diferentes níveis de abordagem e abstração. Arquivos Analíticos de Políticas Educativas, v. 24, n. 75, 2016. DOI: http://dx.doi.org/10.14507/epaa.24.2331
PLETSCH, M. D.; MENDES, G. M. L. Entre políticas e práticas: os desafios da educação inclusiva no Brasil. Archivos Analíticos de Políticas Educativas, v. 23, p. 1-12, 2015.
SOUSA, S. Z.; LOPES, V. V. Avaliação nas políticas educacionais atuais reitera desigualdades. Revista Adusp, São Paulo, n. 46, jan. 2010.
VERGER, A. A política educacional global: conceito e marcos teóricos chaves. Práxis Educativa, Ponta Grossa, v. 14, n. 1, p. 9-33, jan./abr. 2019 Disponível em:
http://www.revistas2.uepg.br/index.php/praxiseducativa. Acesso em: 10 jul. 2020.
VERGER, A.; LUBIENSKI, C.; STEINER-KHAMSI, G. (Eds.). World yearbook of
DUARTE-ANTUNES, A. B.; LUNARDI-MENDES, G. M. Políticas de evaluación en gran escala en el contexto catarinense: en búsqueda de las traducciones locales. Revista Ibero- Americana de Estudos em Educação, Araraquara, v. 16, n. esp. 2, p. 1077-1093, maio 2021. e-ISSN: 1982-5587. DOI: https://doi.org/10.21723/riaee.v16iesp2.15116
POLÍTICAS DE AVALIAÇÃO EM LARGA ESCALA NO CONTEXTO CATARINENSE: EM BUSCA DAS TRADUÇÕES LOCAIS
POLÍTICAS DE EVALUACIÓN EN GRAN ESCALA EN EL CONTEXTO CATARINENSE: EN BÚSQUEDA DE LAS TRADUCCIONES LOCALES
Adriene Bolzan DUARTE-ANTUNES1 Geovana Mendonça LUNARDI-MENDES2
RESUMO: O presente artigo objetiva analisar as traduções locais construídas pelos municípios catarinenses no âmbito da política de avaliação em larga escala (ALE). Tomando como epismetodologia a perspectiva de análise dos contextos e de atuação de políticas de Stephen Ball e seus colaboradores, o estudo envolveu os 295 municípios catarinenses. Com base no levantamento realizado, foram estudadas as políticas locais de avaliação em larga escala constituídas por 110 munícipios. No quadro analisado foi possível identificar que os municípios catarinenses têm interesse na realização de avaliações em larga escala locais de duas formas: uma criada e outra comprada/adquirida. Tais respostas configuram-se como a política de avaliação em larga escala em circulação, nos mostram que as ALE vem se fortalecendo, se expandindo e se transformando. A transformação fica a cargo dos atores via
Santa Catarina State University (UDESC), Florianópolis – SC – Brazil. Doctoral student in the Postgraduate Program in Education. ORCID: https://orcid.org/0000-0002-4757-7291. E-mail: adrienebd@gmail.com
Santa Catarina State University (UDESC), Florianópolis – SC – Brazil. Full Professor of the Postgraduate
Program in Education. Doctorate in Education: History, Politics, Society (PUC/SP). CNPq Research Productivity Scholarship - Level 2. ORCID: https://orcid.org/0000-0002-8848-7436. E-mail: geolunardi@gmail.com
interpretação e tradução da política. Essa atuação e tradução também revelam desdobramentos dessas respostas à política.
PALAVRAS-CHAVE: Avaliação em larga escala. Tradução e atuação de políticas. Municípios catarinenses.
RESUMEN: El artículo tiene por objeto analizar las traducciones locales que los municipios catarinenses construyen en el ámbito de la política de evaluación en gran escala (EGE). Tomando como epistemología la perspectiva de análisis de los contextos y de actuación de políticas de Stephen Ball y sus colaboradores, el estudio involucró los 295 municipios catarinenses. Con base en el levantamiento realizado, se estudió las políticas locales de evaluación en gran escala constituidas por 110 municipios. En el cuadro analizado fue posible identificar que los municipios catarinenses tienen interés en la realización de evaluaciones en gran escala locales de dos formas: una creada y otra comprada/adquirida. Dichas respuestas se configuran como la política de evaluación en gran escala en circulación, nos muestran que las EGE se han fortalecido y expandido y trasformando. La trasformación queda a cargo de los actores vía interpretación y traducción de la política. Esa actuación y traducción revelan desdoblamientos de esas respuestas a la política.
PALABRAS CLAVE: Evaluación en larga escala. Traducción y evaluación de políticas. Municipios catarinenses.
The growing culture of measurement in education has had a profound impact on educational practice, from the highest echelons of educational policy at the national and supranational levels to the local practices of schools and teachers. To some extent, this impact has been beneficial, as it has allowed discussions to be based on factual data rather than just assumptions or opinions about what it might be. However, the problem is that the abundance of information about educational outcomes has given the impression that decisions about the directions of educational policy and the models and form of educational practices can be based only on factual information.
(BIESTA, 2012, p. 812, our translation)
Large-scale assessment (ALE, Portuguese initials) policies have been globally disseminated, acquiring “status of global educational policy” (VERGER, 2018, our translation). As explained by Biesta in the above epigraph, the increase of this measurement culture has had a worldwide diffusion and make up the framework of the movement towards the globalization of educational policies, extensively pointed out by different authors (BIESTA, 2012; BALL, 2014; DALE, 2004). Such dissemination is visible in different policies adopted and produced by the nation states, with a view to improving the so-called
educational effectiveness, articulated to a set of policies and also to the very new configuration of the State and public management.
In Brazil, the situation is no different. Several authors (AFONSO; LUNARDI MENDES, 2018; CARVALHO, 2018; CARVALHO; PERONI, 2018; DUARTE, 2014;
FREITAS, 2016) have attested that the ALE are part of a policy of control and centralization of public power.
Efforts are made in the adhesion and development of ALE, and this policy to be materialized crosses different contexts, among them the “context of influence” (BOWE; BALL; BALL, 1994; GOLD, 1992). In this context, policy formulation takes place mediated by “understanding and translation processes” (BALL; MAGUIRE; BRAUN, 2016, p. 14). This is because we corroborate with Avelar and believe that policy is not just a document or guideline, but "a social entity that moves in space and modifies it as it moves, and modifies things in that movement, modifies the space through which it moves" (AVELAR, 2016, p. 6, our translation).
Thus, when we refer to ALE as “global policies” we are not referring to a single model with identical replication, on the contrary, we believe that policy is undergoing a process of transformation; in the words of Ball, Maguire and Braun (2016), politics is translated into different contexts. The translation of policies is a way of acting on politics, it is the space for interactive processes of writing texts and putting them into practice. Translation is a non- linear process of resignification, reordering and representation through acting, but at the same time it is also a “process of conformity” and adaptation (IBID, p. 74).
This movement of policy translation takes place in different contexts, different times with different actors and different practices. And it is in the singularity of the action articulated to the specificity of the context that the translation of the policy takes place. In this way, translation is a way of doing politics and acting on its “symbolic value” (BALL; MAGUIRE; BRAUN, 2016, p. 70).
If we think about the paths taken by large-scale assessment policies in Brazil, it is possible to visualize, at least, the coexistence of three distinct but connected translation contexts.
The first context emerged in the 1990s, when we witnessed the creation and consolidation of large-scale assessments nationwide via the National System for Assessment of Basic Education – SAEB (Portuguese initials). In the early 2000s, national assessments boosted “the accountability initiatives that had been shyly sketching themselves” (SOUSA; LOPES, 2010, p. 55, our translation) in other contexts, with the creation of the Prova Brasil
and the dissemination of results via the Index Development of Basic Education – IDEB (Portuguese initials). The dissemination of the results started to be conducted by the Brazilian media in the ranking bias (DUARTE; GAMA, 2015), generating a sense of internal pressure for the adherence of evaluative educational policies.
In a second context, at the beginning of the 2000s, state initiatives for large-scale assessment policies emerged. Research indicates at least nineteen state initiatives (BROOKE; CUNHA; FALEIROS, 2011). This shows the emergence of a new form of educational management focused on data obtained by external evaluations.
Given this scenario, a new context emerges, the local context of large-scale assessment policies carried out by municipalities, that is, municipal initiatives for ALE emerge. These local policies are quieter, as they cover specific contexts and local actors, visibility is restricted to the local scope and, depending on the municipality, it can even be said “regional”.3
However, we cannot make the mistake of thinking that these policies are less important than the other two contexts, or that their impact is less significant. Since these policies, being local strategies, are on the “school floor”, they are worked on in continuing education of teachers, in the local media, and are even used in political electoral campaigns4. In the same way, although local, for the process of joining a policy of this type, we are aware that we cannot think of ALEs only as a local phenomenon, as they are impregnated with economic, political and social interests.
At the same time, in a recent survey conducted in partnership between the Carlos Chagas Foundation and the National Institute of Educational Studies and Research Anísio Teixeira (2018), 1,573 municipal ALE initiatives were identified across Brazil. This shows the importance of micro-contexts for the analysis.
These three contexts can be represented as 3 distinct gears (see figure 1), where each gear represents a specific context of ALE coverage.
4 News links on the subject. Available: https://www.cartacapital.com.br/opiniao/educacao-tema-em-destaque- nas-eleicoes-municipais/; https://www.apufsc.org.br/2020/10/05/quase-1-000-cidades-repetiram-de-ano-na- avaliacao-da-educacao-aponta-relatorio/; https://g1.globo.com/politica/eleicoes/2020/eleicao-em- numeros/noticia/2020/12/06/mdb-pp-e-psd-vao-administrar-40percent-das-cidades-que-nao-atingiram-metas-do- ideb-para-os-anos-iniciais.ghtml; https://www.lagesdiario.com.br/2020/10/eleicoes-2020-o-que-os-candidatos-a- prefeitura-de-lages-pretendem-fazer-na-area-da-educacao.html; https://www.pagina3.com.br/eleicoes/2020/out/5/1/compare-as-propostas-dos-candidatos-a-prefeito-de- balneario-camboriu-para-a-educacao. Access: 10 July 2020.
Source: Devised by the authors
In each of these contexts, the large-scale evaluation policies are individually translated, each in its own time and pace, but they are connected. In fact, in the speech of local actors, it is common to find the argument that the realization of municipal ALE is linked to the effort of the Municipal Department of Education to improve school indexes in national assessments5.
In figure 1, outside the sphere of large-scale assessment policies, we add other spheres to represent other educational policies that permeate the performance and translation of ALE policies and strengthen the argument that educational policies are not isolated. It is important to emphasize that this is a representation that focuses on large-scale evaluation policies, and that is why the sphere of this policy is highlighted in the figure, and the reduced "diameter" of the other spheres does not mean that other policies are in secondly, they are smaller or less relevant. We do not intend to deal with these other policies in depth, but we think that bringing external aspects related to evaluation policies into the dialogue helps us to think about the breadth and complexity that evaluations have been acquiring, and in addition they bring us elements that are necessary for understanding policy processes.
In general, large-scale assessment policies are operated to help spread the debate about the quality that it has in relation to the quality that it wants to achieve. Given this situation, it is worth considering that there is no neutrality in the paths used in an evaluation activity, as it
5 Statements present in interviews carried out with Secretaries of Education of Municipalities of Santa Catarina.
is evaluated to affirm values and induce changes in a given direction (SOUSA; LOPES, 2010).
In view of this scenario, in the clipping made for this article, we present the results of two investigations6 carried out within the scope of our research group7. We aim to point out the local appropriations and the translation of evaluation policies on a large scale in the context of the municipalities of Santa Catarina. To access the complexity of the translation of evaluation policies, it is necessary to get closer to local contexts. However, for this, we needed to know which municipalities have large-scale local assessment policies, as there is no systematized record with this information. In view of this, our interest led us to the need to map local large-scale assessment policies in Santa Catarina, Brazil (SC).
And it is on this mapping that we will work with in this text, with the intention of discussing the translation of evaluation policies on a large scale in the context of Santa Catarina. For this, we present some research findings and analysis categories that were being unveiled during the information collection procedures.
Our dialogue is based on the Policy Cycle Approach proposed by Stephen Ball et al. 8, as it reveals the complex nature of educational policies, signaling the need for articulations in the analysis of policy processes. We also work with the Theory of Political Action (BALL; MAGUIRE; BRAUN, 2016), which deals with the relationship between text and action, refuting the idea of policy implementation, giving voice to actors involved in policy processes in order to work with the notion of interpretation, translation and acting. That said, we announce our interest in discussing the ALE with the ambition of considering the ways in which educational policies move, are translated and recontextualized in specific places.
Along with Mainardes and Gandin (2013), we believe that the policy cycle makes a break with the linear and hierarchical models of analysis that preceded it and allows the researcher to look at politics in a broader sense, reaching multiple possibilities of analysis and interlocutions. Therefore, we use the policy cycle beyond our theoretical framework, rather as an “epismethodology”. The term epismethodology, launched by Mainardes and Tello (2016,
6 The two surveys of which we present parts of the results here are: the first entitled “Do local ao global: avaliação em larga escala no município catarinense” (From the local to the global: assessment in large scale in the municipality of Santa Catarina), coordinated by Profa. Dr. Geovana Mendonça Lunardi Mendes; and the second is the Doctoral Thesis in preparation, entitled “A Circulação de Políticas de Avaliação em Larga Escala para a Educação Básica em contextos locais catarinenses” (The Circulation of Evaluation Policies on a Large Scale for Basic Education in local contexts in Santa Catarina) supervised by the professor and developed by the researcher Adriene Bolzan Duarte Antunes.
7 Observatory of School Practices - OPE, linked to the Postgraduate Program in Education of the State University of Santa Catarina (UDESC). Available: https://ope.education. Access: 10 July 2019.
8 Bowe, Ball and Gold (1992) and Ball (1994).
p. 3, our translation), “aims exactly to express the existing articulation between epistemological decisions and research methodology”. Therefore, we use the policy cycle as a guiding thread to think, research and theorize about large-scale assessment policies (MAINARDES; MARCONDES, 2009).
We believe in the potential of the policy cycle because it considers policy as a text and a discourse in the same way that it allows the researcher to gather information from different sources for analysis. Furthermore,
This approach highlights the role of the subjects in the process of formulating and putting the policy into action. Subjects in the policy cycle are "voiced" rather than silenced (Ball 2005 [2012, p.35]) (MAINARDES; GANDIN, 2013, p. 157, our translation).
Here, we are working with the dimension of the context of influence, specifically because it involves speeches and decision-making in policy formulation, and we do so with the aim of analyzing the translation processes of the ALE in these specific local contexts.
So, below, we deal with the methodological procedures adopted in the research, then we bring the analysis of the empirical material and finally we make our final considerations.
Qualitative research understands that different phenomena are equally important and precious in the processes of collecting and analyzing information (CHIZZOTTI, 2006). This type of research seeks to scrutinize how people build the world around them, what they are doing or what is happening, with or without explicit meaning and offering a rich view of reality (FLICK, 2009). Given this and our understanding of educational policy and the epismethodology that we propose to use, qualitative research is suitable for this study depending on the type of information we propose to collect and the way we perceive it to be necessary to analyze it.
Our sources of information are subjects and documents. The subjects are the actors involved in the processes of large-scale local assessment policies who have some kind of responsibility or those who are legally responsible for ALE, such as the municipal education secretaries. The documents comprise three sets of information, official documents relating to local ALEs, information via the websites of the education departments and journalistic news of local circulation about ALEs.
For the mapping of local large-scale assessment policies, we sought information from the Municipal Education Departments of the 295 municipalities in Santa Catarina. This was a long and groping search, in which it was necessary to develop 3 distinct collection processes.
In the first, we prepared an online questionnaire with four broad multiple-choice questions, which were sent by e-mail to the secretariats. We received very few feedbacks, so we understood that the online questionnaire was not the appropriate tool to help us find the information.
In the second step, we searched the Official Gazette of the Municipalities of Santa Catarina for documents that dealt with the Large-Scale Evaluation Policies contracted by the city halls. Alongside this, we also searched for information on the websites of city halls and municipal education secretariats, as well as on news websites about possible hiring of services and realization of municipal assessments.
In the third moment, we created the “Route for telephone contact with Municipal Education Secretariats” and contacted each of the Municipal Secretariats of the 295 municipalities in Santa Catarina via telephone.
Aiming to organize and systematize the information collected from these three processes, we built the "Large-Scale Municipal Assessment Policy Framework" with the 295 cities listed in Santa Catarina, divided into blocks by number of inhabitants and geographic region9.
Based on information from 295 municipalities, we identified that 110 have some type of municipal assessment on a large scale, and this is the empirical that composes our analysis and the dialogues woven in this text.
We sought to map the ALEs in a more general audit of all forms of assessment that were active in each of the contacted municipalities. In our research, we covered municipalities that claimed to carry out some type of assessment organized by the municipal education department. The policy actors when reporting the evaluations to us used different nomenclatures, such as: large-scale evaluation, simulated, diagnostic tests, performance evaluation, tests and examination, however, in the descriptions we perceive similarities in the ways of carrying out these evaluations. In other words, the names were different, but the strategies were similar, which already signals local interpretations and translations.
9 Due to the size of this table, it is not possible to share this information here considering the space of this article.
Regardless of the nomenclature used, municipalities adhered to large-scale assessment policies by conducting local assessments, so we chose to include all of these assessments in our analysis. In this way, we will analyze the 110 municipal initiatives of ALE, which represents that more than 1/3 of the municipalities in Santa Catarina (38%) develop local ALE.
The first category revealed in this mapping is related to the nature of ALE. We realized that Santa Catarina's municipalities are interested in carrying out large-scale local assessments in two ways, they are:
the municipality's initiative in devising and creating its own large-scale assessment policy;
The municipalities that claim to create their own large-scale assessment total 61 initiatives, which represents 56% of the total number of municipalities that carry out ALE. In carrying out their own evaluative actions, these municipalities give new meaning to macro policies and transfer policy processes to their local contexts. It seems to us that in these contexts an attempt is made to find a balance between “global policies” and local policies/actions. Since, when choosing to create their ALE, local actors tell us that the context also creates the policy, “that the context precedes policy” (BALL; MAGUIRRE; BRAUN, 2016, p. 36, our translation), shapes, reallocates and gives autonomy to actor in the translation of a global policy. It is the local context acting in the formulation, translation and performance of the policy itself, it is the dynamics of the context that shape the translation of the ALE. In addition, it is always worth remembering that, as Lunardi Mendes and Pletsch (2015, p. 5, our translation) explain:
The municipalities, the smallest political entity in the Federation, in view of national regulations and guidelines, were forced to choose the possible paths in view of their local realities, in the search for adapting education systems to this new reality. In this sense, it should also be said that it is in the municipalities that act more intensely many of the agents that, in contemporary times, have called for the expansion and dissemination of educational policies aimed at improving the quality of basic education, such as social movements, unions, NGOs and others agents resulting from the organization of civil society sensitive to the challenges of thinking about and carrying out public education.
In the case studied, even though this situation shows signs of autonomy, the artifacts of these local ALEs also rely on the use of traditional assessment tools, such as multiple- choice tests for basic education students. Students are still the subjects evaluated to say whether the totality of school work carried out in schools guarantees educational quality or not. In other words, the focus is still solely on the performance of students to validate local education, not bringing any signs of innovation.
Although “there is always room for invention within the terms of formal structures” (BALL; MAGUIRRE; BRAUN, 2016, p. 1311, our translation) of politics, in the creation of own ALE, performance and creativity are marked without originality. These local translations reiterate that large-scale evaluation policies have naturalized a set of practices and strategies, which prescribe on actions, these are the signs of “global politics” in circulation.
Even so, the attempt of protagonism of the municipalities, when creating their evaluations, must be seen as an advance towards the materialization of the policy. It shows us that local actors are in search of self-government in the exercise of educational activities, unveiling the local context and action as a possible agent of change.
In another direction, 51 initiatives, or 46% of the municipalities that claim to develop local ALE, carried out some type of contracting of services via educational packages and/or partnerships. Among the partners of the prefectures, it is possible to identify the following presences:
Source: Devised by the authors
The institutional narrative for the development of actions in conjunction with these bodies, in some cases, is related to links, goals and dialogue stipulated by municipal
governments. In other words, they are political choices determined by municipal governments and carried out by education departments, exemplifying what has already been said about the influence of agreements between entrepreneurs, foundations, organizations, international agencies and global educational businesses on neoliberal policies (VERGER; LUBIENSKI; STAINER-KHAMSI, 2016).
Local ALE translations are contributing to changes in education and opening up possibilities for an educational market. And these agencies also emerge as actors of local policies: this public-private partnership relationship unveils a scenario of public actors and private actors.
The Anglo Teaching System10 in the Santa Catarina context only operated during 2019, contracted by the municipality of Tijucas. As much as the education department reports satisfaction with Anglo's performance, the contract was not renewed as Anglo decided that it would not work with the public education system. The Anglo company decides to break the link with the public service and focuses its investments only on private education. This situation reflects the extent to which public-private connections are superficial and vulnerable to market interests and moves.
Three other companies also operate, each of them, in only one municipality: Editora Opet's InDICA Program11 was contracted by the municipality of Garopaba; Pearson's NAME Teaching System12 has been contracted for 5 years by the municipality of Bom Jesus; and the FTD Teaching System13 was hired by Tijucas from 2015 to 2018, and rehired in 2020 after leaving Anglo.
11 “Editora Opet developed the Education Management Program - inDICA to evaluate 5th and 9th year students of Elementary School in Portuguese and Mathematics. The objective is to diagnose whether students have developed the skills expected for each curricular component: in full, partially or not at all. The external evaluation provides information necessary to assist the school team in the definition of a pedagogical intervention project to raise the performance levels of the students”. Available: http://www.editoraopet.com.br/blog/em-primeira-mao-as-novidades-editoriais-opet-para-2020/. Access: 10 July 2020.
12 “NAME offers its partners the Prova Brasil Premiada. The assessment, which involves all the skills and competences assessed by the Prova Brasil, is applied to students in the 5th and 9th grade of Elementary School, with an exclusive TRI tool – Item Response Theory, 100% faithful to the exam correction method. This means faster correction, confidentiality of information and better preparation for students. And best of all: the best students are awarded”. Available: https://www.netname.com.br/solucao-educacional.html. Access: 10 July 2020. 13 On the FTD websites we did not find specific information about the ratings, we contacted them and await for feedback. Available: https://ftd.com.br/. Access: 10 July 2020.
Hábile14 is present in 48 municipalities; this assessment is part of the actions developed by Positivo System with Brazilian education through different articulations, such as the Aprende Brasil System15 and Education Development Arrangements (ADE) 16. In the ADE of the Association of Municipalities in the Greater Florianópolis Region (GRANFPOLIS)17, the Positivo System and the Airton Senna Institute worked in partnership and operated in the 22 municipalities of the association.
The Habile assessment, in some cases, enters the school context even if it is not a strategy adopted by the local education department, as it makes up a broader package, therefore, if the package is purchased, the assessment must be carried out. This allows us to see that large-scale assessments are of interest to the business community and constitute an important means of accessing local contexts, opening doors to influence on the formulation and execution of policies and the hiring of educational services.
In short, these two forms of ALE present in local contexts in Santa Catarina are configured as a response to the large-scale assessment policy in effect. And this answer shows us that the ALE has been getting stronger, expanding and transforming. The transformation is in charge of the actors through the interpretation and translation of the policy. This performance and translation also reveals developments of these responses to the policy.
The reports on the justifications for adherence to the ALE move towards the association between local educational quality and evaluation, but this justification is also part of the speech of the actors, who advocate on the non-adherence or discontinuity of the ALE, for example, municipalities that carried out large evaluations scale and did not continue the policy, alleging that the ALE is not a useful element for the evaluation of the schools in the network. Also, there were municipalities that carried out the Hábile assessments but decided to end the partnership, since in the interpretation of local actors the result of this assessment did not represent the schoolwork developed in the schools, and so decided to create their own
14 “Hábile is an external educational assessment in large-scale of learning. This product collaborates with the pedagogical team of public schools, offering data that support the analysis of the results of evaluation practices and teaching and learning processes". Available: http://sistemaaprendebrasil.com.br/conheca/. Access: 10 July 2020.
15 “Aprende Brasil is a complete education system that offers a specific set of solutions for the public education network: Integrated Didactic Book, Pedagogical Advisory, Aprende Brasil On and the Hábile and SimeB systems”. Available: http://sistemaaprendebrasil.com.br/conheca/. Access: 10 July 2020.
16 In the educational field, as in the entire social field, we can identify, since then, different initiatives of partnerships and intergovernmental relations between federated entities or between federated entities and profit or non-profit entities, including funds, agreements, consortia and, more recently, the so-called 'Education Development Arrangements' (ADEs) (CARVALHO, 2019, p. 58, our translation).
17 Available: https://www.granfpolis.org.br. Access: 10 July 2020.
local ALE, in the belief of to involve teachers and the local school community in organizing and carrying out their own ALE, which would in fact be closer to real schoolwork.
These developments reveal that in the formulation of local policies, processes of negotiations, contestations and struggles between different groups are also involved in the translation of “global” policy. Which shows us that “policy is not “made” at one point in time; [...] it is always a process of “becoming”, changing from the outside to the inside and from the inside to the outside. It is reviewed and revised as well as sometimes; dismissed or simply forgotten” (BALL; MAGUIRE; BRAUN, 2016, p. 15).
In this mapping, we brought local cities and ALE as examples of policy translations, but these are very time sensitive, for example the city of Florianópolis, which had a local assessment (Prova Floripa18) with a certain tradition and visibility, had its last application in 2017 and decided to extinguish it. As much as it has been extinguished, it is still part of our analysis. In other words, the Secretariats are in constant movement, in the same way that the adhesion, continuity and discontinuity of the ALE also move with the decision making of the local actors.
Thus, this mapping is a portrait of the active ALE between the years 2016 and 2020, and we do not intend to have it here as a finished portrait, quite the opposite. This mapping represents policy choices in specific circumstances, as the policy adherence and translation processes we seek to describe “movement incredibly fast” (BALL, 2014, p. 12). Thus, this mapping is a possible portrait of the reality that the movements of adherence to large-scale assessment policies present to us, as well as key elements of interpretation and translation in the policy processes.
This mapping shows us that investigating the translation of evaluation policies on a large scale through a broad data collection brings strong subsidies to the discussion, and unveils different scenarios. In this case, scenarios of response to the “global” policy were unveiled in two forms of translation, the creation of local ALE and the public-private partnership in carrying out ALE. The range of relationships and movements that the ALE policy has taken in local contexts are marked and visible.
Therefore, it is possible to infer that the adhesion and translation of evaluations is dynamic, not linear, and there is a whole complex that makes up the processes of this policy.
18 Available: http://www.provafloripa.caedufjf.net. Access: 10 July 2020.
Local policy makers adopt global educational policies on a voluntary basis, although the reasons and circumstances for these adherences are not yet clear. However, the ALEs have also been used, by external actors, as instruments to enter the municipal contexts, opening up possibilities for an educational market. Therefore, ALE are not isolated, they are policies permeated by a field of possibilities, which are contributing to transformations in education.
What we should be concerned about is which ways can local initiatives such as the ALE found help transform the educational field? In this direction, the concerns presented by Biesta, regarding the educational purposes and the very meaning of the evaluations, help, in a time of pandemic19, to resize the social function of the school and also the evaluative policies at a global level.
What we know from all this is that our study helps to reinforce Ball, Maguirre and Braun's (2016) premise that contexts matter when we talk about educational policies.
AFONSO, A. J.; LUNARDI MENDES, G. M. Políticas de administração e gestão em países da Lusofonia: Perspectivas críticas sobre a Nova Gestão Pública e a pós-burocracia em educação. Archivos analíticos de políticas educativas, v. 26, p. 127-138, 2018.
AVELAR, M. Entrevista com Stephen J. Ball: Uma análise de sua contribuição para a pesquisa em política educacional. Archivos Analíticos de Políticas Educativas, v. 24, n. 24, 2016. DOI: http://dx.doi.org/10.14507/epaa.24.2368
BALL, S. J. Educação global S. A: novas redes políticas e o imaginário neoliberal. Trad. Janete Bridon. Ponta Grossa: UEPG, 2014.
BALL, S. J. Educational reform: a critical and post structural approach. Buckiangham: Open University Press, 1994.
19 Here we refer to the COVID-19 pandemic that caused sudden and profound changes in social organization and functioning around the world..
BALL, S. J. The policy processes and the processes of policy. In: BOWE, R.; BALL, S. J.; GOLD, A. (Org.). Reforming education & changing school: case studies in policy sociology. London/New York: Routlegde, 1992. p. 6-23.
BALL, S. J.; MAGUIRRE, M.; BRAUN, A. Como as escolas fazem as políticas: atuação em escolas secundárias. Trad. Janete Bridon. Ponta Grossa: UEPG, 2016.
BAUER, A.; NETO, J. L. H. (Coord.). Avaliação e gestão educacional em municípios brasileiros: mapeamento e caracterização das iniciativas em curso. Relatório final: resultados do survey. Brasília, DF: INEP, 2018. v. 1.
BIESTA, G. Boa educação na era da mensuração. Cadernos de pesquisa, São Paulo, v. 42, n. 147, p. 808-825, set./dez. 2012. DOI: https://doi.org/10.1590/S0100-15742012000300009
BROOKE, N. P.; CUNHA, M. A.; FALEIROS, M. A avaliação externa como instrumento da gestão educacional nos estados: relatório final. Belo Horizonte: Game/UFMG; Fundação Victor Civita, 2011.
CARVALHO, E. J. G. Arranjos de desenvolvimento da educação (ADEs): instrumento de soluções colaborativas para a educação ou uma nova estratégia de expansão e de controle do mercado educacional? Currículo sem Fronteiras, v. 18, n. 1, p. 103-128, 2018.
CARVALHO, E. J. G.; PERONI, V. M. V. A crescente influência do empresariado na elaboração e na execução de políticas públicas para a educação básica brasileira: um estudo sobre os Arranjos de Desenvolvimento da Educação (ADEs). In: ANPED-SUL, 12., 2018, Porto Alegre. Anais [...]. Porto Alegre: ANPED, 2018.
CHIZZOTTI, A. Pesquisa em ciências humanas e sociais. São Paulo: Cortez, 2006.
DALE, R. Globalização e educação: demonstrando a existência de uma “Cultura Educacional Mundial Comum” ou localizando uma “Agenda Globalmente Estruturada para a Educação”? Educação e Sociedade, Campinas, v. 25, n. 87, p. 423-460, maio/ago. 2004. DOI: https://doi.org/10.1590/S0101-73302004000200007
DUARTE, A. B. A Participação de escolas da Rede Escolar Pública Municipal de Santa Maria (RS) no Sistema de Avaliação da Educação Básica. 2014. 249 f. Dissertação (Mestrado em Educação) – Universidade Federal de Santa Maria, Santa Maria, 2014.
DUARTE, A. B.; GAMA, M. E. R. Sistema de avaliação da educação básica: potencialidades, problemas e desafios. Revista Eventos Pedagógicos, Sinop, v. 6, p. 115-129, 2015.
Available: http://sinop.unemat.br/projetos/revista/index.php/eventos/article/view/1702. Access: 10 July 2020.
FLICK, U. Qualidade na pesquisa qualitativa. Porto Alegre: Artmed, 2009.
FREITAS, L. C. Três teses sobre as reformas Empresariais da educação: perdendo a ingenuidade. Cad. Cedes, Campinas, v. 36, n. 99, p. 137-153, maio/ago. 2016. DOI: https://doi.org/10.1590/CC0101-32622016160502
MAINARDES, J.; GANDIN, L. “A abordagem do ciclo de políticas como epistemetodologia: usos no Brasil e contribuições para a pesquisa sobre políticas educacionais”. In: TELLO, C.; ALMEIDA, M. L. P. (Org.). Estudos epistemológicos no campo da pesquisa em política educacional. Campinas: Mercado das Letras, 2013. p. 143-168.
MAINARDES, J.; MARCONDES, M. I. Entrevista com Stephen J. Ball: um diálogo sobre justiça social, pesquisa e política educacional. Educação & Sociedade, Campinas, v. 30, n. 106, p. 303-318, 2009. Available: https://www.scielo.br/pdf/es/v30n106/v30n106a15.pdf.
Access: 10 July 2020.
MAINARDES, J.; TELLO, C. A pesquisa no campo da política educacional: Explorando diferentes níveis de abordagem e abstração. Arquivos Analíticos de Políticas Educativas, v. 24, n. 75, 2016. DOI: http://dx.doi.org/10.14507/epaa.24.2331
PLETSCH, M. D.; MENDES, G. M. L. Entre políticas e práticas: os desafios da educação inclusiva no Brasil. Archivos Analíticos de Políticas Educativas, v. 23, p. 1-12, 2015.
SOUSA, S. Z.; LOPES, V. V. Avaliação nas políticas educacionais atuais reitera desigualdades. Revista Adusp, São Paulo, n. 46, jan. 2010.
VERGER, A. A política educacional global: conceito e marcos teóricos chaves. Práxis Educativa, Ponta Grossa, v. 14, n. 1, p. 9-33, jan./abr. 2019 Available:
http://www.revistas2.uepg.br/index.php/praxiseducativa. Access: 10 July 2020.
VERGER, A.; LUBIENSKI, C.; STEINER-KHAMSI, G. (Eds.). World yearbook of
DUARTE-ANTUNES, A. B.; LUNARDI-MENDES, G. M. Large-scale evaluation policies in the context of Santa Catarina state: seeking local translations. Revista Ibero-Americana de Estudos em Educação, Araraquara, v. 16, n. esp. 2, p. 1077-1092, maio 2021. e-ISSN: 1982-
5587. DOI: https://doi.org/10.21723/riaee.v16iesp2.15116
