REFLEXIONES SOBRE UN MODELO DE ANALÍTICA ACADÉMICA EN INSTITUCIONES COMUNITARIAS DE EDUCACIÓN SUPERIOR: ESTUDIO PILOTO
REFLECTIONS ON ACADEMIC ANALIYTICS MODEL IN COMMUNITY HIGHER EDUCATION INSTITUTIONS: PILOT STUDY
Fábio Josende PAZ1 Silvio Cesar CAZELLA2
RESUMEN: La analítica académica es un área relativamente nueva que lleva la analítica y los conceptos de business intelligence a la educación superior. Este artículo tiene como objetivo reportar los resultados de un estudio piloto de la aplicación de un modelo de Analítica Académica en una Institución Comunitaria de Educación Superior. El método de investigación fue experimental y utilizó el análisis de contenido como metodología. Los resultados son parciales, pero prometedores, destacamos la optimización del tiempo, la calidad de la información presentada y la buena evaluación de los coordinadores en relación al apoyo a la toma de decisiones, ayudando al proceso de gestión.
PALABRAS CLAVE: Analítica académica. Educación superior. Gestión académica.
ABSTRACT: Academic Analytics is a relatively new area that brings analytics and business intelligence concepts to higher education. This article aims to report the results of a pilot study of the application an Academic Analytics model in a Community
1 Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre – RS – Brasil. Doutorando no Programa de Pós-Graduação em Informática na Educação (PPGIE). ORCID: https://orcid.org/0000-0003-0089-8984. E- mail: fabiojpaz@gmail.com
2 Universidade Federal de Ciências da Saúde de Porto Alegre (UFCSPA), Porto Alegre – RS – Brasil. Vice- Coordenador do Programa de Pós-Graduação em Tecnologias da Informação e Gestão em Saúde. Doutor em Ciência da Computação (UFRGS). ORCID: https://orcid.org/0000-0003-2343-893X E-mail: silvio.cazella@gmail.com
Institution of Higher Education. The research method was experimental and used content analysis as a methodology. The results are partial, but they are promising, we highlight the optimization of time, the quality of the information presented and the good evaluation of the coordinators in relation to support decision-making, helping the management process.
KEYWORDS: Academic analytics. Higher education. Academic management.
Em um contexto de expansão contínua da oferta de dados educacionais, emerge a necessidade por análise e tratamento destes dados para gerar inteligência aos gestores educacionais, entre eles o coordenador de curso, que segundo Cardim (2010), Argenta (2011) e Castro (2013) são figuras centrais no processo de gestão acadêmica, e que estes estão envolvidos diretamente com as áreas mercadológica, administrativa, operacional e financeira.
Nesse sentido, coordenar um curso de graduação não é tarefa simples, requer muita dedicação e conhecimento, além de um olhar aprofundado nas questões gerenciais e administrativas, que podem muitas vezes deixar o coordenador burocrático, para auxiliar nesse processo surge o termo Analítica Acadêmica, do inglês Academic Analytics, que segundo Campbell, Deblois, & Oblinger (2007) e Campbell & Oblinger (2007), é uma ferramenta que fornece os dados necessários para apoiar a tomada de decisões operacionais e financeiras e seu foco está na gestão de Instituições de Ensino Superior, utilizando indicadores e painéis sobre o desempenho das diversas áreas, uma combinação de análise administrativa e de aprendizado (BARNEVELD; ARNOLD; CAMPBELL, 2012; SIEMENS, 2012).
Filatro (2021) resume como o uso de macrodados originados dos sistemas de informação das instituições de ensino ou dos departamentos de educação corporativa para a tomada de decisão administrativa ou gerencial.
Assim, os sistemas com base em Analítica Acadêmica devem ser utilizados por administradores, gestores acadêmicos (reitores, pró-reitores, diretores de centro, coordenadores de cursos etc.), controles de qualidade, marketing, financiadores de IES para suporte e guia para ações (CAMPBELL; DEBLOIS; OBLINGER, 2007; CAMPBELL; OBLINGER, 2007; LONG; SIEMENS, 2011).
Nessa perspectiva, autores citam algumas vantagens significativas na utilização de Analítica Acadêmica na Gestão das IES: fluxo de conhecimento melhorado em toda a organização; benchmarking e outras comparações com outras faculdades/ universidades; a
percepção do sucesso dos alunos em relação a outros sistemas escolares; a redução de custos; a tomada de decisão fundamentada (maior conhecimento sobre fatores que impactam o sucesso de aprendizagem); a alocação mais eficaz de recursos (em consequência das informações precisas e atualizadas dentro da instituição); maior eficiência na economia de recursos financeiros e humanos; melhor planejamento de cursos; melhoria no processo de captação e permanência de estudantes; otimização no agendamento de salas de aula; maximizar as doações de ex-alunos; melhor organização e visualização dos dados; (ANDRADE; FERREIRA, 2016; BARNEVELD; ARNOLD; CAMPBELL, 2012; MAT et al., 2013; PALMER, 2013; PAZ; CAZELLA, 2019).
Dado o exposto, este artigo apresenta os resultados parciais/estudo piloto da avaliação de um modelo de Analítica Acadêmica aplicado em uma Instituição Comunitária de Ensino Superior, nesse sentido, pretende verificar se o modelo está auxiliando a obter informações mais rápidas, eficientes e relevantes para coordenadores de curso de graduação e apoiam a tomada de decisão a nível acadêmico/administrativo de um curso de graduação. Este artigo encontra-se organizado em 5 seções, incluindo a introdução. Na seção 2 apresenta-se de forma resumida o modelo de Analítica Acadêmica aplicado no estudo, a seguir, os materiais e métodos utilizados são apresentados. Na seção 4, os resultados do estudo piloto são discutidos. Por fim, apresentam-se as considerações finais, na seção 5, e as referências bibliográficas que suportam este estudo.
O presente estudo foi submetido e aprovado pelo comitê de ética e pesquisa (CEP) da Universidade Federal de Ciências da Saúde de Porto Alegre e foi registrado sob o número CAEE 35981820.9.0000.5345, na plataforma Brasil. Uma Autorização foi solicitada aos usuários envolvidos no estudo através do Termo de Consentimento Livre e Esclarecido (TCLE) para utilização dos dados obtidos e a confidencialidade dos dados coletados será garantida conforme legislação vigente. O referido projeto Não se enquadra nos termos da Resolução nº. 466/12 do CONEP e da lei nº. 11.794 de 8 de outubro de 2008, que regulam CEP e CONEP e está
O Modelo de Analítica Acadêmica aplicado no estudo piloto, foi concebido por (PAZ; CAZELLA, 2020) como apoio à coordenadores responsáveis pela gestão de cursos de graduação de Instituição Comunitárias de ensino Superior (ICES) com foco na melhoria da tomada de decisão.
Para tanto alguns requisitos foram elencados como imprescindíveis para o modelo, tais
como:
automatizar o processo de análise de dados;
utilizar Análise de Aprendizagem para facilitar o acesso dos dados a não especialistas na área;
que o framework tenha uma boa Usabilidade;
montar painéis (Dashboards) com os principais indicadores acadêmicos e administrativos que auxiliem a gestão de coordenadores de cursos de graduação de ICES;
e por fim, incluir questões culturais e da sociedade brasileira, além de incluir indicadores que auxiliem no processo das avaliações propostas pelo Instituto Nacional de Estudo e Pesquisas (INEP) do Ministério de Educação Superior (MEC).
Fonte: Paz e Cazella (2020)
A Figura 1 apresenta a arquitetura do modelo de Analítica Acadêmica proposto, o qual busca informações das fontes de dados: Sistema de Gestão Acadêmico, Sistema de controle do Fundo de Financiamento Estudantil (FIES) / Programa Universidade Para Todos (PROUNI) e da plataforma Moodle, que é o Ambiente Virtual de Aprendizagem na qual o estudo foi conduzido, o fluxo das atividades se inicia na extração dos dados destas origens.
Nessa etapa ocorrem as tarefas de extração, tratamento e limpeza destes dados e inserção na base do Data Warehouse (DW). Estes dados são então armazenados
temporariamente na Staging Area3 para auxiliar na transição para o DW, essa área é usada para o processamento de dados durante o processo de extração, transformação e carregamento. Um Data Warehouse pode ser visto com um depósito de dados utilizado para armazenar informações relativas as atividades de organização em banco de dados de forma consolidada, esse desenho favorece os relatórios, a análise de grandes volumes de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão. Assim, os dados são consultados por ferramentas e técnicas de Análise de Aprendizagem (Learning Analytics) para apresentação em formato de Dashboards (painéis visuais) com objetivo de gerar conhecimento relevante para os coordenadores de curso de graduação para que possam auxiliar nas tomadas de decisões acadêmicas e administrativas.
Na Figura 2, se visualiza a principal interface do modelo de Analítica Acadêmica, o painel do coordenador, para um maior aprofundamento sobre o embasamento teórico, metodológico e concepção do modelo sugere-se a leitura dos artigos Paz e Cazella (2019) e Paz e Cazella (2020).
Fonte: Paz e Cazella (2020)
3 A Staging Area é uma localização temporária onde os dados dos sistemas de origem são copiados. Desta forma, ao invés de acessar os dados diretamente da fonte, o processo de “transformação” pega os dados da Staging Area para tratar e entregar os dados. O benefício deste recurso é poder armazenar os dados em sua origem “bruta” para poder trabalhar em cima deles ao invés de ficar sempre tendo que acessar a Fonte de dados, melhorando a performance e segurança dos dados.
A Figura 2 apresenta a interface painel do coordenador, traz em destaque os números macros do curso de graduação selecionado, permitindo nesse painel escolher semestres anteriores e datas específicas para comparativo, importante salientar que os números e resultados apresentados são hipotéticos, utilizados apenas para demonstrar a funcionalidade do modelo. Neste painel estão os indicadores identificados como relevantes pelos coordenadores (PAZ; CAZELLA, 2019, 2020).
O lado A, traz informações sobre os alunos, professores, formandos, a evasão e possíveis concluintes do curso, além de apresentar um gráfico com a divisão dos alunos referente ao tipo de incentivo (bolsas etc.), na sequência informações financeiras como inadimplência, além de um gráfico de linhas onde apresenta-se os alunos ativos por semestre e as receitas brutas e líquidas geradas pelos mesmos, permitindo uma análise rápida do crescimento ou não do curso. Já no lado B, em destaque os resultados das últimas avaliações do ENADE e composição do CPC, os indicadores avaliados pelo INEP para cursos de graduação, ainda, estatísticas de acesso do Moodle, avaliações dos professores em suas disciplinas e os alunos infrequentes.
Esta pesquisa é parte de uma pesquisa de Doutorado e se origina por uma pesquisa exploratória, possui uma abordagem mista (quali-quantitativo), com análise de conteúdo como método de análise, que conforme Bardin (2016) consiste em um conjunto de técnicas de análise de comunicações, que tem como objetivo enriquecer a leitura dos dados coletados (corpus) e ultrapassar as incertezas, assim fixa-se apenas no conteúdo do texto, sem fazer relações além deste.
As etapas da técnica proposta por Bardin são organizadas em três fases: 1) pré-análise,
2) exploração do material e 3) tratamento dos resultados, inferência e interpretação.
A pré-análise é a fase em que se organiza o material a ser analisado com o objetivo de torná-lo operacional, sistematizando as ideias iniciais. Trata-se da organização propriamente dita por meio de quatro etapas: (a) leitura flutuante, que é o estabelecimento de contato com os documentos da coleta de dados, momento em que se começa a conhecer o texto; (b) escolha dos documentos, que consiste na demarcação do que será analisado; (c) formulação das hipóteses e dos objetivos; (d) referenciação dos índices e elaboração de indicadores, que envolve a determinação de indicadores por meio de recortes de texto nos documentos de análise (BARDIN, 2016).
A exploração do material constitui a segunda fase, que consiste na exploração do material com a definição de categorias (sistemas de codificação) e a identificação das unidades de registro (unidade de significação a codificar corresponde ao segmento de conteúdo a considerar como unidade base, visando à categorização e à contagem frequencial) e das unidades de contexto nos documentos (unidade de compreensão para codificar a unidade de registro que corresponde ao segmento da mensagem, a fim de compreender a significação exata da unidade de registro). A exploração do material consiste numa etapa importante, porque vai possibilitar ou não a riqueza das interpretações e inferências. Esta é a fase da descrição analítica, a qual diz respeito ao corpus (qualquer material textual coletado) submetido a um estudo aprofundado, orientado pelas hipóteses e referenciais teóricos. Dessa forma, a codificação, a classificação e a categorização são básicas nesta fase (BARDIN, 2016).
A terceira fase diz respeito ao tratamento dos resultados, inferência e interpretação. Esta etapa é destinada ao tratamento dos resultados; ocorre nela a condensação e o destaque das informações para análise, culminando nas interpretações inferenciais; é o momento da intuição, da análise reflexiva e crítica (BARDIN, 2016).
O público-alvo da pesquisa são os coordenadores de curso de graduação na modalidade presencial de uma Instituição Comunitária de Ensino Superior - ICES. Optou-se pela amostra por conveniência, na medida em que os sujeitos devem aceitar participar da pesquisa e utilizar o modelo de Analítica Acadêmica proposto, os amostrados concordaram com o Termo de Consentimento Livre e Esclarecido (TCLE).
Para avaliação do modelo foi utilizado o questionário avaliação do Modelo de Analítica Acadêmica, elaborado pelo pesquisador, contém 6 questões abertas e fechadas com opções de resposta do tipo escala Likert de cinco pontos, ainda foram utilizados os documentos e registros institucionais da instituição para auxiliar na triangulação dos dados obtidos no estudo. Entre os documentos a serem analisados podemos citar: relatórios dos cursos de graduação (alunos, trancamentos, cancelamentos, frequências nas disciplinas, inadimplência, indicadores já existentes, entre outros) e ao final foram realizadas entrevistas com coordenadores de cursos. Além disso, o estudo teve o objetivo de avaliar a Usabilidade do modelo, para tanto optou-se por utilizar um questionário que contemplasse os preceitos de Nielsen, o System Usabilty Scale - SUS (BROKE, 2013).
O Estudo foi aplicado para 04 coordenadores de curso de graduação da ICES, a apresentação do modelo e disponibilização para utilização aconteceu no dia 30 de março de 2021, o convite aos coordenadores respeitou o seguinte perfil: coordenadores que possuem
mais de um curso sob sua gestão e de áreas diferentes: um da área da saúde, um da tecnologia, uma das licenciaturas e um coordenador da área de gestão. Ainda, coordenadores que tivessem menos de 3 anos, entre 3 e 5 anos e mais de 5 anos de experiência em gestão de cursos de graduação.
Em primeiro lugar buscou-se avaliar a usabilidade e a satisfação dos usuários em utilizar o modelo de Analítica Acadêmica, para tanto foi utilizado o questionário System Usability Scale – SUS, aplicado no dia 28 de abril de 2021 para os 04 coordenadores, Broke (2013) afirma que o SUS possibilita uma avaliação subjetiva e simples ele é composto por 10 itens que mostra uma visão global do usuário em relação ao sistema, nele utiliza-se uma escala Likert (valores 1 – discordo plenamente até 5 – concordo plenamente). Para calcular o SUS score é necessário primeiramente verificar o valor escolhido pelo usuário na questão (de 1 a 5), nas questões ímpares subtrai-se um da escala escolhida, exemplo: usuário escolheu a escala 4 (4 - 1 = 3) sua resposta será 3, já nas questões pares calcula-se 5 menos a escala escolhida pelo usuário, exemplo usuário escolheu 4 (5 - 4 = 1) sua resposta será 1. Após todas as 10 respostas serão somadas e multiplica-se por 2,5 para obter o SUS score. Segundo Broke (2013) as pontuações do SUS tem uma gama de 0 a 100 sendo que menor que 51 é considerado ruim, maior que 71 é bom, maior que 86 é excelente e maior que 91 é o melhor alcançável, esta escala será utilizada para avaliar a usabilidade do sistema criado.
Fonte: Broke (2013)
Na figura 3, pode-se observar as respostas de todas os coordenadores participantes do estudo, onde a média obtida foi superior a 90 pontos na escala SUS, em que segundo Broke (2013), pode ser considerado um excelente resultado, pois pontuações acima de 86 representam experiências muito boas com alto índice de satisfação do usuário, resultado confirmado nas entrevistas individuais com os coordenadores, as quais serão apresentadas na sequência. Dando prosseguimento, foi realizada a aplicação do questionário e a entrevista com a intenção de validar os instrumentos de pesquisa e analisar dados preliminares do estudo, entre eles: se o modelo está auxiliando a obter informações mais rápidas e eficientes e se estas são importantes para este perfil de usuário, analisar se estas informações estão apoiando a tomada de decisão a nível acadêmico/administrativo de um curso de graduação.
Do Ponto de vista da Gestão Acadêmica, o Modelo de Analítica Acadêmica, apoia a tomada de decisões a nível de gestão de curso de graduação.
Do Ponto de vista da Gestão Acadêmica, e no Modelo de Analítica Acadêmica, as visualizações do sistema são adequadas e podem apoiar as decisões de gestão de um curso de graduação.
O Modelo de Analítica Acadêmica proposto aprimora recursos para apoio a gestão de cursos de graduação se comparado com outras soluções conhecidas e adotas pela minha IES.
Os coordenadores foram unanimes e concordam totalmente com estas afirmações. Isso demonstra que na percepção dos mesmos o sistema apoia seu processo de gestão. Ainda, os coordenadores foram questionados em relação as visualizações oferecidas no Modelo de Analítica Acadêmica, se estas apoiam a gestão acadêmica e a tomada de decisão para a gestão de um curso de graduação quanto a cada item apresentado na Tabela 1.
Item | DISCORDO TOTALMENTE | DISCORDO | INDIFERENTE | CONCORDO | CONCORDO TOTALMENTE |
Monitoramento da prevenção | 2 | 2 | |||
Monitoramento da evasão | 2 | 2 | |||
Monitoramento da Inadimplência | 1 | 3 | |||
Monitoramento de indicadores gerais de alunos | 1 | 3 | |||
Monitoramento do curso de graduação | 4 | ||||
Monitoramento de indicadores do MEC | 2 | 2 | |||
Monitoramento de indicadores financeiros básicos | 1 | 3 | |||
Identificação de necessidade de capacitação para o corpo docente | 1 | 2 | 1 | ||
Planejamento de cursos de graduação | 2 | 2 |
Fonte: Elaborado pelos autores
Destacamos na Tabela 1, a concordância ou concordância total por parte dos coordenadores em praticamente todos os itens com exceção da “identificação da necessidade de capacitação para o corpo docente”, tendo uma discordância. E destaque positivo para o item “monitorando do curso de graduação” onde foi unanime a concordância total. Para a contribuição e avaliação deste trabalho, buscando uma melhoria continuada, solicitou-se que os participantes expressassem suas observações e experiências com a utilização do modelo de Analítica Acadêmica, por meio de relatos baseados em seis questionamentos que podem ser vistos no apêndice D, portanto, foram realizadas entrevistas individuais no período de 30/04/2021 até 03/05/2021, para a análise das entrevistas utilizou-se a Análise de Conteúdo seguindo a metodologia de Bardin (2016), a qual já foi descrita na seção Materiais e métodos.
Etapa 1: Pré Análise ou Ordenação dos dados: as entrevistas foram transcritas na íntegra, logo após foi realizada uma leitura flutuante de todo o material para descarte de algum texto não oportuno a pesquisa, logo após foi realizada uma leitura exaustiva de todo o conteúdo e gerado uma nuvem de palavras para identificação dos termos mais frequentes utilizados pelos entrevistados (FIGURA 4), assim foi possível determinar as ideias centrais que serão analisadas a posterior.
Fonte: Elaborado pelos autores
A Figura 4 foi obtida com o Voyant Tools na ferramenta Cirrus e reforça graficamente algumas descobertas encontradas neste estudo. Alguns termos merecem destaque porque estão diretamente associados com os objetivos desta pesquisa: gestão, dados, ferramenta(s), informações ou informação, tempo, controle, consigo e consegue, importante, otimizar, visão e visual, equilíbrio, financeira. Esses termos estão ligados a professor(es), aluno(s), coordenadores, curso(s). Destacamos também os termos relacionados a indicadores: ENADE, matrículas, rematrículas, turma, concluintes, frequência, Moodle, evadidos, inadimplentes.
Etapa 2: Exploração do material: Nessa etapa foram listadas as ideias centrais, pretendeu-se codificar (salientar, classificar, agregar e categorizar) trechos da entrevista transcrita, que passamos a apresentar em forma de tabela (Tabela 2). Na coluna categoria foram agregados os três grandes temas da entrevista:
Auxílio no controle e gestão do curso;
Otimizar o tempo de gestão;
Os indicadores elencados trouxeram informações relevantes.
Na coluna Unidade de Registo encontram-se os fragmentos de texto que se tomam por indicativo de uma característica (categoria). Por fim, na coluna Unidade de Contexto encontram-se os fragmentos do texto que englobam a unidade de registo e que, assim sendo, contextualizam a respectiva unidade de registo no decurso da entrevista.
Etapa 3: o tratamento dos resultados, inferência e interpretação: apresentamos os principais pontos e destacamos as informações relevantes para o objetivo da pesquisa, além de uma análise reflexiva.
Categoria | Unidade de registro | Unidade de contexto |
Auxílio no controle e gestão do curso | Gestão | “ferramenta super útil para a gestão, antes eu tinha que buscar dados em vários locais e sistemas e também de forma desorganizada...”; “eu acabava fazendo a gestão corretiva e não preventiva, agora eu consigo fazer uma análise preventiva”; “...só vem a somar, só vem para melhorar a forma da gente fazer gestão..., acaba sendo uma ferramenta de controle, muito controle” ; “ferramenta para usar na gestão do curso diariamente”; “ajuda por que tu tens uma visão individual de cada aluno, ajuda um monte”; “eu tenho um panorama geral e sei onde tenho que melhorar”; “O sistema tem uma visão ampla do curso que no SEGUE (sistema acadêmico) eu não tenho, no SEGUE para ter um relatório é muito difícil....está tudo prontinho, tem relatório de tudo, e ai tu já consegue fazer gestão, porque é uma gestão macro para o micro, não preciso entrar em 10 abas e sistemas para resolver uma coisa, está tudo ali”; “Poder cruzar os dados esses indicadores são muito importantes”; “ |
Controle | “Eu consigo olhar o curso como ele está e consigo tomar decisões e fazer até um planejamento com esses dados que estão lá bem mais organizados”; “está toda integrada com outros sistemas da IES”; “o curso está sendo monitorado”; “Defendi muito o uso de ferramentas de controle, principalmente no meio remoto”; “era difícil ter controle por que antes era tudo espalhado. não tinha como ter o acesso dos professores ao Moodle”; “nós nunca tivemos um instrumento que nós pudéssemos ver num local só informações acadêmicas reais”; “os dados em um só lugar”; “eu tenho uma noção dos alunos que estão e dos que vão sair, coisa que eu não conseguia”; “muito importante acompanhamento visual e individual do aluno, é fundamental ” | |
Otimizar o tempo de gestão do coordenador | Otimizar o Tempo | “Informações em tempo real”; “o maior número de dados possível pra gente otimizar o nosso tempo de busca e de ver onde estão os gargalos das coordenações” “permite otimizar o processo de controle”; “agente perdia tempo né, não tem comparação tu abrir e estar tudo na tua frente pronto, visual”; “antes fazia essa pesquisa uma vez no semestre e olha lá, agora vou estar com os dados todos na minha frente”; “esse tipo de programa facilitou deu dinamismo”; “eu não ia atrás por que dava muito trabalho” “essa ferramenta é ágil”; “como vai otimizar o tempo, meu Deus do céu, tempo, tempo, tempo, por que hoje é o que mais me pega... Otimizar tempo, hoje é uma das dificuldades que eu tenho” |
Visão ou visual | “muito bom, interface muito boa... essa parte da intuitividade achei joia, é muito tranquilo de usar, não tem como ser mais fácil”; “é tudo visual tu já olha e está tudo na tua frente”; “o layout dele é muito fácil de usar, qualquer informação tu tá a 2 clics- visual”; “layout dele é muito simples..., é muito bem distribuído, intuitivo também”; “Nesse sistema eu consigo ter uma visão do aluno e do conjunto isso é muito importante...”; “muito visual”; “é muito bom ver gráficos” | |
Os indicadores elencados trouxeram informações relevantes | Administrativos e acadêmicos | “Me chama a atenção a informação dos evadidos, aqueles alunos que realmente não se rematricularam..., e tu saber esse número identificado, saber quem é”; “consigo ver que tenho 17 alunos por turma”; “esse guia de indicador é uma coisa que nunca tivemos dentro da gestão”; “infrequência do aluno no Moodle eu não tinha”; “os alunos não renovados é importantíssima essa informação de termos agora na virada do semestre”; “consigo ver os alunos que vão sair..”; “matrículas corretas, bater com as inadimplências, isso para mim é muito importante, eu não tinha acesso de inadimplência...” “Indicações ENADE, eu vi que agente melhorou, para mim foi incrível enxergar isso”; |
Financeiro | “não tinha essa informação antes”; “tinha a informação apenas individualizada, tinha que entrar aluno por aluno e fazer cálculos”; “informação superimportante”; “super nova”; “consegue ter visão do financeiro”; “...informações financeiras muito importantes, por ex. dívida alunos, inadimplentes..”; “Achei legal a receita eu gosto disso, achei legal que a inadimplência do meu curso é bem baixa, e tem bastante pagante...” |
Fonte: Elaborado pelos autores
O quadro sinóptico (Tabela 2) acima apresentado, construído a partir dos objetivos traçados, das perguntas lançadas pelo entrevistador e de recortes do discurso dos entrevistados, leva-nos à seguinte análise dos dados:
Relativo ao “Auxílio no controle e gestão do curso” é possível perceber um número significativo de inferências positivas na Tabela 2, os coordenadores evidenciaram o quanto o modelo os auxiliaram em suas rotinas de gestão do curso de graduação, além de permitir centralizar todas as informações consideradas importantes em um só local, podendo visualizar desde o macro até o micro da informação. Destacamos que as informações, antes do modelo de Analítica Acadêmica, eram muito difíceis de se conseguir e na maioria das vezes não eram
buscadas, por falta de tempo e conhecimento, assim, o modelo permite planejamento e monitoramento constante, gerando atitudes proativas de gestão.
Quanto a segunda categoria “Otimizar o tempo de gestão do coordenador”, é reconhecida de forma significativa nas transcrições da unidade de contexto da Tabela 2, a agilidade e otimização do tempo para atividades rotineiras e de gestão do curso são perceptíveis, o visual fácil e integrado, com informações relevantes, gera ganho de tempo na rotina tão complexa de um coordenador de curso de graduação. Destacamos o trecho de uma resposta “antes fazia essa pesquisa uma vez no semestre e olha lá, agora vou estar com os dados todos na minha frente..., esse tipo de programa facilitou deu dinamismo..., eu não ia atrás por que dava muito trabalho”.
Quanto a percepção se “Os indicadores elencados trouxeram informações relevantes”, o entrevistado não perguntou diretamente, mas o que se infere nos dados é de que o modelo permitiu análises relevantes que não eram realizadas pelos coordenadores, nesse sentido, os coordenadores destacaram principalmente os indicadores financeiros, incluindo os alunos inadimplentes, dos quais não tinham acesso, ainda, destacaram a importância de terem informações sobre o ENADE, alunos não renovados, presencialidades, informações de acessos do Moodle, professores, entre outros. Percebe-se novamente que o modelo pode auxiliar com indicadores relevantes para auxiliar no processo de gestão do curso de graduação.
Em relação a sugestão de melhorias foram elencadas algumas informações que para alguns coordenadores seriam complementares como: Detalhar um pouco mais o financeiro, com informações das despesas do curso, ainda a informação do ponto de equilíbrio, podendo ser por número de alunos por turma, foi também sugerido um alerta ENADE quando o aluno tiver 80% do curso concluído, nesse item comunicamos ao coordenador que o indicador “concluintes” já tem essa informação. Além disso, foram propostas melhorias que são processos da ICES como: Gestão das atividades complementares dos alunos, local para inserir mais facilmente as atividades complementares e Digitação e arquivo das atas de reuniões do Núcleo Docente Estruturante e colegiado de curso, essas sugestões foram repassadas a instituição para análise de seus processos.
Também é importante registrar que os coordenadores não relataram dificuldades na utilização ou erros do sistema, o que evidencia o trabalho de metodologia, arquitetura, desenvolvimento e testes realizados no modelo de Analítica acadêmica.
Apesar de ser um experimento piloto com resultados parciais, que provocam novas análises e melhorias no modelo, percebe-se que os resultados são promissores, principalmente no que tange a otimização do tempo e melhor qualidade na visualização das informações relevantes, auxiliando o processo de gestão e controle do curso de graduação. Como sugestão para trabalhos futuros aprimorar o modelo para uma avaliação com mais atores e em um período maior, gerando assim mais insumos para uma análise mais aprofundada da importância do modelo de Analítica Acadêmica para os coordenadores de curso. E, por fim, como limitações do estudo cita-se o tamanho da amostra dos respondentes que contribuíram com este estudo, não sendo possível identificar o universo de coordenadores da instituição. Por ser um estudo exploratório também se apresentam limitações e, por este motivo, seus resultados revelam a realidade de um grupo pequeno de coordenadores da ICES investigada e não da sua totalidade.
ARGENTA, C. A. L. Gestão de instituições de ensino superior privadas e as competências necessárias aos coordenadores de curso: desafios e sugestões. 2011. 193 f. Tese (Doutorado em Educação: Currículo) – Pontifícia Universidade Católica de São Paulo, São Paulo, 2011.
BARDIN, L. Análise de conteúdo. Trad. L. de A. Reto & A. Pinheiro. São Paulo: Edições 70. 2016.
BARNEVELD, A. V.; ARNOLD, K. E.; CAMPBELL, J. P. Analytics in Higher Education: Establishing a Common Language. EDUCASE, 2012. Disponível em: https://library.educause.edu/resources/2012/1/analytics-in-higher-education-establishing-a- common-language. Acesso em: 10 abr. 2019.
BROKE, JOHN. SUS: A retrospective. Journal of Usability Studies, v. 8, p. 29-40, fev. 2013.
CAMPBELL, J.; OBLINGER, D. Academic Analytics. Educause White Paper, p. 1-24, 2007.
CAMPBELL, J.; DEBLOIS, P.; OBLINGER, D. Academic Analytics: A New Tool for a New Era. Educause Review, v. 42, p. 40-57, 2007.
CARDIM, P. A. G. Os caminhos percorridos na gestão educacional e as suas tendências. In: COLOMBO, S. S. et al. (org.). Nos bastidores da educação brasileira: a gestão vista por dentro. Porto Alegre, RS: Artmed, 2010.
CASTRO, A. Gestão financeira: a sustentabilidade financeira e a interação acadêmica nas instituições de ensino superior. In: COLOMBO, S. S. (org.). Gestão Universitária os caminhos para a excelência. Porto Alegre, RS: Penso, 2013.
FILATRO, A. Data Science na educação: presencial, a distância e corporativa. São Paulo: Saraiva Educação, 2021.
PAZ, F. J.; CAZELLA, S. C. Academic analytics: a systematic review of literature.
PAZ, F. J.; CAZELLA, S. C. Solução de Analítica Acadêmica focado em Instituições Comunitárias de Ensino Superior. Informática na Educação: teoria & prática, Porto Alegre, v. 23, n. 2, p. 195-215, maio/ago. 2020.
SIEMENS, G. Learning analytics: envisioning a research discipline and a domain of practice.
In: INTERNATIONAL CONFERENCE ON LEARNING ANALYTICS AND
KNOWLEDGE, 2., 2012, Vancouver. Proceedings […]. Vancouver, BC, Canada, 2012.
PAZ, F. J.; CAZELLA, S. C. Reflexões sobre um modelo de Analítica Acadêmica em instituições comunitárias de ensino superior: estudo piloto. Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2178-2192, set./dez. 2021. e-ISSN:1519-
9029. DOI: https://doi.org/10.22633/rpge.v25i3.15460
REFLEXÕES SOBRE UM MODELO DE ANALÍTICA ACADÊMICA EM INSTITUIÇÕES COMUNITÁRIAS DE ENSINO SUPERIOR: ESTUDO PILOTO
REFLEXIONES SOBRE UN MODELO DE ANALÍTICA ACADÉMICA EN INSTITUCIONES COMUNITARIAS DE EDUCACIÓN SUPERIOR: ESTUDIO PILOTO
Fábio Josende PAZ1 Silvio Cesar CAZELLA2
RESUMO: Analítica Acadêmica é uma área relativamente nova que traz conceitos de análise e business intelligence para o ensino superior. Este artigo tem por objetivo reportar os resultados de um estudo piloto da aplicação de um modelo de Analítica Acadêmica em um Instituição Comunitária de Ensino Superior. O método de pesquisa foi a experimental e utilizada a análise de conteúdo como metodologia. Os resultados são parciais, mas apresentam-se promissores, destacamos a otimização do tempo, qualidade nas informações apresentadas e a boa avaliação dos coordenadores em relação ao apoio a tomada de decisão, auxiliando o processo de gestão.
PALAVRAS-CHAVE: Analítica acadêmica. Ensino superior. Gestão acadêmica.
RESUMEN: La analítica académica es un área relativamente nueva que lleva la analítica y los conceptos de business intelligence a la educación superior. Este artículo tiene como objetivo reportar los resultados de un estudio piloto de la aplicación de un modelo de Analítica Académica en una Institución Comunitaria de Educación Superior. El método de
1 Federal University of Rio Grande do Sul (UFRGS), Porto Alegre – RS – Brazil. Doctoral candidate in the Postgraduate Program in Informatics in Education (PPGIE). ORCID: https://orcid.org/0000-0003-0089-8984. E- mail: fabiojpaz@gmail.com
2 Federal University of Ciências da Saúde de Porto Alegre (UFCSPA), Porto Alegre – RS – Brazil. Vice- Coordinator of the Postgraduate Program in Information Technologies and Health Management. Doctor in Computer Science (UFRGS). ORCID: https://orcid.org/0000-0003-2343-893X. E-mail: silvio.cazella@gmail.com
investigación fue experimental y utilizó el análises de contenido como metodología. Los resultados son parciales, pero prometedores, destacamos la optimización del tiempo, la calidad de la información presentada y la buena evaluación de los coordinadores en relación al apoyo a la toma de decisiones, ayudando al proceso de gestión.
PALABRAS CLAVE: Analítica académica. Educación superior. Gestión académica.
In a context of continuous expansion of the offer of educational data, the need for analysis and treatment of these data emerges to generate intelligence for educational managers, among them the course coordinator, who according to Cardim (2010), Argenta (2011) and Castro (2013 ) are central figures in the academic management process, and that they are directly involved with the marketing, administrative, operational and financial areas.
In this sense, coordinating an undergraduate course is not a simple task, it requires a lot of dedication and knowledge, in addition to an in-depth look at managerial and administrative issues, which can often leave the bureaucratic coordinator. English Academic Analytics, which according to Campbell, Deblois, and Oblinger (2007) and Campbell and Oblinger (2007), is a tool that provides the necessary data to support operational and financial decision-making and its focus is on the management of Superior Education Institutions, using indicators and panels on the performance of the different areas, a combination of administrative analysis and learning (BARNEVELD; ARNOLD; CAMPBELL, 2012; SIEMENS, 2012).
Filatro (2021) summarizes how the use of macrodata originated from the information systems of educational institutions or corporate education departments for administrative or managerial decision making.
Thus, systems based on Academic Analytics should be used by administrators, academic managers (deans, pro-deans, center directors, course coordinators, etc.), quality controls, marketing, HEI funders for support and guidance for actions (CAMPBELL; DEBLOIS; OBLINGER, 2007; CAMPBELL; OBLINGER, 2007; LONG; SIEMENS, 2011).
From this perspective, authors cite some significant advantages in the use of Academic Analytics in the Management of HEIs: improved knowledge flow throughout the organization; benchmarking and other comparisons with other colleges/universities; the perception of student success in relation to other school systems; cost reduction; informed decision making (greater knowledge about factors that impact learning success); more
effective allocation of resources (as a result of accurate and up-to-date information within the institution); greater efficiency in saving financial and human resources; better course planning; improvement in the process of attracting and retaining students; optimization in classroom scheduling; maximize alumni donations; better organization and visualization of data; (ANDRADE; FERREIRA, 2016; BARNEVELD; ARNOLD; CAMPBELL, 2012; MAT et al., 2013; PALMER, 2013; PAZ; CAZELLA, 2019).
Given the above, this article presents the partial results/pilot study of the evaluation of an Academic Analytics model applied in a Community Institution of Higher Education, in this sense, it intends to verify if the model is helping to obtain faster, more efficient and relevant information for undergraduate course coordinators and support decision-making at the academic/administrative level of an undergraduate course. This article is organized into 5 sections, including the introduction. In section 2, the Academic Analytics model applied in the study is briefly presented, then the materials and methods used are presented. In section 4, the results of the pilot study are discussed. Finally, we present the final considerations, in section 5, and the bibliographic references that support this study.
The present study was submitted and approved by the Ethics and Research Committee (CEP) of the Federal University of Health Sciences of Porto Alegre and was registered under the number CAEE 35981820.9.0000.5345, on the Brazil platform. An Authorization was requested from the users involved in the study through the Free and Informed Consent Term (ICF) for the use of the data obtained and the confidentiality of the data collected will be guaranteed in accordance with current legislation. Said project does not fall under the terms of Resolution no. 466/12 of CONEP and law no. 11,794 of 8 October 2008, which regulate CEP and CONEP and is
The Academic Analytics Model applied in the pilot study was designed by (PAZ; CAZELLA, 2020) to support coordinators responsible for managing undergraduate courses at Community Higher Education Institutions (CHEI) with a focus on improving decision- making.
For that, some requirements were listed as essential for the model, such as:
automate the data analysis process;
use Learning Analytics to facilitate data access to non-experts in the field;
that the framework has a good Usability;
assemble panels (Dashboards) with the main academic and administrative indicators that help the management of coordinators of undergraduate courses at CHEI;
and finally, include cultural and Brazilian society issues, in addition to including indicators that help in the process of evaluations proposed by the National Institute of Study and Research (INEP) of the Ministry of Higher Education (MEC).
Source: Paz and Cazella (2020)
Figure 1 shows the architecture of the proposed Academic Analytics model, which seeks information from data sources: Academic Management System, Student Financing Fund (FIES) / University for All Program (PROUNI) and the Moodle platform , which is the Virtual Learning Environment in which the study was conducted, the flow of activities begins with the extraction of data from these sources.
At this stage, the tasks of extracting, treating and cleaning this data and inserting it into the Data Warehouse (DW) base take place. This data is then temporarily stored in the Staging Area3 to assist in the transition to the DW, this area is used for data processing during the extraction, transformation and loading process. A Data Warehouse can be seen as a data
3 The Staging Area is a temporary location where data from source systems is copied. In this way, instead of accessing the data directly from the source, the “transformation” process takes the data from the Staging Area to process and deliver the data. The benefit of this feature is being able to store the data in its “raw” source to be able to work on it instead of always having to access the Data Source, improving performance and data security.
warehouse used to store information related to the organization's activities in a consolidated database, this design favors reporting, analysis of large volumes of data and obtaining strategic information that can facilitate decision making. Thus, the data are consulted by Learning Analysis tools and techniques (Learning Analytics) for presentation in Dashboards format (visual panels) in order to generate relevant knowledge for undergraduate course coordinators so that they can assist in academic and administrative decision making.
In Figure 2, the main interface of the Academic Analytics model, the coordinator's panel, is visualized. Cazella (2020).
Source: Paz and Cazella (2020)
Figure 2 presents the coordinator's panel interface, highlighting the macro numbers of the selected undergraduate course, allowing in this panel to choose previous semesters and specific dates for comparison, it is important to note that the numbers and results presented are hypothetical, used only to demonstrate the model functionality. In this panel are the indicators identified as relevant by the coordinators (PAZ; CAZELLA, 2019, 2020).
Side A brings information about students, teachers, trainees, dropout and possible course graduates, in addition to presenting a chart with the division of students regarding the type of incentive (scholarships, etc.), followed by financial information such as default, in addition to a line chart showing the active students by semester and the gross and net income
generated by them, allowing a quick analysis of the growth or not of the course. On side B, we highlight the results of the latest ENADE assessments and the composition of the CPC, the indicators evaluated by INEP for undergraduate courses, as well as Moodle access statistics, assessments by teachers in their disciplines and infrequent students.
This research is part of a Doctoral research and originates from an exploratory research, has a mixed approach (quali-quantitative), with content analysis as an analysis method, which according to Bardin (2016) consists of a set of analysis techniques communications, which aims to enrich the reading of the collected data (corpus) and overcome uncertainties, thus focusing only on the content of the text, without making relationships beyond this.
The steps of the technique proposed by Bardin are organized into three phases: 1) pre- analysis, 2) exploration of the material and 3) treatment of results, inference and interpretation.
Pre-analysis is the phase in which the material to be analyzed is organized with the objective of making it operational, systematizing the initial ideas. It is about the organization itself through four stages: (a) floating reading, which is the establishment of contact with the data collection documents, moment in which the text begins to be known; (b) choice of documents, which consists of demarcating what will be analyzed; (c) formulation of hypotheses and objectives; (d) referencing indexes and elaboration of indicators, which involves the determination of indicators through text clippings in the analysis documents (BARDIN, 2016).
The exploration of the material constitutes the second phase, which consists of the exploration of the material with the definition of categories (coding systems) and the identification of the registration units (unit of meaning to be coded corresponds to the segment of content to be considered as a base unit, aiming at to categorization and frequency counting) and of the units of context in the documents (unit of understanding to encode the unit of record that corresponds to the segment of the message, in order to understand the exact meaning of the unit of record). The exploration of the material is an important step, because it will allow or not the richness of interpretations and inferences. This is the analytical description phase, which concerns the corpus (any textual material collected) submitted to an
in-depth study, guided by hypotheses and theoretical references. Thus, coding, classification and categorization are basic at this stage (BARDIN, 2016).
The third phase concerns the treatment of results, inference and interpretation. This step is intended for processing the results; there is the condensation and highlighting of information for analysis, culminating in inferential interpretations; it is the moment of intuition, of reflective and critical analysis (BARDIN, 2016).
The target audience of the research are the undergraduate course coordinators in the face-to-face modality of a Community Institution of Higher Education - CHEI. A convenience sample was chosen, as the subjects must accept to participate in the research and use the proposed Academic Analytics model, the sampled individuals agreed to the Free and Informed Consent Term (ICF).
To evaluate the model, the evaluation questionnaire of the Academic Analytics Model was used, prepared by the researcher, it contains 6 open and closed questions with five-point Likert scale response options, the institution's institutional documents and records were also used to assist in the triangulation of the data obtained in the study. Among the documents to be analyzed, we can mention: reports of undergraduate courses (students, suspensions, cancellations, frequency in disciplines, default, existing indicators, among others) and at the end, interviews were carried out with course coordinators. In addition, the study aimed to evaluate the usability of the model, for which we chose to use a questionnaire that contemplated Nielsen's precepts, the System Usabilty Scale - SUS (BROKE, 2013).
The Study was applied to 04 ICES undergraduate course coordinators, the presentation of the model and availability for use took place on 30 March 2021, the invitation to the coordinators respected the following profile: coordinators who have more than one course under their management and from different areas: one in the health area, one in technology, one in the teaching degree programs and a coordinator in the management area. Also, coordinators who had less than 3 years, between 3 and 5 years and more than 5 years of experience in management of undergraduate courses.
First, we sought to evaluate the usability and satisfaction of users in using the Academic Analytics model, for which the System Usability Scale – SUS questionnaire was used, applied on 28 April 2021 to the 04 coordinators, Broke (2013) states that the SUS allows a subjective and simple assessment, it is composed of 10 items that show a global view
of the user in relation to the system, using a Likert scale (values 1 – strongly disagree to 5 – strongly agree). To calculate the SUS score, it is first necessary to verify the value chosen by the user in the question (from 1 to 5), in the odd questions, one is subtracted from the chosen scale, example: user chose scale 4 (4 - 1 = 3) his answer will be 3, in the even questions, 5 is calculated minus the scale chosen by the user, example user chose 4 (5 - 4 = 1) his answer will be 1. After all 10 answers will be added and multiplied by 2.5 to obtain the SUS score. According to Broke (2013) the SUS scores have a range from 0 to 100, where less than 51 is considered bad, greater than 71 is good, greater than 86 is excellent and greater than 91 is the best achievable, this scale will be used to evaluate the usability of the created system.
Source: Broke (2013)
Figure 3 shows the responses of all coordinators participating in the study, where the average obtained was greater than 90 points on the SUS scale, which, according to Broke (2013), can be considered an excellent result, as scores above 86 represent very good experiences with a high level of user satisfaction, a result confirmed in the individual interviews with the coordinators, which will be presented next. Continuing, the application of the questionnaire and the interview were carried out with the intention of validating the research instruments and analyzing preliminary data of the study, among them: if the model is helping to obtain faster and more efficient information and if these are important for this user profile, analyze whether this information is supporting decision-making at the academic/administrative level of an undergraduate course.
in course coordination; Coordinator c: 18 years at the institution, PhD, 8 years in the coordination of courses, coordinates more than one undergraduate course on campuses outside the headquarters; Coordinator d: 5 years at the institution, PhD, 2 years coordinating undergraduate courses, coordinates more than one course.
From the Academic Management Point of View, the Academic Analytics Model supports decision-making at the undergraduate course management level.
From the Academic Management Point of View, and in the Academic Analytics Model, the system views are adequate and can support the management decisions of an undergraduate course.
The proposed Academic Analytics Model improves resources to support the management of undergraduate courses compared to other solutions known and adopted by my HEI.
The coordinators were unanimous and fully agree with these statements. This demonstrates that in their perception the system supports their management process. Also, the coordinators were asked about the views offered in the Academic Analytics Model, whether they support academic management and decision-making for the management of an undergraduate course regarding each item presented in Table 1.
Item | TOTALLY DISAGREE | DISAGREE | INDIFFERENT | AGREE | TOTALLY AGREE |
Prevention monitoring | 2 | 2 | |||
Evasion monitoring | 2 | 2 | |||
Default Monitoring | 1 | 3 | |||
Monitoring of general student indicators | 1 | 3 | |||
Undergraduate course monitoring | 4 | ||||
Monitoring of MEC indicators | 2 | 2 | |||
Monitoring of basic financial indicators | 1 | 3 | |||
Identification of the need for formation for the faculty | 1 | 2 | 1 | ||
Undergraduate course planning | 2 | 2 |
Source: Devised by the authors
In Table 1, we highlight the agreement or total agreement on the part of the coordinators on practically all items, with the exception of “identification of the need for formation for the faculty”, with one disagreement. A positive highlight was the item
“monitoring the undergraduate course” where total agreement was unanimous. For the contribution and evaluation of this work, seeking continuous improvement, participants were asked to express their observations and experiences with the use of the Academic Analytics model, through reports based on six questions that can be seen in Appendix D, therefore , individual interviews were carried out from 30/04/2021 to 03/05/2021, for the analysis of the interviews, Content Analysis was used following the methodology of Bardin (2016), which has already been described in the Materials and methods.
Stage 1: Pre-Analysis or Ordering of the data: the interviews were transcribed in full, then a floating reading of all the material was carried out to discard any text not suitable for the research, then an exhaustive reading of all the content was carried out and generated a cloud of words to identify the most frequent terms used by respondents (FIGURE 4), thus it was possible to determine the central ideas that will be analyzed later.
Source: Devised by the authors
Figure 4 was obtained with Voyant Tools in the Cirrus tool and graphically reinforces some findings found in this study. Some terms deserve to be highlighted because they are directly associated with the objectives of this research: management, data, tool(s), information, time, control, capability, importantly, to optimize, vision and visual, balance, financial. These terms are linked to teacher(s), student(s), coordinators, course(s) (gestão, dados, ferramenta(s), informações ou informação, tempo, controle, consigo e consegue, importante, otimizar, visão e visual, equilíbrio, financeira). We also highlight the terms related to indicators: ENADE, enrollments, re-enrollments, class, graduates, attendance,
Moodle, dropouts, defaulters (ENADE, matrículas, rematrículas, turma, concluintes, frequência, Moodle, evadidos, inadimplentes).
Stage 2: Exploration of the material: In this stage, the central ideas were listed, it was intended to codify (highlight, classify, aggregate and categorize) excerpts from the transcribed interview, which we now present in table form (Table 2). In the category column, the three main themes of the interview were added:
Assistance in the control and management of the course;
Optimize management time;
The listed indicators brought relevant information.
In the column Unit of Record are the text fragments that are taken as indicative of a characteristic (category). Finally, in the Context Unit column are the text fragments that encompass the recording unit and which, therefore, contextualize the respective recording unit during the interview.
Step 3: treatment of results, inference and interpretation: we present the main points and highlight the information relevant to the research objective, in addition to a reflective analysis.
Category | Registration unit | Context unit |
Assistance in the control and management of the course | Management | “super useful tool for management, before I had to search for data in several places and systems and also in a disorganized way...”; “I ended up doing corrective and not preventive management, now I can do a preventive analysis”; “...it only adds up, it only comes to improve the way we manage..., it ends up being a control tool, a lot of control” ; “tool to use in daily course management”; “it helps because you have an individual view of each student, it helps a lot”; “I have an overview and I know where I have to improve”; “The system has a broad view of the course that I don't have in SEGUE (academic system), in SEGUE it's very difficult to have a report... it's all ready, there's a report on everything, and then you can manage, because it's macro management for the micro, I don't need to go into 10 tabs and systems to solve something, it's all there”; “Being able to cross-reference these indicators are very important”; " |
Control | “I can look at the course as it is and I can make decisions and even make a plan with this data that is much more organized there”; “it is fully integrated with other HEI systems”; “the course is being monitored”; “I strongly defended the use of control tools, especially in remote environments”; “it was difficult to have control because before everything was spread out.... there was no way to have access to Moodle for teachers”; “we never had an instrument that we could see in one place only real academic information”; “the data in one place”; “I have an idea of the students who are and who are going to leave, which I was not able to do”; “very important visual and individual monitoring of the student, it is essential ” | |
Optimize coordinator management time | Optimize Time | “Real-time information”; “the largest possible amount of data for us to optimize our search time and to see where the coordination bottlenecks are” “allows us to optimize the control process”; “we used to waste time, right, there's no comparison when you open it and everything is in front of you, ready, visual”; “I used to do this research once a semester and look, now I'll have all the data in front of me”; “this type of program facilitated, gave dynamism”; “I didn't go after it because it was a lot of work” “this tool is agile”; “how are you going to optimize time, oh my God, time, time, time, because today is the thing that gets me the most... Optimizing time, today is one of the difficulties I have” |
Vision or visual | “very nice, very nice interface... I found this part of the intuitiveness to be a jewel, it's very easy to use, it couldn't be easier”; “it's all visual, you already look and it's all in front of you”; “its layout is very easy to use, any information is 2 clicks away”; “its layout is very simple..., it is very well distributed, also intuitive”; “In this system, I can have a vision of the student |
and the whole, this is very important...”; “very visual”; “it's great to see graphics” | ||
“I am struck by the information on dropouts, those students who have not really re-enrolled | ||
themselves..., and you know this number, identified, knowing who it is”; “I can see that I | ||
have 17 students per class”; “this indicator guide is something that we never had within the | ||
administrative and | management”; “student infrequency in Moodle I didn't have”; “students not renewed, this | |
The listed indicators brought relevant information | academic | information we have now at the turn of the semester is very important”; “I can see the students who are going to leave...”; “correct enrollments, compare with defaults, this is very important to me, I didn't have access to default...” “ENADE indications, I saw that the agent improved, for me it was amazing to see that”; |
“I didn't have this information before”; “there was only individualized information, I had to | ||
enter student by student and do calculations”; “super important information”; "super new"; “it | ||
Financial | is possible have a view of finance”; “...very important financial information, e.g.. student | |
debt, defaulters...”; “I thought the recipe was cool, I like it, I thought it was cool that the | ||
default rate for my course is very low, and there are a lot of payers...” |
Source: Devised by the authors (our translation)
The synoptic table (Table 2) presented above, built from the outlined objectives, the questions asked by the interviewer and excerpts from the interviewees' speech, leads us to the following data analysis:
Regarding “Aid in the control and management of the course”, it is possible to perceive a significant number of positive inferences in Table 2, the coordinators showed how much the model helped them in their undergraduate course management routines, in addition to allowing them to centralize all the information considered important in one place, being able to visualize from the macro to the micro of the information. We emphasize that information, before the Academic Analytics model, was very difficult to obtain and most of the time it was not sought, due to lack of time and knowledge, thus, the model allows planning and constant monitoring, generating proactive management attitudes.
As for the second category "Optimizing the coordinator's management time", it is significantly recognized in the transcripts of the context unit of Table 2, the agility and time optimization for routine activities and course management are noticeable, the visual easy and integrated, with relevant information, saves time in the complex routine of an undergraduate course coordinator. We highlight an excerpt from an answer “I used to do this research once a semester and look, now I will have all the data in front of me..., this type of program made it easier and gave dynamism..., I didn’t go after it because it was a lot of work” (our translation).
Regarding the perception if “The listed indicators brought relevant information”, the interviewee did not ask directly, but what is inferred from the data is that the model allowed relevant analyzes that were not carried out by the coordinators, in this sense, the coordinators highlighted mainly the financial indicators, including non-paying students, to which they had no access, also highlighted the importance of having information about ENADE, non-renewed students, attendance, Moodle access information, teachers, among others. It is noticed again
that the model can help with relevant indicators to assist in the management process of the undergraduate course.
In relation to the suggestion for improvements, some information was listed that for some coordinators would be complementary, such as: an ENADE alert is also suggested when the student has 80% of the course completed, in this item we inform the coordinator that the indicator “graduates” already has this information. In addition, improvements were proposed that are CHEI processes such as: Management of students' complementary activities, a place to more easily insert complementary activities and Typing and archiving the minutes of meetings of the Structuring Teaching Nucleus and course collegiate, these suggestions were passed on to institution to analyze its processes.
It is also important to note that the coordinators did not report difficulties in using the system or errors, which shows the work of methodology, architecture, development and tests carried out in the Academic Analytics model.
Despite being a pilot experiment with partial results, which lead to new analyzes and improvements in the model, it is clear that the results are promising, especially with regard to time optimization and better quality in the visualization of relevant information, helping the management and control process of the undergraduate course. As a suggestion for future work to improve the model for an evaluation with more actors and over a longer period, thus generating more inputs for a more in-depth analysis of the importance of the Academic Analytics model for course coordinators. And, finally, as limitations of the study, the sample size of the respondents who contributed to this study is mentioned, as it is not possible to identify the universe of coordinators of the institution. As it is an exploratory study, it also has limitations and, for this reason, its results reveal the reality of a small group of coordinators of the investigated CHEI and not of its entirety.
ARGENTA, C. A. L. Gestão de instituições de ensino superior privadas e as competências necessárias aos coordenadores de curso: desafios e sugestões. 2011. 193 f. Tese (Doutorado em Educação: Currículo) – Pontifícia Universidade Católica de São Paulo, São Paulo, 2011.
BARDIN, L. Análise de conteúdo. Trad. L. de A. Reto & A. Pinheiro. São Paulo: Edições 70. 2016.
BARNEVELD, A. V.; ARNOLD, K. E.; CAMPBELL, J. P. Analytics in Higher Education: Establishing a Common Language. EDUCASE, 2012. Available: https://library.educause.edu/resources/2012/1/analytics-in-higher-education-establishing-a- common-language. Access: 10 Apr. 2019.
BROKE, JOHN. SUS: A retrospective. Journal of Usability Studies, v. 8, p. 29-40, fev. 2013.
CAMPBELL, J.; OBLINGER, D. Academic Analytics. Educause White Paper, p. 1-24, 2007.
CAMPBELL, J.; DEBLOIS, P.; OBLINGER, D. Academic Analytics: A New Tool for a New Era. Educause Review, v. 42, p. 40-57, 2007.
CARDIM, P. A. G. Os caminhos percorridos na gestão educacional e as suas tendências. In: COLOMBO, S. S. et al. (org.). Nos bastidores da educação brasileira: a gestão vista por dentro. Porto Alegre, RS: Artmed, 2010.
CASTRO, A. Gestão financeira: a sustentabilidade financeira e a interação acadêmica nas instituições de ensino superior. In: COLOMBO, S. S. (org.). Gestão Universitária os caminhos para a excelência. Porto Alegre, RS: Penso, 2013.
FILATRO, A. Data Science na educação: presencial, a distância e corporativa. São Paulo: Saraiva Educação, 2021.
PAZ, F. J.; CAZELLA, S. C. Academic analytics: a systematic review of literature.
PAZ, F. J.; CAZELLA, S. C. Solução de Analítica Acadêmica focado em Instituições Comunitárias de Ensino Superior. Informática na Educação: teoria & prática, Porto Alegre, v. 23, n. 2, p. 195-215, maio/ago. 2020.
SIEMENS, G. Learning analytics: envisioning a research discipline and a domain of practice.
In: INTERNATIONAL CONFERENCE ON LEARNING ANALYTICS AND
KNOWLEDGE, 2., 2012, Vancouver. Proceedings […]. Vancouver, BC, Canada, 2012.
PAZ, F. J.; CAZELLA, S. C. Reflections on academic analiytics model in community higher education institutions: pilot study. Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2178-2192, Sep./Dec. 2021. e-ISSN:1519-9029. DOI:
https://doi.org/10.22633/rpge.v25i3.15460