REFLEXÕES SOBRE UM MODELO DE ANALÍTICA ACADÊMICA EM INSTITUIÇÕES COMUNITÁRIAS DE ENSINO SUPERIOR: ESTUDO PILOTO


REFLEXIONES SOBRE UN MODELO DE ANALÍTICA ACADÉMICA EN INSTITUCIONES COMUNITARIAS DE EDUCACIÓN SUPERIOR: ESTUDIO PILOTO


REFLECTIONS ON ACADEMIC ANALIYTICS MODEL IN COMMUNITY HIGHER EDUCATION INSTITUTIONS: PILOT STUDY


Fábio Josende PAZ1 Silvio Cesar CAZELLA2


RESUMO: Analítica Acadêmica é uma área relativamente nova que traz conceitos de análise e business intelligence para o ensino superior. Este artigo tem por objetivo reportar os resultados de um estudo piloto da aplicação de um modelo de Analítica Acadêmica em um Instituição Comunitária de Ensino Superior. O método de pesquisa foi a experimental e utilizada a análise de conteúdo como metodologia. Os resultados são parciais, mas apresentam-se promissores, destacamos a otimização do tempo, qualidade nas informações apresentadas e a boa avaliação dos coordenadores em relação ao apoio a tomada de decisão, auxiliando o processo de gestão.


PALAVRAS-CHAVE: Analítica acadêmica. Ensino superior. Gestão acadêmica.


RESUMEN: La analítica académica es un área relativamente nueva que lleva la analítica y los conceptos de business intelligence a la educación superior. Este artículo tiene como objetivo reportar los resultados de un estudio piloto de la aplicación de un modelo de Analítica Académica en una Institución Comunitaria de Educación Superior. El método de investigación fue experimental y utilizó el análisis de contenido como metodología. Los resultados son parciales, pero prometedores, destacamos la optimización del tiempo, la calidad de la información presentada y la buena evaluación de los coordinadores en relación al apoyo a la toma de decisiones, ayudando al proceso de gestión.


PALABRAS CLAVE: Analítica académica. Educación superior. Gestión académica.


ABSTRACT: Academic Analytics is a relatively new area that brings analytics and business intelligence concepts to higher education. This article aims to report the results of a pilot study of the application an Academic Analytics model in a Community



1 Universidade Federal do Rio Grande do Sul (UFRGS), Porto Alegre – RS – Brasil. Doutorando no Programa de Pós-Graduação em Informática na Educação (PPGIE). ORCID: https://orcid.org/0000-0003-0089-8984. E- mail: fabiojpaz@gmail.com

2 Universidade Federal de Ciências da Saúde de Porto Alegre (UFCSPA), Porto Alegre – RS – Brasil. Vice- Coordenador do Programa de Pós-Graduação em Tecnologias da Informação e Gestão em Saúde. Doutor em Ciência da Computação (UFRGS). ORCID: https://orcid.org/0000-0003-2343-893X E-mail: silvio.cazella@gmail.com



Institution of Higher Education. The research method was experimental and used content analysis as a methodology. The results are partial, but they are promising, we highlight the optimization of time, the quality of the information presented and the good evaluation of the coordinators in relation to support decision-making, helping the management process.


KEYWORDS: Academic analytics. Higher education. Academic management.


Introdução


Em um contexto de expansão contínua da oferta de dados educacionais, emerge a necessidade por análise e tratamento destes dados para gerar inteligência aos gestores educacionais, entre eles o coordenador de curso, que segundo Cardim (2010), Argenta (2011) e Castro (2013) são figuras centrais no processo de gestão acadêmica, e que estes estão envolvidos diretamente com as áreas mercadológica, administrativa, operacional e financeira.

Nesse sentido, coordenar um curso de graduação não é tarefa simples, requer muita dedicação e conhecimento, além de um olhar aprofundado nas questões gerenciais e administrativas, que podem muitas vezes deixar o coordenador burocrático, para auxiliar nesse processo surge o termo Analítica Acadêmica, do inglês Academic Analytics, que segundo Campbell, Deblois, & Oblinger (2007) e Campbell & Oblinger (2007), é uma ferramenta que fornece os dados necessários para apoiar a tomada de decisões operacionais e financeiras e seu foco está na gestão de Instituições de Ensino Superior, utilizando indicadores e painéis sobre o desempenho das diversas áreas, uma combinação de análise administrativa e de aprendizado (BARNEVELD; ARNOLD; CAMPBELL, 2012; SIEMENS, 2012).

Filatro (2021) resume como o uso de macrodados originados dos sistemas de informação das instituições de ensino ou dos departamentos de educação corporativa para a tomada de decisão administrativa ou gerencial.

Assim, os sistemas com base em Analítica Acadêmica devem ser utilizados por administradores, gestores acadêmicos (reitores, pró-reitores, diretores de centro, coordenadores de cursos etc.), controles de qualidade, marketing, financiadores de IES para suporte e guia para ações (CAMPBELL; DEBLOIS; OBLINGER, 2007; CAMPBELL; OBLINGER, 2007; LONG; SIEMENS, 2011).

Nessa perspectiva, autores citam algumas vantagens significativas na utilização de Analítica Acadêmica na Gestão das IES: fluxo de conhecimento melhorado em toda a organização; benchmarking e outras comparações com outras faculdades/ universidades; a



percepção do sucesso dos alunos em relação a outros sistemas escolares; a redução de custos; a tomada de decisão fundamentada (maior conhecimento sobre fatores que impactam o sucesso de aprendizagem); a alocação mais eficaz de recursos (em consequência das informações precisas e atualizadas dentro da instituição); maior eficiência na economia de recursos financeiros e humanos; melhor planejamento de cursos; melhoria no processo de captação e permanência de estudantes; otimização no agendamento de salas de aula; maximizar as doações de ex-alunos; melhor organização e visualização dos dados; (ANDRADE; FERREIRA, 2016; BARNEVELD; ARNOLD; CAMPBELL, 2012; MAT et al., 2013; PALMER, 2013; PAZ; CAZELLA, 2019).

Dado o exposto, este artigo apresenta os resultados parciais/estudo piloto da avaliação de um modelo de Analítica Acadêmica aplicado em uma Instituição Comunitária de Ensino Superior, nesse sentido, pretende verificar se o modelo está auxiliando a obter informações mais rápidas, eficientes e relevantes para coordenadores de curso de graduação e apoiam a tomada de decisão a nível acadêmico/administrativo de um curso de graduação. Este artigo encontra-se organizado em 5 seções, incluindo a introdução. Na seção 2 apresenta-se de forma resumida o modelo de Analítica Acadêmica aplicado no estudo, a seguir, os materiais e métodos utilizados são apresentados. Na seção 4, os resultados do estudo piloto são discutidos. Por fim, apresentam-se as considerações finais, na seção 5, e as referências bibliográficas que suportam este estudo.

O presente estudo foi submetido e aprovado pelo comitê de ética e pesquisa (CEP) da Universidade Federal de Ciências da Saúde de Porto Alegre e foi registrado sob o número CAEE 35981820.9.0000.5345, na plataforma Brasil. Uma Autorização foi solicitada aos usuários envolvidos no estudo através do Termo de Consentimento Livre e Esclarecido (TCLE) para utilização dos dados obtidos e a confidencialidade dos dados coletados será garantida conforme legislação vigente. O referido projeto Não se enquadra nos termos da Resolução nº. 466/12 do CONEP e da lei nº. 11.794 de 8 de outubro de 2008, que regulam CEP e CONEP e está


Modelo de Analítica Acadêmica


O Modelo de Analítica Acadêmica aplicado no estudo piloto, foi concebido por (PAZ; CAZELLA, 2020) como apoio à coordenadores responsáveis pela gestão de cursos de graduação de Instituição Comunitárias de ensino Superior (ICES) com foco na melhoria da tomada de decisão.


RPGE– Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2178-2192, set./dez. 2021. e-ISSN: 1519-9029



Para tanto alguns requisitos foram elencados como imprescindíveis para o modelo, tais

como:



Figura 1 – Arquitetura do modelo de Analítica Acadêmica



Fonte: Paz e Cazella (2020)


A Figura 1 apresenta a arquitetura do modelo de Analítica Acadêmica proposto, o qual busca informações das fontes de dados: Sistema de Gestão Acadêmico, Sistema de controle do Fundo de Financiamento Estudantil (FIES) / Programa Universidade Para Todos (PROUNI) e da plataforma Moodle, que é o Ambiente Virtual de Aprendizagem na qual o estudo foi conduzido, o fluxo das atividades se inicia na extração dos dados destas origens.

Nessa etapa ocorrem as tarefas de extração, tratamento e limpeza destes dados e inserção na base do Data Warehouse (DW). Estes dados são então armazenados



temporariamente na Staging Area3 para auxiliar na transição para o DW, essa área é usada para o processamento de dados durante o processo de extração, transformação e carregamento. Um Data Warehouse pode ser visto com um depósito de dados utilizado para armazenar informações relativas as atividades de organização em banco de dados de forma consolidada, esse desenho favorece os relatórios, a análise de grandes volumes de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão. Assim, os dados são consultados por ferramentas e técnicas de Análise de Aprendizagem (Learning Analytics) para apresentação em formato de Dashboards (painéis visuais) com objetivo de gerar conhecimento relevante para os coordenadores de curso de graduação para que possam auxiliar nas tomadas de decisões acadêmicas e administrativas.

Na Figura 2, se visualiza a principal interface do modelo de Analítica Acadêmica, o painel do coordenador, para um maior aprofundamento sobre o embasamento teórico, metodológico e concepção do modelo sugere-se a leitura dos artigos Paz e Cazella (2019) e Paz e Cazella (2020).


Figura 2 – Interface painel do coordenador


Fonte: Paz e Cazella (2020)


3 A Staging Area é uma localização temporária onde os dados dos sistemas de origem são copiados. Desta forma, ao invés de acessar os dados diretamente da fonte, o processo de “transformação” pega os dados da Staging Area para tratar e entregar os dados. O benefício deste recurso é poder armazenar os dados em sua origem “bruta” para poder trabalhar em cima deles ao invés de ficar sempre tendo que acessar a Fonte de dados, melhorando a performance e segurança dos dados.

RPGE– Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2178-2192, set./dez. 2021. e-ISSN: 1519-9029



A Figura 2 apresenta a interface painel do coordenador, traz em destaque os números macros do curso de graduação selecionado, permitindo nesse painel escolher semestres anteriores e datas específicas para comparativo, importante salientar que os números e resultados apresentados são hipotéticos, utilizados apenas para demonstrar a funcionalidade do modelo. Neste painel estão os indicadores identificados como relevantes pelos coordenadores (PAZ; CAZELLA, 2019, 2020).

O lado A, traz informações sobre os alunos, professores, formandos, a evasão e possíveis concluintes do curso, além de apresentar um gráfico com a divisão dos alunos referente ao tipo de incentivo (bolsas etc.), na sequência informações financeiras como inadimplência, além de um gráfico de linhas onde apresenta-se os alunos ativos por semestre e as receitas brutas e líquidas geradas pelos mesmos, permitindo uma análise rápida do crescimento ou não do curso. Já no lado B, em destaque os resultados das últimas avaliações do ENADE e composição do CPC, os indicadores avaliados pelo INEP para cursos de graduação, ainda, estatísticas de acesso do Moodle, avaliações dos professores em suas disciplinas e os alunos infrequentes.


Materiais e métodos


Esta pesquisa é parte de uma pesquisa de Doutorado e se origina por uma pesquisa exploratória, possui uma abordagem mista (quali-quantitativo), com análise de conteúdo como método de análise, que conforme Bardin (2016) consiste em um conjunto de técnicas de análise de comunicações, que tem como objetivo enriquecer a leitura dos dados coletados (corpus) e ultrapassar as incertezas, assim fixa-se apenas no conteúdo do texto, sem fazer relações além deste.

As etapas da técnica proposta por Bardin são organizadas em três fases: 1) pré-análise,

2) exploração do material e 3) tratamento dos resultados, inferência e interpretação.

A pré-análise é a fase em que se organiza o material a ser analisado com o objetivo de torná-lo operacional, sistematizando as ideias iniciais. Trata-se da organização propriamente dita por meio de quatro etapas: (a) leitura flutuante, que é o estabelecimento de contato com os documentos da coleta de dados, momento em que se começa a conhecer o texto; (b) escolha dos documentos, que consiste na demarcação do que será analisado; (c) formulação das hipóteses e dos objetivos; (d) referenciação dos índices e elaboração de indicadores, que envolve a determinação de indicadores por meio de recortes de texto nos documentos de análise (BARDIN, 2016).




A exploração do material constitui a segunda fase, que consiste na exploração do material com a definição de categorias (sistemas de codificação) e a identificação das unidades de registro (unidade de significação a codificar corresponde ao segmento de conteúdo a considerar como unidade base, visando à categorização e à contagem frequencial) e das unidades de contexto nos documentos (unidade de compreensão para codificar a unidade de registro que corresponde ao segmento da mensagem, a fim de compreender a significação exata da unidade de registro). A exploração do material consiste numa etapa importante, porque vai possibilitar ou não a riqueza das interpretações e inferências. Esta é a fase da descrição analítica, a qual diz respeito ao corpus (qualquer material textual coletado) submetido a um estudo aprofundado, orientado pelas hipóteses e referenciais teóricos. Dessa forma, a codificação, a classificação e a categorização são básicas nesta fase (BARDIN, 2016).

A terceira fase diz respeito ao tratamento dos resultados, inferência e interpretação. Esta etapa é destinada ao tratamento dos resultados; ocorre nela a condensação e o destaque das informações para análise, culminando nas interpretações inferenciais; é o momento da intuição, da análise reflexiva e crítica (BARDIN, 2016).

O público-alvo da pesquisa são os coordenadores de curso de graduação na modalidade presencial de uma Instituição Comunitária de Ensino Superior - ICES. Optou-se pela amostra por conveniência, na medida em que os sujeitos devem aceitar participar da pesquisa e utilizar o modelo de Analítica Acadêmica proposto, os amostrados concordaram com o Termo de Consentimento Livre e Esclarecido (TCLE).

Para avaliação do modelo foi utilizado o questionário avaliação do Modelo de Analítica Acadêmica, elaborado pelo pesquisador, contém 6 questões abertas e fechadas com opções de resposta do tipo escala Likert de cinco pontos, ainda foram utilizados os documentos e registros institucionais da instituição para auxiliar na triangulação dos dados obtidos no estudo. Entre os documentos a serem analisados podemos citar: relatórios dos cursos de graduação (alunos, trancamentos, cancelamentos, frequências nas disciplinas, inadimplência, indicadores já existentes, entre outros) e ao final foram realizadas entrevistas com coordenadores de cursos. Além disso, o estudo teve o objetivo de avaliar a Usabilidade do modelo, para tanto optou-se por utilizar um questionário que contemplasse os preceitos de Nielsen, o System Usabilty Scale - SUS (BROKE, 2013).

O Estudo foi aplicado para 04 coordenadores de curso de graduação da ICES, a apresentação do modelo e disponibilização para utilização aconteceu no dia 30 de março de 2021, o convite aos coordenadores respeitou o seguinte perfil: coordenadores que possuem

RPGE– Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2178-2192, set./dez. 2021. e-ISSN: 1519-9029



mais de um curso sob sua gestão e de áreas diferentes: um da área da saúde, um da tecnologia, uma das licenciaturas e um coordenador da área de gestão. Ainda, coordenadores que tivessem menos de 3 anos, entre 3 e 5 anos e mais de 5 anos de experiência em gestão de cursos de graduação.


Resultados


Em primeiro lugar buscou-se avaliar a usabilidade e a satisfação dos usuários em utilizar o modelo de Analítica Acadêmica, para tanto foi utilizado o questionário System Usability Scale – SUS, aplicado no dia 28 de abril de 2021 para os 04 coordenadores, Broke (2013) afirma que o SUS possibilita uma avaliação subjetiva e simples ele é composto por 10 itens que mostra uma visão global do usuário em relação ao sistema, nele utiliza-se uma escala Likert (valores 1 – discordo plenamente até 5 – concordo plenamente). Para calcular o SUS score é necessário primeiramente verificar o valor escolhido pelo usuário na questão (de 1 a 5), nas questões ímpares subtrai-se um da escala escolhida, exemplo: usuário escolheu a escala 4 (4 - 1 = 3) sua resposta será 3, já nas questões pares calcula-se 5 menos a escala escolhida pelo usuário, exemplo usuário escolheu 4 (5 - 4 = 1) sua resposta será 1. Após todas as 10 respostas serão somadas e multiplica-se por 2,5 para obter o SUS score. Segundo Broke (2013) as pontuações do SUS tem uma gama de 0 a 100 sendo que menor que 51 é considerado ruim, maior que 71 é bom, maior que 86 é excelente e maior que 91 é o melhor alcançável, esta escala será utilizada para avaliar a usabilidade do sistema criado.


Figura 3 – Score SUS por coordenador



Fonte: Broke (2013)





Na figura 3, pode-se observar as respostas de todas os coordenadores participantes do estudo, onde a média obtida foi superior a 90 pontos na escala SUS, em que segundo Broke (2013), pode ser considerado um excelente resultado, pois pontuações acima de 86 representam experiências muito boas com alto índice de satisfação do usuário, resultado confirmado nas entrevistas individuais com os coordenadores, as quais serão apresentadas na sequência. Dando prosseguimento, foi realizada a aplicação do questionário e a entrevista com a intenção de validar os instrumentos de pesquisa e analisar dados preliminares do estudo, entre eles: se o modelo está auxiliando a obter informações mais rápidas e eficientes e se estas são importantes para este perfil de usuário, analisar se estas informações estão apoiando a tomada de decisão a nível acadêmico/administrativo de um curso de graduação.

Perfil dos respondentes, Coordenador a: 28 anos de instituição, mestre, mais de 10 anos de experiência em gestão de cursos de graduação, coordena mais de um curso em diferentes campus da ICES; Coordenador b:15 anos de instituição, mestre, 3 anos na coordenação de curso; Coordenador c: 18 anos de instituição, Doutor, 8 anos na coordenação de cursos, coordena mais de um curso de graduação em campus fora da sede; Coordenador d: 5 anos de instituição, doutor, 2 anos na coordenação de cursos de graduação, coordena mais de um curso.

Em relação as questões:



The coordinators were unanimous and fully agree with these statements. This demonstrates that in their perception the system supports their management process. Also, the coordinators were asked about the views offered in the Academic Analytics Model, whether they support academic management and decision-making for the management of an undergraduate course regarding each item presented in Table 1.


Table 1 – Coordinators' answers


Item

TOTALLY DISAGREE

DISAGREE

INDIFFERENT

AGREE

TOTALLY AGREE

Prevention monitoring




2

2

Evasion monitoring




2

2

Default Monitoring




1

3

Monitoring of general student indicators




1

3

Undergraduate course monitoring





4

Monitoring of MEC indicators




2

2

Monitoring of basic financial indicators




1

3

Identification of the need for formation for the

faculty


1


2

1

Undergraduate course planning




2

2

Source: Devised by the authors


In Table 1, we highlight the agreement or total agreement on the part of the coordinators on practically all items, with the exception of “identification of the need for formation for the faculty”, with one disagreement. A positive highlight was the item



“monitoring the undergraduate course” where total agreement was unanimous. For the contribution and evaluation of this work, seeking continuous improvement, participants were asked to express their observations and experiences with the use of the Academic Analytics model, through reports based on six questions that can be seen in Appendix D, therefore , individual interviews were carried out from 30/04/2021 to 03/05/2021, for the analysis of the interviews, Content Analysis was used following the methodology of Bardin (2016), which has already been described in the Materials and methods.

Stage 1: Pre-Analysis or Ordering of the data: the interviews were transcribed in full, then a floating reading of all the material was carried out to discard any text not suitable for the research, then an exhaustive reading of all the content was carried out and generated a cloud of words to identify the most frequent terms used by respondents (FIGURE 4), thus it was possible to determine the central ideas that will be analyzed later.


Figure 4 – Interview word cloud




Source: Devised by the authors


Figure 4 was obtained with Voyant Tools in the Cirrus tool and graphically reinforces some findings found in this study. Some terms deserve to be highlighted because they are directly associated with the objectives of this research: management, data, tool(s), information, time, control, capability, importantly, to optimize, vision and visual, balance, financial. These terms are linked to teacher(s), student(s), coordinators, course(s) (gestão, dados, ferramenta(s), informações ou informação, tempo, controle, consigo e consegue, importante, otimizar, visão e visual, equilíbrio, financeira). We also highlight the terms related to indicators: ENADE, enrollments, re-enrollments, class, graduates, attendance,




Moodle, dropouts, defaulters (ENADE, matrículas, rematrículas, turma, concluintes, frequência, Moodle, evadidos, inadimplentes).

Stage 2: Exploration of the material: In this stage, the central ideas were listed, it was intended to codify (highlight, classify, aggregate and categorize) excerpts from the transcribed interview, which we now present in table form (Table 2). In the category column, the three main themes of the interview were added:


  1. Assistance in the control and management of the course;

  2. Optimize management time;

  3. The listed indicators brought relevant information.


In the column Unit of Record are the text fragments that are taken as indicative of a characteristic (category). Finally, in the Context Unit column are the text fragments that encompass the recording unit and which, therefore, contextualize the respective recording unit during the interview.

Step 3: treatment of results, inference and interpretation: we present the main points and highlight the information relevant to the research objective, in addition to a reflective analysis.

Table 2 – Synoptic table


Category

Registration unit

Context unit


Assistance in the control and management of the course


Management

“super useful tool for management, before I had to search for data in several places and systems and also in a disorganized way...”; “I ended up doing corrective and not preventive management, now I can do a preventive analysis”; “...it only adds up, it only comes to improve the way we manage..., it ends up being a control tool, a lot of control” ; “tool to use in daily course management”; “it helps because you have an individual view of each student, it helps a lot”; “I have an overview and I know where I have to improve”; “The system has a broad view of the course that I don't have in SEGUE (academic system), in SEGUE it's very difficult to have a report... it's all ready, there's a report on everything, and then you can manage, because it's macro management for the micro, I don't need to go into 10 tabs and systems to solve something, it's all there”; “Being able to cross-reference these indicators are

very important”; "


Control

“I can look at the course as it is and I can make decisions and even make a plan with this data that is much more organized there”; “it is fully integrated with other HEI systems”; “the course is being monitored”; “I strongly defended the use of control tools, especially in remote environments”; “it was difficult to have control because before everything was spread out....

there was no way to have access to Moodle for teachers”; “we never had an instrument that we could see in one place only real academic information”; “the data in one place”; “I have an idea of the students who are and who are going to leave, which I was not able to do”;

“very important visual and individual monitoring of the student, it is essential ”


Optimize coordinator management time


Optimize Time

“Real-time information”; “the largest possible amount of data for us to optimize our search time and to see where the coordination bottlenecks are” “allows us to optimize the control process”; “we used to waste time, right, there's no comparison when you open it and everything is in front of you, ready, visual”; “I used to do this research once a semester and look, now I'll have all the data in front of me”; “this type of program facilitated, gave dynamism”; “I didn't go after it because it was a lot of work” “this tool is agile”; “how are you going to optimize time, oh my God, time, time, time, because today is the thing that gets

me the most... Optimizing time, today is one of the difficulties I have”


Vision or visual

“very nice, very nice interface... I found this part of the intuitiveness to be a jewel, it's very easy to use, it couldn't be easier”; “it's all visual, you already look and it's all in front of you”;

“its layout is very easy to use, any information is 2 clicks away”; “its layout is very simple..., it is very well distributed, also intuitive”; “In this system, I can have a vision of the student




and the whole, this is very important...”; “very visual”; “it's great to see graphics”



“I am struck by the information on dropouts, those students who have not really re-enrolled



themselves..., and you know this number, identified, knowing who it is”; “I can see that I



have 17 students per class”; “this indicator guide is something that we never had within the


administrative and

management”; “student infrequency in Moodle I didn't have”; “students not renewed, this

The listed indicators brought relevant information

academic

information we have now at the turn of the semester is very important”; “I can see the students who are going to leave...”; “correct enrollments, compare with defaults, this is very important to me, I didn't have access to default...” “ENADE indications, I saw that the agent

improved, for me it was amazing to see that”;


“I didn't have this information before”; “there was only individualized information, I had to



enter student by student and do calculations”; “super important information”; "super new"; “it


Financial

is possible have a view of finance”; “...very important financial information, e.g.. student



debt, defaulters...”; “I thought the recipe was cool, I like it, I thought it was cool that the



default rate for my course is very low, and there are a lot of payers...”

Source: Devised by the authors (our translation)


The synoptic table (Table 2) presented above, built from the outlined objectives, the questions asked by the interviewer and excerpts from the interviewees' speech, leads us to the following data analysis:

  1. Regarding “Aid in the control and management of the course”, it is possible to perceive a significant number of positive inferences in Table 2, the coordinators showed how much the model helped them in their undergraduate course management routines, in addition to allowing them to centralize all the information considered important in one place, being able to visualize from the macro to the micro of the information. We emphasize that information, before the Academic Analytics model, was very difficult to obtain and most of the time it was not sought, due to lack of time and knowledge, thus, the model allows planning and constant monitoring, generating proactive management attitudes.

  2. As for the second category "Optimizing the coordinator's management time", it is significantly recognized in the transcripts of the context unit of Table 2, the agility and time optimization for routine activities and course management are noticeable, the visual easy and integrated, with relevant information, saves time in the complex routine of an undergraduate course coordinator. We highlight an excerpt from an answer “I used to do this research once a semester and look, now I will have all the data in front of me..., this type of program made it easier and gave dynamism..., I didn’t go after it because it was a lot of work” (our translation).

  3. Regarding the perception if “The listed indicators brought relevant information”, the interviewee did not ask directly, but what is inferred from the data is that the model allowed relevant analyzes that were not carried out by the coordinators, in this sense, the coordinators highlighted mainly the financial indicators, including non-paying students, to which they had no access, also highlighted the importance of having information about ENADE, non-renewed students, attendance, Moodle access information, teachers, among others. It is noticed again





that the model can help with relevant indicators to assist in the management process of the undergraduate course.

In relation to the suggestion for improvements, some information was listed that for some coordinators would be complementary, such as: an ENADE alert is also suggested when the student has 80% of the course completed, in this item we inform the coordinator that the indicator “graduates” already has this information. In addition, improvements were proposed that are CHEI processes such as: Management of students' complementary activities, a place to more easily insert complementary activities and Typing and archiving the minutes of meetings of the Structuring Teaching Nucleus and course collegiate, these suggestions were passed on to institution to analyze its processes.

It is also important to note that the coordinators did not report difficulties in using the system or errors, which shows the work of methodology, architecture, development and tests carried out in the Academic Analytics model.


Final considerations


Despite being a pilot experiment with partial results, which lead to new analyzes and improvements in the model, it is clear that the results are promising, especially with regard to time optimization and better quality in the visualization of relevant information, helping the management and control process of the undergraduate course. As a suggestion for future work to improve the model for an evaluation with more actors and over a longer period, thus generating more inputs for a more in-depth analysis of the importance of the Academic Analytics model for course coordinators. And, finally, as limitations of the study, the sample size of the respondents who contributed to this study is mentioned, as it is not possible to identify the universe of coordinators of the institution. As it is an exploratory study, it also has limitations and, for this reason, its results reveal the reality of a small group of coordinators of the investigated CHEI and not of its entirety.


REFERENCES


ARGENTA, C. A. L. Gestão de instituições de ensino superior privadas e as competências necessárias aos coordenadores de curso: desafios e sugestões. 2011. 193 f. Tese (Doutorado em Educação: Currículo) – Pontifícia Universidade Católica de São Paulo, São Paulo, 2011.



BARDIN, L. Análise de conteúdo. Trad. L. de A. Reto & A. Pinheiro. São Paulo: Edições 70. 2016.


BARNEVELD, A. V.; ARNOLD, K. E.; CAMPBELL, J. P. Analytics in Higher Education: Establishing a Common Language. EDUCASE, 2012. Available: https://library.educause.edu/resources/2012/1/analytics-in-higher-education-establishing-a- common-language. Access: 10 Apr. 2019.


BROKE, JOHN. SUS: A retrospective. Journal of Usability Studies, v. 8, p. 29-40, fev. 2013.


CAMPBELL, J.; OBLINGER, D. Academic Analytics. Educause White Paper, p. 1-24, 2007.


CAMPBELL, J.; DEBLOIS, P.; OBLINGER, D. Academic Analytics: A New Tool for a New Era. Educause Review, v. 42, p. 40-57, 2007.


CARDIM, P. A. G. Os caminhos percorridos na gestão educacional e as suas tendências. In: COLOMBO, S. S. et al. (org.). Nos bastidores da educação brasileira: a gestão vista por dentro. Porto Alegre, RS: Artmed, 2010.


CASTRO, A. Gestão financeira: a sustentabilidade financeira e a interação acadêmica nas instituições de ensino superior. In: COLOMBO, S. S. (org.). Gestão Universitária os caminhos para a excelência. Porto Alegre, RS: Penso, 2013.


FILATRO, A. Data Science na educação: presencial, a distância e corporativa. São Paulo: Saraiva Educação, 2021.


PAZ, F. J.; CAZELLA, S. C. Academic analytics: a systematic review of literature.

International Journal of Development Research, v. 9, n. 11, p. 31710-31716, nov. 2019.


PAZ, F. J.; CAZELLA, S. C. Solução de Analítica Acadêmica focado em Instituições Comunitárias de Ensino Superior. Informática na Educação: teoria & prática, Porto Alegre, v. 23, n. 2, p. 195-215, maio/ago. 2020.


SIEMENS, G. Learning analytics: envisioning a research discipline and a domain of practice.

In: INTERNATIONAL CONFERENCE ON LEARNING ANALYTICS AND

KNOWLEDGE, 2., 2012, Vancouver. Proceedings […]. Vancouver, BC, Canada, 2012.




How to reference this article


PAZ, F. J.; CAZELLA, S. C. Reflections on academic analiytics model in community higher education institutions: pilot study. Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. 3, p. 2178-2192, Sep./Dec. 2021. e-ISSN:1519-9029. DOI:

https://doi.org/10.22633/rpge.v25i3.15460


Submitted: 05/09/2021 Required revisions: 10/10/2021 Approved: 13/11/2021 Published: 08/12/2021