image/svg+xmlMetodologia para avaliação da qualidade dos serviços de educação superiorRPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153538METODOLOGIA PARA AVALIAÇÃO DA QUALIDADE DOS SERVIÇOS DE EDUCAÇÃO SUPERIORMETODOLOGÍA PARA EVALUAR LA CALIDAD DE LOS SERVICIOS EDUCATIVOS EN LA EDUCACIÓN SUPERIORMETHODOLOGY FOR ASSESSING THE QUALITY OF EDUCATIONAL SERVICES IN HIGHER EDUCATIONMarina VINOGRADOVA1Olga KULYAMINA2Lidia VASILEVA3Evgeniya BRONNIKOVA4Viktoriya VISHNYAKOVA5RESUMO:O artigo examina os critérios e indicadores para avaliar a qualidade dos serviços educacionais. A cobertura do tema deste artigo passa pelo prisma de fatores relacionados à avaliação da qualidade dos serviços educacionais, o que permitiu aos autores identificar problemas metodológicos atuais, bem como enfatizar a importância do uso de uma abordagem integrada no estudo das questões defornecimento de serviços educacionais. Os autores identificam critérios e indicadores para avaliar os serviços educacionais. Os autores desenvolveram o coeficiente composto de qualidade dos serviços educacionais. A implementação prática das propostas elaboradas pelos autores determina os pré-requisitos para o desenvolvimento de uma metodologia de avaliação da qualidade dos serviços educacionais, que permitirá uma avaliação objetiva e, por conseguinte, tomar as medidas necessárias para a melhoria da qualidade dos serviços educacionais da organização educacional.PALAVRAS-CHAVE:Avaliação. Serviços educacionais. Organização educacional. Qualidade dos serviços educacionais.RESUMEN:El artículo examina los criteriose indicadores para evaluar la calidad de los servicios educativos. La cobertura del tema de este artículo pasa por el prisma de los factores relacionados con la evaluación de la calidad de los servicios educativos, lo que permitió a los autores identificar los problemas metodológicos actuales, así como enfatizar la importancia de 1Universidade Social Estatal Russa, MoscouRússia. Doutoraem Economia, Vice-Reitorade Pesquisa. ORCID: https://orcid.org/0000-0002-5051-9404.E-mail:m_vinogradova@gmail.com2Universidade Social Estatal Russa, MoscouRússia. CandidataemEconomia, Chefe do Laboratório de Pesquisa Interdisciplinar. ORCID: https://orcid.org/0000-0001-7715-5551.E-mail: kulyamina_o@gmail.com3Universidade Social Estatal Russa, MoscouRússia. Pesquisadora, Instituto Científico e de Pesquisa de Tendências e Tecnologias Prospectivas. ORCID: https://orcid.org/0000-0002-5311-7099. E-mail:vasileva47@gmail.com4Universidade Social Estatal Russa, MoscouRússia. Candidata em Economia, Pesquisadora Sênior, Laboratório de Pesquisa Interdisciplinar. ORCID: https://orcid.org/0000-0002-5409-9726. E-mail:85614863@gmail.com5Universidade Social Estatal Russa, MoscouRússia. Candidato em Economia, Chefe do Departamento de Informação Científica e Técnica.ORCID: https://orcid.org/0000-0001-5986-2498. E-mail:education.com.ru@gmail.com
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA eViktoriya VISHNYAKOVARPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153539utilizar un enfoque integrado en el estudio de las cuestiones de brindando servicios educativos. Los autores identifican criterios e indicadores para la evaluación de los servicios educativos. Los autores desarrollaron el coeficiente compuesto de calidad de los servicios educativos. La puesta en práctica de las propuestas elaboradas por los autores determina las condiciones previas para el desarrollo de una metodología de evaluación de la calidad de los servicios educativos, que permitirá realizar una evaluación objetiva y, en consecuencia, tomar las medidas necesarias para mejorar la calidad de los servicios educativos en parte de la organización educativa.PALABRAS CLAVE:Evaluación. Servicios educativos. Organización educativa. Calidad de los servicios educativos.ABSTRACT: The article examines the criteria and indicators for assessing the quality of educational services. The coverage of the topic of this article passes through the prism of factors related to the assessment of educational services quality, which allowed the authors to identify current methodological problems, as well as to emphasize the importance of using an integrated approach in studying the issues of providing educational services. The authors identify criteria and indicators for assessing of educational services. The authors developed the composite coefficient of educational services quality. The practical implementation of the proposals prepared by the authors determines the prerequisites for the development of a methodology for assessing educational services quality, which will allow for an objective assessment and, as a result, take the necessary measures to improve the quality of educationalservices on the part of the educational organization.KEYWORDS:Assessment. Educational services. Educational organization. Educational services quality.IntroduçãoAtualmente, há uma concorrência acirrada no mercado de serviços educacionais. Somente a organização educacional que está continuamente engajada em questões de melhoria de qualidade pode ganhar nisso. Atualmente, não existe uma metodologia única de avaliação da qualidade dos serviços educacionais para recomendar a todasas organizações educacionais. Assim, as universidades obrigam-se a desenvolver critérios e indicadores da qualidade dos serviços educativos ao nível do autoexame. A necessidade de avaliar a qualidade dos serviços educacionais se deve ao interesse da sociedade e do Estado em garantir que a população domine competências significativas e necessárias para manter a qualidade do trabalho em determinado nível. Isso deve crescer proporcionalmente ao desenvolvimento da ciência e tecnologia, dotando o mercado de trabalho de pessoal qualificado (GERRITSEN-VAN LEEUWENKAMP; JOOSTEN-TEN BRINKE; KESTER, 2017). Esse fato forma várias características obrigatórias que são significativas para um determinado consumidor de serviços educacionais.
image/svg+xmlMetodologia para avaliação da qualidade dos serviços de educação superiorRPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153540A variedade de métodos e abordagens para avaliar a qualidade dos serviços educacionais tem suas próprias especificidades e muitas vezes não permite fazer análises objetivas oportunas e qualitativas. Nesse sentido, a questão da avaliação da oferta de serviços educacionais requer um estudodetalhado.MétodosPara analisar a eficácia da avaliação da qualidade dos serviços educativos no decurso do estudo foram utilizados métodos de análise comparativa, que revelaram as principais abordagens à avaliação dos serviços educativos. O conjunto de métodos científicos gerais permitiu determinar os principais critérios e indicadores de avaliação da qualidade dos serviços educativos.O trabalho também considerou as abordagens de cientistas russos e estrangeiros para a definição da qualidadedos serviços educacionais (ASANOVA; SERGEEVA, 2019, GERRITSEN-VAN LEEUWENKAMP; JOOSTEN-TEN BRINKE; KESTER, BERZINA; ZICMANE; KUCKOVSKIS,2017), o conceito de qualidade no ensino superior (ESCOBAR-JIMENEZ; DELGADO, 2019), as abordagens para a gestão da educação (PANASYUK,2017). Foram analisadas as características da metodologia para a transição para educaçãoonline, transformação do ensino superior, introdução de um ambiente eletrônico(CARCAMO, 2021, VERETEKHINA; NOVIKOVA, 2019). A qualidade do ensino superior, fatores influenciadores, sistemas de avaliação (BOLOTOV, 2018; ZHANG, 2019;ILICHENKO, 2017), incluindo questões de avaliação da qualidade do corpo docente (GONZALEZ-GERALDO; MONROY; DEL RINCON IGEA, 2021) avaliação da satisfação dos alunos com a qualidade dos serviços educacionais foram estudadas(VELICHKOet al.,2020).Como parte da análise, foi dada atenção especial aos regulamentos e padrões legislativos da Federação Russa (Lei Federal de 29 de dezembro de 2012 № 273-FZ, GOST R 50691-2013, formulário número 1-Monitoramento, Informações de referência de padrões educacionais estaduais federais, Formulários de relatórios estatísticos)(RUSSIA, 2012; 2013; 2019).O principal objetivo do estudo é desenvolver uma metodologia de avaliação da qualidade dos serviços educacionais no ensino superior, incluindo o cálculo de critérios e indicadores para avaliação da qualidade dos serviços educacionais.
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA eViktoriya VISHNYAKOVARPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153541ResultadosNo estágio atual, os serviços educacionais são parte integrante do sistema educacional. A avaliação da qualidade dos serviços educativos assenta na satisfação das necessidades dos alunos, na criação de condições para a aprendizagem, bem como na aposta no desenvolvimento pessoal e na competitividade efetiva no mercado dos serviços educativos.A formação das expectativas do consumidor pode ser influenciada por muitos fatores: necessidades do próprio aluno, experiência de vida, opinião da sociedade, status da organização educacional, informações atuais sobre o mercado de trabalho. Dependendo da proporção da avaliação, destacaram-se as razões para as lacunas entre a expectativa e a percepção da qualidade dos serviços educacionais: a avaliação pela direção da organização educacional das expectativas do consumidor sem pesquisa; eliminação prematura de problemas nos serviços educacionais.A avaliação da qualidade dos serviços educacionais de fato deve partir da percepção de seu potencial resultado, diretamente o aluno recebe o serviço educacional.Na prática, também existe um método de avaliação de serviços educacionais com base nos resultados de uma pesquisa preliminar com os consumidores. Esta análise permitirá à organização educativa avaliar todo o processo de prestação de um serviço desde a fase inicial -as condições de obtenção, até ao resultado final -a possibilidade de aprendizagem (BERZINA; ZICMANE; KUCKOVSKIS,2017).O banco de dados de informações para avaliação da qualidade dos serviços educacionais pode ser os resultados de uma pesquisa separada para cada consumidor, os resultados do autoexame. Assim, a avaliação da qualidade dos serviços educacionais é realizada por meio de métodos (diferencial, complexo ou misto) e considera os dados obtidos na pesquisa de consumo.Para determinar uma avaliação quantitativa da qualidade dos serviços educacionais, parece apropriado os principais direcionamentos das atividades educativas (critérios). Os indicadores particulares caracterizarão os critérios. Os autores propuseram a utilização de um método complexo, que consiste na utilização de um indicador de qualidade consolidado (coeficiente composto), que interpreta o nível de qualidade como um único fator.Cada um dos coeficientes caracteriza os critérios de qualidade dos serviços educacionais. Descreve por vários indicadores com seu peso (Tabela 1). Os critérios de avaliação da qualidade dos serviços educativos devem ser determinadosde acordo com os
image/svg+xmlMetodologia para avaliação da qualidade dos serviços de educação superiorRPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153542objetivos de funcionamento da organização educativa. O número de critérios deve ser suficiente para realizar uma avaliação eficaz.Tabela1O critério e os indicadores de qualidade dos serviços educacionaisIndicadoresFórmula de cálculoExplicação da fórmulaPeso do indicador1O critério "Qualidade dos programas educacionais de ES"(Cr1)1.1A parcela de programas educacionais implementados em programas de dupla titulação (Cd.d.p. )Cd.d.p. = Nd.d.p. / Ne.p.Nd.d.p. -o número de programas de dupla titulação;Ne.p. -o número total de programas educacionaisa11.2A parcela de programas de rede implementados em cooperação com as principais universidades russas (Cn)Cn = Nn / Ne.p.Nn -o número de programas de rede implementados em cooperação com as principais universidades russasa21.3A parcela de programas educacionais implementados em línguas estrangeiras (Cf.l.)Cf.l. = Nf.l. / Ne.p.Nf.l. -o número de programas educacionais implementados em línguas estrangeirasa31.4A parcela de alunos que estudam trajetórias individuais de desenvolvimento (Ci.t.d.)Ci.t.d. = Ni.t.d. / Nt.n.sNi.t.d. -o número de alunos que estudam em trajetórias individuais de desenvolvimento;Nt.n.s-o total de alunosa41.5A parcela de cursos de ensino online hospedados nas plataformas digitais educacionais internacionais e russas (Ce.c.d.p.)Ce.c.d.p.= Ne.c.d.p. /Ne.c.Ne.c.d.p. -o número de cursos de ensino online hospedados nas plataformas digitais educacionais internacionais e russas;Ne.c. -o número total de cursos de ensino onlinea51.6A proporção de graduados satisfeitos com a qualidade da educação (Cg.q.e.)Cg.q.e. = Ng.q.e. / Ng.Ng.q.e. o número de graduados satisfeitos com a qualidade do ensino;Ng. -o número totalde graduadosa61.7A parcela de alunos satisfeitos com a qualidade dos programas educacionais (Cs.q.e.p.)Cs.q.e.p.= Ns.q.e.p. / Nt.n.sNs.q.e.p. -o número de alunos satisfeitos com a qualidade dos programas educacionaisa71.8A parcela de graduados do programa SSE continuaram os estudos em programas de Ensino superior (Cg. SSE HE)Cg. SSE HE = Ng. SSE HE/ Ng. SSENg. SSE HE-o número de graduados do programa SSE estudos continuados em programas de ensino superior;a8
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA eViktoriya VISHNYAKOVARPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153543IndicadoresFórmula de cálculoExplicação da fórmulaPeso do indicadorNg. SSE-o número total de graduados do programa SSE1.9A proporção de alunos do curso de bacharelado continuando os estudos no programa de mestrado (Cs.b.m.)Cs.b.m = Ns.b.m. / Ns.b.Ns.b.m-o número de alunos do curso de bacharelado que continuaram os estudos no programa de mestrado;Ns.b. -o número total de alunos do curso de bachareladoa91.10A parcela de alunos do programa ensino superior estudados sob contratos para treinamento direcionado (Ct.t.)Ct.t. = Nt.t. / Nt.n.sNt.t.-o número de alunos de programas de ES estudados sob contratos para treinamento direcionadoa102O critério "Qualidade do corpo docente" (Cr2)2.1A percentagem de docentesdeaté 39 anos (Cage)Cage = Nup to 39 / Nt.s.Nup to 39 -o número de docentes de até 39 anos;Nt.s. -total do corpo docenteb12.2A percentagem de docentes com formação científica (Cs.d.)Cs.d. = Ns.d. / Nt.s.Ns.d. -o número de docentes com formação científicab22.3A percentagem de docentes com grau de doutor (CPhD)CPhD = NPhD / Nt.s.NPhD -o número de docentes com grau de doutorb32.4A percentagem de docentes que falam uma língua estrangeira (Cf.l.)Cf.l. = Nf.l./ Nt.s.Nf.l. -o número de professores que falam uma língua estrangeirab42.5Percentagem de docentes que completaram estágios em empregadores de referência e no estrangeiro, por ano (Cin.)Cin. = Nin. / Nt.s.Nin. -o número de docentes que completaram estágios com empregadores de referência e no estrangeirob52.6A parcela de alunos satisfeitos com a qualidade das aulas (Cq.l.)Cq.l. = Nq.l. / Nt.n.sNq.l. -o número de alunos que estão satisfeitos com a qualidade das aulasb63O critério "Qualidade das tecnologias educacionais"(Cr3)3.1A parcela de professores que usam métodos interativos (treinamento, coaching, práticas de jogos e assim por diante).(Ci.m.)Ci.m. = Ni.m. / Nt.s.Ni.m. -o número de professores que utilizam métodos interativosc13.2A parcela do corpo docente que utiliza recursos educacionais eletrônicos modernos, incluindo seus próprios desenvolvimentos (cursos de ensino online, Coursera, videoaulas, cursos de conteúdo)(Ce.e.r.)Ce.e.r.= Ne.e.r. / Nt.s.Ne.e.r. -o número de professores que utilizam recursos educacionais eletrônicos modernos, incluindo seus próprios desenvolvimentosc23.3A parcela do corpo docente que utiliza uma abordagem baseada em projetos de treinamento (Cpr )Cpr = Npr / Nt.s.N pr -o número de docentes que utilizam uma abordagem de formação baseada em projetosc3
image/svg+xmlMetodologia para avaliação da qualidade dos serviços de educação superiorRPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153544IndicadoresFórmula de cálculoExplicação da fórmulaPeso do indicador3.4A parcela de programas educacionais desenvolvidos usando tecnologias e métodos inclusivos (Cinc )Cinc = N inc / N e.p.Ninc -o número de programas educacionais desenvolvidos usando tecnologias e métodos inclusivosc43.5A parcela de docentes que aprenderam os métodos de educação inclusiva (Cinc. ed.)Cinc. ed. = Ninc. ed./ Nt.s.Ninc. ed.-o número de professores que aprenderam os métodos de educação inclusivac53.6A parcela do corpo docente que recebeu habilidades de comunicação e mídia (Cс.m.s. )Cс.m.s. = Nk.m.s / Nt.s.Nс.m.s. o número de professores que receberam habilidades de comunicação e mídiac64O critério "Qualidade do material e suporte técnico do processo educativo" (Cr4)4.1O nível de satisfação do aluno com os serviços digitais (Cs.d.s.)Cs.d.s. = Ns.d.s. / Nt.n.sNs.d.s.-o número de alunos satisfeitos com os serviços digitaisd14.2O nível de satisfação do corpo docente com os serviços digitais (Ct.s.d.s.)Ct.s.d.s. = Nt.s.d.s. / Nt.s.Nt.s.d.s.-número de docentes satisfeitos com os serviços digitaisd24.3O nível de oferta de processos educacionais e científicos com equipamentos modernos (Cm.eq.)Cm.eq. = Nm.eq. / Neq.Nm.eq. -a quantidade de equipamentos modernos;Neq. -o número de equipamentos instaladosd34.4O nível de satisfação do corpo docente com a qualidade da infraestrutura educacional e científica (Ct.s.e.s.i.)Ct.s.e.s.i.= Nt.s.e.s.i. / Nt.s.Nt.s.e.s.i-o número de docentes satisfeitos com a qualidade da infraestrutura educativa e científicad44.5O nível de satisfação do aluno com a qualidade da infraestrutura educacional e científica (Cs.e.s.i.)Cs.e.s.i.= Ns.e.s.i./ Nt.n.sNs.e.s.i.-o número de alunos satisfeitos com a qualidade da infraestrutura educacional e científicad55O critério "Qualidade da gestão de processos educacionais" (Cr5)5.1O nível de satisfação dos alunos com o trabalho da Reitoria Centralizada (Cs.C.D.o.)Cs.C.D.o.= Ns.C.D.o/ Nt.n.sNs.C.D.o. -o número de alunos satisfeitos com o trabalho da Pró-Reitoria Centralizadae15.2O nível de satisfação do corpo docente com o trabalho da Reitoria Centralizada (Ct.s.C.D.o.)Ct.s.C.D.o. = Nt.s.C.D.o./ Nt.s.Nt.s.C.D.o.-o número de docentes satisfeitos com o trabalho da Reitoria Centralizadae25.3O nível de satisfação do aluno com o Serviço de Suporte Técnico (Cs.T.S.S.)Cs.T.S.S. = Ns.T.S.S/ Nt.n.sNs.T.S.S-o número de alunos satisfeitos com o Serviço de Suporte Técnicoe35.4O nível de satisfação do corpo docente com o Serviço de Apoio Técnico (Ct.s.T.S.S.)Ct.s.T.S.S.= Nt.s.T.S.S./ Nt.sNt.s.T.S.S.-o número de docentes satisfeitos com o Serviço de Apoio Técnicoe45.5O nível de satisfação do aluno com os regulamentos atuais e os regulamentos locais (Cs.c.l.r.)Cs.c.l.r. = Ns.c.l.r./ Nt.n.sNs.c.l.r. -o número de alunos satisfeitos com os e5
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA eViktoriya VISHNYAKOVARPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153545Fonte: Elaborado pelos autoresAlém disso, um especialista atribui um peso a cada critério. Esse peso é considerado no cálculo do coeficiente composto da qualidade dos serviços educacionais (Tabela 2).Tabela2Os critérios de qualidade dos serviços educacionaisCritérioFórmula de cálculoPeso do critério1O critério "Qualidade dos programas educacionais de ES" (Cr1)Cr1 =а1Cd.d.p. +а2Cn+а3Cf.l.+ а4Ci.t.d. + а5Ce.c.d.p.+ а6Cg.q.e. + а7Cs.q.e.p.+ а8Cg. SSE HE + а9Cs.b.m + а10 Ct.t.n12O critério "Qualidade do corpo docente" (Cr2)Cr2 = b1Cage+ b2Cs.d. + b3CPhD+ b4Cf.l.+ b5Cin.+ b6Cq.l.n23O critério "Qualidade das tecnologias educacionais" (Cr3)Cr3 = c1Ci.m. + c2Ce.e.r. + c3Cpr+ c4Cinc+ c5Cinc. ed. + c6Cс.m.s.n34O critério "Qualidade do material e suporte técnico do processo educativo" (Cr4)Cr4 = d1Cs.d.s. d2К Ct.s.d.s. + d3Cm.eq.+ d4Ct.s.e.s.i.+ d5Cs.e.s.i.n45O critério "Qualidade da gestão de processos educacionais" (Cr5)Cr5 = e1Cs.C.D.o.+ e2Ct.s.C.D.o.+ e3Cs.T.S.S.+ e4Ct.s.T.S.S.+ e5Cs.c.l.r.+ e6Ct.s.c.l.r.n5Fonte:Elaborado pelos autoresO coeficiente composto da qualidade dos serviços educacionais (Ce.s.q.)é determinado como a soma dos indicadores generalizantes para cada critério, considerando o peso. Determina pela fórmula:Ce.s.q. = n1 Cr 1+ n2 Cr 2 + n3 Cr 3 + n4 Cr 4 + n5 Cr6, (1)Assim, o coeficiente composto permite avaliar a qualidade dos serviços educacionais em termos quantitativos, cujo valor máximo será um. No futuro, será possível comparar o coeficiente composto e os indicadores particulares, considerando seu peso, com os coeficientes do ano anterior.É eficaz usar um método misto para avaliar a qualidade dos serviços educacionais. Os indicadores, critérios e um indicador composto (método integrado) serão determinados primeiro. Em seguida, será aplicado um método diferencial baseado na comparação de indicadores de qualidade dos períodos base e atual.IndicadoresFórmula de cálculoExplicação da fórmulaPeso do indicadorregulamentos atuais e os regulamentos locais5.6O nível de satisfação do corpo docente com os regulamentos atuais e os regulamentos locais (Ct.s.c.l.r.)Ct.s.c.l.r.= Nt.s.c.l.r./ Nt.sNt.s.c.l.r.-número de professores satisfeitos com os regulamentos atuais e os regulamentos locaise6
image/svg+xmlMetodologia para avaliação da qualidade dos serviços de educação superiorRPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153546O critério e os indicadores terão características próprias a cada instituição de ensino, portanto a auditoria interna tem caráter individual.DiscussãoO estudo da avaliação da qualidade dos serviços educacionais enfatizou a necessidade de uma avaliação efetiva por meio da implementação de uma auditoria interna. A auditoria interna deve ser organizada regularmente para rastrear a dinâmica das mudanças nos indicadorese obter resultados confiáveis. Isso nos permitirá tomar medidas oportunas para melhorar a qualidade dos serviços educacionais. Com base nos resultados da auditoria interna, a universidade pode planejar e executar medidas para uma gestão eficaz do processoeducacional. Melhorará a qualidade dos serviços educacionais, atenderá às necessidades dos consumidores e aos requisitos dos Padrões Educacionais Estaduais Federais.Os métodos de avaliação da qualidade dos serviços educacionais estudados no trabalho permitiram distinguir duas etapas principais:1) A análise dos relatórios das atividades da organização educacional;2) A análise de pesquisas sociológicas.Entretanto, foi determinado que para avaliar a qualidade dos serviços educacionais de forma eficaz, é necessário analisar os dados ao longo de todo o período de prestação de serviços educacionais. Além disso, para aumentar a competitividade e alcançar posições de liderança no mercado de serviços educativos e no mercado de trabalho, as instituições de ensinoe formação profissional é aconselhável não só manter um certo nível de qualidade dos serviços educativos, mas também assegurar o seu aumento.O número de pesquisadores enfatizou a necessidade de aprimorar o procedimento de avaliação da qualidade dos serviços educacionais. Eles identificaram o questionário com perguntas abertas e fechadas como um dos métodos eficazes de avaliação, envolvendo o uso de parâmetros de pontuação e o método de estimativas ponderadas (GOLUBEVA; MEREUTS; TKHAZAPLIZHEVA, 2017). A objetividade dos resultados da pesquisa depende do número de perguntas. Por isso é importante estudar detalhadamente os questionários para cada consumidor sobre um processo educacional específico (BAYDAKOVA; KOMIN; ALMAMATOV, 2015).Os resultados da análise da avaliação da qualidade dos serviços educacionais enfatizam a necessidade de melhorar a eficiência por meio da determinação do sistema de gestão,
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA eViktoriya VISHNYAKOVARPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153547incluindo todos os níveis de gestão da organização educacional (BASYUK; ANTIPENKO, 2019).ConclusõesAssim, para estabelecer e desenvolver um sistema eficaz de avaliação da qualidade dos serviços educativos, as organizações educativas devem aplicar métodos de avaliação integral, que depende da organização interna das atividades educativas. Assim, se a atividade educativa for um serviço, podem-lhe aplicar os parâmetros de avaliação definidos pelas normas internas. Os serviços educacionais devem ter características que caracterizem sua qualidade e satisfaçam os interesses dos consumidores. No entanto, é importante ressaltar que a escolha dos métodos de avaliação da qualidade dos serviços educacionais deve considerar os requisitos determinados pelos objetivos do estudo, bem como adequar-se a níveis de ensino específicos e categorias de consumidores. A metodologia desenvolvida é complexa. Permite que as organizações educativas considerem tanto os dados de acompanhamento da qualidade dos serviços educativos como os dados de inquéritos sociológicos aos alunos dos vários cursos e áreas de formação e ao corpo docente dauniversidade.REFERÊNCIASASANOVA, I. M.; SYRTSEV, A. N. Internal Audit Methodology. 2019. Disponível em: https://akvobr.ru/metodika_vnutrennego_audita.html. Acesso em: 15 out. 2020.BASYUK, A. S.; ANTIPENKO, R. V. Assessment of the quality of educational services of the university. Scientific Bulletin of the Southern Institute of Management, v. 4, p. 123-117, 2019.BAYDAKOVA, A.; KOMIN, M.; ALMAMATOV, A. Factors of unreliability of the results of sociological surveys. 2015. Disponível em: http://www.cogita.ru/a.n.-alekseev/andrei-alekseev-1/faktory-nedostovernosti-rezultatov-sociologicheskih-oprosov. Acesso em: 12out. 2020. BERZINA, K.; ZICMANE, I.; KUCKOVSKIS, J. Self-assessment as a key criterion for increase of quality of higher education in modern conditions. In: INTERNATIONAL CONFERENCE ON ELECTROMECHANICAL AND POWER SYSTEMS, 11., 2017. Proceedings[…]. 2017.BOLOTOV, V. A. The past, present and possible future of the Russian system for assessing the quality of education. Education Issues, v. 3, p. 287-297, 2018.
image/svg+xmlMetodologia para avaliação da qualidade dos serviços de educação superiorRPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153548CARCAMO, J. L. Factors associated with the teacher's practice that affect the dropout of students in the e-learning modality, a case study in the context of Chilean higher education. Ciencia e ingenieria, v. 42, n. 1, p. 101-112, 2021.ESCOBAR-JIMENEZ, C.; DELGADO, A. Quality and Quality in Higher Education: A Theoretical Discussion in Ecuadorian Higher Education System.Redu-Revista de Docencia Universitaria, v. 17, n. 2, p. 159-175, 2019.GERRITSEN-VANLEEUWENKAMP, K. J.; JOOSTEN-TENBRINKE, D.; KESTER, L. Assessment quality in tertiary education: An integrative literature review. Studies in Educational Evaluation, v. 55, p. 94-11, 2017.GOLUBEVA, O. A.; MEREUTS, K. I.; TKHAZAPLIZHEVA, A. N. Assessment of the quality of educational services by assessing consumer satisfaction. Science today: problems and development prospects, p. 31-33, 2017.GONZALEZ-GERALDO, J. L.; MONROY, F.; DELRINCONIGEA, B. Impact of a Spanish highereducation teacher development programme on approaches to teaching. Psychometric properties of the s-ati-20 scale. Educacion XXI, v. 24, n. 1, p. 213-232, 2021.ILICHENKO, I. A. The quality of educational services: factors, problems, prospects. In: Problems of the quality of education. Psychological and pedagogical aspects of the humanitarian culture of society. Management in regional socio-economic systems.Taganrog: Publishing CHOU VO TIUiE, 2017. p. 114-148.PANASYUK, V. P. Management of education and educational systems: state, trends, problems and prospects. Education and Science, v. 2, p. 72-88, 2017.RUSSIA. Federal Law, No. 273-FZ. On Education in the Russian Federation. 2012. Disponível em: http://www.consultant.ru/document/cons_doc_LAW_140174/ Acesso em: 08out. 2020.RUSSIA. GOST R 50691 -National standard of the Russian Federation. Services to the population. Service quality assurance system model. 2013. Disponível em: http://www.consultant.ru/document/cons_doc_LAW_267904/.Acesso em: 08out. 2020.RUSSIA. Statistical reporting in the form "Form No. 1-Monitoring". Monitoring of the main activities of the educational organization of higher education. 2019. Disponível em: http://www.consultant.ru/document/cons_doc_LAW_359722/.Acesso em: 08out. 2020.
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA eViktoriya VISHNYAKOVARPGERevista on linede Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153549RUSSIA. Federal state educational standards. Reference information. [s.d.]. Disponível em: http://www.consultant.ru/document/cons_doc_LAW_142304/#dst0. Acesso em: 08out. 2020.SERGEEVA, S. Y. Modern approaches and methods for assessing the quality of education. Young scientist, v. 37, n. 275, p. 162-165, 2019.VELICHKO, N. Y. et al. Satisfaction of consumers of educational services as a factor contributing to improving the quality of services. 2020. Disponível em: hhttp://www.tsutmb.ru/nayk/nauchnyie_meropriyatiya/int_konf/vseross/professionalno_lichnostnoe_razvitie_prepodavatelya_i_studenta_tradiczii,_problemyi,_perspektivyi2/sekcziya_1/udovletvorennost_potrebitelej_obrazovatelnyix_uslug. Acesso em: 08out. 2020.VERETEKHINA, S. V.; NOVIKOVA, V. A. Transformation of education in the digital economy. Contemporary Problems of Social Work,v. 5, n. 2(18), p. 30-37, 2019.ZHANG, A.; LI, G.; LI, Z. Research on High Quality Development of Higher Education. In: INTERNATIONAL CONFERENCE ON HUMANITIES AND SOCIAL SCIENCE RESEARCH (ICHSSR)GUILIN, PEOPLES R CHINA, 5., 2019. Proceedings[…].2019. p. 472-475.Como referenciar este artigoVINOGRADOVA, M.; KULYAMINA, O.; VASILEVA. L.; BRONNIKOVA, E.; VISHNYAKOVA, V.Metodologia para avaliação da qualidade dos serviços de educação superior.Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, dez. 2021. e-ISSN:1519-9029. DOI: https://doi.org/10.22633/rpge.v25iesp.6.16115Submetido em: 07/04/2021Revisões requeridas em: 19/08/2021Aprovado em: 25/11/2021Publicado em: 30/12/2021Processamento e editoração: Editora Ibero-Americana de Educação.Revisão, formatação, normalização e tradução.
image/svg+xmlMethodology for assessing the quality of educational services in higher educationRPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153538METHODOLOGY FOR ASSESSING THE QUALITY OF EDUCATIONAL SERVICES IN HIGHER EDUCATIONMETODOLOGIA PARA AVALIAÇÃO DA QUALIDADE DOS SERVIÇOS DE EDUCAÇÃO SUPERIORMETODOLOGÍA PARA EVALUAR LA CALIDAD DE LOS SERVICIOS EDUCATIVOS EN LA EDUCACIÓN SUPERIORMarina VINOGRADOVA1Olga KULYAMINA2Lidia VASILEVA3Evgeniya BRONNIKOVA4Viktoriya VISHNYAKOVA5ABSTRACT: The article examines the criteria and indicators for assessing the quality of educational services. The coverage of the topic of this article passes through the prism of factors related to the assessment of educational services quality, which allowed the authors to identify current methodological problems, as well as to emphasize the importance of using an integrated approach in studying the issues of providing educational services. The authors identify criteria and indicators for assessing of educational services. The authors developed the composite coefficient of educational services quality. The practical implementation of the proposals prepared by the authors determines the prerequisites for the development of a methodology for assessing educational services quality, which will allow for an objective assessment and, as a result, take the necessary measures to improve the quality of educational services on the part of the educational organization.KEYWORDS:Assessment. Educational services. Educational organization. Educational services quality.RESUMO:O artigo examina os critérios e indicadores para avaliar a qualidade dos serviços educacionais. A cobertura do tema deste artigo passa pelo prisma de fatores relacionados à avaliação da qualidade dos serviços educacionais, o que permitiu aos autores identificar problemas metodológicos atuais, bem como enfatizar a importância do uso de uma abordagem 1Russian State Social University, Moscow Russia. Doctor of Economics, Vice-Rector for Research. ORCID:https://orcid.org/0000-0002-5051-9404.E-mail:m_vinogradova@gmail.com2Russian State Social University, Moscow Russia. Candidate of Economics, Head of Interdisciplinary Research Laboratory. ORCID: https://orcid.org/0000-0001-7715-5551.E-mail: kulyamina_o@gmail.com3Russian State Social University, Moscow Russia. Researcher, Scientific and Research Institute of Prospective Trends and Technologies. ORCID:https://orcid.org/0000-0002-5311-7099.E-mail:vasileva47@gmail.com4Russian State Social University, Moscow Russia. Candidate of Economics, Senior Researcher, Interdisciplinary Research Laboratory. ORCID:https://orcid.org/0000-0002-5409-9726.E-mail:85614863@gmail.com5Russian State Social University, Moscow Russia. Candidate of Economics, Head of Department of Scientific and Technical Information. ORCID: https://orcid.org/0000-0001-5986-2498. E-mail:education.com.ru@gmail.com
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA and Viktoriya VISHNYAKOVARPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153539integrada no estudo das questões defornecimento de serviços educacionais. Os autores identificam critérios e indicadores para avaliar os serviços educacionais. Os autores desenvolveram o coeficiente composto de qualidade dos serviços educacionais. A implementação prática das propostas elaboradas pelos autores determina os pré-requisitos para o desenvolvimento de uma metodologia de avaliação da qualidade dos serviços educacionais, que permitirá uma avaliação objetiva e, por conseguinte, tomar as medidas necessárias para a melhoria da qualidade dos serviços educacionais da organização educacional.PALAVRAS-CHAVE:Avaliação. Serviços educacionais. Organização educacional. Qualidade dos serviços educacionais.RESUMEN:El artículo examina los criterios e indicadores para evaluar la calidad de los servicios educativos. La cobertura del tema de este artículo pasa por el prisma de los factoresrelacionados con la evaluación de la calidad de los servicios educativos, lo que permitió a los autores identificar los problemas metodológicos actuales, así como enfatizar la importancia de utilizar un enfoque integrado en el estudio de las cuestiones debrindando servicios educativos. Los autores identifican criterios e indicadores para la evaluación de los servicios educativos. Los autores desarrollaron el coeficiente compuesto de calidad de los servicios educativos. La puesta en práctica de las propuestas elaboradas por los autores determina las condiciones previas para el desarrollo de una metodología de evaluación de la calidad de los servicios educativos, que permitirá realizar una evaluación objetiva y, en consecuencia, tomar las medidas necesarias para mejorar la calidad de los servicios educativos en parte de la organización educativa.PALABRAS CLAVE:Evaluación. Servicios educativos. Organización educativa. Calidad de los servicios educativos.IntroductionNowadays, there is a fierce competition in the educational services market. Only the educational organization that is continuously engaged in quality improvement issues can win in it. Currently, there is no single methodology for assessing the educational services quality to recommend to alleducational organizations. Therefore, the universities force to develop criteria and indicators of the educational services quality at the level of self-examination. The need to assess the educational services quality is due to the interest of society andthe state in ensuring that the population mastered significant and necessary competencies to maintain the quality of work at a certain level. It should grow in proportion to the development of science and technology, providing the labor market with qualified personnel (GERRITSEN-VAN LEEUWENKAMP; JOOSTEN-TEN BRINKE; KESTER, 2017).This fact forms severalmandatory characteristics that are significant for a particular consumer of educational services.
image/svg+xmlMethodology for assessing the quality of educational services in higher educationRPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153540The variety of methods and approaches for assessing the educational services quality has its own specifics and often does not allow making objective analysis timely and qualitatively. In this regard, the issue of assessing the provision of educational services requires a detailed study.MethodsIn order to analyze the effectiveness of evaluating the educational services quality in the course of the study there were used methods of comparative analysis, which revealed the main approaches to the assessment of educational services. The set of general scientific methods made it possible to determine the main criteria and indicators for assessing the quality of educational services.The work also considered the approaches of Russian and foreign scientists to the definition of educational services quality (ASANOVA;SERGEEVA, 2019, GERRITSEN-VAN LEEUWENKAMP; JOOSTEN-TEN BRINKE; KESTER, BERZINA; ZICMANE; KUCKOVSKIS,2017), the concept of quality in higher education (ESCOBAR-JIMENEZ; DELGADO, 2019), the approaches to education management (PANASYUK,2017). The features of the methodology for the transition to e-education, transformation of higher education, the introduction of an electronic environment wasanalyzed (CARCAMO,2021, VERETEKHINA; NOVIKOVA, 2019). The quality of higher education, influencing factors, assessment systems (BOLOTOV, 2018; ZHANG; LI; LI,2019;ILICHENKO, 2017), including issues of assessing the quality of the teaching staff (GONZALEZ-GERALDO; MONROY; DEL RINCON IGEA, 2021) assessment of student’ssatisfaction with the quality of educational services were studied (VELICHKOet al.,2020).As part of the analysis, special attention was paid to legislative regulations and standards of the Russian Federation (Federal Law of December 29, 2012 № 273-FZ, GOST R 50691-2013, form number 1-Monitoring, Reference information Federal State Educational Standards, Statistical reporting forms)(RUSSIA, 2012; 2013; 2019).The main goal of the study is to develop a methodology for assessing the quality of educational services in higher education, including the calculation of criteria and indicators for assessing the educational services quality.
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA and Viktoriya VISHNYAKOVARPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153541ResultsAt the present stage, educational services are an integral part of the education system. The assessment of the quality of educational services is based on meeting the needs of students, creating conditions for learning, as well as focusing on personal development and effective competitiveness in the educational services market.The formation of consumer expectations can be influenced by many factors: the student's own needs, life experience, the opinion of society, the status of the educational organization, current information about the labor market. Depending on the ratio of the assessment, the reasons for the gaps between the expectation and the perception of the quality of educational services highlighted: the assessment by the management of the educational organization of the consumer's expectations without research; untimely elimination of problems in the educational services.The assessment of educational services quality in fact should proceed from the perception of its potential result, directly the student receives the educational service.In practice, there is also a method for evaluating educational services based onthe results of a preliminary survey of the consumers. This analysis will allow the educational organization to assess the entire process of providing a service from the initial stage -the conditions of obtaining, to the final result -the possibility of learning (BERZINA; ZICMANE; KUCKOVSKIS,2017).The information database for assessing the educational services quality can be the results of a survey separately for each consumer, the results of self-examination. Thus, evaluation of the quality of educational services carries out using methods (differential, complex or mixed) and considerthe data obtained from the consumer survey.In order to determine a quantitative assessment of educational services quality, it seems appropriate the main directions of educational activities (criteria). The particular indicators will characterize criteria. The authors proposed to use a complex method, which consists in the use of a consolidated quality indicator (composite coefficient), which interprets the quality level as a single factor.Each of the coefficients characterize the criteria of educational services quality. It describes by severalindicators with their weight (Table 1). The criteria for assessing the quality of educational services should be determined in accordance with the objectives of the educational organization functioning. The number of criteria should be sufficient to conduct an effective assessment.
image/svg+xmlMethodology for assessing the quality of educational services in higher educationRPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153542Table 1The criterion and the indicators of educational services qualityIndicatorsCalculation formulaExplanation of the formulaIndicator weight1The criterion "Quality of HE educational programs" (Cr1)1.1The share of educational programs implemented under double degree programs (Cd.d.p. )Cd.d.p. = Nd.d.p. / Ne.p.Nd.d.p. -the number of double degree programs;Ne.p. -the total number of educational programsa11.2The share of network programs implemented in cooperation with leading Russian universities (Cn)Cn = Nn / Ne.p.Nn -the number of network programs implemented in cooperation with leading Russian universitiesa21.3The share of educational programs implemented in foreign languages (Cf.l.)Cf.l. = Nf.l. / Ne.p.Nf.l. -the number of educational programs implemented in foreign languagesa31.4The share of students studying on individual trajectories of development (Ci.t.d.)Ci.t.d. = Ni.t.d. / Nt.n.sNi.t.d. -the number of students studying on individual trajectories of development;Nt.n.s-the total number of studentsa41.5The share of e-learning courses hosted at the International and Russian educational digital platforms (Ce.c.d.p.)Ce.c.d.p.= Ne.c.d.p. /Ne.c.Ne.c.d.p. -the number of e-learning courses hosted at the International and Russian educational digital platforms;Ne.c. -the total number of e-learning coursesa51.6The share of graduates satisfied with the quality of education (Cg.q.e.)Cg.q.e. = Ng.q.e. / Ng.Ng.q.e. the number of graduates satisfied with the quality of education;Ng. -the total number of graduatesa61.7The share of students satisfied with the quality of educational programs (Cs.q.e.p.)Cs.q.e.p.= Ns.q.e.p. / Nt.n.sNs.q.e.p. -the number of students satisfied with the quality of educational programsa71.8The share of SSE program’s graduates continued studies in HE programs (Cg. SSE HE)Cg. SSE HE = Ng. SSE HE/ Ng. SSENg. SSE HE-the number of SSE program’s graduates continued studies inHE programs;Ng. SSE-the total number of SSE program’s graduatesa81.9The share of bachelor course students continued studies in master's degree program (Cs.b.m.)Cs.b.m = Ns.b.m. / Ns.b.Ns.b.m-the number of bachelor course students continued studies in master's degree program;Ns.b. -the total number of bachelor course studentsa9
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA and Viktoriya VISHNYAKOVARPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153543IndicatorsCalculation formulaExplanation of the formulaIndicator weight1.10The share of HE program’s students studied under contracts for targeted training (Ct.t.)Ct.t. = Nt.t. / Nt.n.sNt.t.-the number of students of HE programsstudied under contracts for targeted traininga102The criterion "Quality of the teaching staff"(Cr2)2.1The share of teaching staff up to 39 years old (Cage)Cage = Nup to 39 / Nt.s.Nupto 39 -the number of teaching staff up to 39 years old;Nt.s. -total number of teaching staffb12.2The share of teaching staff with a scientific degree (Cs.d.)Cs.d. = Ns.d. / Nt.s.Ns.d. -the number of teaching staff with a scientific degreeb22.3The share of teaching staff with a PhD degree (CPhD)CPhD = NPhD / Nt.s.NPhD -the number of teaching staff with a PhD degreeb32.4The share of teaching staff who speak a foreign language (Cf.l.)Cf.l. = Nf.l./ Nt.s.Nf.l. -the number of teaching staff who speak a foreign languageb42.5The share of teaching staff who have completed internships with leading employers and abroad, per year (Cin.)Cin. = Nin. / Nt.s.Nin. -the number of teaching staff who have completed internships with leading employers and abroadb52.6The share of students satisfied with the quality of the of lessons (Cq.l.)Cq.l. = Nq.l. / Nt.n.sNq.l. -the number of students who are satisfied with the quality of lessonsb63The criterion "Quality of educational technologies" (Cr3)3.1The share of teaching staff using interactive methods (training, coaching, gaming practices and so on.) (Ci.m. )Ci.m. = Ni.m. / Nt.s.Ni.m. -the number of teaching staff using interactive methodsc13.2The share of teaching staff using modern electronic educational resources, including their own developments (e-learning courses, Coursera, video lectures, content courses) (Ce.e.r.)Ce.e.r.= Ne.e.r. / Nt.s.Ne.e.r. -the number of teaching staff using modern electronic educational resources, including their own developmentsc23.3The share of teaching staff using a training project-based approach (Cpr )Cpr = Npr / Nt.s.N pr -the number of teaching staff using a training project-based approachc33.4The share of educational programs developed using inclusive technologies and methods (Cinc )Cinc = N inc / N e.p.Ninc -the number of educational programs developed using inclusive technologies and methodsc43.5The share of teaching staff who have learned the methods of inclusive education (Cinc. ed.)Cinc. ed. = Ninc. ed./ Nt.s.Ninc. ed.-the number of teaching staff who have learned the methods of inclusive educationc5
image/svg+xmlMethodology for assessing the quality of educational services in higher educationRPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153544IndicatorsCalculation formulaExplanation of the formulaIndicator weight3.6The share of teaching staff received communication and media skills (Cс.m.s. )Cс.m.s. = Nk.m.s / Nt.s.Nс.m.s. the number of teaching staff received communication and media skillsc64The criterion "Quality of material and technical support of the educational process" (Cr4)4.1The level of student’ssatisfaction with digital services (Cs.d.s.)Cs.d.s. = Ns.d.s. / Nt.n.sNs.d.s.-the number of students satisfied with digital servicesd14.2The level of teaching staff satisfaction with digital services (Ct.s.d.s.)Ct.s.d.s. = Nt.s.d.s. / Nt.s.Nt.s.d.s.-number of teaching staff satisfied with digital servicesd24.3The level of provision of educational and scientific processes with modern equipment (Cm.eq.)Cm.eq. = Nm.eq. / Neq.Nm.eq. -the amount of modern equipment;Neq. -the number of installed equipmentd34.4The level of teaching staff satisfaction with the quality of the educational and scientific infrastructure (Ct.s.e.s.i.)Ct.s.e.s.i.= Nt.s.e.s.i. / Nt.s.Nt.s.e.s.i-the number of teaching staff satisfied with the quality of the educational and scientific infrastructured44.5The level of student’ssatisfaction with the quality of educational and scientific infrastructure (Cs.e.s.i.)Cs.e.s.i.= Ns.e.s.i./ Nt.n.sNs.e.s.i.-the number of students satisfied with the quality of the educational and scientific infrastructured55The сriterion "Quality of educational processes management" (Cr5)5.1The level of student’ssatisfaction with the work of Centralized Dean's office (Cs.C.D.o.)Cs.C.D.o.= Ns.C.D.o/ Nt.n.sNs.C.D.o. -the number of students satisfied with the work of the Centralized Dean's Officee15.2The level of teaching staff satisfaction with the work of Centralized Dean's office (Ct.s.C.D.o.)Ct.s.C.D.o. = Nt.s.C.D.o./ Nt.s.Nt.s.C.D.o.-the number of teaching staff satisfied with the work of the Centralized Dean's Officee25.3The level of student’ssatisfaction with the Technical Support Service (Cs.T.S.S.)Cs.T.S.S. = Ns.T.S.S/ Nt.n.sNs.T.S.S-the number of students satisfied with the Technical Support Servicee35.4The level of teaching staff satisfaction with the Technical Support Service (Ct.s.T.S.S.)Ct.s.T.S.S.= Nt.s.T.S.S./ Nt.sNt.s.T.S.S.-the number of teaching staff satisfied with the Technical Support Servicee45.5The level of student’ssatisfaction with the current regulations and local regulations (Cs.c.l.r.)Cs.c.l.r. = Ns.c.l.r./ Nt.n.sNs.c.l.r. -the number of students satisfied with the current regulations and local regulationse55.6The level of teaching staff satisfaction the with the current regulations and local regulations (Ct.s.c.l.r.)Ct.s.c.l.r.= Nt.s.c.l.r./ Nt.sNt.s.c.l.r.-number of teaching staff satisfied the with the current regulations and local regulationse6Source: Devised by the authors
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA and Viktoriya VISHNYAKOVARPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153545Further, an expert assign a weight to each criterion. This weight considersin calculating the composite coefficient of educational services quality (Table 2).Table 2The criteria of educational services qualityCriteriaCalculation formulaCriterion weight1The criterion "Quality of HE educational programs" (Cr1)Cr1 =а1Cd.d.p. +а2Cn+а3Cf.l.+ а4Ci.t.d. + а5Ce.c.d.p.+ а6Cg.q.e. + а7Cs.q.e.p.+ а8Cg. SSE HE + а9Cs.b.m + а10 Ct.t.n12The criterion "Quality of the teaching staff"(Cr2)Cr2 = b1Cage+ b2Cs.d.+ b3CPhD+ b4Cf.l.+ b5Cin.+ b6Cq.l.n23The criterion "Quality of educational technologies" (Cr3)Cr3 = c1Ci.m. + c2Ce.e.r. + c3Cpr+ c4Cinc+ c5Cinc. ed. + c6Cс.m.s.n34The criterion "Quality of material and technical support of the educational process" (Cr4)Cr4 = d1Cs.d.s. d2К Ct.s.d.s. + d3Cm.eq.+ d4Ct.s.e.s.i.+ d5Cs.e.s.i.n45The сriterion "Quality of educational processes management" (Cr5)Cr5 = e1Cs.C.D.o.+ e2Ct.s.C.D.o.+ e3Cs.T.S.S.+ e4Ct.s.T.S.S.+ e5Cs.c.l.r.+ e6Ct.s.c.l.r.n5Source: Devised by the authorsThe composite coefficient of educational services quality (Ce.s.q.)is determined as the sum of generalizing indicators for each criterion, consideringthe weight. It determines by the formula:Ce.s.q. = n1 Cr 1+ n2 Cr 2 + n3 Cr 3 + n4 Cr 4 + n5 Cr6, (1)Thus, the composite coefficient makes it possible to assess the quality of educational services in quantitative terms, the maximum value of which will be one. In the future, it will be possible to compare the composite coefficient and particular indicators, consideringtheir weight, with the previous year’s coefficients.It is effectively to use a mixed method for assessing the quality of educational services. The indicators, criteria and a composite indicator (integrated method) will first be determined. Then a differential method based on a comparison of quality indicators of the base and current periods will be applied.The criterion and indicators will have its own characteristics to each educational institution, so the internal audit has individual character.
image/svg+xmlMethodology for assessing the quality of educational services in higher educationRPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153546DiscussionThe study of the assessment of educational services quality emphasized the need for an effective assessment through the implementation of an internal audit. The internal audit should be organized on a regular basis in order to trace the dynamics of changesin indicators and obtain reliable results. It will allow us to take timely measures to improve the quality of educational services. Based on the results of the internal audit, university can plan and carry out measures for effective management of the educational process. It will improve the quality of educational services, meet the needs of consumers and the requirements of Federal state Educational Standards(RUSSIA, [s.d.]).The methods for assessing the quality of educational services studied in the work made it possible to distinguish two main stages:1) The analysis of reports of the educational organization activities;2) The analysis of sociological surveys.Meanwhile, it was determined that in order to assess the quality of educational services effectively, it is necessary to analyze the data throughout the entire period of providing educational services. Moreover, in order to increase competitiveness and achieve leading positions as at the educational services market and the labor market, education and professional training institutions is advisable not only to maintain a certain level of quality of educational services, but also to ensure its increase.The number of researchers emphasized the need to improve the procedure for assessing the quality of educational services. They identified the questionnaire with open and closed questions as one of the effective methods of assessing, involving the use of scoring parameters and the method of weighted estimates (GOLUBEVA; MEREUTS; TKHAZAPLIZHEVA, 2017). The objectivity of the survey results depends on the number of questions. That’s why it is important to study in detailthe questionnaires for each consumer on a specific educational process (BAYDAKOVA; KOMIN; ALMAMATOV, 2015). The results of the analysis of the educational services quality assessment emphasize the need to improve efficiency through the determination of the management system, including all management levels of the educational organization (BASYUK; ANTIPENKO, 2019).
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA and Viktoriya VISHNYAKOVARPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153547ConclusionThus, in order to establish and develop an effective system for assessing the educational services quality, educational organizations should apply methods of comprehensive assessment, which depends on the internal organization of educational activities. Therefore, if educational activity is a service, the assessment parameters defined by internal standards may apply to it. The educational services should have the features that characterize their quality and satisfy the interests of consumers. However, it isimportant to emphasize that the choice of methods for assessing the educational services quality should considerthe requirements determined by the objectives of the study, as well as adapt to specific levels of education and categories of consumers. The developed methodology is complex. It allows the educational organizations to considerboth the data of monitoring the educational services quality and the data of sociological surveys of students of various courses and areas of training and the teaching staff of the university. REFERENCESASANOVA, I. M.; SYRTSEV, A. N. Internal Audit Methodology. 2019. Available: https://akvobr.ru/metodika_vnutrennego_audita.html. Access: 15 Oct. 2020.BASYUK, A. S.; ANTIPENKO, R. V. Assessment of the quality of educational services of the university. Scientific Bulletin of the Southern Institute of Management, v. 4, p. 123-117, 2019.BAYDAKOVA, A.; KOMIN, M.; ALMAMATOV, A. Factors of unreliability of the results of sociological surveys. 2015. Available: http://www.cogita.ru/a.n.-alekseev/andrei-alekseev-1/faktory-nedostovernosti-rezultatov-sociologicheskih-oprosov. Access: 12 Oct. 2020. BERZINA, K.; ZICMANE, I.; KUCKOVSKIS, J. Self-assessment as a key criterion forincrease of quality of higher education in modern conditions. In: INTERNATIONAL CONFERENCE ON ELECTROMECHANICAL AND POWER SYSTEMS, 11., 2017. Proceedings[…]. 2017.BOLOTOV, V. A. The past, present and possible future of the Russian system for assessing the quality of education. Education Issues, v. 3, p. 287-297, 2018.CARCAMO, J. L. Factors associated with the teacher's practice that affect the dropout of students in the e-learning modality, a case study in the context of Chilean higher education. Ciencia e ingenieria, v. 42, n. 1, p. 101-112, 2021.
image/svg+xmlMethodology for assessing the quality of educational services in higher educationRPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153548ESCOBAR-JIMENEZ, C.; DELGADO, A. Quality and Quality in Higher Education: A Theoretical Discussion in Ecuadorian Higher Education System.Redu-Revista de Docencia Universitaria, v. 17, n. 2, p. 159-175, 2019.GERRITSEN-VANLEEUWENKAMP, K. J.; JOOSTEN-TENBRINKE, D.; KESTER, L. Assessment quality in tertiary education: An integrative literature review. Studies in Educational Evaluation, v. 55, p. 94-11, 2017.GOLUBEVA, O. A.; MEREUTS, K. I.; TKHAZAPLIZHEVA, A. N. Assessment of the quality of educational services by assessing consumer satisfaction. Science today: problems and development prospects, p. 31-33, 2017.GONZALEZ-GERALDO, J. L.; MONROY, F.; DELRINCONIGEA, B. Impact of a Spanish higher education teacher development programme on approaches to teaching. Psychometric properties of the s-ati-20 scale. Educacion XXI, v. 24, n. 1, p. 213-232, 2021.ILICHENKO, I. A. The quality of educational services: factors, problems, prospects. In: Problems of the quality of education. Psychological and pedagogical aspects of the humanitarian culture of society. Management in regional socio-economic systems.Taganrog: Publishing CHOU VO TIUiE, 2017. p. 114-148.PANASYUK, V. P. Management of education and educational systems: state, trends, problems and prospects. Education and Science, v. 2, p. 72-88, 2017.RUSSIA. Federal Law, No. 273-FZ. On Education in the Russian Federation. 2012. Available: http://www.consultant.ru/document/cons_doc_LAW_140174/.Access: 08 Oct. 2020.RUSSIA. GOST R 50691 -National standard of the Russian Federation. Services to the population. Service quality assurance system model. 2013. Available: http://www.consultant.ru/document/cons_doc_LAW_267904/.Access: 08 Oct. 2020.RUSSIA. Statistical reporting in the form "Form No. 1-Monitoring". Monitoring of the main activities of the educational organization of higher education. 2019. Available: http://www.consultant.ru/document/cons_doc_LAW_359722/.Access: 08 Oct. 2020.RUSSIA. Federal state educational standards. Reference information. [s.d.]. Available: http://www.consultant.ru/document/cons_doc_LAW_142304/#dst0. Access: 08 Oct. 2020.SERGEEVA, S. Y. Modern approaches and methods for assessing the quality of education. Young scientist, v. 37, n. 275, p. 162-165, 2019.
image/svg+xmlMarina VINOGRADOVA; Olga KULYAMINA; Lidia VASILEVA; Evgeniya BRONNIKOVA and Viktoriya VISHNYAKOVARPGERevista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029DOI: https://doi.org/10.22633/rpge.v25iesp.6.161153549VELICHKO, N. Y. et al. Satisfaction of consumers of educational services as a factor contributing to improving the quality of services. 2020. Available: hhttp://www.tsutmb.ru/nayk/nauchnyie_meropriyatiya/int_konf/vseross/professionalno_lichnostnoe_razvitie_prepodavatelya_i_studenta_tradiczii,_problemyi,_perspektivyi2/sekcziya_1/udovletvorennost_potrebitelej_obrazovatelnyix_uslug. Access: 08 Oct. 2020.VERETEKHINA, S. V.; NOVIKOVA, V. A. Transformation of education in the digital economy. Contemporary Problems of Social Work,v. 5, n. 2(18), p. 30-37, 2019.ZHANG, A.; LI, G.; LI, Z. Research on High Quality Development of Higher Education. In: INTERNATIONAL CONFERENCE ON HUMANITIES AND SOCIAL SCIENCE RESEARCH (ICHSSR)GUILIN, PEOPLES R CHINA, 5., 2019. Proceedings[…].2019. p. 472-475.How to reference this articleVINOGRADOVA, M.; KULYAMINA, O.; VASILEVA. L.; BRONNIKOVA, E.; VISHNYAKOVA, V. Methodology for assessing the quality of educational services in higher education.Revista on line de Política e Gestão Educacional, Araraquara, v. 25, n. esp. 6, p. 3538-3549, Dec. 2021. e-ISSN:1519-9029. DOI: https://doi.org/10.22633/rpge.v25iesp.6.16115Submitted: 07/04/2021Required revisions: 19/08/2021Approved: 25/11/2021Published: 30/12/2021Processing and publication by the Editora Ibero-Americana de Educação.Correction, formatting, standardization and translation.