Dos processos de avaliação institucional ao ENADE

A partir da década de 1980 os programas de graduação foram inseridos no processo de avaliação da qualidade do ensino superior por meio de diversas iniciativas, tais como o Programa de Avaliação da Reforma Universitária (PARU), Comissão para a Reformulação da Educação Superior - “Comissão de Notáveis”- e o Grupo Executivo para a Reforma da Educação Superior (GERES), sendo todos oriundos de órgãos governamentais. Em paralelo e com o objetivo de se aperfeiçoar as IES desenvolveram processos de autoavaliação, que no início eram individuais e que não permitiam uma padronização de critérios, problema que foi atenuado com a criação do Sistema Nacional de Avaliação da Educação Superior (SINAES), que padronizou parâmetros e fomentou uma avaliação uniforme (^{Cesso e Ferraz, 2017}).

O SINAES foi criado como ferramenta que visa a avaliar o ensino superior de forma sistêmica. Em sua constituição estão vários instrumentos. Dentre eles destaca-se o ENADE, que tem como finalidade analisar o desempenho discente juntamente com informações institucionais e referentes ao curso (^{Lemos e Miranda, 2015}). O exame contém duas partes: uma geral, comum para todos os alunos de um determinado ano, que mede habilidades cognitivas gerias, tais como interpretação de textos e gráficos, raciocínio lógico, etcétera; e uma segunda parte específica, que mede conhecimentos particulares de cada curso (^{Wainer e Melguizo, 2018}).

O ENADE apresenta as orientações de aplicação e também é parte integrante ao SINAES e tem a finalidade de aferir o desempenho do estudante em relação a Diretrizes Curriculares Nacionais (DCN) de curso. O conteúdo da prova é concernente à DCN, e visa verificar o desenvolvimento de competências e de habilidades necessárias à formação geral e profissional (^{Santos e Silva, 2014}). Construir currículos de cursos superiores, sob a orientação das DCN, impõe desafios e inquietações, principalmente quando se trata dos processos formativos profissionais. Por isso, tornam-se necessários estudos que contribuam para orientar a construção, avaliação e adequação do projeto pedagógico de um curso (^{Frade e Rezende, 2018}).

A prova é uma forma de avaliar as instituições através dos alunos, visto que, na mesma, os alunos expressam, por meio das respostas, os conhecimentos adquiridos ao longo da vida acadêmica. Espera-se que no exame, os discentes possam demonstrar as competências apreendidas no curso. Com os resultados obtidos no ENADE, as IES podem promover melhorias na qualidade do ensino, mudar metodologias e práticas educacionais, bem como comparar o desempenho dos discentes em relação à amostra nacional, da sua região/cidade e de alunos (^{Cesso e Ferraz, 2017}). Vale ressaltar, ainda, que a avaliação -quando concebida como um processo holístico- pode ser usada como referencial para que as IES disponham de evidências empíricas, não apenas de suas dificuldades mas, também, de suas potencialidades e de suas realizações.

Refletir sobre avaliação educacional é colocar o foco nos sujeitos envolvidos na avaliação -sujeitos históricos, de tempos, espaços e culturas férteis na mobilização de conhecimentos, saberes, desejos e princípios. Pesquisas e estudos contemporâneos sobre a avaliação educacional com base nessa perspectiva devem articular as necessidades sociais à criação e consolidação de políticas públicas na direção da melhoria da qualidade (^{Marinho-Araujo e Rabelo, 2015}).

Procedimento de pesquisa

Este artigo caracteriza-se como uma pesquisa descritiva, visto que procurou expor as características da população em foco. Segundo ^{Vergara (2010)}, a pesquisa descritiva evidencia características de determinada população ou fenômeno. E, apesar de não ter compromisso de explicar os fenômenos que relata, pode servir como base para a explicação.

Ainda de acordo com ^{Vergara (2010)}, a pesquisa bibliográfica é o estudo sistematizado desenvolvido a partir de materiais publicados em livros, revistas, jornais e redes eletrônicas, isto é, material acessível ao público em geral. ^{Ganga (2012)} acrescenta, ainda, que esse tipo de pesquisa procura explicar um problema a partir das referências teóricas publicadas em documentos, e que podem ser utilizada como parte da pesquisa descritiva.

Perfil dos participantes e limitações do estudo

A seleção dos participantes foi possível a partir de uma lista inicial com 38 estudantes da instituição que fizeram o ENADE 2011 e outro quantitativo da mesma ordem no ano de 2014. No 2011 havia um total de 10 participantes do universo da pesquisa que eram do sexo feminino. Já o universo de 2014 tinha o quantitativo 20 participantes do ENADE do sexo feminino. Dentre o total do universo calculou-se uma amostragem e foi efetuado contato por e-mail. A participação ficou sujeita a disponibilidade e acesso a rede internet no período da pesquisa. Alguns estudantes não deram retorno. Acredita-se que a possível mudança de contato de e-mail e as responsabilidades profissionais tendem a impor limites na cobertura total do universo da pesquisa.

Desta forma, o questionário foi realizado com 27 egressos do curso de Engenharia de Produção que realizaram o ENADE de 2011. E outros 27 egressos para a amostra de participantes do curso no ENADE 2014. Foi enviado aos alunos um questionário on line dando a eles um tempo de duas semanas para as respostas. A idade média dos participantes de 2011 era de 27.1 anos no momento que realizaram o ENADE. Já a turma de 2014, no referido ENADE, apresentou uma idade média de 25.2 anos. Idades que mostram uma tendência para que a turma de 2011 tenha um comportamento mais maduro.

Quanto a pesquisa de campo, limitou-se a identificar a percepção dos grupos de alunos que participaram do ENADE em 2011 e 2014. Desta forma, para o cálculo do tamanho da amostra mínima dos grupos dos itens “a” e “b” foram utilizadas as fórmulas propostas por ^{Barbetta (2011)}:

Onde:

N = Tamanho da polução

n₀ = primeira aproximação para o tamanho da amostra

n = Tamanho da amostra

E₀ = Erro amostral tolerável

Considerando que o número de participantes no ENADE de 2011 foram 38 egressos. E que a partir das fórmulas acima foi possível calcular o número de egressos a serem entrevistados:

Como limitações do estudo, pode-se citar que por não ter sido um recenseamento pode haver diferenças de percepção entre população-alvo e a amostra envolvida. O fato de que alguns alunos já estavam afastados da instituição há algum tempo, dificultou o contato e as respostas dos mesmos. Além disto, a não aplicação do questionário no próprio dia da prova, pode ter influenciado em algum julgamento.

Instrumento e atributos

Com o objetivo de verificar a percepção que os alunos da instituição tiveram das práticas de ensino e avaliação utilizados para a formação e preparação para o exame ENADE, foi utilizado o tipo de questionário proposto pelo modelo de Kano. Segundo ^{Seder e Alhazza (2014)}, Noriaki Kano criou este modelo enquanto estudava os fatores que contribuem para a satisfação do cliente e fidelidade do cliente. Kano queria demonstrar e explicar como as diferentes classificações ou categorias de requisitos do cliente e características têm a capacidade de influenciar a satisfação de maneiras diferentes. O modelo vai muito além da simples capacidade de ver como os requisitos e características influenciam a satisfação. Na verdade, Kano descobriu e classificou cinco categorias de requisitos que todos desenvolvedores de produtos e serviços devem compreender. Três dessas categorias são muito comuns que geralmente envolvem questões importantes como a do entendimento das preferências do cliente, exigência de priorização e classificação.

Para a elaboração dos questionários e escolha dos atributos testados utilizou-se os que foram encontrados na literatura e as praticas acadêmicas desenvolvidas e presentes nos projetos pedagógicos de cursos de Engenharia de Produção das instituições mais bem avaliadas pelo ENADE em 2011/2014, que, consequentemente, foram selecionadas:

Vale destacar que, da lista acima, a faixa da nota obtida no ENADE é 4 e 5, de um máximo de 5, o que é considerado um aproveitamento bom e excelente, respectivamente.

Com a finalidade de seguir a primeira etapa necessária ao alcance dos objetivos do estudo, o presente projeto determinou os seguintes atributos: apresentação de vídeos, atendimento extraclasse dos professores, atendimento extraclasse do monitor, aula prática em laboratório, debates e mesa redonda; desenvolvimento de artigos, estudos de caso e práticas em empresas, palestras, prova com questões objetivas, provas discursivas, resenha de livros e artigos, seminários, trabalhos em grupo, trabalhos individuais, visitas técnica às empresas, aulas de revisão.

A segunda etapa é a construção do questionário do modelo Kano. Tal questionário tem como objetivo classificar os atributos identificados nas cinco sugestões apresentados pelo modelo (atrativo, obrigatório, unidimensional, reverso ou neutro). Assim, é possível identificar se o entrevistado sente-se satisfeito ou insatisfeito em relação a uma situação do atributo citado. O questionário é formado por questões duplas sobre o mesmo. Em uma, é dada uma situação em que ele está presente ou apresenta um grau satisfatório (questão funcional) e, na outra, a pregunta é refeita de forma negativa em que o atributo esteja ausente (questão disfuncional) (^{Figueiredo, 2005}). Como no exemplo da Figura 1.

Fonte: autores.

Figura 1 Funcional e disfuncional: questionário de Kano 

O questionário possui perguntas funcionais e disfuncionais que não foram colocadas em sequência para que o respondente não fosse influenciado e como consequência a pesquisa tornar-se tendenciosa. Após a aplicação do questionário em um público foco, é possível definir a classificação do atributo, utilizando um padrão similar ao apresentado na Tabela 1.

Na terceira etapa, com a combinação das respostas funcionais e disfuncionais, pode-se determinar a classificação do atributo em: questionável (Q), atrativo (A), unidimensional (U), reverso (R), neutro (N), obrigatório (O). Por exemplo, se a resposta do cliente para a questão funcional for “Eu gosto disso desta maneira” e para a questão disfuncional for “Eu espero que seja desta maneira”, de acordo com a Tabela 1, a classificação, segundo o cliente, é que o atributo é atrativo.

Assim, para cada entrevistado, deve ser extraída a classificação de cada atributo. E, na quarta etapa do processo, após a tabulação e compilação dos atributos, chega-se ao percentual de cada um, conforme ilustrado no exemplo da Figura 2.

Fonte: ^{Ross et al., 2009}.

Figura 2 Exemplo da extração da classificação dos atributos 

Quando a maioria dos entrevistados classifica um atributo em uma determinada classe, por exemplo, o atributo tempo na Figura 4, a classificação é reverso por apresentar 64%. Mas muitas vezes existe uma dispersão das respostas, e a classificação não é tão clara, conforme acontece no atributo preço no exemplo acima. Neste caso deve ser classificado como um atributo unidimensional ou neutro. Supõe-se que a explicação para a dispersão seja pelo fato de que os clientes de segmentos diferentes têm expectativas diferentes (^{Ross et al., 2009}).

Fonte: ^{Garver (2003)}; ^{Walter et al. (2006)}.

Figura 3 Gráfico de classificação dos atributos segundo o modelo Kano 

Fonte: autores.

Figura 4 Gráfico da satisfação dos egressos segundo o modelo Kano 

Quando a classificação não é muito clara ou caso exista sentido duplo na classificação, um dos métodos para a solução deste problema é a regra de hierarquia: O>U>A>N (^{Tontini e Sant´ana, 2007}). Depois de realizada a tabulação dos questionários e a fim de apontar a classificação dos atributos, segundo o modelo Kano, foi utilizada a mesma metodologia que o autor ^{Borsoi (2005)} para o tratamento dos questionários e conforme relacionado a seguir na Tabela 2:

A numeração da Tabela 2 refere-se à utilizada nos questionários e como é ilustrado na legenda acima. Destacando que quando a resposta para a pergunta funcional tiver sido Muito satisfeito (5) e da disfuncional também tiver sido a mesma, tal atributo do referido respondente foi considerado “Questionável”; pois seria como se a pessoa se sentisse satisfeito com a presença e com a ausência do mesmo; assim não sendo possível fazer nenhuma classificação em relação a tal atributo. Dessa forma, os que foram classificados como “Questionável” serão desconsiderados para os cálculos dos coeficientes.

Após a classificação e contagem percentual de cada atributo, calcula-se o coeficiente de satisfação (CS). Destacando-se, o coeficiente positivo aponta o percentual de clientes que se satisfazem com a existência ou suficiência de um atributo, e o negativo são os que ficam insatisfeitos com a ausência ou insuficiência do atributo. Segundo ^{Ross et al. (2009)}, o grau de satisfação do cliente é determinado através de dois índices: coeficiente de satisfação (CS) e coeficiente de insatisfação (CI), conforme as equações 3 e 4:

Para o cálculo do CS não se deve considerar o número de clientes que assinalaram o atributo como reverso ou questionável. Porém, caso o atributo apresente um índice reverso significativo, o coeficiente tenderá a classifica-lo como neutro ou atrativo (^{Diniz, 2011}; ^{Ross et al., 2009}).

Após o cálculo de índice de satisfação do consumidor, para cada um dos atributos, faz-se a plotagem do gráfico com os valores obtidos, sendo o CS no eixo vertical e o CI no eixo horizontal.

A Figura 3 exemplifica a configuração do mesmo após o cálculo dos coeficientes de satisfação e insatisfação para cada um dos atributos. A localização do atributo nos quadrantes dá a classificação do atributo segundo o modelo Kano (^{Figueiredo, 2005}).

Teste e Anonimato

A coleta de dados foi planejada para oferecer resultados úteis e para tal envolve etapas como: determinação da população estudada, elaboração do instrumento de coleta, a programação e o tipo de dados de coleta (^{Cervo et al., 2007}). O tipo de coleta de dados foi o questionário com perguntas fechadas de múltipla escolha, enviados via e-mail com uso da plataforma do Google Drive entre dezembro de 2015 e janeiro de 2016, garantindo-lhes anonimato. O pré-teste foi aplicado à estudantes fora do universo selecionado.

Tanto o teste quanto a amostra efetiva teve a disponibilidade espontânea dos estudantes envolvidos nos testes e dos egressos. Alguns já se apresentavam afastados por um bom tempo. Portanto, o estudo se limita a não identificar o estudante em relação aos seus dados pessoais, restringindo-se nessa pesquisa ao foco teórico-metodológico adotado.

Seguindo o principio ético da pesquisa cientifica os dados da pesquisa não divulgados individualmente, só os resultados globais dos dois grupos investigados. Além de respeitar a confidencialidade e o anonimato relativo à informação obtida, não foi feita qualquer ação de punição e ameaça aos estudantes que responderam ao questionário.

Perspectivas dos alunos que participaram do ENADE 2014

Esse grupo proporciona a visão dos alunos que não tiveram contato com a prova do ENADE, porém tem a vantagem de ainda estarem na faculdade, e vivenciarem as práticas de ensino e avaliação que são mencionadas nos atributos. Assim, esse grupo de alunos foi questionado como se sentiriam se o desempenho atual deste atributo melhorasse, e como se sentiriam se o mesmo sofresse uma redução ou fosse ausente.

Ressalta-se ainda que a amostra é composta por 27 alunos que se formaram entre o semestre de 2014 e 2015. A Tabela 5 ilustra os resultados obtidos após a classificação proposta pelo modelo Kano.

Nota-se que na Tabela 5 o somatório das linhas, em alguns itens, não apresenta o total de 100%, tal fato deu-se em função do percentual que foi classificado como “questionável” ter sido desconsiderado para o cálculo do índice de satisfação. À vista disso, a Tabela 6 ilustra os resultados dos coeficientes.

A classificação dos questionários tem uma tendência para a classificação dos atributos como unidimensional, porém alguns como: debates e mesa redonda, desenvolvimento de artigos, prova com questões objetivas e seminários; não são tão claros quanto os demais e para tal é preciso avaliar e calcular os coeficientes de satisfação e insatisfação antes de afirmar a classificação do atributo em questão.

Com os coeficientes calculados é possível traçar o gráfico de dispersão, assim a classificação dos atributos é dada pelo posicionamento nos quadrantes do gráfico representado a seguir, na Figura 5.

Fonte: autores.

Figura 5 Gráfico da satisfação dos alunos segundo o modelo Kano 

Na Figura 5, todos os atributos distribuídos na zona de classificação Neutra, Atrativo e Unidimensional, sendo que nenhum dos itens, segundo a percepção dos alunos, foi indicado como obrigatório no auxilio da formação e preparação para avaliações.

Comparando os dados

Atrelando as percepções dos egressos do ano de 2011 com os participantes do ENADE de 2014, obteve-se um total de 54 estudantes sendo 27 em cada grupo e média etária de 25 anos. Em relação aos atributos propostos na pesquisa de Kano foi possível elaborar a Tabela 7, a seguir.

Nota-se que dos 16 atributos, em oito (atendimento extraclasse dos professores, apresentação de vídeos, atendimento extraclasse do monitor, aula prática em laboratório, estudos de caso e práticas em empresa, palestras, trabalhos em grupo e aulas de revisão para o ENADE), os dois grupos de alunos tiveram a mesma visão e classificaram da mesma forma. Assim reafirmando que ambos grupos possuem opiniões similares em relação às metodologias que mais contribuem para a atmosfera de preparação, fato que reforça o perfil dos egressos e que converge com a posição de ^{Santos e Silva (2014)} sobre a prova do ENADE estar associada à DCN que os cursos são estabelecidos, o que reafirma a visão conteudista de tais práticas para os alunos.

Ainda no que se refere ao clima pré-prova, o atributo “aulas de revisão para o ENADE” em ambos os grupos o mesmo foi indicado como unidimensional. E nesse atributo o grau de satisfação é proporcional ao nível de serviço prestado, em analogia, quanto maior o número de aulas e atividades de revisão para o exame do ENADE mais os alunos se sentem confiantes e preparados. Tal resultado se assemelha ao que ^{Rodriguez-Madriñán (2018)} afirma sobre um ambiente simulado capaz de gerar espaço de aprendizagem, uma experiência imersiva que estimula o ser humano.

Destacando ainda que o atributo anteriormente mencionado foi o proposto a fim de verificar se os alunos que realizaram o exame tiveram a percepção que as aulas de revisão agregaram conhecimento e conseguiu revisar os conteúdos esquecidos. E de fato foi esse resultado alcançado, visto que os grupos classificaram esse atributo como unidimensional. Dessa forma, ficaram mais que satisfeitos com as aulas que tiveram ou com a possibilidade de ter essa opção semanas antes da prova. Diferentemente do que é proposto por ^{Braghirolli (2014)}, ^{Batista, Oliveira e Nascimento (2011)}, e ^{Igidio et al. (2017)} quanto a retirar o foco do professor, em atividades preparatórias para eventos avaliativos como ENADE, estudantes preferem atividades mais concretas de apoio ao ensino.

Em relação a percepção sobre as metodologias que mais contribuem para a atmosfera de preparação, as menos lúdicas, muitas vezes criticadas, assumem preferencia e destaque e conforme sugerido por ^{Struyven, Dochy e Janssens (2005)} preferências dos alunos parecem não corresponder às percepções desta pesquisa sobre a “adequação” das mesmas no processo de preparo para a avaliação

Ressalta que uma das opiniões que mais se destacaram por serem distintas foi em relação ao atributo “Prova com questões objetivas”, em que os egressos mostraram-se indiferentes quando a presença ou ausência. Já o segundo grupo de alunos que fez o ENADE em 2014 acredita que tal ponto é considerado um “extra” no processo de aprendizado, dessa forma ficam satisfeitos com a presença desse atributo, prática que se alinha com os resultados de ^{Struyven, Dochy e Janssens (2005)}, mas a ausência não gerará insatisfação.

Em resumo, evidenciou-se que a pesquisa trás contribuição para a gestão acadêmica por apresentar uma ferramenta que busca a voz dos sujeitos envolvidos no processo de avaliação ENADE. A pesquisa apresenta a relação não-linear entre o desempenho de atributos identificados na literatura e nos projetos de curso em relação a satisfação do estudante. Possibilita reconhecer a efetividade das práticas acadêmicas, tendo como foco os sujeitos envolvidos na avaliação, e identificando a contribuição delas sobre as perspectivas individuais.