Introdução
O Processo de Peer-Review (PPR) ou de revisão por pares é originalmente um dos recursos adotados pela comunidade científica para avaliação dos trabalhos produzidos por pesquisadores de uma mesma área do conhecimento (Oliveira e Queiroz, 2017). No entanto, o PPR tem sido também empregado no contexto educacional e nessa situação pode ser descrito como um processo no qual os alunos avaliam ou são avaliados pelos pares. Ao longo das últimas três décadas, pesquisas têm revelado o impacto positivo da aplicação do PPR em ambientes de ensino, o que justifica a recomendação da sua realização, principalmente em cursos de nível universitário, por educadores de diversas áreas (Huisman et al., 2019; Kollar e Fischer, 2010).
Na educação usualmente não existe a expectativa do PPR desempenhar a função de inspecionar, avaliar, controlar e classificar. Porém, questões similares surgem na sua aplicação no âmbito profissional e educacional. Por exemplo, confiabilidade, validade e imparcialidade são aspectos que permeiam qualquer sistema de revisão por pares e a apresentação de comentários perspicazes por parte dos envolvidos é desejável em ambos os contextos (Trautmann, 2009).
No ensino superior de ciências, o PPR ocorre tanto presencialmente, em sala de aula, quanto em ambientes virtuais de aprendizagem. Os objetivos do PPR incluem o aprimoramento da escrita dos alunos, aprofundamento de entendimentos conceituais e ampliação da motivação e da responsabilidade para aprender. Outra razão para a sua realização é permitir aos alunos que estabeleçam entre si interações semelhantes às que ocorrem na comunidade científica, tendo em vista a construção, revisão e disseminação de conhecimentos sobre o mundo natural (Trautmann, 2009).
Os benefícios potenciais de aprendizagem entre pares em ambientes de ensino de química têm também sido reconhecidos. A literatura indica que atividades dessa natureza podem favorecer uma melhor compreensão de alguns aspectos da prática científica, assim como a apropriação de características do discurso da ciência por parte dos graduandos (Oliveira et al., 2014; Glaser, 2014). Tal apropriação pode se traduzir na melhora da escrita científica e da capacidade de argumentação (Stout, 2011; Birol et al., 2013).
Apesar da implementação do PPR no âmbito educacional não ser uma tarefa simples, é desejável e promissor o desenvolvimento de estudos que forneçam subsídios tanto aos alunos quanto aos professores para a sua efetivação de forma consistente no ensino de química. Nessa perspectiva, este trabalho relata a aplicação de uma proposta didática pautada no PPR, em associação à leitura de artigos originais de pesquisa da área de química, e tem como objetivo investigar as percepções dos alunos frente à mesma.
Peer-review no ensino de química: aplicação da proposta didática
A proposta didática foi aplicada em disciplina de comunicação científica de um Curso de Bacharelado em Química da Universidade de São Paulo. Esta tem como objetivo desenvolver no aluno habilidades comunicativas orais com ênfase em aspectos formais de preparação de apresentações acadêmicas e busca também fornecer subsídios que lhes permitam a realização de uma leitura crítica da literatura primária em química.
Os textos avaliados no PPR foram produzidos pelos alunos com base em leitura crítica realizada de literatura primária em química, oriunda da revista Química Nova, publicada pela Sociedade Brasileira de Química. Entende-se por literatura primária aquela que reporta novas descobertas ou compartilha informações inéditas (Oliveira e Queiroz, 2017). Na escrita dos textos era necessária a abordagem da problemática apresentada na literatura primária, assim como a argumentação a favor de uma solução para a mesma.
Considerando o caráter dos textos produzidos, os alunos também participaram de um jogo que visava oferecer-lhes fundamentos teóricos básicos sobre argumentação. Este tomou como base o Modelo de Toulmin (2001) para sua execução.
A aproximação dos alunos com a literatura primária ocorreu por meio da leitura e interpretação de artigos originais de pesquisa sobre a temática biodiesel (Quadro 1), selecionados por relatarem a utilização de técnicas analíticas de compreensão razoável para o seu nível de formação (segundo semestre do Curso de Bacharelado em Química) e por privilegiarem uma reflexão sobre os aspectos tecnológicos e sociais neles abordados.
No | Título e local de publição do artigo original de pesquisa |
1 | Tratamento da agua de purifição do biodiesel utilizando electrofloulação. Química Nova. v.35, n.4,p. 728-732 |
2 | Tratamento e eflunte do biodiesel utilizando a electrocoagulação/flotação: investigação dos parámetros operacionais. Química Nova, v.35, n. 2. p. 235-240, 2012 |
3 | Biodiesel de soja -taxa de conversão em ésteres etílico, caracterização físico-química e consumo em gerador de energía. Química Nova, v.28, n.1, p.19-23,2005 |
4 | Transesterificação de óleos vegetais caracterização por cromatografía em carnada delgada e densidade. Química Nova, v.30, n.8, p.2016,2007 |
5 | Utilização de argilas para purifição de biodiesel. Química Nova, vol.34, n.1,p.91-95, 2011 |
6 | Caracterização físico-química de residuos oleosos do saneamento e dos óleos e graxas extraídos visando a conversão em biocombustíveis. Química Nova, v37, n.4,p.597-602, 2014 |
De posse dos artigos, atividades individuais e em grupo foram atribuídas aos alunos, incluindo: a solicitação para que fossem grifadas as palavras não familiares do texto e posterior elaboração de um glossário com elas; apresentação de um fluxograma referente aos experimentos relatados na Parte Experimental e descrição resumida das técnicas analíticas e/ou estatísticas empregadas; indicação da quantidade de figuras e tabelas apresentadas e como as informações nelas apresentadas favoreceram o alcance dos objetivos mencionados no texto; indicação sobre o alcance dos objetivos inicialmente propostos pelos autores e das suas principais conclusões.
Os membros de cada um dos grupos, denominados de G1 a G6 e compostos por três ou quatro alunos, produziram os textos para o PPR considerando o problema principal em estudo em cada um dos artigos, conforme ilustra o Quadro 2.
Grupo | No do artigo | Principal pregunta estudada |
---|---|---|
G1 | 1 | Qual a melhor maneira de purificar a agua que resulta do proceso de purifição do biodiesel? |
G2 | 2 | Qual o melhor método para tratar o efluente do biodiesel? |
G3 | 3 | Qual o melhor método del produção do biodiesel? |
G4 | 4 | Qual o melhor técnicas de caracterização do biodiesel? |
G5 | 5 | Como fazer a puifição do biodiesel? |
G6 | 6 | Qual a melhor forma de tratar e reaproveitar os efluentes oleosos? |
Com relação ao jogo argumentativo, a Figura 1 sumariza a sua aplicação durante uma das aulas da disciplina, todas elas com duração de duas horas.
Na primeira etapa da aula (Etapa I), os alunos foram apresentados às características inerentes a um texto argumentativo, segundo o Modelo de Toulmin (2001). Na sequência, estes participaram de um jogo que solicitava a elaboração de argumentos em função do recebimento de uma premiação: uma caixa de chocolates. Os grupos dispuseram de um período de tempo de vinte minutos para elaborarem, cada um, um bom argumento que justificasse o merecimento do prêmio (Sá et al., 2014), sem qualquer influência do professor. Tais justificativas poderiam ser reais ou não, formais ou informais e, ainda, poderiam se dirigir à equipe como um todo ou somente a um membro específico. Por fim, um integrante de cada equipe apresentou o argumento elaborado para toda a classe (Etapa II).
Após as apresentações, cada grupo recebeu um material de apoio com definições e exemplos a respeito dos componentes do argumento, segundo Toulmin (2001). A partir disso, os alunos se dedicaram a identificar tais componentes nos próprios argumentos elaborados anteriormente, subisidiados pelo material teórico. Esta etapa culminou no estabelecimento de um consenso sobre o grupo vencedor do jogo e, consequentemente, ganhador da caixa de chocolates (Etapa III). O consenso estabelecido foi que quanto maior a quantidade de componentes existentes nos argumentos, de melhor qualidade estrurural eles seriam. Os componentes do argumento, segundo o referido Modelo são: dados, justificativas, conclusão, conhecimento básico, qualificador modal e refutação (Toulmin, 2001).
Por fim, o professor finalizou a atividade do jogo com a retomada das características de um “bom argumento”, fornecendo, assim, subisídios para a produção textual individual (Etapa IV) que iniciaria o PPR efetivamente.
O PPR aconteceu em quatro ciclos distintos, englobando desde a produção da primeira versão do texto argumentativo redigido pelos alunos até a versão final do mesmo com notas atribuídas pelo professor da disciplina. Os detalhes de cada ciclo são explicitados na Figura 2, a seguir.
Primeiro ciclo
O prazo estipulado para a elaboração do texto inicial (primeira versão) foi de duas semanas após a realização do jogo argumentativo, sem definição para o número mínimo de palavras. O professor recolheu os textos argumentativos via email, imprimiu e excluiu os nomes dos alunos autores para não haver identificação dos mesmos pelos alunos avaliadores. Posteriormente, os textos dos alunos autores foram distribuídos em sala de aula para os alunos avaliadores. Na ocasião, cada aluno avaliador recebeu três textos e realizou a avaliação, com indicação dos critérios que empregou nesse processo. Ao final da aula, foram entregues ao professor os documentos relativos à avaliação e aos critérios utilizados para tanto.
Segundo ciclo
A partir dos critérios indicados pelos alunos avaliadores, o professor da disciplina elaborou uma rubrica (instrumento didático que apresentava indicadores específicos, capazes de direcionar as ações dos alunos para a aquisição de desempenho satisfatório na atividade solicitada) sobre os mesmos, contemplando também as considerações realizadas em sala de aula a respeito dos componentes do argumento, a qual deveria subsidiar as próximas avaliações. Os indicadores que compuseram a rubrica se encontram ilustrados no Quadro 3.
Indicadores | Critérios avaliados |
Argumentação | Contextualização do problema; apresentação e defensa da tese (com evidencias, justificativas, conhecimentos básicos do assunto e estratégias diversas); encaminhamento do texto; e discermimento sobre o texto |
Expressão | Escrita conforme a norma culta da línea portuguesa |
Organização | Coerência entre título e conteúdo textual |
Conteúdo | Coerência e fundamentação dos conhecimientos científicos explorados na produção textual |
Foi realizada uma apresentação e discussão em sala de aula a respeito da rubrica proposta, além de considerações adicionais sobre o PPR. Ainda, neste ciclo foi devolvido aos alunos autores o texto dos alunos avaliadores, com as sugestões para o aprimoramento da produção textual.
Terceiro ciclo
Os alunos autores produziram novas versões do texto (intermediário), em horário extraclasse, com base nos comentários feitos pelos alunos avaliadores e na rubrica mencionada. Neste ciclo foi definido um limite mínimo de oitocentas palavras para a produção textual. O recolhimento da segunda versão do texto pelo professor se deu novamente por e-mail e com exclusão dos nomes dos alunos autores. Nesta rodada cada aluno avaliador recebeu dois textos para revisão.
As avaliações foram entregues ao professor que as devolveu aos alunos autores junto aos textos intermediários produzidos neste ciclo do PPR.
Quarto ciclo
Os alunos autores produziram a terceira e última versão dos textos, em horário extraclasse, com base nos comentários feitos pelos alunos avaliadores e na rubrica. Neste ciclo foi definido um limite mínimo de oitocentas palavras para a produção textual. O professor recolheu a versão final dos textos novamente via e-mail e atribuiu a nota para cada aluno autor.
Em suma, as atividades de leitura crítica dos artigos originais de pesquisa e de peer-review foram realizadas durante um semestre letivo, e englobaram aulas presenciais e algumas atividades extraclasse destinadas, pricipalmente, às produções textuais.
Uma vez concluído o PPR, os alunos avaliaram o processo, inicialmente a partir da produção de um texto em gênero livre e da colocação verbal das suas impressões em sala de aula, com indicação das vantagens e desvantagens do PPR. A partir da leitura dos referidos textos e das colocações dos alunos, o professor elaborou e aplicou um questionário que utiliza escala tipo Likert. O questionário, respondido de forma anônima por 17 alunos que participaram de todas as atividades do PPR, continha quinze afirmações divididas em duas categorias, a serem respondidas com concordo fortemente, concordo, indeciso, discordo e discordo fortemente. Após a apresentação de respostas, os alunos foram solicitados a tecer comentários quanto aos posicionamentos adotados na escolha das alternativas.
A discussão sobre as percepções dos alunos frente ao PPR consta no tópico a seguir.
Percepções dos alunos frente ao peer-review
No Quadro 4 constam as afirmações referentes à primeira categoria do questionário de avaliação do PPR, que trata dos benefícios à formação dos alunos provenientes do processo.
Beneficios à formação do alumo proveientes do PRQ |
1. A participação no PPR aperfeiçoou a mina habilidade de escrita (atendimento à norma culta da língua portuguesa organização de ideias no texto etc) 2. A participação no PPR aperfeiçoou a mina habilidade 3. A participação no PPR aperfeiçoou a mina habilidade 4. A participação no PPR aperfeiçoou a mina habilidade 5. A participação no PPR aperfeiçoou o meu conhecimento sobre o proceso de avaliação por pares (PPR) que ocorre na comunidade científica (quando pesquisadores avalian um artigo original de pesquisa), discurso em disciplina de Comunicação Científica 6. A participação no PPR aperfeiçoou a mina habilidade de lidiar de forma construtiva com críticas referentes ao meu trabalho (no caso do PPR mina escrit) |
A Figura 3 apresenta a frequência de respostas à primeira categoria do questionário de avaliação (Quadro 4). No que diz respeito à afirmação 1, um único estudante dela discordou, enquanto os demais, 94,12% (somatório das respostas CF e C) indicaram ter aprimorado a escrita a partir da participação no PPR, conforme mostra o comentário a seguir:
“Desenvolver um bom texto requer várias habilidades específicas, portanto eu concordo que a atividade que fizemos criou e aprimorou conhecimento em relação à boa escrita.”
Todos os alunos expressaram concordância frente às afirmações 2 e 3 (100%, somatório das respostas CF e C), que tratavam, respectivamente, das habilidades de argumentação e pensamento crítico, sendo esta última habilidade citada no seguinte comentário:
“Por exemplo, a participação no PPR aperfeiçoou meu senso/ pensamento crítico, que considero uma das melhores consequências da atividade.”
As respostas dos alunos foram também totalmente favoráveis (100%, somatório das respostas CF e C) às afirmações 4 e 5. Estas tratavam, respectivamente, do conhecimento sobre a temática em foco, o biodiesel, e sobre o funcionamento do PPR em si. Cabe destacar que a afirmação 4 foi a que obteve maior porcentagem de respostas do tipo CF por parte dos alunos (94,12%), dentre todas as avaliadas no questionário, indicando o potencial do PPR na aquisição de compreensão sobre conteúdos de caráter científico, conforme sugerido por outros autores (Foote e Fitzpatrick, 2004; Felzien e Cooper, 2005; Moran e Van Hook, 2006). Este resultado também sugere a adequação da temática estudada, o biodiesel, ao nível de conhecimentos que os alunos detinham na ocasião. O seguinte comentário refere-se justamente a essa questão:
“Sobre os benefícios à formação do aluno, em relação à temática, especificamente, acredito que tais atividades enriquecem o conhecimento dos alunos sobre tal temática, ao ler artigos e realizar apresentaçes sobre.”
No que diz respeito à afirmação 5, o conhecimento dos mecanismos e valores envolvidos no PPR é de grande valia, pois propicia aos alunos uma experiência capaz de melhorar o entendimento sobre o processo de construção da ciência (Koprowski, 1997; Moran e Van Hook, 2006). Os alunos já conheciam o PPR do ponto de vista teórico, abordado na disciplina de comunicação científica. A vivência do processo em si, seguramente, também contribuiu para o grande número de indicações de concordância à referida afirmação.
Um único estudante se mostrou indeciso com relação à afirmação 6, que se refere à habilidade de lidar de forma construtiva com críticas sobre a produção escrita em avaliação. O resultado é digno de nota, pois lidar com críticas referentes ao próprio trabalho é tarefa árdua. De fato, autores como Henderson e Buising (2000) e Kokkala e Gessell (2002) relatam a relutância dos alunos envolvidos em PPR em aceitar críticas dos seus pares, o que gera reclamações sobre o teor dos pareceres recebidos. Em contraponto, Reynolds e Vogel (2007) advogam que um dos maiores benefícios do processo é justamente o desenvolvimento da percepção dos alunos de que se beneficiam ao trabalhar com as avaliações, positivas ou negativas, emitidas pelos colegas.
No Quadro 5 constam as afirmações referentes à segunda categoria de afirmações, que trata do formato do PPR empregado na disciplina.
Sobre o formato do PPR empregado na disciplina |
7. Acredito que a preservação da identidade dos colegas avaliadores (adoção do anonimato) foi fundamental para o bom andamento do PPR 8. Acredito que a atribuição de nota à atividade de PPR (incentivo à participação) foi fundamental para o bom andamento do mesmo 9. Acredito que a preparação prévia (leitura de artigos, apresentaçãoes orais etc) que subsidiou a aquisição de conhecimento sobre a temática “biodiesel” foi fundamental para o bom andamento do PPR 10. Acredito que o estabelecimento de criterios claros para a avaliação dos textos argumentativos dos colegas foi fundamental para o bom andamento do PPR 11. Acredito que o tempo gasto nas atividades do PPR (aproximadamente um bimestre) foi adequado para o alcance da produção de um texto argumentativo de melhor qualidade que o inicialmente redigido. 12. Acredito que a delimitação mínima do número de palabras constitutivas do texto argumentativo final producido (800 palavras) foi fundamental para o bom andamento do mesmo. 13. A crédito que a atuação do profesor na organização e avalição das atividades vinculadas ao PPR foi fundamental para o bom andamento do mesmo. 14. Acredito que o formato de PPR empregado neste semestre debe ser mantido em outras versões da disciplina. 15. Eu gostaria de participar novamente de PPR em outras disciplinas do Curso de Becharelado en Química |
A Figura 4 apresenta a frequência de respostas à segunda categoria do questionário de avaliação (Quadro 5). A concordância dos alunos é total (100%, somatório das respostas CF e C) com relação às afirmações 7, 9 e 13. O que indica a relevância que atribuíram, respectivamente, à preservação da identidade dos colegas avaliadores para o bom andamento do processo, assim como à etapa de leitura crítica dos artigos e à atuação do professor. O seguinte comentário reforça a relevância do anonimato.
“O item 7 desse bloco refere-se ao anonimato, acho isso muito importante. Não saber quem está sendo avaliado e quem foi o avaliador é muito importante, pois evita conflitos após a correção e também evita favorecimento ou desfavorecimento durante a correção.”
Com relação à questão do anonimato, Henderson e Buising (2000) ressaltam que os alunos destacaram a sua importância e reconheceram que seus comentários frente aos textos dos colegas teriam sido diferentes se o PPR não fosse feito de forma anônima. O anonimato foi valorizado pelos alunos, provavelmente por reduzir a hesitação na construção de comentários críticos por parte dos avaliadores e favorecer que a atenção dos mesmos se volte para o conteúdo do texto em análise e não a aspectos pessoais (Lightfoot, 1998).
A relevância dos dados obtidos e do comentário anterior apontam que o formato adotado na disciplina foi aprovado por todos os alunos e que as atividades a ele relacionadas foram exitosas. Situações em que o PPR é aplicado no âmbito educacional exigem do professor, dentre outros aspectos, a orientação aos alunos sobre várias questões referentes à avaliação (Kroen, 2004).
As respostas dadas à afirmação 8 mostram que a grande maioria dos alunos (94,12%, somatório das respostas CF e C) julgou de fundamental importância a atribuição de nota às atividades vinculadas ao PPR. Henderson e Buising (2000) acreditam que os alunos realizam a avaliação com mais seriedade quando têm conhecimento que seus comentários afetarão a nota dos colegas. Para Moran e Van Hook (2006), em classes numerosas o incentivo aos alunos a partir de aquisição de nota vinculada ao processo pode conferir seriedade às avaliações.
A maioria dos alunos também se posicionou favoravelmente (94,14% somatório das respostas CF e C) frente ao estabelecimento de critérios claros para a avaliação dos textos dos colegas (afirmação 10). Este resultado não é surpreendente, uma vez que eles próprios se empenharam na construção e discussão dos critérios que pautaram o PPR (rubrica) e sabiam do papel relevante que teriam.
As respostas dadas à afirmação 11 evidenciaram que 88,23% dos alunos (somatório das respostas CF e C) acreditam que o tempo gasto nas atividades do PPR foi adequado para o alcance da produção de um texto final de melhor qualidade. Na literatura, não há um consenso sobre o assunto: McMillan e Huerta (2002), por exemplo, relatam que alunos envolvidos no processo por eles aplicado comentaram sobre o quanto tempo dedicaram a sua produção textual, comparativamente muito maior do que o exigido para a realização de outras tarefas.
A grande maioria dos alunos (82,35%, somatório das respostas CF e C) também se mostrou favorável à delimitação mínima do número de palavras constitutivas do texto final produzido na disciplina (afirmação 12). Os alunos que se mostraram indecisos ou não concordaram com a afirmação apresentaram justificativas como a que segue.
“Definir o número de palavras para o texto argumentativo diminuiu sua qualidade, pois a argumentação pode chegar em um limite e todas as palavras adicionais serão apenas para atingir o que foi estipulado. Portanto, definir o número de palavras é um fator para diminuir a qualidade do texto. Sugestão: definir um intervalo aceitável.”
Embora a delimitação de palavras não tenha agradado a 17,64 % dos alunos (somatório das respostas I e D), ela é prática usual em PPR no âmbito educacional. Gerdeman et al. (2007), por exemplo, solicitaram a graduandos de curso introdutório de biologia a produção de textos contendo quatrocentos a quinhentas palavras sobre temática relacionada à área.
Quanto à afirmação 14, sobre a manutenção do formato do PPR em outras versões da disciplina, a grande maioria dos alunos registrou respostas favoráveis (94,11%, somatório das respostas CF e C). Em contraponto ao resultado obtido para a afirmação 14, parte considerável deles expressa indecisão sobre o desejo de participar de processo similar em outras disciplinas. De fato, apenas 64,72% (somatório das respostas CF e C) concordaram com a afirmação 15, enquanto que 29,41% os alunos que se declararam indecisos e 5,88% discordaram. Tal discordância provavelmente se deve ao fato do PPR ser demorado e trabalhoso, além de pouco satisfatório para alunos que receberam avaliações de qualidade aquém da esperada, com ênfase maior em aspectos gramaticais do texto do que conceituais.
Considerações finais
Neste relato didático, que tem como foco o funcionamento e as contribuições do PPR no ensino superior de química, buscamos responder questões concernentes à habilidade dos graduandos para realizar ações inerentes ao processo, assim como relacionadas à aquisição de habilidades dele decorrentes.
A percepção dos alunos em relação à experiência vivenciada no PPR foi positiva e, no entendimento dos mesmos, esta contribuiu para a sua formação acadêmica, principalmente em relação à compreensão do processo em si e sobre a temática biodiesel, bem como no que concerne ao desenvolvimento do pensamento crítico e da habilidade de argumentação. Além disso, a preservação da identidade dos envolvidos no processo, a preparação que precedeu o seu desencadeamento e a atuação do professor se destacaram dentre os aspectos que contribuíram para o sucesso do PPR.
Visto que foi reduzido o número de sujeitos que responderam ao questionário de percepções sobre o processo, a possibilidade de fazer generalizações a partir dos resultados obtidos é modesta. Mesmo assim, a análise realizada traz contribuições para a compreensão sobre fatores cruciais que permitem a elaboração de PPR bem-sucedidos no contexto educacional no ensino superior de química, ao mesmo tempo em que sinaliza medidas que podem ser adotadas para o seu aprimoramento.