Livro didático - avaliação por rubrica

1. Introdução

A avaliação da aprendizagem ainda é um desafio para o trabalho docente em todos os níveis e modalidades de ensino. Na educação a distância não é diferente, especialmente quando a proposta pedagógica envolve processos avaliativos mediados, através de feedbacks construtivos que visam facilitar a compreensão, pelo aluno, do que já foi apropriado e do que ainda precisa ser revisado ou aperfeiçoado.

Nos cursos a distância para formação de professores, ofertados pelo Centro de Referência em Formação e Educação a Distância do Instituto Federal de Santa Catarina – CERFEaD/IFSC, há o entendimento de que a avaliação precisa contemplar a interação e a dialogicidade entre professor e aluno, possibilitando a construção do saber de modo processual e formativo.

Para que o diálogo e a interação ocorram durante o processo avaliativo, especialmente na educação a distância, acredita-se que é importante diversificar os instrumentos avaliativos, incluindo tarefas nas quais haja uma efetiva produção do aluno. Porém, essas tarefas normalmente demandam do professor uma correção individual, que aponte os avanços na aprendizagem e o que ainda precisa ser revisado e melhor compreendido pelo aluno.

Corrobora-se com a proposta de Morgan e O´Reilly (1999 apud PALLOFF; PRATT, 2004, p. 111) de que a avaliação nos cursos a distância precisa oferecer ao aluno “o apoio e o feedback necessários à ampliação de sua aprendizagem e relatar o que já realizou”.

Ao buscar estratégias para melhorar a qualidade dos processos avaliativos na educação a distância, visualizou-se na avaliação por rubrica algumas possibilidades e então traçou-se para este processo investigativo, a seguinte questão: A utilização da rubrica contribui para qualificar o processo avaliativo na EaD, possibilitando ao professor dar feedback avaliativo de forma mais ágil?

Conforme apontam Cruz e Nunes (2009), a avaliação da aprendizagem por rubricas não é algo novo. Contudo, as rubricas ainda são pouco utilizadas em uma perspectiva mediadora de aprendizagem em cursos on-line.

A seguir são apresentados os pressupostos do que se considera como avaliação por rubrica, as apropriações desses referenciais pelos professores do CERFEaD e recomendações propostas.

2. Avaliação por rubrica

Ao pesquisar o conceito “rubrica” em dicionários da língua portuguesa, percebe-se que é um termo utilizado em diferentes áreas e que apresenta diversas definições.

O termo rubrics, na língua inglesa, teve origem na palavra rules, que significa regras (TAGGART et al., 2001). No contexto deste trabalho, rubricas referem-se a um modelo de avaliação que apresenta descrições qualitativas de critérios de desempenho e que esclarece ao aluno o que será avaliado em determinada tarefa.

Na avaliação por rubrica, as regras que orientam como os alunos serão avaliados são apresentadas desde o início do processo avaliativo, possibilitando saber, de antemão, quais são os caminhos a trilhar para potencializar a aprendizagem e alcançar os objetivos previstos.

Segundo Popham (1997), uma rubrica avaliativa apresenta três recursos essenciais:

1) critérios de avaliação;

2) descritores de qualidade e

3) uma estratégia de pontuação, com os níveis de desempenho esperados.

Os critérios de avaliação apresentam os aspectos de elaboração e desempenho que serão avaliados; deixam claro o que será ou não aceito na atividade e variam de uma rubrica para outra, dependendo do que foi proposto.

Os descritores são as características associadas a cada critério e que explicitam o que é esperado; descrevem como as diferenças qualitativas nas respostas dadas devem ser avaliadas. Cada descritor pode ser acompanhado de um peso, que quantifica o descritor pelo grau de importância.

Na estratégia de pontuação, os níveis de desempenho apresentam uma escala de classificação que identifica o nível de domínio dos alunos dentro de cada critério. A escala pode ser escolhida pelo professor e não precisa apresentar, necessariamente, valores numéricos. Por exemplo: os níveis de desempenho para um critério podem ser de 1 a 5 ou de 1 a 10, mas também podem ser valores como Ótimo, Bom, Satisfatório e Insatisfatório ou ainda, Certo e Errado. O importante é que os descritores consigam explicar para o aluno o que é esperado em cada nível de desempenho.

As rubricas são ferramentas que servem para auxiliar o professor a definir critérios avaliativos mais transparentes e coerentes em relação aos objetivos de aprendizagem. Seu uso possibilita que o professor desenvolva e sistematize critérios e indicadores de avaliação, buscando assim reduzir a subjetividade do processo avaliativo (BIAGIOTTI, 2005).

As rubricas avaliativas apresentam algumas características importantes (Quadro 1).

Característica	Justificativa
Facilidade	As rubricas facilitam a avaliação de trabalhos complexos
Objetividade	Permite avaliar de modo objetivo, diminuindo a subjetividade
Transparência	Permite ao aluno o controle do seu aprendizado
Associação	Permite visualizar, pelo desempenho dos alunos, se os objetivos foram alcançados
Reutilização	Devem possibilitar a reutilização, com pequenas adequações antes de um novo processo avaliativo
Padronização	Permite a padronização de critérios avaliativos, possibilitando ao aluno o alcance de habilidades mais complexas
Clarificação	Ajuda a clarificar as expectativas de aprendizagem

Quadro 1 - Características das rubricas

Fonte: Adaptado de Biagiotti (2005).

Algumas vantagens de se utilizar rubricas para avaliar os alunos são, conforme Barato (2005):

1. a avaliação se torna mais objetiva;

2. o professor estabelece os critérios de forma clara e específica;

3. apresenta ao aluno como seu trabalho será avaliado e o que se espera dele em termos de resultado;

4. fornece feedback a respeito do que foi elaborado.

Na próxima seção são apresentadas as experiências de professores que atuam na formação docente, no CERFEaD/IFSC, com uso das rubricas em conformidade com o que foi aqui descrito.

3. Avaliação por rubrica na EaD

O desafio de elaborar avaliação por rubrica surgiu na formação de professores para a educação profissional, em um curso de pós-graduação a distância. Foram elaboradas rubricas para que, ao avaliar, o professor tivesse clareza sobre o que precisava ser avaliado em determinada tarefa e, ao mesmo tempo, para possibilitar aos alunos conhecerem, de antemão, os aspectos pelos quais seriam avaliados.

Em uma das unidades curriculares elaborou-se uma rubrica avaliativa para a seguinte tarefa:

Visando erradicar a disseminação de fake news em uma determinada comunidade, elabore uma proposta educativa, utilizando conceitos da educação inovadora, integrando pelo menos um dos eixos propostos por Moran. Preencha e entregue o template Desafio Presencial abaixo, mas antes, observe a forma como a tarefa será avaliada em Rubrica de Avaliação. A rubrica criada para avaliar a tarefa proposta está apresentada no Quadro 2.

Quadro 2 - Rubrica para avaliação do desafio presencial

Fonte: Elaborado pelos autores (2019).

Como pode-se observar no quadro 2, optou-se por definir quatro critérios de avaliação. Os três primeiros critérios apresentam quatro descritores com seus respectivos níveis e desempenho. Para o último critério foram estabelecidos dois descritores.

O quadro 2 apresenta, portanto, os três elementos da rubrica, apontados por Popham (1997), que são: critérios, descritores e níveis de desempenho.

Para cada critério é possível estabelecer quantos níveis de desempenho forem necessários. Não há uma regra que estabeleça o mesmo quantitativo de descritores para todos os critérios.

Na outra atividade, os alunos precisavam elaborar a proposta de pesquisa para o Trabalho de Conclusão de Curso - TCC, organizando o tema, o problema, os objetivos, a justificativa da pesquisa, a metodologia a ser utilizada e deveriam iniciar a construção do referencial teórico, exercitando a elaboração de citações e referências, seguindo as normas da ABNT (Associação Brasileira de Normas Técnicas).

Para esta atividade, construiu-se a seguinte rubrica avaliativa apresentada no Quadro 3.

Quadro 3 - Rubrica para avaliação do TCC

Fonte: Elaborado pelos autores (2019).

Como pode-se observar no quadro 3, nesta rubrica optou-se por definir cinco critérios de avaliação com a mesma quantidade de descritores para cada critério.

O que muda substancialmente de um critério para outro é o descritor, pois este precisa ser coerente com o critério estabelecido, embora os níveis de desempenho apresentem a mesma escala.

Pode-se observar que as rubricas elaboradas contemplam todas as características necessárias para uma rubrica, conforme definido por Biagiotti (2005) e apresentadas no quadro 1: facilidade, objetividade, transparência, associação, reutilização, padronização e clarificação.

De forma geral o que pode ser constatado na apresentação destas rubricas, é que para avaliar uma atividade utilizando rubrica é importante, primeiramente, estabelecer quais critérios serão avaliados. Em um segundo momento, é preciso definir quantos níveis de desempenho serão necessários para avaliar cada critério. Por fim, descreve-se qual é o descritor para cada nível de desempenho. É importante que o descritor esteja claro para o aluno, a fim de que ele possa compreender como será avaliado na atividade em cada critério.

Como exemplo, no caso do critério 2 apresentado no quadro 3, primeiramente definiu-se qual o critério a ser avaliado: objetivos alinhados com o desafio. Em seguida, foram definidos os três níveis de desempenho: dois pontos, um ponto ou zero. Por último, para cada nível de desempenho, foi elaborada uma explicação – descritor - de como o aluno atinge cada uma dessas pontuações. Assim, o aluno visualiza, a priori, o que precisará fazer para obter a pontuação naquele critério.

Há casos em que a forma de avaliar um determinado critério é muito simples, tais como: fez ou não fez, certo ou errado, atende ou não atende, zero ou um. Independentemente dessa simplicidade, ainda assim, é necessário estabelecer os níveis de desempenho e os descritores, informando ao aluno, o que significa um nível e o outro.

Um exemplo disso pode ser observado no quadro 2, no último critério: preenchimento dos campos do formulário. Como a tarefa exigia obrigatoriamente o preenchimento de todos os campos do formulário, os níveis de desempenho definidos foram um e zero com seus respectivos descritores.

4. Considerações finais

Como na educação a distância o professor não tem contato presencial com o aluno, ou seja, não o vê frente a frente como ocorre no ensino presencial, faz-se necessário encontrar formas de avaliar o aluno de modo coerente, que seja possível lhe dar um retorno sobre a sua atividade e, ao mesmo tempo, apontar o que ainda precisa ser melhorado.

Como o contato geralmente é realizado pela palavra escrita, muitas vezes este fato reduz as possibilidades de o professor dar mais explicações sobre a avaliação e torna-se ainda mais complexo para o professor, pois exige um feedback individual para muitos alunos.

A utilização da rubrica possibilita que o professor reduza a necessidade de escrever repetidas vezes o mesmo tipo de feedback, considerando que a própria rubrica apresenta ao aluno o que é esperado para cada critério a ser avaliado e quais são as possíveis penalidades (ou redução de notas) para cada aspecto não contemplado. Isso facilita tanto para o professor, que reduz o tempo de feedback avaliativo por escrito, quanto para o aluno, que consegue ter clareza, desde o início da atividade avaliativa, sobre os critérios pelos quais será avaliado, buscando assim, desde a elaboração da atividade de aprendizagem, contemplar o que se espera dele ao final.

Um grande diferencial da utilização da rubrica em favor do processo avaliativo é que ela deixa evidente, à priori, o que se espera na avaliação e quais aspectos  despontuam a produção do aluno. Há uma diferença significativa deste processo com os processos tradicionais de avaliação sem rubrica, nos quais o aluno só descobre à posteriori quais aspectos que retiram dele parte da pontuação das questões. Portanto, saber o que significa uma nota 10, 9, 8 e assim por diante, para cada questão ou para cada critério a ser avaliado, dá ao aluno segurança do que ele precisa produzir.

Ao iniciar o trabalho de avaliação por rubricas percebeu-se que o processo de criação das rubricas é bastante trabalhoso, não representando, inicialmente, economia de tempo para o professor, considerando que exigem um trabalho árduo de elaboração.

Porém, observou-se que sua utilização nas correções e feedbacks avaliativos, reduz a subjetividade do processo avaliativo, abrevia o tempo de correção da atividade, facilitando identificar se o objetivo foi ou não alcançado e também abrevia a escrita de feedback aos alunos.

Observou-se, nos processos avaliativos dos cursos de formação de professores a distância, ofertados pelo CERFEaD/IFSC, que a rubrica ajuda os estudantes a identificarem como a atividade será avaliada, especifica o nível de desempenho esperado com vista aos vários níveis de qualidade, a partir dos quais os estudantes reconhecem se conseguiram atingir os objetivos esperados em suas próprias atividades antes mesmo de entregá-las.

O desempenho dos alunos melhora quando se mostra claramente a eles como seu trabalho será avaliado e o que se espera deles. Os alunos julgam melhor a qualidade do próprio trabalho e recebem comentários mais consistentes sobre seus pontos fortes e aspectos que precisam melhorar.

Percebeu-se que a utilização da rubrica permitiu avaliar e dar feedback aos alunos de forma mais ágil nos cursos a distância e, ao mesmo tempo, qualificar o processo avaliativo, tornando-o menos subjetivo e mais consistente.

 

5. Referências

BARATO, Jarbas Novelino. Avaliação autêntica e rubricas. 2005. Disponível em: https://jarbas.wordpress.com/2018/07/31/avaliacao-autentica-e-rubricas/. Acesso em: 20 set. 2019.

BIAGIOTTI, Luiz Cláudio Medeiros. Conhecendo e aplicando rubricas em avaliações. 2005. In: CONGRESSO INTERNACIONAL DE EDUCAÇÃO A DISTÂNCIA, 12., 2005, Florianópolis. Anais [...]. Florianópolis: ABED, 2005. Disponível em: http://www.abed.org.br/congresso2005/por/pdf/007tcf5.pdf. Acesso em: 20 set. 2019. 

CRUZ, Nelly Kazan Sancho; NUNES, Lina Cardoso. Delineando rubricas para uma avaliação mediadora da aprendizagem em educação online. In: CONGRESSO BRASILEIRO DE EDUCAÇÃO A DISTÂNCIA, 15., 2009,  Fortaleza. Anais [...]. Fortaleza: ABED, 2009. Disponível em: http://www2.abed.org.br/congresso2009/CD/trabalhos/1452009214144.pdf. Acesso em: 20 set. 2019.

PALLOFF, Rena M; PRATT, Keith. O Aluno Virtual: um guia para trabalhar com estudantes on-line. Porto Alegre: Artmed, 2004.

POPHAM, W. James. What´s wrong, - and what´s right – with rubrics. Educational leadership,  p. 72-75, Oct. 1997. Disponível em: http://skidmore.edu/assessment/handbook/Popham_1997_Whats-Wrong_and-Whats-Right_With-Rubrics.pdf. Acesso em: 20 set. 2019.

TAGGART, G. L. et al.. (ed..). Rubricas: a handbook for construction and use. Lanharn, NY: Rowman & Littlefield Education, 2001.

6. Créditos

Artigo elaborado por Caroline Lengert (IFSC) [1] e Eli Lopes da Silva (USJ) [2]

Este texto foi aprovado e será publicado na revista científica do USJ.

[1] Mestra em Engenharia de Produção na área de Mídia e Conhecimento (UFSC); Especialista em Educação a Distância (Universidade Católica Dom Bosco); Graduada em Pedagogia (UDESC). Professora do Instituto Federal de Santa Catarina (IFSC). caroline.lengert@ifsc.edu.br.

[1] Doutor em Educação na área de Educação e Comunicação (UFSC); Mestre em Educação (PUC Minas); Bacharel em Ciências da Computação (PUC Minas). Professor temporário do Centro Universitário Municipal de São José (USJ); professor do Senac/SC; Editor da Revista Navus; Membro do Conselho Deliberativo da Associação Brasileira de Editores Científicos (ABEC). elilsilva@globo.com.