How Can We Help?
Índice
Tipos de avaliação
Avaliar é obter evidências da aprendizagem. Só podemos avaliar alguém pelas evidências que o instrumento de medida nos apresenta, já que não temos acesso direto às características intrínsecas da pessoa. Porém, os instrumentos influenciam no tipo de evidência ao qual temos acesso. Temos o dever tomar decisões conscientes acerca dos instrumentos e considerar se e como se adequam aos nossos estudantes, levando em conta o contexto e objetivos de aprendizagem.
Uma classificação tradicional de avaliações se refere a sua finalidade:
- Avaliação diagnóstica
- Para conhecer a turma. Geralmente os resultados não são analisadas individualmente. Use as ferramentas do Moodle Pesquisa, Escolha ou Enquete.
- Avaliação formativa
- Para promover o progresso do aprendiz. O Questionário pode ser configurado de modo formativo, sobretudo quando as questões são criadas com retornos adequados. A atividade Tarefa permite retornos ricos, com anotações ou feedback usando áudio ou vídeo. Quase todas os tipos de objetos de aprendizagem do tipo H5P tem finalidade formativa (e podem ser hospedado ou criado no Moodle usando a atividade “Conteúdo Interativo”). Ferramentas de comunicação como Fórum ou Chat serve também para avaliação formativa.
- Avaliação somativa
- Para fins de classificação ou ranqueamento. Veja abaixo na seção Provas para algumas das nossas sugestões.
Uma avaliação somativa, a tradicional prova no final do semestre, pode ser feito usando “aprovado” e “reprovado”, conceitos (como na pós-graduação) ou uma nota de 0 até 10. Mais do que uma mera diferença de escala estas diferentes escolhas requerem instrumentos de avaliação diferentes. No caso de uma avaliação para aferir competência suficiente as questões respondidas ou tipos de evidências trazido pelo aluno devem ter características diferentes em comparação com o caso de uma escala contínua com fins de ranqueamento.
Avaliação durante a pandemia
Da mesma forma que não é recomendado tentar reproduzir no ambiente online suas práticas no presencial é também recomendável repensar a tradicional avaliação no final do semestre. É realmente necessário dar uma nota de 0 até 10 ou podemos usar um sistema “aprovado” – “não-aprovado”? Neste último caso, é preciso desenhar uma avaliação que consegue identificar os estudantes que conseguiram mostrar uma competência mínima.
Se o docente optar por uma avaliação somativa usando um escala aprovado – reprovado é importante comunicar isso de forma transparente aos alunos. Isso talvez diminui algumas ansiedades e incentivos perversos. Aplicar uma prova onde alunos competem uns com os outros num ambiente online coloca eles num problema ético e de ação coletiva irresolvível. Ao vez disso, se for possível é melhor desenhar avaliações onde é permitido fazer uso de recursos da internet ou até trabalhar em grupo (divulgando as colaborações).
Estes tipos de avaliação podem também ser mais autênticos, mas é claro que é mais simples aplicar essas ideias em anos finais do curso, com alunos mais maduros, do que em disciplinas com conteúdo-base e habilidades essenciais para disciplinas seguintes. No entanto, mesmo em disciplinas de base continua válida a ideia de aferir competência ao vez de deixar estudantes competir entre si.
Avaliação no Moodle
Como recomendamos no guia Moodle para iniciantes, e acima, avaliações em ambientes online idealmente tem caráter formativo e são aplicadas continuamente, durante o processo de aprendizagem. Ao vez de esperar o aluno no final da disciplina é essencial acompanhar ele durante o percurso inteiro. As ferramentas principais mencionados no link acima, Tarefa e Questionário podem ser perfeitamente ser usado em contextos formativos.
Mas além das destas duas ferramentas mais tradicionais de avaliação tem outras possibilidades de avaliação formativa no Moodle:
O Fórum permite desenhar atividades com caráter de avaliação. Pode por exemplo pedir trazer ao Fórum alguma produção (habilitando anexos nos posts, ou ensinando os alunos inserir mídia como áudio ou vídeo via o editor Moodle). Posts no fórum podem ser configurados para receber uma nota ou uma “escala” (existe uma escala com um único valor, um estrela, que pode ser usado para contabilizar somente a participação).
O Glossário, onde alunos (ou o docente) insiram verbetes, pode ser configurado para valer nota.
O StudentQuiz, um plugin novo e ainda em fase de testes, permite alunos criar questões, que posteriormente podem ir ao banco de questões. Veja uma documentação do ponto de vista do professor, e do estudante.
A grande maioria dos objetos de aprendizagem feitos com H5P / Conteúdo interativo tem caráter formativa (inclusive, por motivos de segurança não devem ser usados para provas, especialmente em contextos high-stakes.
Provas no Moodle
Se insistir fazer uma avaliação somativa online há algumas possibilidades que podem ser implementados usando Moodle. Não é possível (e talvez nem desejável) garantir que o aluno não use recursos da Internet ou conversas com os outros para resolver a prova. Nem é possível garantir que é o próprio aluno que está fazendo a prova. Isso limita a utilidade das soluções abaixo para provas high stakes ou situações de baixa confiança em geral. Mas é possível aumentar a barreira de trapaças um pouco.
Resumindo: um Questionário pode ser configurado com limite de tempo, usando questões aleatórias e outras restrições. Temos visto experiências boas de uma prova online implementado usando o questionário com questões dissertativas. Uma Tarefa (envio de arquivo) funciona melhor para receber trabalhos mais extensos do que respostas relativamente curtas. O Laboratório de Avaliação (revisão por pares) é interessante também para fins de avaliação somativa mas requer um pouco de experiência para operacionalizar. Ferramentas de comunicação com Chat e Fórum devem também ser consideradas para fins de exames orais.
Questionário
Um questionário no Moodle pode servir como prova com alguns cuidados.
Criar questões no banco de questões
Recomendamos criar, organizar e manter questões no banco de questões (link no bloco administração do seu ambiente). Veja a documentação do banco de questões em inglês e aqui um roteiro para criar rapidamente questões com um editor de texto no formato GIFT.
Tendo as questões, pode criar e configurar um Questionário, e depois inserir as questões.
Principais configurações do Questionário
Boas práticas para configurar um questionário para um prova ou avaliação somativa incluem:
- Usar questões aleatórias e “embaralhar alternativas” de modo que cada aluno recebe uma prova diferente.
- Permitir somente uma (1) tentativa, abrindo por determinado período, com limite de tempo.
- Usar paginação: se usar 1 ou 2 questões por página no questionário, cada vez que o aluno usa “próxima página” as suas respostas são salvas. Caso a internet cai, a tentativa pode ser retomada.
- Para um grande número de participantes é interessante escalonar os horários de abertura diferentes para cada turma (usando “sobreposição de grupo” na Administração do questionário, veja mais) .
As configurações do questionário para uma avaliação do tipo teste poderiam ser parecidos com os seguintes. Vamos mostrar uma configuração muito restritiva, não porque recomendo, mas para mostrar o que é possível.
Primeiro, definimos um período em qual alunos podem fazer uma tentativa (respondas todas as questões da prova). Após o encerramento, ninguém pode mais começar ou entrar uma tentativa. O limite que tempo determina o tempo que o aluno tem após começar a tentativa para entregar sua tentativa.
Para provas, provavelmente deve mudar o número de tentativas permitidas do seu padrão de ilimitado para 1:
Na seção Layout talvez é interessante restringir como o aluno progride pelas questões numa tentativa. No modo sequencial não é mais possível voltar
Vamos deixar o comportamento da questão no seu padrão (as outras opções permitem configurar avaliações formativas). “Misturar entre questões” quer dizer que Moodle entrega questões como as de múltipla escolha com as alternativas em ordem diferente para cada aluno. Para entregar as próprias questões em ordem aleatória, veja em “Editar questionário).
As opções de revisão determinam o que o aluno pode ver em qual momento. Na configuração abaixo (mudada do seu padrão) o aluno terá acesso
Mostrar a fotografia significa que durante a tentativa aparece sua imagem do perfil. Isso feito para provas com um proctor presencial, mas pode talvez ser interessante para lembrar o aluno que a prova é individual.
Recomendamos sempre usar a opção “reconhecer o conhecimento da política de plágio”, que apela ao senso de honestidade do aluno. Para “Segurança do navegador” não deve usar “Janela popup com segurança Javascript” porque não funciona. Se saber o que está fazendo e fez muitos testes, pode sim considerar o uso do Safe Exam Browser (veja também aqui). É possível configurar uma senha para restringir o acesso a tentativa a um subconjunto dos participantes do seu ambiente de apoio (não vejo como isso poderia ser útil, para falar verdade).
Se configurou os prazos corretamente acima, não é necessário restringir mais por data na seção “Restringir acesso”. Mas ser útil restringir o acesso à prova para uma outra turma (Grupo), se fizer duas provas diferentes para cada turma por exemplo.
Agora vamos inserir as questões. Se seguiu as recomendações, já preparou e testou as questões no seu banco de questões. Em “Editar questões” procure Adiconar e observa que pode inserir questões do banco de
Em “Editar questões” também repare a opção Misturar as questões nesta seção do questionário (é possível dividir o questionário em seções). Escolher esta opção significa que cada tentativa (cada aluno, na prática) as questões serão entregam em ordem diferente.
Finalmente, é muito interessante usar questões aleatórias. Se inserir uma (1) questão do tipo aleatória, será entrega ao aluno uma das 10 questões (no exemplo abaixo) da categoria escolhida.
Como sempre, deve testar seu questionário usando “Visualização prévia”:
O resultado final deste questionário:
Turmas muito grandes
Se sua turma é muito grande, digamos de mais que 300 alunos, talvez é interessante escalonar o início da prova para as turmas, para evitar sobrecarga do servidor quando 1000 alunos tentem abrir o questionário simultaneamente. Muito provavelmente a integração com Júpiter já criou grupos (correspondendo a turmas no Júpiter) com da ordem de 50 alunos. Neste caso, pode mudar o início do questionário em passos de 5 minutos para cada turma usando “Sobrepor grupo”:
E terá que repetir isso para os outros grupos.
Questões defeituosas
Se descobrir após a prova que um ou mais questões eram defeituosas, há duas principais soluções: cancelar a questão (dando peso zero a ela) ou consertar a questão.
Se o enunciado da questão foi mal formulada, ou se por algum outro motivo não tinha como os participantes da prova acertar a questão, não há alternativa a cancelar a questão. Em Administração do questionário / Editar questionário, dê peso zero:
Em seguida, recalcule as notas. Em Resultados, procure o botão “reavaliar tudo”:
Após ter zerado o peso e recalculada as notas, é importante consertar a questão ou arquivar a questão defeituosa em alguma subcategoria do banco de questões, para afastar qualquer possibilidade que ela seja usada novamente.
Se for possível salvar a questão, mudando por exemplo a alternativa considerada correta, e se isso for justo (quem fez a prova teve a possibilidade de dar a resposta correta), pode consertar a questão e recalcular as notas, como mostrado acima.
Veja mais informações sobre como lidar com questões defeituosas na documentação em inglês.
Tarefa
Para provas dissertativas que requerem respostas mais elaboradas, ou até para receber mídia como áudio e vídeo, talvez Tarefa é a ferramenta apropriada (embora que questões dissertativas do questionário também podem ser configurados para receber mídia e anexos).
Veja uma configuração possível para uma prova com 3 horas de duração. É importante mudar o “Sempre exibir descrição” do seu padrão para não-selecionado. Assim alunos vão ter acesso ao conteúdo da prova somente a partir do horário configurado. A data de entrega é o prazo que os alunos veem, mas podem enviar ainda até a hora do “Data limite” (mas vai constar como atrasado). Usar Data limite um pouco após a Data de entrega evite problemas com instabilidades da internet. Não poderão mudar seus envios após a “Data de entrega”.
A seção Tipos de envio permite restringir o tipo de arquivo que o aluno envia. Se optar por “Texto online” (aluno edita ou copia seu texto diretamente no editor do Moodle), é possível restringir o tamanho.
Nas configurações de envio é interessante exigir que o aluno afirma que o trabalho é dele mesmo:
Se tiver turmas grandes e uma equipe de educadores ou monitores, é interessante investigar o uso de um dos métodos de avaliação avançado com rubrica, que permite definir um conjunto de critérios de avaliação padronizados, o que vai agilizar muito a correção de uma grande quantidade de trabalhos.
Veja mais sobre a configuração de rubricas em Tarefas aqui.
Laboratório de Avaliação
É a ferramenta no Moodle para implementar processos de avaliação por pares.
Chat e Fórum
Se tiver turmas menores, considerou que pode implementar uma prova oral usando Chat (marcando horários previamente)? Ou um Fórum do tipo Pergunta e Resposta (alunos neste tipo de fórum não veem as respostas dos colegas até ter postado seu próprio.
Também é possível configurar o Fórum para implementar uma avaliação por pares simples (um processo menos pesado do que usar Laboratório de Avaliação)
Material de Referência
A documentação oficial do Questionário e Tarefa no moodle.org
O Prof. Rafael Traldi Moura da Poli fez este manual extremamente detalhada focando no Questionário e explicando como criar questões calculadas (com variantes aleatórias)
A colega Andréa Ximenes e seus estagiários da FEA mantém documentação sobre Moodle aqui (procure pelos manuais com QUIZ e TAREFA no título)