← Voltar para ninja-apps.work

AI Assessment Scale - Framework para Integração Ética de IA Generativa em Avaliações Educacionais

AI Assessment Scale

Framework acadêmico baseado em evidências para integração ética de IA Generativa em avaliações educacionais

🔬

Base Científica

A AIAS foi desenvolvida a partir de pesquisas publicadas em revistas acadêmicas revisadas por pares, incluindo o Journal of University Teaching and Learning Practice e o Australasian Journal of Educational Technology.


O framework aborda as "paradoxes" da GenAI identificadas por Lim et al. (2023) e propõe uma abordagem escalar que equilibra:


  • ✅ Simplicidade (fácil de entender e aplicar)
  • ✅ Clareza (reduz ambiguidade)
  • ✅ Flexibilidade (adaptável a diferentes disciplinas)
  • ✅ Acumulatividade (níveis são progressivos)
📚

O Que É a AIAS?

A AI Assessment Scale é um framework de 5 níveis que ajuda educadores a definir claramente como e quando estudantes podem usar ferramentas de Inteligência Artificial em suas avaliações.


Objetivo: Criar transparência e diretrizes claras para uso ético e educativo de IA, movendo-se além da abordagem binária "proibir vs permitir".


O framework foi validado em estudo piloto na British University Vietnam, demonstrando redução significativa em casos de má conduta acadêmica relacionada a GenAI e aumento no engajamento estudantil.

🎯

Por Que Usar?

  • ✅ Transparência: Estudantes sabem exatamente o que podem fazer
  • ✅ Flexibilidade: Adapta-se a diferentes tipos de avaliação
  • ✅ Preparação: Prepara alunos para o mercado de trabalho com IA
  • ✅ Integridade: Reduz casos de uso indevido de IA através de clareza
  • ✅ Desenvolvimento de Habilidades: Promove literacia digital e pensamento crítico
⚠️

Considerações Importantes

Detecção de IA: Ferramentas de detecção de texto por IA são imprecisas, facilmente contornadas (Sadasivan et al., 2023) e potencialmente tendenciosas contra falantes não-nativos (Liang et al., 2023).
Desigualdade Digital: Nem todos os estudantes têm acesso igual a ferramentas de IA avançadas (UNESCO, 2023; Bissessar, 2023).
Solução: A AIAS promove transparência e diálogo em vez de depender de detecção. Foco no desenvolvimento de habilidades e avaliação autêntica.
📖

Referências Acadêmicas

Artigo Principal:

Perkins, M., Furze, L., Roe, J., & MacVaugh, J. (2024). The Artificial Intelligence Assessment Scale (AIAS): A Framework for Ethical Integration of Generative AI in Educational Assessment. Journal of University Teaching and Learning Practice, 21(6). https://doi.org/10.53761/q3azde36

Estudo Piloto:

Furze, L., Perkins, M., Roe, J., & MacVaugh, J. (2024). The AI Assessment Scale (AIAS) in action: A pilot implementation of GenAI-supported assessment. Australasian Journal of Educational Technology, 40(4), 38-55.

Adaptação EAP:

Roe, J., Perkins, M., & Tregubova, Y. (2024). The EAP-AIAS: Adapting the AI Assessment Scale for English for Academic Purposes. Preprint.

Os 5 Níveis da AIAS

📖

Framework AIAS Oficial

A AI Assessment Scale (AIAS) foi desenvolvida por Perkins, Furze, Roe e MacVaugh (2024) como uma resposta às necessidades do ensino superior em integrar IA Generativa (GenAI) de forma ética e pedagógica. Baseada em evidências científicas e projetada para ser flexível e adaptável a diferentes contextos institucionais.


Referência: Perkins, M., Furze, L., Roe, J., & MacVaugh, J. (2024). The Artificial Intelligence Assessment Scale (AIAS): A Framework for Ethical Integration of Generative AI in Educational Assessment. Journal of University Teaching and Learning Practice, 21(6).

1

NO AI

Avaliação completamente sem assistência de IA. Ambiente controlado.

Exemplo: Prova presencial tradicional, apresentação oral ao vivo
2

AI-ASSISTED

IA para ideação, brainstorming e estruturação. Nenhum conteúdo de IA na submissão final.

Exemplo: Usar ChatGPT para mapear tópicos, mas escrever ensaio independentemente
3

AI-EDITED

IA para melhorar clareza e qualidade do trabalho do estudante. Sem criar conteúdo novo.

Exemplo: Usar IA para melhorar redação já escrita, enviar versão original em anexo
4

AI TASK COMPLETION

IA completa tarefas específicas. Estudante deve avaliar criticamente todo conteúdo gerado.

Exemplo: IA gera análise, aluno avalia limitações e vieses. Citação obrigatória!
5

FULL AI

Uso livre de IA como "co-piloto". Colaboração extensiva IA-humano.

Exemplo: Projeto colaborativo simulando ambiente profissional. Reflexão sobre o processo.
📚

Adaptação EAP-AIAS

Para contextos de English for Academic Purposes (EAP), uma adaptação específica considera os desafios únicos do ensino de idiomas:


  • Níveis mais baixos (1-2) priorizam desenvolvimento de proficiência linguística
  • Nível 3 pode beneficiar falantes não-nativos de inglês
  • Níveis 4-5 exigem atenção especial à avaliação de habilidades críticas além da linguagem

Referência: Roe, J., Perkins, M., & Tregubova, Y. (2024). The EAP-AIAS: Adapting the AI Assessment Scale for English for Academic Purposes. Preprint.

Simulador de Avaliação

🧪 Teste Diferentes Cenários

Quiz de Conhecimento

Gerador de Diretrizes

📝 Crie Diretrizes Personalizadas para Suas Avaliações

💡 Dica: Estes contextos são baseados nas recomendações do EAP-AIAS (Roe et al., 2024) e nas considerações de equidade da UNESCO (2023).

Limitações e Considerações Éticas

🔬

Baseado em Evidências Científicas

As limitações apresentadas abaixo são baseadas em pesquisas empíricas publicadas em revistas acadêmicas revisadas por pares, incluindo estudos sobre:


  • Eficácia de ferramentas de detecção de IA (Sadasivan et al., 2023; Weber-Wulff et al., 2023)
  • Viés contra falantes não-nativos (Liang et al., 2023)
  • Desigualdade digital e "pobreza digital" (UNESCO, 2023; Bissessar, 2023)
  • Implementação piloto do AIAS (Furze et al., 2024)
⚠️

Desafios da Detecção

⚠️ Fato Crítico: Ferramentas de detecção de texto por IA são inerentemente falhas e não devem ser usadas como base para acusações de má conduta acadêmica.
  • 🚫 Imprecisão: Pesquisas demonstram que detectores de IA são facilmente contornados (Sadasivan et al., 2023) e podem produzir falsos positivos.
  • 🌍 Viés Linguístico: Estudos mostram que detectores são tendenciosos contra escritores não-nativos de inglês (Liang et al., 2023), criando injustiças.
  • 📊 Taxas de Erro: Weber-Wulff et al. (2023) encontraram taxas de detecção inadequadas em múltiplas ferramentas comerciais.
Solução AIAS: Ao invés de depender de detecção, a AIAS promove transparência através de diretrizes claras e diálogo aberto com estudantes.
🌍

Desigualdade e Equidade

⚖️ Desigualdade Digital: Nem todos os estudantes têm acesso igual às ferramentas de IA, especialmente modelos pagos como GPT-4.
  • 💰 Acesso Desigual: Estudantes com maior poder aquisitivo podem ter acesso a ferramentas mais avançadas, criando desvantagens.
  • 🌐 Global Sul: Estudantes em regiões em desenvolvimento podem ter acesso limitado à tecnologia (UNESCO, 2023).
  • 🗣️ Falantes Não-Nativos: Estudantes EAL (English as Additional Language) podem depender mais de ferramentas de IA para assistência linguística.
Recomendações: Considere padronizar ferramentas permitidas ou fornecer acesso equitativo. Para avaliações Nível 1, prefira ambientes supervisionados.
🤔

Considerações Éticas

Atenção: A AIAS não resolve automaticamente questões de integridade acadêmica. É uma ferramenta que deve ser acompanhada de políticas institucionais claras e diálogo contínuo com estudantes (Bretag et al., 2014).
  • • Como garantir que o aprendizado real está acontecendo?
  • • Qual o limite entre assistência e dependência?
  • • Como preparar estudantes sem torná-los passivos?
  • • Como lidar com questões de copyright e propriedade intelectual?
  • • Qual o impacto ambiental do uso massivo de IA?
💡

Recomendações Baseadas em Pesquisa

Dica do Estudo Piloto: Comece com projetos piloto em pequena escala antes de implementar institucionalmente. O estudo na British University Vietnam mostrou redução significativa em casos de má conduta e aumento no engajamento.
  1. Comunique claramente as expectativas para cada avaliação usando a escala AIAS (Robinson & Glanzer, 2017)
  2. Treine estudantes sobre uso ético de IA e alfabetização digital (Traphagan et al., 2014)
  3. Desenvolva rubricas específicas que avaliem o processo crítico, não apenas o produto final
  4. Monitore e ajuste baseado em feedback de estudantes e professores
  5. Mantenha flexibilidade para adaptações futuras - a tecnologia evolui rapidamente
  6. Envolva stakeholders em discussões sobre políticas institucionais (Bretag et al., 2014)
📚

Referências Acadêmicas Completas

Estudos Principais:

Perkins, M., Furze, L., Roe, J., & MacVaugh, J. (2024). The Artificial Intelligence Assessment Scale (AIAS): A Framework for Ethical Integration of Generative AI in Educational Assessment. Journal of University Teaching and Learning Practice, 21(6).

Furze, L., Perkins, M., Roe, J., & MacVaugh, J. (2024). The AI Assessment Scale (AIAS) in action: A pilot implementation of GenAI-supported assessment. Australasian Journal of Educational Technology, 40(4), 38-55.

Roe, J., Perkins, M., & Tregubova, Y. (2024). The EAP-AIAS: Adapting the AI Assessment Scale for English for Academic Purposes. Preprint.

Referências de Detecção e Viés:

Sadasivan, V. S., et al. (2023). Can AI-Generated Text be Reliably Detected? arXiv preprint arXiv:2303.11156.

Liang, W., et al. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779.

Weber-Wulff, D., et al. (2023). Testing of Detection Tools for AI-Generated Text. International Journal for Educational Integrity, 19(1), 26.

Referências de Integridade Acadêmica:

Bretag, T., et al. (2014). The Australian Academic Integrity Standards Project. Journal of University Teaching and Learning Practice, 11(3), 2.

Robinson, R., & Glanzer, P. L. (2017). Building a culture of academic integrity. Journal of University Teaching and Learning Practice, 14(1), 2.

Traphagan, T., et al. (2014). Core strategies for using technology. International Journal of Teaching and Learning in Higher Education, 26(3), 392-403.

Referências de Desigualdade Digital:

UNESCO. (2023). Guidance for Generative AI in Education and Research. Paris: UNESCO Publishing.

Bissessar, C. (2023). Integrating generative AI in education: Opportunities and challenges. International Journal of Education and Development using Information and Communication Technology, 19(2), 1-15.