Capítulo 1 Introdução

A Coordenação de Medidas Psicométricas dos Exames (COMPEX) e a Coordenação de Medidas Psicométricas das Avaliações (COMPAV) integram a Coordenação-Geral de Medidas da Educação Básica (CGMEB). A COMPEX e a COMPAV são responsáveis pelas análises estatísticas e psicométricas dos instrumentos aplicados na Educação Básica, o que inclui testes de desempenho e questionários contextuais.

1.1 Objetivo

Este livro oferece material para treinamento em serviço dos(as) integrantes da COMPEX e COMPAV. O objetivo é apresentar a rotina das análises psicométricas de forma aplicada. As análises envolvem manipulação de banco de dados, análise de instrumento baseada na Teoria Clássica dos Testes (TCT) e análise de instrumento baseada na Teoria de Resposta ao Item (TRI). Esta versão do livro contém apenas a análise de um banco de dados simples. Espera-se que o material seja ampliado e atualizado.

1.2 Competências prévias esperadas

Espera-se que você seja capaz de manipular bancos de dados no R. Caso não tenha as competências necessárias para essa tarefa, existem cursos gratuitos e pagos. Além disso, os colegas costumam compartilhar seus conhecimentos sobre o R.

Espera-se também que você domine os conceitos básicos da psicometria, especialmente relacionados à TCT, análise fatorial e TRI. Cursos gratuitos sobre a temática são mais difíceis, mas os colegas também costumam compartilhar seus conhecimentos sobre psicometria.

1.3 Estrutura do livro

O livro apresenta as etapas para a análise de um banco de dados simulado. A cada etapa concluída, você deve verificar se os seus resultados estão iguais aos resultados esperados. Tanto o banco de dados quanto as funções para análises e verificação dos resultados estão no pacote INEPsico, disponível no Github.

1.4 Antes de começar

Certifique-se de que você tem o RStudio instalado em sua máquina. Após isso, instale os seguintes pacotes: mirt, devtools e INEPsico. Para instalar o pacote INEPsico, use devtools::install_github('alexandrejaloto/INEPsico).

Capítulo 2 Banco 3PL

2.1 Características do banco

O objeto banco.sim.3PL do pacote INEPsico contém dois elementos. O elemento respostas é um banco com 3.000 respostas e 45 itens de múltipla escolha. As respostas possíveis são “A”, “B”, “C”, “D”, “E”, “.”, “*“. As respostas foram simuladas e todos os sujeitos responderam os 45 itens do instrumento. O elemento gabarito contém o gabarito dos 45 itens desse instrumento.

2.2 Objetivo

Analisar o instrumento por meio da Teoria Clássica dos Testes (TCT) e Teoria de Resposta ao Item (TRI).

2.3 Resumo das etapas de análise

  1. Análise pela TCT (verificação da correlação bisserial do item e de possíveis inconsistências no gabarito)
  2. Análise pela TRI (calibração, avaliação dos parâmetros, análise de DIF e análise de desajuste)

2.4 Análise pela TCT

No pacote INEPsico, a análise é feita com a função tct. Caso você tenha dúvida sobre os argumentos, rode ?INEPsico::tct. É preciso ter atenção com dois argumentos:

  • alt: o padrão da função é quatro alternativas e neste caso são cinco;
  • usa.normit: o padrão da função é TRUE e para este caso deve-se usar FALSE, pois todas os sujeitos respondem os mesmos itens (e.g., não há BIB).

Após armazenar o resultado da TCT em um objeto, use a função INEPsico::INEPsico::compara.sim.tct para comparar seus resultados com o esperado.

2.5 Análise pela TRI