Projeto de Modernização do Teste ANPAD

Em 2022, a ANPAD iniciou o projeto de Modernização do Teste ANPAD, que traz uma série de benefícios àqueles que buscam uma forma de mensurar as habilidades cognitivas de profissionais que atuam em diversas áreas, sejam elas técnicas, acadêmicas ou de gestão. O projeto de modernização busca garantir que o Teste ANPAD seja ainda mais completo, atualizado e eficiente. Para isso, estamos focando em três direcionamentos: estar mais alinhado aos padrões dos testes de proficiência nacionais e internacionais; aumentar a flexibilidade de datas de realização; e aprimorar os itens e a geração de resultados.

A principal e mais aparente mudança está na utilização de uma modelagem estatística mais avançada em relação à Teoria Clássica dos Testes (TCT), utilizada até então: a Teoria de Resposta ao Item (TRI). Além da TRI, passaremos a utilizar o Computerized Adaptive Testing - CAT que é um método de aplicação de testes que seleciona as questões segundo os níveis estimados de proficiência do examinando.

A implantação do novo Teste ANPAD acontecerá em duas etapas: TRI a partir da Edição de Setembro de 2023 e CAT a partir da Edição de Novembro de 2023.

Mas o que é a TRI?

A TRI é uma metodologia em que cada questão é um item e o cálculo da nota considera a consistência da resposta segundo o grau de dificuldade de cada questão. Ela é utilizada para análise e geração de resultados de vários exames de proficiência nacionais, como o Enem e o SAEB, e internacionais, como o PISA, TOEFL e o GMAT. Utilizando essa nova metodologia o cálculo da proficiência não dependerá da média e desvio-padrão da população que realizou uma edição do exame, mas sim da consistência das respostas dadas por cada examinando.

Qual a diferença entre a TCT e a TRI?

O Prof. Dalton Andrade¹, consultor da ANPAD para a Implementação da TRI, esclarece que, quando desejamos medir a proficiência de um examinando em determinada área do conhecimento, fazemos uso do escore (número de acertos) do estudante em um teste com um determinado número de itens (questões). Esta forma de avaliação, conhecida como a Teoria Clássica dos Testes, apresenta limitações quando se pretende comparar desempenhos de examinandos submetidos a exames diferentes. Isso ocorre devido à dependência que existe entre a avaliação das características do teste e a amostra de respondentes. O índice de discriminação (grau com que o item diferencia pessoas com níveis distintos de proficiências) e a dificuldade do item dependem fundamentalmente do grupo de respondentes, ou seja, o item discrimina mais ou menos ou é mais ou menos difícil de acordo com o grupo de respondentes. Um grupo de pessoas com menos proficiência submetido a um teste fácil pode obter como resultado um mesmo escore que um grupo de indivíduos de maior proficiência submetidos a um teste difícil. A comparação dos percentuais de acertos indicará que os grupos possuem a mesma proficiência, sendo que, a rigor, os grupos possuem proficiências diferentes. Para contornar estas dificuldades e para permitir uma medida mais apropriada da proficiência do estudante, foi desenvolvida a TRI, cujo foco principal é o item e não o teste como um todo. Dentro do contexto da TRI, as características dos itens e dos testes são estimadas independentemente das proficiências dos respondentes.

Outra vantagem da utilização da TRI é a maior precisão na mensuração da proficiência dos examinandos nas áreas avaliadas. Isso porque a TRI leva em conta não apenas o número de acertos, mas também o grau de dificuldade de cada questão, permitindo a identificação mais precisa do nível de proficiência do examinando. Assim, dois respondentes podem ter acertado o mesmo número de itens e receber diferentes medidas de proficiência. A TRI também permite a incorporação do possível acerto casual, quando estamos utilizando itens de múltipla escolha, no cálculo da proficiência.

Assim, podemos destacar que a TRI permite comparar os resultados dos participantes que realizaram diferentes exames em momentos distintos, já que a modelagem é capaz de corrigir as diferenças de dificuldade entre diferentes aplicações de um exame.

E o que é o CAT?

O CAT que é um método de aplicação de testes que seleciona as questões segundo os níveis estimados de proficiência do examinando. Mediante um conjunto de questões, um CAT tem a principal característica de "individualizar um teste", ou seja, cada examinando recebe um elenco de diferentes questões, em diferentes quantidades. O CAT baseado na TRI seleciona os itens (questões) de forma que valorize o conhecimento do examinando a partir do histórico das questões anteriormente respondidas.

Para colocar em prática essas mudanças, desde fevereiro de 2023, o Teste ANPAD vem sendo aplicado por meio da plataforma da eduCAT, que possui larga experiência na aplicação de testes e em análises psicométricas. Além de fornecer o ambiente de realização do Teste ANPAD, essa plataforma permite a realização do Teste utilizando o TRI e o CAT, e efetua a análise de proficiência dos examinandos.