Desde a Edição de Setembro de 2023, os procedimentos para mensuração da proficiência dos examinandos do Teste ANPAD têm como base a Teoria de Resposta ao Item (TRI). A TRI pode ser definida como um conjunto de modelos matemáticos que busca representar a relação entre a probabilidade de um examinando responder corretamente a um item (questão), seu conhecimento na área em que está sendo avaliado e as características (parâmetros) dos itens. Um aspecto importante da TRI é que ela considera a particularidade de cada item, levando em conta não apenas o número de acertos, mas também o grau de dificuldade de cada item, permitindo uma identificação mais precisa do nível de proficiência do examinando. Assim, as pontuações não dependem do total de itens do exame, mas das características individuais de cada item. Dessa forma, duas pessoas com a mesma quantidade de acertos podem ser avaliadas de forma distinta dependendo de quais itens acertaram ou erraram, resultando em pontuações diferentes.
Essa metodologia é amplamente difundida para o cálculo de proficiências, utilizada por diversos exames nacionais, como o Enem e o SAEB, e internacionais, como o PISA, TOEFL e o GMAT. Ainda, cabe destacar que nessa metodologia, o cálculo da proficiência não depende da média e desvio-padrão da população examinada – como era anteriormente no Teste ANPAD, mas sim da consistência das respostas dadas por cada examinando. Isso significa que a nota de um examinando é determinada exclusivamente pelo seu desempenho individual e não pelo desempenho dos outros examinandos, sejam eles da mesma edição ou de edições anteriores do exame.
Como era calculada a pontuação no Teste ANPAD anteriormente?
Antes da adoção da TRI, o Teste ANPAD utilizava a Teoria Clássica dos Testes (TCT). Nessa abordagem, a avaliação da proficiência considerava apenas o número total de acertos. Assim, dois examinandos com o mesmo número de acertos recebiam necessariamente a mesma pontuação. Além disso, o cálculo das pontuações dependia diretamente da média e do desvio-padrão obtidos pelo conjunto de respondentes de cada edição específica do exame.
Qual a diferença entre a TCT e a TRI?
O Prof. Dalton Andrade
1, consultor da ANPAD para a Implementação da TRI, esclarece que, quando desejamos medir a proficiência de um examinando em determinada área do conhecimento, fazemos uso do seu escore (número de acertos) em um exame com um determinado número de itens (questões). Esta forma de avaliação, conhecida como a Teoria Clássica dos Testes, apresenta limitações quando se pretende comparar desempenhos de examinandos submetidos a exames diferentes. Isso ocorre devido à dependência que existe entre a avaliação das características do exame e a amostra de respondentes. O índice de discriminação (grau com que o item diferencia pessoas com níveis distintos de proficiências) e a dificuldade do item dependem fundamentalmente do grupo de respondentes, ou seja, o item discrimina mais ou menos ou é mais ou menos difícil de acordo com o grupo de respondentes. Por exemplo: um grupo de pessoas com menos proficiência submetido a um teste fácil pode obter como resultado um mesmo escore que um grupo de indivíduos de maior proficiência submetidos a um teste difícil. A comparação dos percentuais de acertos indicará que os grupos possuem a mesma proficiência, sendo que, a rigor, os grupos possuem proficiências diferentes. Para contornar estas dificuldades e para permitir uma medida mais apropriada da proficiência do examinando, foi desenvolvida a TRI, cujo foco principal é o item e não o teste como um todo. Dentro do contexto da TRI, as características dos itens e dos testes são estimadas independentemente das proficiências dos respondentes.
1 Professor titular da UFSC, Pesquisador Associado da Fundação Vunesp e Consultor do INEP/MEC. Tem experiência na área de Probabilidade e Estatística, com ênfase em Análise de Dados, atuando principalmente nos seguintes temas: teoria da resposta ao item, avaliação educacional, modelos de variável latente, dados longitudinais e modelos hierárquicos/multiníveis lineares e não-lineares.
Como funciona a TRI?
Os principais conceitos e parâmetros envolvidos na TRI são:
Item: refere-se a uma questão do exame.
Parâmetros: são informações que permitem avaliar a qualidade do item.
E o modelo da TRI utilizado no Teste ANPAD abrange os seguintes parâmetros:
Discriminação: capacidade que cada item possui para diferenciar examinandos que dominam ou não dominam a habilidade avaliada naquele item;
Dificuldade: grau de dificuldade da habilidade avaliada no item, expresso na mesma escala da proficiência.
Acerto casual: probabilidade de “chute”, ou seja, a probabilidade de um examinando acertar o item não dominando a habilidade exigida.
Também podemos destacar que a TRI permite comparar os resultados dos examinandos que realizaram diferentes edições do exame em momentos distintos, já que a modelagem é capaz de corrigir as diferenças de dificuldade entre diferentes aplicações.
A utilização da TRI possibilitou ainda a elaboração da Escala Teste ANPAD, uma escala que oferece informações qualitativas adicionais sobre a proficiência dos examinandos, reforçando o compromisso da ANPAD em oferecer um instrumento atualizado e relevante para as instituições parceiras.
Para mais informações a respeito do cálculo da proficiência, clique aqui.
