Desde a Edição de Maio de 1998, o Teste ANPAD tem validade de, no máximo, dois anos (período correspondente às seis últimas edições) e tem sido aplicado mais de uma vez ao ano. Dado esse número de aplicações anuais e a extensão do prazo de validade, foi necessária a introdução de uma metodologia capaz de eliminar o 'efeito prova' e garantir a comparação das pontuações obtidas pelos inscritos. Sendo assim, realizamos uma padronização das pontuações obtidas pelos inscritos, a qual nos permite identificar desempenhos independentemente da Edição do Teste ANPAD. A Figura 1 ilustra o uso dessa metodologia em três edições consecutivas do Teste. As edições, que possuem configurações diversas no que tange a média e o desvio padrão, são padronizadas e apresentam posteriormente configuração similar (mesma média e mesmo desvio padrão), permitindo a comparação dos resultados.
Figura 1: Padronização das pontuações
- Pontuação padronizada e reescalonada em cada prova. O reescalonamento é fornecido pela aplicação da Fórmula 2.
- Frequência relativa de inscritos com pontuação inferior àquela do inscrito em questão, ou seja, sua posição percentílica com relação a todos os inscritos, em nível nacional.
- Média das pontuações brutas; e
- Desvio-padrão1
A pontuação bruta equivale ao número de questões respondidas corretamente por um inscrito. Entretanto, a utilização da pontuação bruta como instrumento de avaliação do desempenho de um inscrito em uma determinada prova apresenta muitas limitações, pois um resultado isolado, que não considera as informações sobre as características da população dos inscritos que participaram do Teste, pode distorcer a avaliação. Em outras palavras, é preciso, como já apontado, realizar uma padronização das pontuações dos inscritos para eliminar o 'efeito prova'.
Considere-se, por exemplo, o caso de um inscrito que tenha acertado 16 das 20 questões de uma prova. Esse resultado, de 80%, é, à primeira vista, positivo e indicador de bom desempenho do inscrito. No entanto, deve-se ter em mente que, por algum motivo não previsto, a prova pode ter sido relativamente fácil para a população, de modo que 16 foi uma das menores pontuações e é, portanto, indicativo do baixo desempenho do inscrito em relação aos demais. Consequentemente faz-se necessário estabelecer uma base de comparação que leve em conta um indicador do desempenho da população dos inscritos (como, por exemplo, a média da prova) e do grau de homogeneidade das pontuações (como o desvio-padrão).
É importante destacar que, já na fase de elaboração das provas, são seguidos critérios rigorosos para evitar discrepâncias nos níveis de dificuldades do Teste. No entanto, como nem sempre o nível de dificuldade previsto pelos elaboradores e revisores das provas condiz com o nível de dificuldade efetivamente observado na população (por questões como variação na formação dos inscritos), é importante a realização da padronização ora explicada.
A padronização dos resultados de cada prova do Teste ANPAD é obtida por meio da Fórmula 1 a seguir.
Para cada inscrito j (j = 1, ... , j = n) que tenha se submetido à prova i (i = 1, 2, 3, 4, 5), calcula-se:
é a pontuação padronizada do inscrito j na prova i;
é a pontuação bruta do inscrito j na prova i (soma das questões respondidas corretamente);
é a média das pontuações brutas dos inscritos na prova i;
é o desvio padrão da prova i.
O significado básico dessas pontuações padronizadas é a localização do inscrito - em termos do número de desvios - em relação à média da população que se submeteu à prova i. A quase totalidade das pontuações padronizadas Zij é definida no intervalo (.3, 3). Contudo, para evitar pontuações negativas e também permitir maior amplitude dos resultados, as pontuações padronizadas são transformadas em uma nova escala de valores positivos, conforme expresso na Fórmula 2:
Nessa nova escala, a pontuação varia de 0 a 600 pontos, sendo a média equivalente a 300 pontos e unidade de desvio igual a 100 pontos. A ordenação dos inscritos não sofre qualquer alteração ao se utilizarem as pontuações simplesmente padronizadas ou as pontuações padronizadas transformadas (a transformação é, portanto, mera conveniência). Após a padronização, têm-se o resultado das cinco provas de cada inscrito.
O resultado geral é a média aritmética simples das notas individuais de cada seção do Teste, derivadas da padronização e reescalonamento de cada uma das pontuações brutas por seção.
Associação Nacional de Pós-Graduação e Pesquisa em Administração - CNPJ 42.595.652/0001-66