Como a Teoria de Resposta ao Item Influencia sua Pontuação no ENEM, um exemplo de como a TRI funciona na correção da prova do ENEM é o seguinte:
CONTEÚDOS
Introdução para: Teoria de Resposta ao Item: Conheça a PROVA DO ENEM
Suponha que um participante respondeu corretamente a um item de Matemática considerado de dificuldade média e alta discriminação.
Isso indica que o participante tem uma habilidade acima da média nessa área de conhecimento. Se o mesmo participante responder corretamente a outros itens de dificuldade e discriminação semelhantes em Matemática, o modelo estatístico da TRI estimará que sua habilidade em Matemática é alta e, portanto, sua pontuação nessa área será maior.
Se, no entanto, o mesmo participante responder incorretamente a um item de Matemática considerado de dificuldade alta e baixa discriminação, o modelo estatístico da TRI interpretará que o participante pode ter tido dificuldade em compreender o item, e sua pontuação em Matemática será ajustada para refletir isso.
DISCRIMINAÇÃO DE UM ITEM
A discriminação é uma das características dos itens que são consideradas na Teoria de Resposta ao Item (TRI) e que afetam a pontuação do participante. A discriminação de um item mede o quanto esse item é capaz de diferenciar os participantes que têm habilidades diferentes em relação ao constructo que está sendo avaliado (por exemplo, habilidade em Matemática, Leitura, etc.).
Em outras palavras, a discriminação indica a capacidade de um item em distinguir os participantes que têm habilidades mais altas em relação aos que têm habilidades mais baixas. Quanto maior for a discriminação de um item, mais eficaz ele é para medir as diferenças de habilidade entre os participantes.
A discriminação é calculada utilizando um modelo estatístico na TRI que leva em consideração as respostas dos participantes aos itens da prova. Os itens com alta discriminação são considerados mais eficazes para medir a habilidade dos participantes, enquanto itens com baixa discriminação são menos eficazes e podem ser descartados da prova em futuras edições.
É importante ressaltar que a discriminação é uma propriedade do item, não do participante. Ou seja, um item pode ter alta discriminação em uma edição da prova e baixa discriminação em outra edição (caso haja repetição no banco de questões), dependendo das características dos participantes que fizeram a prova. Por isso, é necessário pré-testar e calibrar os itens para garantir sua qualidade e eficácia na avaliação da habilidade dos participantes.
ACERTO AO ACASO (CHUTE)
Um dos elementos que fazem parte da TRI é o acerto por acaso, conhecido popularmente como chute, essa é uma possibilidade que está presente em todos os itens da prova, mas que tem uma probabilidade diferente para cada item. Em outras palavras, mesmo um participante que não sabe a resposta para um determinado item pode acertá-lo por acaso, simplesmente escolhendo uma alternativa aleatoriamente.
No entanto, o acerto por acaso tem uma menor probabilidade de ocorrer em itens mais difíceis, porque esses itens têm alternativas que parecem plausíveis, mas que são incorretas. Por outro lado, em itens mais fáceis, as alternativas incorretas são mais facilmente reconhecíveis, o que aumenta a probabilidade de um participante acertar o item por acaso.
Assim, se um participante chuta as respostas de vários itens da prova, é provável que ele acerte alguns itens por acaso, mas a probabilidade de acerto será menor em itens mais difíceis. Porém, como a TRI considera não só o número de acertos, mas também a dificuldade e a discriminação de cada item, um participante que chuta as respostas pode ter sua pontuação inflada ou subestimada, dependendo da combinação de itens que acertou.
Os técnicos do Inep analisam gráficos como este para saber quanto uma questão consegue discriminar quem sabe de quem não sabe um conteúdo (a), seu grau de dificuldade (b) e a possibilidade de acerto na base do chute (c). Quanto antes a curva subir, por exemplo, mais fácil é o item; uma curva mais ereta indica maior capacidade de discriminação.
O Modelo que usamos para encontrar essas 3 letras A, B e C é a TRI 3PL – chama-se 3PL por nomear cada uma dessas letras com um parâmetro: A (Discriminação), B (Dificuldade), C (Acerto ao acaso)
Prof. Alexandre Emerson Melo de Araújo
(Como a Teoria de Resposta ao Item Influencia sua Pontuação no ENEM)
TRI 3PL
Existem três fatores que eles avaliam: discriminação, dificuldade e possibilidade de acerto por chute.
- A discriminação se refere à capacidade da questão de separar quem sabe do conteúdo de quem não sabe. Quanto mais íngreme for a curva no gráfico, mais eficiente é a questão em discriminar os estudantes.
- A dificuldade da questão é medida pela altura da curva. Quanto mais baixa for a curva, mais difícil é a questão.
- Por fim, a possibilidade de acerto por chute é avaliada pela largura da curva. Quanto mais estreita for a curva, menor é a chance de acerto por chute.
É importante que os alunos que vão fazer o ENEM entendam que esses três fatores são muito importantes na elaboração de uma prova justa e eficiente.
Compreender como esses gráficos são analisados pode ajudar a entender melhor a estrutura da prova e se preparar de forma mais eficiente para o exame.
Por isso, é importante que os participantes do ENEM respondam todas as questões da prova com o máximo de conhecimento e cuidado possível, em vez de chutar as respostas.
Além disso, o ENEM adota TRI para que a correção leve em consideração a probabilidade de acerto por acaso e outros fatores para avaliar a habilidade do candidato, então chutar não é recomendado e não aumenta a probabilidade de acerto.
A avaliação do acerto por acaso se baseia na premissa de que um candidato que não sabe a resposta de uma questão tem uma determinada probabilidade de acertá-la ao acaso. Essa probabilidade é calculada a partir do número de opções de resposta da questão.
Por exemplo, em uma questão de múltipla escolha com quatro opções, a probabilidade de acertar ao acaso é de 25% (1/4). A partir desse cálculo, a TRI é capaz de distinguir entre o desempenho dos candidatos que acertaram as questões por conhecimento do conteúdo e aqueles que acertaram por acaso. Isso é importante para garantir a validade da avaliação, pois elimina o efeito do acaso na nota final dos candidatos.
A TRI leva em consideração também não apenas a resposta correta ou incorreta, mas também o grau de dificuldade de cada questão e a capacidade de distinguir os candidatos que sabem o conteúdo dos que não sabem.
Dessa forma, as notas dos candidatos são calculadas levando em consideração não apenas o número de acertos, mas também a proficiência dele em relação a dificuldade e discriminação das questões respondidas.
SITUAÇÃO HIPOTÉTICA ADAPTADA
Vamos aplicar esses conceitos em uma questão hipotética, sobre a obra “Macunaíma”, de Mário de Andrade:
O livro “Macunaíma”, de Mário de Andrade, publicado em 1928, é um exemplo da busca pela construção de uma identidade cultural brasileira. Em um trecho da obra, Macunaíma, ao ter sua imagem refletida em um espelho, se reconhece como um homem branco. Na sequência, transforma-se em um “negro retinto” e, finalmente, em um “mulato cor de jambo”. Nesse momento da narrativa, Mário de Andrade critica a mentalidade:
A) positivista, que defendia o branqueamento da população brasileira.
B) racista, que desvalorizava a mestiçagem como traço identitário do povo brasileiro.
C) nacionalista, que negava a diversidade cultural presente no Brasil.
D) modernista, que rejeitava a tradição cultural afro-brasileira.
OBS: Em uma situação de pré calibragem, suponha que essa questão foi calibrada com o parâmetro B alto, o que caracterizaria ela como sendo uma questão difícil.
Suponha que a resposta correta seja a letra B. A TRI é capaz de avaliar não apenas se o candidato acertou ou errou a questão, mas também o nível de dificuldade e a capacidade de discriminação da questão em relação aos candidatos.
Por exemplo, se um candidato que errou todas as questões fáceis e acertou apenas uma questão difícil, incluindo esta questão de Macunaíma, a TRI irá considerar que esse candidato tem uma grande habilidade para questões difíceis (devido ao acerto ter sido medido pelo parâmetro B que já estava calibrado nesse item), visto que ele acertou uma difícil.
Por outro lado, se um candidato que acertou todas as questões fáceis, mas errou esta questão de Macunaíma, a TRI irá considerar que esse candidato tem uma menor habilidade em relação a esta questão específica.
Além disso, a TRI também leva em consideração o efeito ao acaso na resposta dos candidatos.
Por exemplo, se um candidato que não sabe a resposta da questão de Macunaíma e chuta a alternativa B, a TRI irá considerar que a probabilidade de acerto por acaso é de 1/4, uma vez que há quatro alternativas.
Nesse caso, a TRI irá avaliar o desempenho do candidato de acordo com a probabilidade de acerto por acaso, além de levar em conta a dificuldade e a discriminação da questão.
COERÊNCIA PEDAGÓGICA
Nesse ponto, como a Teoria de Resposta ao Item Influencia sua Pontuação no ENEM, em sala de aula, costumamos falar sobre o termo COERÊNCIA PEDAGÓGICA.
É a consistência das questões de um teste relacionada com os objetivos educacionais do aluno em relação a construção coerente de suas respostas
Prof. Alexandre Emerson Melo de Araújo
(Como a Teoria de Resposta ao Item Influencia sua Pontuação no ENEM)
Em outras palavras, busca-se avaliar se as questões do teste estão alinhadas de maneira congruente com o que se espera que os alunos tenham aprendido no contexto educacional.
Dessa forma, a TRI permite avaliar o desempenho dos candidatos de forma justa e precisa, levando em consideração não apenas o número de acertos, mas também a dificuldade e discriminação das questões respondidas e o efeito do acaso nas respostas.
Texto de Autoria do Professor Alexandre Emerson Melo de Araújo
(Como a Teoria de Resposta ao Item Influencia sua Pontuação no ENEM)
contato@xtri.online
Comments