ENEM e a TRI – Teoria de Resposta ao Item

ENEM e a TRI – Teoria de Resposta ao Item

O ENEM E A TRI

O ENEM é corrigido, por meio da Teoria de Resposta ao Item (TRI). Mais que estimar as dificuldades dos itens e as proficiências dos participantes, essa metodologia permite que os itens de diferentes edições do exame sejam posicionados em uma mesma escala, que é uma métrica ou uma régua, didaticamente falando.

Uma vez realizado esse posicionamento na régua da TRI, a interpretação das características pedagógicas do item, pode contribuir para uma análise qualitativa das habilidades que os participantes já dominam, e daquelas cujo domínio eles ainda estão construindo. Cada uma das quatro áreas do conhecimento avaliadas possui uma escala própria, uma vez que avalia construtos distintos, quais sejam, a proficiência em: Linguagens, Códigos e suas Tecnologias; Matemática e suas Tecnologias; Ciências da Natureza e suas Tecnologias; e Ciências Humanas e suas Tecnologias.

O MAPA DE ITENS

O modelo de mapa de itens consiste em associar cada item a um ponto da escala utilizada para medir as proficiências dos alunos (SOARES, 2009). O mapa de itens é, assim, um instrumento que permite posicionar os itens e suas descrições em uma escala de proficiência, permitindo visualizar o gradiente de complexidade apresentado pelos diferentes itens ao longo da escala.

A INCLUSÃO DE ITENS NO MAPA

A descrição dos itens foi obtida nos diversos eventos realizados contando com a colaboração dos especialistas convidados. Na última oficina de interpretação pedagógica das escalas do Enem, os especialistas se organizaram por área de conhecimento para descrever conjuntos de itens, validar descrições anteriores e emitir um julgamento pedagógico sobre estes, indicando aqueles prioritários para apresentação no mapa.

Posteriormente, os pesquisadores do Inep selecionaram os itens para exibição no mapa, com vistas a contemplar o espectro avaliado pelo Enem, baseados na indicação do seu grau de prioridade de inclusão, segundo critérios pedagógicos acordados entre os especialistas. O resultado do evento foi consolidado pela equipe da Coordenação Geral de Exames para Certificação da Daeb e traduz-se nos mapas de itens apresentados. As habilidades das matrizes de referência das diferentes áreas são materializadas nos itens que compõem os instrumentos de avaliação. Os itens foram descritos de forma a apresentar características pedagógicas com uma redação que indicasse três elementos ou componentes do item: operação cognitiva, objeto do conhecimento e contexto. Dessa maneira, cabe dizer que cada item avalia determinada habilidade, que é expressa na descrição construída para ele.

De outra forma, significa dizer que as habilidades da matriz de referência não se encerram em si mesmas, havendo uma série de possibilidades de desdobramento em diferentes itens para uma dada habilidade da matriz.

COMO SÃO CRIADOS OS ITENS?

Para confeccionar o mapa, foram utilizados os itens aplicados nas edições do ENEM a partir de 2009 que atenderam a determinados critérios psicométricos (parâmetros de discriminação e de chance de acerto ao acaso considerados satisfatórios). A posição que cada item ocupa no mapa representa a menor proficiência com a qual pelo menos 65% dos participantes o acertaram. Ou seja, trata-se de um ponto que indica a dificuldade empírica do item, obtida após sua aplicação.

Por ser um modelo probabilístico, a proficiência estimada não determina que um participante do teste acertará ou errará um item. Por maior que seja a proficiência estimada, sempre haverá chance do participante errar o item, por menor que seja sua dificuldade. E, ao contrário, por menor que seja a proficiência estimada, sempre haverá chance desse participante acertar o item, por maior que seja sua dificuldade. Com isso, é possível que o participante tenha acertado itens com a dificuldade maior que sua proficiência e errado itens com a dificuldade menor que sua proficiência.

NÍVEL DE DIFICULDADE NOS ITENS

Além disso, por conta da metodologia adotada, no Mapa de itens apresentado, a dificuldade de cada item é maior que sua dificuldade teórica, utilizada para o cálculo das proficiências dos participantes. Desse modo, é possível que nesse mapa o participante tenha acertado alguns itens com dificuldade maior do que a sua proficiência estimada. Por mais que pareça uma contradição, isso traz uma confiança maior, uma vez que cerca de dois terços dos participantes acertam os itens com dificuldade equivalente à sua proficiência.

Como vimos, para a composição dos mapas de itens, as sentenças descritoras envolveram três componentes: operação cognitiva, objeto do conhecimento e contexto. Dessa maneira, o ponto da escala em que cada item se encontra, ou seja, sua dificuldade, não é determinada por somente um dos componentes, mas considera a interação de todos eles.

Assim, é possível observar o mesmo objeto do conhecimento em pontos distintos da escala, bem como a mesma operação cognitiva ou o mesmo contexto. Nesse texto, optei por um recorte que focou na análise desses três componentes, por entendermos que isso pode trazer sentidos pedagógicos para a comunidade educacional. Por isso, e por ser utilizada a TRI, que permite comparabilidade entre as diferentes edições, entendemos também que a interpretação pedagógica das escalas do Enem não se encerra em apenas uma pesquisa, pois o mapa pode receber continuamente novas descrições que contribuem para iluminá-lo. Do mesmo modo que as matrizes de referência não se confundem com o currículo, que é muito mais amplo, a interpretação pedagógica das escalas representa um recorte que tomou por base um conjunto de itens aplicados no Enem.

ITENS E A MATRIZ DE REFERÊNCIA

Esses itens foram elaborados tendo como ponto de partida as matrizes de referência e não esgotam as possibilidades de abordagens de suas habilidades. Ainda assim, a interpretação pedagógica das escalas sinaliza, a partir das sentenças descritoras dos itens, aspectos importantes para o planejamento do ensino nessa etapa da educação, na medida em que apontam possíveis articulações entre situações vivenciadas e valorizadas no contexto em que se originam para aproximar os conhecimentos escolares da realidade extraescolar. Além disso, quando o participante do exame visualiza a posição de sua proficiência na mesma escala em que se localizam as sentenças descritoras dos itens, ele tem a informação sobre as habilidades que ele já desenvolveu e sobre as que estão em construção.

CONCLUSÃO

A composição da TRI encontrada no ENEM é de boa qualidade, sua pré-testagem e construção dos itens, cuidado para não confundir isso com a elaboração de questões, falei nesse post sobre a concepção dos itens enquanto balizador da régua de correção, e não da qualidade dos enunciados, comandos operatórios, etc.
A TRI não pode ser burlada e representa muito bem nosso exame, entendo o chute desse aluno e o quanto ele estudou ou não estudou.

Quer saber mais sobre o ENEM? clique aqui.

Autor Alexandre Emerson Melo de Araújo

Anúncios