Pisa 2018: como os resultados podem contribuir para a melhoria da Educação no Brasil?

Analisados com cuidado, dados geram reflexões sobre a prática pedagógica dentro das escolas e, para governos, ajudam na elaboração de políticas públicas

POR:
Dimítria Coutinho
Crédito: Getty Images

Na manhã desta terça-feira (03/12), foram divulgados os resultados da última edição do Programa Internacional de Avaliação de Alunos (Pisa), realizada em 2018. A prova é coordenada pela Organização para Cooperação e Desenvolvimento Econômico (OCDE) e aplicada em mais de 80 países. 

O objetivo do Pisa é produzir indicadores que contribuam para a discussão da qualidade da educação nos países participantes, levando a possíveis melhoras. Os dados desta edição trazem um resultado geral não muito animador. Apenas 2% dos alunos avaliados pelo Pisa no Brasil atingiram os níveis mais altos de proficiência em pelo menos uma das disciplinas abordadas pela prova - Leitura, Matemática e Ciências. Por outro lado, 43% dos estudantes tiveram pontuação abaixo do nível mínimo de proficiência em todas as disciplinas. Na média da OCDE, esses números são de 16% e 13%, respectivamente. Em cada edição, o Pisa dá ênfase a uma das três áreas. Nesta, o foco foi Leitura, em que 50% dos estudantes brasileiros atingiram ao menos o nível 2, que corresponde ao mínimo esperado de proficiência. A escala vai até 6. 

Além disso, os dados relativos à equidade revelam uma educação cada vez mais desigual no país. Se em 2009 a diferença de desempenho em leitura entre alunos de famílias de alta renda e aqueles de famílias de baixa renda foi de 84 pontos, na edição de 2018 esse número subiu para 97.

Como uma avaliação externa pode se conectar com a prática da escola?
Janaina Barros, autora do curso "Avaliação na Educação Básica - Como e porque fazer?"
dá quatro dicas de como aproveitar os resultados de avaliações externas no cotidiano da escola:
  1. Analisar as questões abordadas nas provas das avaliações externas e entender como elas podem aumentar o repertório de situações-problema com as quais os professores podem trabalhar em sala de aula;
  2. Olhar o contexto dos alunos e tentar aproximá-lo dos conteúdos e habilidades trabalhados nas avaliações externas, a fim de facilitar o entendimento;
  3. Ter um olhar atento a dados como nível socioeconômico, acesso a recursos e escolarização da família. Essas informações podem revelar pistas a respeito do que a escola pode oferecer para aumentar a equidade entre os diversos estudantes;
  4. Criar discussões na escola para que gestão e corpo docente possam, juntos, encontrar maneiras de solucionar os desafios encontrados nos resultados das avaliações externas.

    Para saber mais, conheça nosso curso certificado "Avaliação na Educação Básica - Como e porque fazer?".

Mas, afinal, o que essa quantidade de informações pode revelar sobre a educação brasileira? Qual a contribuição do Pisa? A avaliação entrega relatórios que devem ser analisados com muita atenção para que os dados se tornem, de fato, relevantes para a melhoria educacional no país. Para isso, é essencial que profissionais da educação entendam mais sobre a prova. 

Como funciona o Pisa?

A avaliação é aplicada de forma amostral. Isso significa que são escolhidas escolas para compor uma amostra da realidade total do país - nesta edição, por exemplo, cerca de 13 mil alunos foram avaliados. O desafio é refletir a situação de instituições públicas e privadas, estados e regiões e estudantes com diferentes níveis socioeconômicos. 

Outra característica específica da prova é que ela contempla apenas alunos de 15 anos de idade, em todos os países nos quais é aplicado. Aqui no Brasil, é preciso, ainda, que eles estejam matriculados a partir do 7º ano do ensino fundamental. “No Brasil, pelo fato de termos uma distorção idade-série bastante grande nos resultados, isso faz com que vejamos como está uma determinada geração de estudantes, mas sem um foco específico na série”, diz Wolney Cândido de Melo, professor de Física e pesquisador do Grupo de Estudos e Pesquisas em Avaliação Educacional (Gepave) da Faculdade de Educação da Universidade de São Paulo. 

Outros diferenciais do Pisa são os conteúdos abordados e o modelo de prova. Aplicada a cada três anos, a avaliação abrange três áreas: Leitura, Matemática e Ciências. A cada edição, porém, é dada ênfase maior a uma delas, sempre em alternância - neste ano, o foco foi Leitura. 

“Isso é positivo na medida em que permite acesso a melhores informações de um dado objeto de avaliação. Mas, ao mesmo tempo, não temos uma série histórica com um foco comum”, opina Ocimar Munhoz, coordenador do Gepave. Para Wolney, o intervalo é fundamental para a criação de políticas públicas educacionais. “O fato de eles irem intercalando [o foco das áreas de conhecimento] a cada edição do Pisa garante um olhar mais atento sobre uma determinada área e também tempo de desenvolver políticas públicas. Há um período de 9 anos para uma área voltar ao foco, o que representa o tempo do ciclo escolar do ensino fundamental”, argumenta. 

O formato da prova também é diferente de outras avaliações externas. Além das tradicionais questões de múltipla escolha, o Pisa conta com questões dissertativas. “Sempre que o aluno constrói a resposta, é possível verificar outras coisas além daquele conteúdo ou habilidade que está sendo pedido na questão. Conseguimos avaliar como ele está redigindo, a maneira como ele constrói o próprio texto e como ele argumenta”, diz Wolney. Apesar de elogiar a importância das questões dissertativas, o pesquisador afirma que isso só é possível diante do caráter amostral da avaliação, que resulta em menos provas a serem corrigidas. “Se fossem 40 milhões de provas, seria inviável”.

Que dados o Pisa traz?

Cerca de um ano depois da aplicação das provas, a OCDE divulga os resultados do Pisa. E, mais do que o conhecido ranking de países melhor ou pior avaliados em seus projetos para a educação, a avaliação revela diversos aspectos. De modo mais amplo, a OCDE divulga um relatório que traz os principais pontos gerais, comparando os países e trazendo resultados individuais. Fazem parte desse relatório geral dados sobre escolarização e sobre qualidade, comparando o Brasil com países da OCDE e da América Latina, além do ranking geral. 

Além desse relatório, o Brasil também recebe um estudo mais aprofundado, realizado pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), que coordena o Pisa no país. O documento traz análises e reflexões sobre o desempenho dos estudantes brasileiros nas três áreas, o histórico de anos anteriores, o perfil socioeconômico dos alunos, dados sobre clima escolar e condições de aprendizagem, informações sobre equidade, percepções dos estudantes e um diálogo com o Sistema Nacional de Avaliação da Educação Básica (Saeb). 

Mas, apesar de revelar tantas informações, os pesquisadores afirmam serem necessárias algumas considerações a respeito dos resultados. Ocimar explica que a avaliação não abrange todo o cenário nacional. Além disso, ele acredita que o fato do Pisa ser realizado pela OCDE, uma organização ligada à economia e não à educação, deve ser motivo para redobrar as ressalvas. Com os cuidados tomados, o pesquisador afirma que a prova pode ser muito útil. “Eu não desprezo os resultados do Pisa. Eles não revelam toda a verdade, mas talvez ali esteja pelo menos uma parte dela”. 

Para Tereza Perez, diretora da Comunidade Educativa CEDAC, a análise dos resultados do Pisa deve ocorrer sempre junto com os dados de outras avaliações externas. “O Pisa é uma fotografia muito instantânea para julgar a educação do país. Acho que é um risco muito grande colocarmos tantas fichas assim nele. Para pensarmos este tecido complexo da educação, precisamos considerar vários índices. Não dá para ser um só como o grande iluminador”, opina. 

Como os resultados do Pisa podem incentivar a criação de políticas públicas educacionais?

“Não adianta alguém saber que está com colesterol alto e não tomar nenhuma providência sobre isso. A pessoa pode ficar fazendo exame toda hora que não muda por si só os indicadores”, diz Ocimar, fazendo uma comparação com as avaliações externas. Para o pesquisador, o maior desafio é fazer a análise completa dos dados se transformar em políticas públicas. “No caso do Brasil, o Ministério da Educação tem que articular com estados e municípios para que essas políticas cheguem na sala de aula. É uma operação complexa”, diz. 

Janaina Barros, coordenadora pedagógica da Rede Estadual da Bahia no CES Seabra, explica que, além dos resultados, é muito importante analisar também os conteúdos e questões abordados no Pisa, para identificar o que falta ser oferecido para os alunos. Para exemplificar, ela conta que analisou uma questão da prova que exigia conhecimento sobre outras mídias, como jornais e revistas. “As nossas escolas não necessariamente têm acesso a esse tipo de material”, afirma. 

Para ela, esse seria um bom indicativo de uma possível política pública a ser desenvolvida. “Neste caso, a oferta de bibliotecas. E, nelas, material para além do literário, como assinaturas de revistas, por exemplo. Se nós não temos acesso a esses materiais, como construir competências e habilidades para lidar com eles?”, questiona a coordenadora.

Como as escolas podem se apropriar dos resultados do Pisa?

É ainda na análise das provas que Janaina acredita que esteja a dica de ouro para interpretar o Pisa dentro das instituições de ensino. A coordenadora afirma que nunca teve acesso à prova completa, mas que sempre se esforça para analisar algumas questões e transformar isso em conteúdo para a formação continuada de professores. “É muito importante a gente perceber o que está sendo exigido dos nossos alunos nessas avaliações e como isso se aproxima ou se distancia do que nós realizamos na escola”, afirma Janaina.

É uma proposta para ir além da colocação do Brasil em comparação com outros países. “Na escola, percebemos que a prova não é necessariamente o ranking e a nota. Ela é isso, mas também um disparador de necessidade, que nos ajuda a entender o que, socialmente, nossos alunos deveriam estar prontos a fazer ou o que precisariam estar refletindo sobre e que, provavelmente, nós estamos deixando escapar”, explica.

Refletir sobre os conteúdos trabalhados na instituição também é o caminho indicado por Ocimar. “O que esses relatórios apontam em relação àquilo que a escola desenvolve ou pretende desenvolver com seus alunos?” e “O que os relatórios mostram que os jovens estão aprendendo?”, são perguntas que o pesquisador indica para gestores e professores fazerem. 

Wolney aconselha dar atenção às fraquezas apontadas pelo Pisa e tentar transportar para o contexto escolar, avaliando se ali também há essas fraquezas. Mas a ideia não é ficar só na constatação, mas focar em buscar soluções. Para o pesquisador, porém, é essencial promover formações para que gestores e professores aprendam a analisar esses dados. “Aí sim a gente pode fazer o casamento desses resultados de avaliações externas com o processo educacional e com as avaliações internas feitas na própria escola”, explica.

É justo comparar o Brasil com outros países do ranking do Pisa?

Em todas as edições, um dos maiores pontos de discussão é o ranking de países. Mas é justo fazer comparações? Como aproveitar o ranqueamento? Para os especialistas, não é errado comparar países, desde que se contextualize o cenário de cada um deles. “Há países na Europa que talvez tenham menos alunos na educação básica do que a rede municipal de ensino de São Paulo. É claro que fazer políticas nessas condições é mais fácil do que em um país como o Brasil”, lembra Ocimar. 

Para Wolney, o mais rico na análise do ranking é entender quais são as boas práticas dos países no topo da lista e refletir o que pode ser transportado para o Brasil. “Para isso, é importante analisar se essas estratégias fazem sentido para o nosso contexto nacional e, portanto, se são viáveis de serem aplicadas”, diz. 

 

Tags