Avaliação sem impacto na aprendizagem

Avaliar é algo fundamental em Educação. É um processo com diversas etapas que permitem apontar, em determinado momento e situação, o que pode ser feito para garantir as aprendizagens dos alunos. O desenvolvimento do instrumento de medida (um teste, uma prova) é essencial para o processo avaliativo, pois capta informações sobre a realidade educacional que se quer conhecer e a partir dos dados obtidos faz-se um julgamento de valor (por exemplo, se a nota obtida foi boa ou não) sobre o que está sendo analisado. Mas o ciclo avaliativo não para aí: ele deve indicar ações com o objetivo de aprimorar ou modificar a realidade medida. Dessa forma, avaliar é mais do que medir, a medida desvenda e a avaliação aponta o que deve ser feito. Infelizmente, ao longo do tempo esses dois conceitos foram sendo tratados como sinônimos, apesar de apontarem para processos totalmente distintos, embora interligados: mede-se para conhecer e avalia-se para escolher em que direção agir.

Três fatos internacionais conjugados, o de que era necessário que países fortes possuíssem sistemas educacionais capazes de liderar seu desenvolvimento econômico e tecnológico, a necessidade de se acompanhar de perto o desempenho educacional dos estudantes de classes sociais menos favorecidas e o interesse crescente por instrumentos de comparação de desempenho de estudantes em nível internacional, e o consequente juízo de valor sobre os sistemas educacionais dos países, deram origem ao franco desenvolvimento de avaliações educacionais em todo o mundo. No Brasil, o Sistema Nacional de Avaliação da Educação Básica (Saeb), cuja aplicação piloto aconteceu em 1988, é fruto tanto desse movimento internacional, como da expertise de pesquisadores da Fundação Carlos Chagas (FCC), em São Paulo, e da Fundação Cesgranrio, no Rio de Janeiro, envolvidos com os grandes vestibulares dos anos 1970. Fazia parte do primeiro grupo aquele que pode ser considerado o pai da avaliação educacional no Brasil, Heraldo Marelim Vianna. O especialista foi líder das primeiras pesquisas na área, autor de numerosos trabalhos sobre o tema e formador de pesquisadores.

A época do accountability

Nos anos 1980, as políticas neoliberais pregavam, de forma sucinta, a existência de um estado mínimo com a privatização progressiva dos serviços públicos. Além disso, os agentes públicos passam a ser fortemente responsabilizados pelos serviços prestados à população. Como consequência, os testes avaliativos ganham uma centralidade sem precedentes nas políticas educacionais. Nessa mesma época a palavra accountability passa a fazer parte dos discursos de governantes ao redor do mundo. O termo tem dois sentidos: um ligado à prestação de contas e outro à ideia de responsabilização, significando portanto "uma cobrança por bons resultados e a demanda de que cada um dos atores envolvidos assuma a sua responsabilidade na produção desses resultados" (BROOKE e CUNHA, 2011, pág. 21).

Para garantir o accountability, os resultados das avaliações educacionais passam a ser utilizados para variados fins, muitos de forma inapropriada, todos relacionados ao desempenho dos alunos nos testes: determinar, de forma centralizada, os níveis a serem atingidos no sistema educacional, premiar professores, desenvolver material instrucional focado na preparação para os testes. Dessa forma, o que seria uma alternativa para compreender melhor a aprendizagem dos alunos e as necessárias adequações do currículo para facilitá-la passa a ser visto como um instrumento para julgar a qualidade do ensino e avaliar a aplicação dos recursos financeiros em Educação.

A preocupação das políticas educacionais deixa de ser com o aprendizado, mudando o foco para o desempenho dos alunos nos testes. Se a escola de qualidade é aquela onde eles obtêm resultados elevados nas provas, é fundamental identificar os índices de cada instituição. Inicia-se assim o ranqueamento, primeiro para apontar as de qualidade e segundo pela crença de que, informados os resultados, as famílias pressionam por melhorias junto com a equipe escolar ou matriculam seus filhos em instituições com desempenho superior. Espera-se também que a competição incentive cada escola a buscar a excelência. Segundo essa lógica, esses três fatores, por si só, garantem mudanças significativas. Assim, o ranqueamento passa a ser uma obsessão e leva os governos a utilizar os testes avaliativos de forma indiscriminada.

Pasi Sahlberg, professor da Universidade de Helsinque, Finlândia, refere-se a essas políticas como uma infecção que assola o mundo, na medida em que os países, apesar das suas diferenças, fazem uso de medidas semelhantes. O autor chama essa infecção com o sugestivo nome de GERM, anagrama de Global Educational Reform Movement (SAHLBERG, 2011). Outro fenômeno ligado ao aumento da centralidade dos testes é a ampliação do número de empresas oferecendo esses serviços. Segundo estimativas de Julie Broom, diretora de um importante centro de pesquisas educacionais americano, o Institute for Research and Reform in Education (IRRE), o mercado de testes educacionais gira em torno de 20 bilhões a 50 bilhões de dólares por ano, contando apenas os Estados Unidos.

Accountability no Brasil

No caso brasileiro, a partir de 2005 o governo federal transforma o Saeb, aplicado desde 1991 de forma amostral, na Prova Brasil, um teste quase censitário. "Quase" porque só é aplicado em escolas públicas que possuam mais de 20 estudantes matriculados no ano escolar testado. Se antes os resultados só podiam ser divulgados por estados, regiões e em nível nacional, com a criação da Prova Brasil torna-se possível divulgá-los por escola, com a ressalva de que, pelo critério utilizado, a prova não pode ser aplicada em cerca de 400 dos mais de 5,5 mil municípios brasileiros.

É crescente o número de governos estaduais e municipais com testes próprios, baseados no modelo da Prova Brasil (HORTA NETO, 2014). Apesar de terem matrizes de referência próprias e diferenciadas, todos os resultados estão na mesma métrica da Prova Brasil, podendo assim ser comparados.

No entanto, como não existe uma base currícular nacional comum, não há sentido pedagógico em comparar resultados expressos em números baseados em currículos diferentes. Mesmo assim, alguns desses governos fazem comparações de seus resultados com os da Prova Brasil.

Em 2007, o governo federal criou um indicador de qualidade, o Índice de Desenvolvimento da Educação Básica (Ideb), que considera o desempenho na Prova Brasil e a taxa de fluxo escolar. Ele é expresso em uma escala de zero a dez, estabelecendo-se a meta de atingir o valor 6,0 em 2021. O Inep - unilateralmente e baseado em medidas de desempenho e fluxo anteriores - calculou o índice de cada escola para que a meta global pudesse ser alcançada. Paradoxalmente, apesar dessas metas não terem sido acordadas, de o Brasil ter um sistema federativo com estados e municípios autônomos e independentes, o Ideb passou a ter apelo com os gestores educacionais e enorme influência nas disputas políticas, principalmente nos municípios.

Assim como o Saeb e a Prova Brasil induziram os testes nos estados e municípios, o Ideb também provocou a criação de indicadores locais, que servem principalmente como justificativas para o repasse de recursos para as escolas. Uma pesquisa na internet realizada entre 2009 e 2012 baseada em publicações de revistas, jornais e blogs de secretarias de Educação, escolas e professores (HORTA NETO, 2014) buscou informações sobre como o tema avaliação estava sendo tratado pelos sistemas educacionais e pelas escolas. De forma geral, a pesquisa mostrou uma preocupação dos sistemas educacionais em preparar os alunos para a Prova Brasil, entre seis a três meses da data de sua aplicação, com simulados construídos com base em sua matriz de referência. Pelas estratégias adotadas e pelas declarações dos gestores, fica clara a preocupação em melhorar o Ideb. Já quanto à aprendizagem dos alunos, nenhuma referência é feita. O fato é que a preparação para o teste está focada em processos mecânicos que logo são esquecidos, não garantindo a aprendizagem e dificultando a acumulação de conhecimentos necessários para as próximas etapas da Educação Básica. A pesquisa detectou o mesmo movimento nas escolas.

Uma pesquisa nacional está sendo desenvolvida, em parceria, pelo Inep e pela FCC para aprofundar esses aspectos procurando quantificar e qualificar melhor esses processos (BAUER et all, 2014). Independentemente dos malefícios ou benefícios de políticas baseadas no accountability, sua transformação no principal elemento para buscar o aprimoramento da Educação levou ao distanciamento da função principal da avaliação educacional: a de um potente instrumento para auxiliar no processo de aprendizagem dos alunos.

Isso não significa que as escolas devam deixar de prestar contas de seu trabalho. Esse é um dever de qualquer instituição pública e deve ser uma ação corriqueira do Estado, especialmente em uma sociedade democrática, onde se busca a equidade e a justiça social. Mas não é possível perder de vista que fatores fora da governança da escola também influem no desempenho dos alunos, principalmente os ligados às diferenças socioeconômicas. Presentes em grande número de países, as desigualdades sociais deveriam motivar a escola a estar ainda mais preparada para fazer a aprendizagem acontecer.

É claro que esse preparo depende principalmente da sua equipe pedagógica, tanto buscando aprimorar-se como recebendo suporte necessário para fazê-lo. Supor que nas periferias dos grandes centros ou nos municípios mais pobres, onde dificilmente lecionam os professores mais bem preparados, as escolas conseguem superar dificuldades sem o apoio do estado é perpetuar um ciclo perverso de pobreza.

Nos últimos tempos, a substituição da preocupação com a aprendizagem pela busca de notas maiores nos testes e seu reflexo no Ideb pode estar estreitando o currículo com implicações nefastas na formação dos alunos. Assim, os dados que mostram uma melhoria do desempenho nos testes podem significar pouco impacto na aprendizagem dos estudantes e devem ser mais bem investigados, pois, como a pesquisa apresentada neste texto indica, a prática de preparar os alunos para os testes está sendo bastante utilizada.