Comentários sobre a "pesquisa" da SEE-SP sobre escolas de ciclo único Imprimir

A SEE-SP foi obrigada a liberar a "pesquisa" que fez sobre os resultados das escolas de ciclo único comparativamente as escolas de mais de um ciclo. Nesse texto eu comento esses resultados e argumento sobre a invalidade dessa pesquisa como parâmetro para políticas públicas tão impactantes quanto a reorganização simultânea de cerca de 1000 escolas.

Eu ainda aguardo resposta à minha solicitação feita a SEE-SP para acesso a essa pesquisa e aos dados brutos que a geraram. Mas o jornal O Estado de São Paulo foi mais "esperto" e solicitou a pesquisa via Portal da Transparência (www.transparencia.sp.gov.br/), obtendo-a nessa última semana. A "pesquisa" se encontra disponível no link da reportagem do Estadão Online que segue no final desse texto.

Como fiquei muito chateado por não ter sequer recebido resposta da SEE-SP, o que me levou a crer que tal pesquisa nem mesmo existisse, me acho agora no dever cívico de comentar a pesquisa e as medidas de reestruturação anunciadas e embasadas nos resultados dela. Então vamos lá.

A pesquisa foi feita em agosto de 2015 e nunca fora anunciada, divulgada ou comentada antes do anúncio das medidas de reestruturação feito em outubro de 2015, dois meses após a data de finalização da pesquisa.

Cabe então, inicialmente, perguntar se a SEE-SP no prazo de dois meses apenas decidiu-se por acatar as recomendações da pesquisa e reestruturar toda a rede de escolas do estado em caráter de extrema urgência. Falou-se muito em "Planejamento" e discussão, consulta e levantamento de dados de geolocalização, etc. Mas tudo isso fora mesmo feito e decidido assim, de supetão, em 2 meses? Ou teria sido essa "pesquisa" apenas uma "encomenda de validação pedagógica" de uma política que já vinha sendo pensada e planejada, mas que precisava de, pelo menos, um argumento pedagógico para justificá-la? Para refletir...

 

O que a pesquisa pesquisou?

A pesquisa tem 18 páginas com muito texto opininativo, algumas poucas tabelas e gráficos correspondentes, não apresenta os dados brutos e o governo não permite que tenhamos acesso a eles. Logo, não é propriamente uma pesquisa, mas talvez uma compilação de dados inacessíveis e um conjunto de opiniões em que devemos crer, além de aceitar a existência dos dados brutos e a correspondência deles ao que mostram as tabelas.

Apesar dessa nulidade inicial (não existem dados para verificação), ainda assim a pesquisa não apresenta nenhum resultado além da correlação simples entre o número de escolas com desempenho no Idesp(*) acima, na média e abaixo da média estadual e o tipo de ciclos que essas escolas têm. Como muito bem apontado em outros comentários feitos na mídia por especialistas, é uma correlação espúria entre duas variáveis de um universo de muitas outras variáveis, como a existência ou não nessas escolas de recursos como bibliotecas, laboratórios, funcionários de apoio, condições físicas do prédio, quantidade de professores efetivos e temporários, nível socioeconômico da comunidade, localização geográfica, condições particulares de risco, equipamentos disponíveis na escola, etc.

Em uma comparação tão superficial quanto a própria pesquisa, é como encontrar uma correlação entre a cor dos muros da escola e seus resultados médios no Idesp. Aliás, não há nenhuma segurança de que o Idesp possa ser utilizado como parâmetro de mensuração da qualidade do ensino nas escolas públicas, dado o número considerável de fraudes nos seus resultados, a absoluta falta de transparência do Saresp(**) (cuja metodologia tem como agravante não permitir a inferência de resultados de aprendizagem efetivos) e a vergonhosa manipulação do índice de fluxo (***) das escolas, variáveis essas que compõem o Idesp.

Compromete ainda o resultado o fato de que a pesquisa considerou resultados médios do Idesp das escolas, e não a média dos resultados específicos de cada ciclo para fazer uma comparação com o resultado médio de escolas de ciclo único. Assim, estamos comparando a qualidade do suco de laranja puro com a qualidade do suco de mamão com laranja para concluir que o suco de laranja puro é mais puro.

 

Resultados

Com toda essa seletividade conveniente e uma metodologia de comparação de variáveis não comparáveis, a pesquisa resulta que as escolas de ciclo único têm desempenho no Idesp superior às escolas de 2 ou 3 ciclos. Os dados são mostrados na tabela abaixo.

 

tabela6

 

Note que, na parte superior da tabela, as escolas com mais de 1 ciclo estão todas abaixo da média de desempenho da rede para a faixa de ensino considerada (valores em vermelho). O que nos leva a uma pergunta interessante: como pode a média de todas as escolas da rede estar abaixo da média das próprias escolas da rede, exceto as de ciclo único? É como calcular a média de alturas das pessoas de uma sala e concluir que todas as pessoas estão abaixo da média de altura delas mesmas!

Na insana tentativa de produzir resultados favoráveis às escolas de ciclo único, produziu-se um resultado estatístico absolutamente improvável. Isso só seria possível se as escolas de ciclo único tivessem um desempenho tão elevado que compensasse a diferença de todas as demais em relação à média estadual. No entanto, o mesmo estudo mostra que o desempenho das escolas de ciclo único não é tão elevado em números absolutos e, além disso, essas escolas são minoria absoluta no conjunto das escolas estaduais. Isso se chama inconsistência de dados e é típico de análises incorretas ou, produzidas a partir de dados inválidos.

 

Discrepâncias

Alguns dados desprezados na pesquisa merecem um olhar mais cuidadoso. Por exemplo:

  • Nos anos iniciais do EF 48,1% das escolas de ciclo único não estão acima da média estadual;
  • Nos anos finais do EF são 42,7% que não ultrapassam a média, e;
  • No EM esse número é de 30,9%

Porque essas escolas não ultrapassam a média se elas são de ciclo único?

Nas escolas com 2 ou mais ciclos:

  • Nos anos iniciais do EF apenas 40,9% estão abaixo da média;
  • Nos anos finais do EF são 42,5% abaixo da média apenas, e;
  • No EM 48,9% estão abaixo da média.

Porque em todos esses casos, mesmo tendo a escola mais de um ciclo, mais da metade delas estão na média ou acima dela?

Uma coisa é dizer que um número maior de escolas de ciclo único está acima de uma média e outra é dizer que transformar uma escola de múltiplos ciclos em uma escola de ciclo único vai coloca-la acima da média. Os números acima, tirados da própria pesquisa, mostram claramente que essa inferência é absurda.

Aliás, se todas as escolas estiverem acima da média, teremos um resultado tão esdrúxulo quanto o que foi apresentado na tabela, onde se conseguiu a façanha de criar dados em que a quase totalidade está abaixo da média, com exceção dos casos particulares propositalmente desejáveis.

 

Variáveis perdidas

Sob o argumento de "simplificar a gestão", que é verdadeiro se a escola tiver somente um ciclo, pesa também, e muito mais, as variáveis "número de alunos" (tamanho da escola) e "condições operacionais" (professores, equipamentos, serviços, estrutura, etc.). A mera quantidade de ciclos não é suficiente para se inferir a qualidade de uma escola, tanto que há muitas escolas de ciclo único abaixo da média apresentada e muitas de mais de um ciclo acima da média.

É óbvio que essas discrepâncias não existiriam se fossem levadas em consideração as demais variáveis que foram propositalmente ignoradas nessa pesquisa. E é provável que escolas de ciclo único com resultados piores do que de escolas com mais de um ciclo têm uma "explicação", como, por exemplo, o fato de terem muitos alunos e pouca infraestrutura pedagógica. Mas essa mesma explicação pode justificar os resultados não tão bons de escolas com mais de um ciclo!

As variáveis perdidas (ou ignoradas propositalmente) nessa "pesquisa" deixam bem claro que, no mínimo, não se poderia toma-la como embasamento para uma decisão que envolve diretamente quase 1000 escolas e muitos milhares de alunos e famílias, sem contar os professores e gestores.

 

Conclusão

A impressão que fica após a análise da pesquisa é que não se pode leva-la a sério para nenhuma decisão de política pública, tanto pela superficialidade e ingenuidade com que faz inferências, quanto pela falta de transparência dos dados do Saresp e Idesp.

Nenhum gestor sério e, principalmente, que tem alguma crença na matemática, na estatística e na metodologia científica poderia dar crédito às conclusões de tal "pesquisa". E, considerando a formação do Secretário de Educação, um engenheiro, é pouco o nada crível que ele tivesse coragem de construir um viaduto utilizando dados tão precários sobre a qualidade do cimento utilizado.

Em vista da falta de transparência quanto aos dados da pesquisa, da superficialidade da análise e das extrapolações estratosféricas feita à título de conclusões, me causa espanto que uma política pública tão impactante possa ser desenvolvida e decidida em praticamente um mês, sem consulta a ninguém, sem análise de instituições sérias que trabalham com a educação e sem sequer a discussão com a comunidade. Portanto, como não acredito que um engenheiro tão bem sucedido possa ter tão ingênuo e pouco profissional, só me resta crer que essa "pesquisa" nada mais é do que uma peça de propaganda utilizada convenientemente como "embasamento pedagógico" para uma decisão política, muito mais econômica e ideológica, do que uma decisão técnica e bem fundamentada.

 

Uma abordagem distinta e mais eficaz

Diante dos "resultados" a que se chegou com essa pesquisa caberia sim aprofundar a compreensão do problema e procurar entre as "variáveis perdidas" aquelas que possibilitam compreender por que escolas de ciclo único têm resultados tão ruins em alguns casos enquanto escolas de vários ciclos apresentam ótimos resultados em outros casos.

Ao se pesquisar seriamente o impacto de diversas variáveis sobre os resultados das escolas pode-se sim tirar conclusões importantes sobre rumos de políticas públicas. Mas, essas políticas precisam passar pelo crivo e aprovação da sociedade, pois é para a sociedade que elas existem e não para a conveniência do governante da vez.

O Secretário de Educação, infelizmente, ainda que tenha alguma boa intenção, está perdendo sua última oportunidade de contribuir para a melhoria da escola pública e criando uma situação ainda mais catastrófica que a que já temos. Lamento. Não por ele, que não precisa de lamentos, mas pelas próximas gerações e por essa que sofrerá muito com os impactos altamente negativos dessa política desfocada.

 

 

Pesquisa da SEE-SP disponível na notícia do Estadão Online no sitio: http://sao-paulo.estadao.com.br/noticias/geral,documento-indica-que-sp-usa-so-um-criterio-para-mudar-rede,10000002055http://sao-paulo.estadao.com.br/noticias/geral,documento-indica-que-sp-usa-so-um-criterio-para-mudar-rede,10000002055

 

(*) Idesp: Índice de Desenvolvimento da Educação de São Paulo. Um número fruto do produto de outros dois, o índice do Saresp e o índice de fluxo.

 

(**) Saresp: Sistema de Avaliação do Rendimento Escolar do Estado de São Paulo. Nota final de uma avaliação sem caráter classificatório, optativa para o aluno, baseada apenas no currículo oficial e que não leva em conta as características e particularidades das escolas ou dos alunos.

 

(***) Índice de fluxo: um número entre 0 e 1 que corresponde à porcentagem decimalizada de alunos que são aprovados em uma escola comparado ao número de matrículas recebidas no início do ano.

 

(****) Nota sobre o Saresp, índice de fluxo e Idesp: como o Idesp tem sido utilizado como parâmetro para o pagamento de bônus aos professores das escolas, o índice de fluxo tem sido propositalmente elevado de forma artificial em muitos locais, bem como os alunos têm sido treinados para terem bons resultados na prova do Saresp ou, simplesmente tem-se fraudado as provas em algumas escolas. Como a prova do Saresp é desvinculada da realidade do aluno e da escola, e nem tem nenhum significado para o aluno, os resultados nessas provas, salvo fraudes e manipulações, são historicamente ruins e não representam um índice de aprendizagem real. Não há nenhuma transparência com relação ao Saresp.