Os dois posts anteriores (Feira do Livro e PISA) abordam assuntos intimamente ligados e sugeriram-me a escrita do presente.
Em primeiro lugar, quero descontar um pouco da euforia da Micas10 - manda o bom senso que não nos deixemos enlevar pela comunhão de qualquer tipo de indicador com México, Grécia ou Turquia :)
Comecemos pela numeracia. Os resultados são obtidos numa amostra de estudantes, supondo-se que a pontuação média da amostra (p. ex. num teste de leitura) é a melhor estimativa para a pontuação média da população. Não deixa de ser, no entanto, uma estimativa sujeita a erro. Se não houver mais nenhum tipo de erro envolvido (i.e. os instrumentos de medida são perfeitos e a amostra não é enviesada), a variação de resultados dentro da amostra permite-nos calcular intervalos de confiança para a "verdadeira" média na população. Por exemplo, no teste de leitura de 2009, a pontuação média da amostra portuguesa foi 489 e podemos, com 95% de "segurança", afirmar que a média da população fica entre 483 e 495 pontos.
A estimativa do erro de amostragem é fundamental para se comparar resultados entre dois países ou entre dois testes no mesmo país. Por exemplo, no teste de matemática de 2009, tendo em conta o erro de amostragem, Portugal pode estar entre as posições 22 e 29 entre 34 membros da OCDE; Espanha pode estar entre as posições 26 e 29; logo, é um pouco forçado dizer que portugal ultrapassou a Espanha.
Falemos então de literacia. Um resultado inequívoco é que os alunos que lêem nos tempos livres (livros de ficção) têm muito melhores resultados nos testes de leitura. Em Portugal, em 2000, os alunos que declararam ler ficção tiveram uma pontuação de 485; em 2009 os alunos leitores obtiveram 518 pts; já os não leitores tiveram 467 pts em 2000 e 479 em 2009. Diz-nos o erro de amostragem que a evolução não é significativa para os que não lêem, mas é bastante para os que declararam ler por prazer.
Falta a má notícia: o número de estudantes leitores reduziu-se drasticamente entre 2000 e 2009 - de 92% para 79% nas raparigas e de 71% para 50% nos rapazes. Portugal e a Rép. Checa foram os únicos países da OCDE onde o número de leitores diminuiu significativamente. Em geral, as raparigas são melhores na leitura e os rapazes são melhores na matemática. Entre 2000 e 2009, Portugal foi um dos países onde mais aumentou o hiato entre raparigas e rapazes nas pontuações do teste de leitura.
Subscrever:
Enviar feedback (Atom)
19 Comentários:
Portugal... Grécia, México, Turquia ...
Diz-me com quem andas, dir-te-ei quem és, diz o povo
A média do teste Pisa subiu porque os alunos com mais dificuldades foram colocados num curso separado - CEF passando a estar excluídos de prestar prova.
Suponho que a malta dos CEF não faria testes de qualquer modo, uma vez que os testes são para alunos de 15 anos.
Para que fique claro
Eu sou "Leitor" que se indenticou com o nome de Leitor em 3 dos comentários no "Post" do Cartaz da Feira do Livro de Cabanas, colocado no dia 6 do corrente.
Mas nada tenho a ver com o "Leitor" que assina o primeiro comentário neste post de hoje, dia 8.
Alguém me pode explicar porque é que este comentador do dia 8 (o primeiro comentário) usa o mesmo pseudónimo que eu há 2 dias atrás?
Concordo com o comentário relativo aos alunos CEF pois a sua "ausência" dos exames consegue melhorar qualquer ranking... e atenção que há CEf's c/ 14, 15, 16 anos!
E vamos lá dar mérito aos nossos professores que, apesar de todos os reveses da carreira, lá vão fazendo o melhor possível com a matéria-prima que têm à frente:)
Obrigado pelo teu comentário, Carlos. Eu estava convencido de que era preciso ser >15 para CEF. Sendo assim, é mesmo possível que também haja um "efeito CEF" - é que a melhoria mais significativa, que foi verificada na leitura, foi nos percentis mais baixos (quer dizer, a média dos alunos mais fracos em 2009 é superior à média dos alunos mais fracos em 2000; a média dos alunos melhores não sofreu alterações significativas).
"Too much information" para nós leigos.
Deixando a discussão de metodologias para os especialistas, parece-me importante recordar as principais mensagens:
1. O aproveitamento escolar dos nossos alunos pode e deve ser medido, e a evolução tem sido positiva, finalmente
2. Portugal bate-se com outros países de dentro e de fora da Europa, neste como noutros "campeonatos",e todos somos convocados a contribuir
3. Temos que demonstrar melhoramentos absolutos e relativos, nesta como noutras "tabelas"
4. Quem estuda mais, geralmente sabe mais,e quem sabe mais, geralmente produz mais e ganha mais
Hoje, no dia de Nossa Senhora da Conceição, a tradição diz que ela aprendeu a ler ao joelho da sua Mãe, há mais de 2000 anos.
Nem todos são leigos :)
Nestas como noutras medidas, era bom que se percebesse porque temos evolução positiva ou negativa. Com tanto ruído e alguns equívocos, nunca percebemos o que fazer para melhorar.
Para começo, sugiro a leitura de um post de Paulo Guinote:
http://educar.wordpress.com/2010/12/08/e-quanto-a-entrevista-propriamente-dita/
E já agora, para desmistificar alguns equívocos - os alunos que fizeram o teste de 2009:
1. Não pertenciam a nenhum mega-agrupamento.
2. Nunca tiveram um Magalhães.
3. Não tiveram aulas de substituição.
4. Não tiveram AEC's.
5. As suas escolas eram geridas pelo antepenúltimo modelo de gestão.
6. Os seus professores não foram "avaliados". Uns entregaram uma ficha de auto-avaliação; outros nem isso.
A grande diferença que eu vejo entre os alunos de 2000 e os de 2009, é que os últimos já tinham passado pela experiência de fazer um exame e os primeiros nem faziam ideia do que isso é.
Sempre os mesmos profetas da desgraça, se os resultados melhoram, os resultados foram truncados, se pioram a culpa é do governo, velhos do restelo,com o devido respeito, uma palavra de incentivo talvez ajuda-se não?
Não percebo como se inventa: nem os alunos dos CEFs nem nenhuns outros foram excluídos, a OCDE não permite. Todos os alunos de 15 anos são considerados. É a OCDE que faz a amostra a estudar e quando são escolhidos mais de 5000 alunos os erros são muito minimizados ou não?
Os alunos que fizeram teste em 2009 tiveram sim, aulas de substituição, houve Planos de Matemática e Português, formação contínua de professores de Matemática, Ciências e Língua Portuguesa e muitas mais coisas (como computadores, internet, etc.)
1. Sobre se os CEFs foram ou não incluídos, eu não sei.
2. Os erros de amostragem de que falo são os publicados no relatório. As médias surgem sempre acompanhadas do erro padrão, o que permite calcular os intervalos de confiança. No caso dos ranks, é o próprio relatório que apresenta os intervalos.
3. Os alunos que fizeram teste em 2009 não tiveram aulas de substituição, foi o próprio Primeiro Ministro que o reconheceu na entrevista que deu sobre os resultados.
4. Os "Planos de Matemática e Português" não constam na minha lista de mitos.
5. Faço votos de grande sucesso para a "formação contínua de professores de Matemática", já que, ao contrário de uma notícia muito divulgada, os testes de matemática continuam miseráveis.
Algumas (IN)Verdades no relatório PISA
Os dados do PISA, quando colocavam Portugal em maus lençóis, eram vistos com descrédito. Agora que os colocam num berço de ouro, todos puxam os méritos como quem puxa o carvão para assar a sua sardinha. Estamos hoje perante um caso semelhante ao daqueles pais que se o filho se dedica, estuda e obtém bons resultados se apressam imediatamente a dizer "Ah! O meu filho é muito inteligente!" mas que, se o filho preguiça, não estuda e os resultados ficam aquém do esperado, não hesitam em protestar dizendo "o professor é um burro!". Também temos aqui os que tão rapidamente dizem que Sócrates é Besta como é Bestial... Até aqui, os professores é que eram os culpados pelos resultados dos alunos. Porque os resultados educativos custam a aparecer. Afinal, contrariamente ao que a Maria de Lurdes defendia, concluímos que só são da responsabilidade dos professores quando os resultados são negativos... Se são positivos, o mérito vai para a absurda a ministra, mesmo que tenha contribuído para o pior estado da Educação... Os resultados em nada constatam que estejamos melhor que antes. Apenas nos dizem em que posição estamos comparativamente com os outros... Da mesma forma uma empresa que se aguenta acumulando dívidas não significa que esteja bem só porque a sua vizinha do lado já abriu falência! Se Maria de Lurdes não tivesse desmotivado os professores hoje teríamos uma recuperação muito superior e não apenas de meia dúzia de pontos do ranking. Com outra motivação de alunos e professores, bem poderíamos ter subido 15 ou até 20 pontos no ranking. Assim, ficamos contentes porque outros perderam posições no ranking! É como nos campeonatos de futebol. O que importa não é um clube estar melhor que no ano anterior. Basta que os adversários estejam piorou perca pontos. E a crise atacou a Espanha mais que Portugal... Claro, Espanha que recebeu imensos imigrantes e os testes do PISA incluem todos os jovens de 15 anos! Alguém contradiz isto? Salários dos Professores na OCDE - Verdade ou Mentira ?
Muito se discutem as árvores.
E a floresta?
O que importa mesmo é a média geral, de todos os alunos, incluindo imigrantes, tudo é gente, tudo conta para os resultados.
E os responsáveis pelos resultados globais somos todos, desde os dirigentes prestadores de serviços, os professores, os pais, os alunos, os empregadores clientes finais e até os contribuintes que pagam tudo.
Se quiser olhar para a floresta, faça-o com os seus olhos, não através dos press releases.
Aos poucos, a floresta vai aparecendo:
1. Comparativamente a 2006, a amostra de 2009 tem maior % de alunos no 10.º ano e praticamente desapareceram os de 7.º e 8.º.
2. Comparativamente a 2006, a amostra de 2009 tem mais escolas privadas.
3. As escolas e turmas seleccionadas para a amostra foram informadas com bastante antecedência. Os professores dessas turmas foram instruídos para preparar os alunos especificamente para os testes de PISA.
4. Há relatos de escolas que se recusaram a participar, alegando que os alunos eram muito "fracos".
5. Há relatos de escolas onde foram apenas seleccionados os bons alunos.
6. O Governo recusa-se a revelar as escolas seleccionadas, alegando um contrato de confidencialidade com a OCDE. A OCDE não confirma este "contrato", mas diz que só o Governo pode disponibilizar essa informação.
Pura verdade Beijokense.
O Ministério divulgou uma nota sobre a amostragem. Relativamente a comentários a este post, ficou esclarecido que os CEFs fazem parte da amostra.
Quanto ao resto, está por explicar os aumentos que indiquei nos pontos 1. e 2. do meu comentário anterior. Muito menos os 3, 4 e 5, mas isso não tem directamente que ver com o método de amostragem.
A OCDE usa estratificação da amostra com base geográfica (região e habitat) e tipologia da escola. Na minha opinião, creio que seria mais indicado seleccionar aleatoriamente as escolas, sem estas condicionantes.
Um estudo americano mostrou que as pessoas que tinham mais dificuldade a fazer contas, baixa numeracia, tinham maior probabilidade de não conseguir pagar o crédito que deviam.
Talvez seja por isso que Portugal é o "campeão do endividamento na Europa".
http://www.frbatlanta.org/pubs/wp/working_paper_2010-10.cfm
Enviar um comentário