As engrenagens da avaliação de impacto do Programa MMR

Por Breno Salomon Reis*

Há algumas semanas escrevi sobre o Programa Gestão em Foco – Método de Melhoria de Resultados (MMR), que foi concebido pela Secretaria de Educação do Estado de São Paulo para melhorar o aprendizado dos estudantes. A avaliação de impacto do MMR revelou que este foi capaz de aumentar a taxa de aprovação nas escolas que o receberam, especialmente naquelas que concentravam uma maior quantidade de estudantes de menor nível socioeconômico. Neste artigo, retomo ao assunto para descrever a metodologia utilizada no estudo.

A seleção de quais escolas receberiam o MMR não foi feita por sorteio. Frequentemente isso inviabilizaria a avaliação de impacto, pois, nestes casos, o resultado do programa poderia ter sido influenciado por fatores não observados. Por exemplo, sem conhecimento da Secretaria de Educação, professores das escolas que receberam o MMR poderiam ter participado no mesmo período de um treinamento para melhorar suas práticas pedagógicas. Se isso ocorresse, o resultado causal do MMR seria contaminado, impossibilitando distinguir se foi o treinamento ou o MMR o responsável pelos resultados observados. Nesses contextos de estimação potencialmente viesada por fatores externos, é necessário fazer uso de outras técnicas para medir impacto. No caso do MMR, o fato de os critérios de inclusão das escolas no programa serem objetivos, observáveis e quantificados (especificamente, localização e desempenho passado em avaliações), além de existirem dados que individualizam as escolas participantes e não contempladas (como nível socioeconômico), permitiu o processo de mensuração. A partir dessas informações foi possível combinar dois procedimentos para avaliar o programa. Primeiramente, fazendo uso dos dados, foram identificadas quais escolas teriam maior probabilidade de terem recebido o programa, formando assim o grupo contrafactual, isto é, um grupo de escolas cuja evolução nos resultados representaria o que teria acontecido com as participantes do MMR caso estes não fossem contemplados com o programa. Na sequência, foi verificado se houve uma mudança estatisticamente significativa na trajetória do desempenho das escolas participantes do programa após o seu início e em relação a essas unidades similares. Combinando essas metodologias, foi identificado que o programa melhorou as taxas de aprovação, mas não a nota dos estudantes em exames de português ou matemática.

Em muitos casos, nosso primeiro instinto ao nos depararmos com um projeto já em desenvolvimento é pensar que não será possível aplicar uma avaliação de impacto. Apesar disso, a avaliação não deve ser imediatamente descartada. Somente após entender muito bem o contexto do projeto e os dados disponíveis é que esse julgamento deve ser feito. Um gestor interessado em avaliação de impacto não deve ter receio de dedicar parte do seu tempo a essa tarefa, pois medir impacto é a maneira mais confiável de conhecer os reais efeitos do projeto.

*Breno Salomon Reis é pesquisador no EvEx, um centro vinculado à Enap (Escola Nacional de Administração Pública) que se dedica a ajudar o governo a incorporar evidências na tomada de decisão em políticas públicas. É também Mestre em Políticas Públicas pelo Insper. Sua dissertação avaliou o impacto do programa MMR.

Por Breno Salomon Reis*

Há algumas semanas escrevi sobre o Programa Gestão em Foco – Método de Melhoria de Resultados (MMR), que foi concebido pela Secretaria de Educação do Estado de São Paulo para melhorar o aprendizado dos estudantes. A avaliação de impacto do MMR revelou que este foi capaz de aumentar a taxa de aprovação nas escolas que o receberam, especialmente naquelas que concentravam uma maior quantidade de estudantes de menor nível socioeconômico. Neste artigo, retomo ao assunto para descrever a metodologia utilizada no estudo.

A seleção de quais escolas receberiam o MMR não foi feita por sorteio. Frequentemente isso inviabilizaria a avaliação de impacto, pois, nestes casos, o resultado do programa poderia ter sido influenciado por fatores não observados. Por exemplo, sem conhecimento da Secretaria de Educação, professores das escolas que receberam o MMR poderiam ter participado no mesmo período de um treinamento para melhorar suas práticas pedagógicas. Se isso ocorresse, o resultado causal do MMR seria contaminado, impossibilitando distinguir se foi o treinamento ou o MMR o responsável pelos resultados observados. Nesses contextos de estimação potencialmente viesada por fatores externos, é necessário fazer uso de outras técnicas para medir impacto. No caso do MMR, o fato de os critérios de inclusão das escolas no programa serem objetivos, observáveis e quantificados (especificamente, localização e desempenho passado em avaliações), além de existirem dados que individualizam as escolas participantes e não contempladas (como nível socioeconômico), permitiu o processo de mensuração. A partir dessas informações foi possível combinar dois procedimentos para avaliar o programa. Primeiramente, fazendo uso dos dados, foram identificadas quais escolas teriam maior probabilidade de terem recebido o programa, formando assim o grupo contrafactual, isto é, um grupo de escolas cuja evolução nos resultados representaria o que teria acontecido com as participantes do MMR caso estes não fossem contemplados com o programa. Na sequência, foi verificado se houve uma mudança estatisticamente significativa na trajetória do desempenho das escolas participantes do programa após o seu início e em relação a essas unidades similares. Combinando essas metodologias, foi identificado que o programa melhorou as taxas de aprovação, mas não a nota dos estudantes em exames de português ou matemática.

Em muitos casos, nosso primeiro instinto ao nos depararmos com um projeto já em desenvolvimento é pensar que não será possível aplicar uma avaliação de impacto. Apesar disso, a avaliação não deve ser imediatamente descartada. Somente após entender muito bem o contexto do projeto e os dados disponíveis é que esse julgamento deve ser feito. Um gestor interessado em avaliação de impacto não deve ter receio de dedicar parte do seu tempo a essa tarefa, pois medir impacto é a maneira mais confiável de conhecer os reais efeitos do projeto.

*Breno Salomon Reis é pesquisador no EvEx, um centro vinculado à Enap (Escola Nacional de Administração Pública) que se dedica a ajudar o governo a incorporar evidências na tomada de decisão em políticas públicas. É também Mestre em Políticas Públicas pelo Insper. Sua dissertação avaliou o impacto do programa MMR.