Avaliação da efetividade de uma política de inclusão produtiva: uma análise do Programa ReDes para o Desenvolvimento Sustentável^*

Effectiveness assessment of a productive inclusion policy: an analysis of the ReDes Program for Sustainable Development

Resumo

O objetivo deste artigo é realizar uma avaliação da efetividade do Programa Redes para o Desenvolvimento Sustentável (Programa ReDes), o qual surgiu de um Plano de Atuação Conjunta entre o BNDES e o Instituto Votorantim com o objetivo de apoiar projetos de estruturação de atividades produtivas e qualificação profissional visando à inclusão produtiva de populações de baixa renda. A base de dados utilizada para a avaliação provém do Cadastro Único (CadÚnico), obtido junto ao Ministério da Cidadania. Foi utilizado o método do pareamento por escore de propensão e a estimação de regressões em painel e em primeiras diferenças. Para os indicadores relacionados ao mercado de trabalho, observaram-se resultados robustos e expressivos, tais como o crescimento da renda bruta e da renda do trabalho. Além disso, houve crescimento da probabilidade de participação na população economicamente ativa, assim como do acesso ao trabalho. Com base nos cálculos realizados, pôde-se estimar que o Programa ReDes é custo-efetivo em relação à geração de renda para o beneficiário, ainda que o seu custo-efetividade seja dependente da hipótese de que os projetos sejam capazes de sobreviver ao longo do tempo.

Palavras-chave:
Inclusão produtiva; Avaliação de impacto; Pareamento por escore de propensão

Abstract

The objective of the article is to carry out an evaluation of the effectiveness of the Networks for Sustainable Development Program (Programa ReDes), which arose from a Joint Action Plan between BNDES and the Votorantim Institute with the objective of supporting projects to structure productive activities and professional qualification aiming at the productive inclusion of low-income populations. The database used for the evaluation comes from the Cadastro Único (CadÚnico), obtained from the Ministry of Citizenship. We used the propensity score matching method and the estimation of panel and difference regressions. For indicators related to the labor market, robust and expressive results were observed, such as the growth in gross income and income from work. In addition, there was an increase in the probability of participation in the economically active population, as well as access to work. Based on the calculations performed, it was possible to estimate that the ReDes Program is cost-effective in terms of generating income for the beneficiary, even though its cost-effectiveness is dependent on the hypothesis that the projects are capable of surviving over time.

JEL: J08, D04, C23.

Keywords:
Productive inclusion; Impact evaluation; Propensity score matching

1 Introdução

O objetivo do presente artigo é realizar uma avaliação do Programa ReDes (Redes para o Desenvolvimento Sustentável) como uma iniciativa de inclusão produtiva. O Programa ReDes surgiu de um Plano de Atuação Conjunta entre o BNDES e o Instituto Votorantim com o objetivo de apoiar projetos de estruturação de atividades produtivas e qualificação profissional voltados a populações de baixa renda. A avaliação aqui realizada procura uma análise de efetividade com o objetivo de verificar se, para uma série de indicadores sociais de interesse, a participação no ReDes afetou as condições de vida dos beneficiários. A base de dados utilizada para a avaliação provém do cruzamento de informações das operações realizadas no âmbito do Programa ReDes com o Cadastro Único (CadÚnico), obtido junto ao Ministério da Cidadania, que consiste em uma base de abrangência censitária da população brasileira em situação de vulnerabilidade social.

A discussão sobre inclusão produtiva está cada vez mais frequente na literatura sobre inclusão social e combate à pobreza (Vahdat et al., 2019). Nas últimas décadas, em diversos países, houve uma expansão das políticas de transferência direta de renda. Essas políticas, em geral, foram bemsucedidas para a redução imediata de indicadores de pobreza das populações e a expansão da demanda por serviços básicos como educação e saúde, que contribuem em promover o rompimento dos ciclos intergeracionais de exclusão social. Todavia, foi observado que elas não foram suficientes para que os seus beneficiários elevassem permanentemente seus patamares de renda ou que garantissem boas condições de vida ao deixar os programas que os atendiam. Portanto, nesse contexto, entendeu-se que, para que a redução da pobreza seja sustentável no longo prazo, seria fundamental que as pessoas em situação de pobreza consigam elevar seu nível de renda pela via do trabalho, isto é, por meio de uma inclusão produtiva. Desse entendimento, houve a emergência de novos programas sociais, voltados para esforços de capacitação e treinamento de mão-de-obra, desenvolvimento de mercados locais e promoção do autoemprego e de iniciativas associativas.

O presente trabalho adota o conceito de inclusão produtiva sugerido por Vahdat et al. (2019, pg. 46). Segundo esses autores, a inclusão produtiva é a “geração de trabalho e renda de maneira estável, relativamente duradoura e decente para as populações em situação de pobreza ou vulnerabilidade social, de modo a facilitar a superação de processos crônicos de exclusão social.”. Segundo os autores, ainda que possa haver variabilidade de acordo com as diferentes iniciativas de inclusão produtiva, é possível identificar três dimensões presentes nesse conceito: o seu objetivo, o seu público-alvo e a sua forma. O objetivo da inclusão produtiva é, basicamente, a superação da exclusão social. Mais especificamente, busca-se promover oportunidades para a inserção no mundo do trabalho, sendo uma maneira de garantir acesso e permanência numa condição digna de vida. É importante destacar que a inclusão deve ser estável e duradoura, isto é, os esforços devem propiciar oportunidades que tragam segurança ao público-alvo de modo a evitar o seu retorno à condição de pobreza. O público-alvo faz referência a uma parcela da população que, de alguma forma, é excluída, seja pela situação de pobreza e/ou vulnerabilidades, seja por limitações de inclusão pela via do mercado de trabalho. A forma da inclusão produtiva está relacionada à obtenção de trabalho e geração de renda. Destaca-se que a inclusão se refere ao trabalho decente, entendido como uma oportunidade de trabalho que é vetor na direção de conquista de direitos e ganhos de qualidade de vida para o público-alvo.

Particularmente ao caso brasileiro, há uma escassez de trabalhos que tenham realizado avaliações quantitativas da efetividade de programas de inclusão produtiva. Três exceções a essa tendência foram verificadas, geralmente com enfoque sobre intervenções para microempreendedores individuais.

Corseuil et al. (2014) realizaram uma análise exploratória dos efeitos da política direcionada aos microempreendedores individuais (MEI), de 2009. Foram adotados modelos econométricos simples para contrastar os resultados observados no grupo elegível à política (os MEI) com os resultados de outros grupos não elegíveis (como os microempresários). O trabalho verificou uma tendência de redução de escala para os indivíduos que já eram empreendedores. Além disso, verificou impacto positivo da política na decisão dos empreendedores individuais de contribuírem para a previdência.

Niquito et al. (2018) procuraram avaliar se a prestação de serviços de assistência técnica das entidades vinculadas ao Sistema S¹ afeta indicadores de mercado de trabalho de microempreendedores. O trabalho utilizou métodos de pareamento por escore de propensão. Foram verificados impactos positivos da intervenção sobre a probabilidade de o microempreendedor ter CNPJ, buscar microcrédito e sobre a jornada de trabalho e os rendimentos do beneficiário. Observouse também que os efeitos são mais fortes para as mulheres, em relação aos homens, e para os indivíduos residentes nas regiões Nordeste e Norte, em relação aos residentes em outras regiões do Brasil.

Ely et al. (2019) procuraram avaliar o impacto do programa MEI sobre indicadores do mercado de trabalho e da atividade empreendedora. O estudo também utilizou métodos de pareamento por escore de propensão. Foi verificado efeitos positivos do programa sobre a demanda por crédito, a jornada de trabalho e a produtividade dos trabalhadores. Todos esses efeitos foram mais fortes para os residentes nas regiões Centro-Oeste, Norte e Nordeste do que para os residentes nas demais regiões do Brasil. Além disso, os efeitos sobre a jornada de trabalho e a produtividade foram mais fortes para as mulheres do que para os homens.

O presente trabalho procurou contribuir para essa literatura ao avaliar o impacto de uma política que desenvolve diversas atividades relacionadas à inclusão produtiva utilizando uma base de dados censitária voltada para pessoas em situação de vulnerabilidade social (o Cadastro Único). Além disso, procurou observar outras variáveis além de trabalho e renda, tais como os gastos familiares e a qualidade domiciliar dos beneficiados. Por fim, procurou testar a robustez dos resultados observados tanto em nível individual como em nível familiar. Utilizou-se o método do pareamento por escore de propensão (propensity score matching) para a construção de unidades contrafactuais. Mais especificamente, buscou-se comparar cada indivíduo beneficiado pelo ReDes com os indivíduos não beneficiados mais semelhantes a eles e residindo nos mesmos municípios. Após o pareamento, as unidades foram comparadas por meio de regressões com técnicas para dados em painel e por primeiras diferenças. Para os indicadores relacionados ao mercado de trabalho, observaram-se resultados robustos positivos e expressivos, tais como o crescimento da renda bruta nos últimos 12 meses e da renda do trabalho. Além disso, houve crescimento da probabilidade de participação na população economicamente ativa, assim como o acesso ao trabalho na última semana de referência.

Além disso, com base nos efeitos estimados sobre a participação do programa, foi realizada uma análise de custo-efetividade do ReDes. A razão de custo-efetividade foi definida como a razão entre a renda adicional gerada para os beneficiários em perpetuidade e o custo total dos projetos apoiados. Com base nos cálculos realizados, pode-se observar que o Programa ReDes é custo-efetivo para as duas variáveis de renda que haviam mostrado impactos robustos (renda do trabalho e renda bruta nos últimos 12 meses). Contudo, a custo-efetividade do programa é dependente da hipótese de permanência, isto é, de que os projetos sejam capazes de sobreviver ao longo do tempo.

O trabalho está organizado da seguinte forma: esta introdução é seguida por uma breve revisão da literatura sobre inclusão produtiva, incluindo a sua definição e algumas evidências empíricas para o Brasil. Após isso, é descrito o Programa ReDes. Em seguida, são apresentadas a base de dados e os procedimentos metodológicos adotados. Em seguida, são apresentados os resultados, que incluem estatísticas descritivas, as estimações e a discussão sobre a custo-efetividade do programa. O trabalho se encerra com considerações finais, que sintetizam os resultados observados.

2 O Programa ReDes - Redes para o Desenvolvimento Sustentável

O BNDES atua no apoio a projetos sociais desde a década de 1980, com a gestão do Fundo de Investimento Social (Finsocial). No entanto, o Programa ReDes (Redes para o Desenvolvimento Sustentável) se insere em um contexto relativamente recente da atuação do Banco junto a iniciativas de inclusão produtiva. A partir do final da década de 2000, o BNDES passou por um processo de articulação institucional para elevar a capilaridade e a alavancagem de recursos no apoio a esse tipo de projetos (Mineiro et al., 2011; Pamplona, 2017). Uma das iniciativas adotadas foi o apoio a programas ou conjuntos de projetos. Outra novidade foi a atuação junto a parceiros estratégicos, os quais em que um dos requisitos é o aporte de recursos de maneira paritária entre os parceiros e o BNDES. Outro requisito importante é a responsabilidade dos parceiros pela execução e prestação de contas do projeto na ponta. Ou seja, os parceiros devem garantir a prestação de assistência na execução dos projetos, incluindo atividades de elaboração, execução e acompanhamento, além da avaliação de resultados. Por outro lado, é papel no BNDES a gestão das parcerias, o monitoramento da execução e o acompanhamento dos projetos na ponta, seguindo os critérios técnicos definidos pelo Banco (Pamplona, 2009).

Nesse sentido, o Programa ReDes partiu de um Plano de Atuação Conjunta entre o BNDES e o Instituto Votorantim, iniciado em 2010, com o objetivo de apoiar projetos de estruturação de atividades produtivas e de qualificação profissional visando à inclusão socioprodutiva de populações de baixa renda. Seu público-alvo é composto por beneficiários organizados em cooperativas e/ou associações com foco produtivo. Dentre os públicos apoiados destacam-se: assentamentos da reforma agrária, grupos de mulheres, comunidades quilombolas, catadores de materiais recicláveis e agricultores familiares. O programa apoia projetos enquadrados em quatro setores econômicos: abastecimento alimentar, comércio e serviços, economia criativa e reciclagem.

O Programa ReDes prevê o desenvolvimento de diversas atividades para atingir o seu objetivo, como: (i) mapeamento local das atividades produtivas por meio de diagnósticos socioeconômicos; (ii) fomento à mobilização social; (iii) construção de planos de negócios; (iv) seleção de projetos; (v) investimento em infraestrutura produtiva; (vi) capacitação em gestão; e (vii) assistência técnica. Ou seja, o apoio cobre diversos esforços relacionados à estruturação de cada negócio, incluindo a mobilização local, priorização, elaboração de projetos, capacitações e fortalecimento de redes.

O programa proporciona às organizações apoiadas suporte técnico na execução dos projetos e na prestação de contas com objetivo de garantir a aplicação dos recursos em plena conformidade. Além disso, o Programa ReDes oferece, aos empreendimentos produtivos apoiados, formalização e adequação legal das organizações, investimento em infraestrutura e maquinários, capacitação para os beneficiários, assistência técnica e revisão de processos produtivos e de comercialização.

Para um projeto ser selecionado para o apoio do Programa ReDes, é necessário que o BNDES e o Instituto Votorantim estejam em comum acordo em relação ao seu apoio. Da mesma maneira, a definição das localidades atendidas ocorre de comum acordo entre as instituições, considerando os seguintes critérios de seleção: municípios com indicadores sociais críticos; prefeito que manifeste interesse no apoio; e presença local de Unidades de Negócio do Grupo Votorantim (Votorantim Cimentos, Votorantim Metais, Votorantim Siderurgia, Votorantim Energia, Companhia Brasileira de Alumínio e Fibria²), ou em regiões próximas a essas Unidades. Esse critério tem o objetivo de prover capilaridade e efetividade ao apoio. Em se tratando de uma intervenção de longo prazo em localidades remotas, a presença local de Unidades de Negócio do Grupo Votorantim pode oferecer o suporte necessário para a realização dos investimentos, através da utilização de sua estrutura física e de pessoal.

O Programa ReDes é financiado por uma parceria entre o BNDES e o Instituto Votorantim, garantindo recursos divididos igualmente entre as duas instituições. Da parte do BNDES, os recursos destinados ao programa são oriundos do Fundo Social³, o qual é composto por uma parcela do lucro do Banco destinado ao apoio não reembolsável para iniciativas voltadas para a população de baixa renda. O apoio financeiro do BNDES é transferido ao Instituto Votorantim de forma parcelada ao longo dos anos de vigência do Plano de Atuação Conjunta.

3 Bases de Dados

O conjunto de dados utilizados na presente avaliação é obtido pelo cruzamento do Cadastro Único de Programas Sociais (CadÚnico), do Ministério da Cidadania, com as informações das operações realizadas no âmbito do Programa ReDes, obtidas junto ao Instituto Votorantim, no período de 2012 a 2017. O CadÚnico tem uma abrangência censitária da população pobre do Brasil (Barros et al., 2009). Essa base foi criada em julho de 2001 (atualmente disposto pelo Decreto n. 6.135, de 26 de junho de 2007), com o objetivo de consolidar o cadastramento e a manutenção de informações atualizadas das famílias brasileiras com renda per capita inferior a meio salário mínimo ou renda familiar total de até três salários mínimos, em todos os municípios brasileiros. Em 2017, o banco de dados contou com informações sobre cerca de 26 milhões de famílias brasileiras (MDS, 2017). O Cadastro Único é utilizado pelas instituições públicas das três esferas de governo brasileiras, principalmente para identificar os potenciais beneficiários de programas sociais, ao mesmo tempo em que permite buscar melhor focalização dos mesmos e evitar a sobreposição de programas para uma mesma família.

O CadÚnico permitiu a identificação dos indivíduos de baixa renda em cada um dos 19 municípios brasileiros⁴ contemplados por um projeto beneficiado pelo Programa ReDes. A identificação dos indivíduos beneficiados e não-beneficiados, assim como dos demais membros de suas famílias, foi possibilitada por meio de 6 variáveis principais. Essas variáveis são: o ano da base do CadÚnico, o código de identificação da pessoa, o nome da pessoa, o número de CPF da pessoa, o código de identificação da família e o código do município de cadastro no CadÚnico.

Em relação aos dados do Instituto Votorantim, as informações coletadas consistem em variáveis de identificação de projetos e de beneficiados junto ao Programa ReDes. Incluem o ano de entrada do beneficiário no projeto beneficiado pelo ReDes, o ano do contrato do projeto beneficiado pelo ReDes e o ano oficial de início do projeto. Com nas informações presentes nessa base, é definido o status de tratamento ajustado do indivíduo ou família. O tratamento é definido a partir do maior ano entre o ano de entrada do indivíduo na base de dados e o ano oficial de início do projeto. O primeiro contrato assinado entre o Instituto Votorantim e o BNDES para apoio ao Programa ReDes data de 2010, e o início dos projetos se dá a partir de 2013. É importante ressaltar que a identificação do tratamento inclui não apenas os indivíduos que receberam o primeiro tratamento em 2013, mas também aqueles que receberam o primeiro tratamento após esse ano ao participar de um projeto oficialmente iniciado nele. Por outro lado, foram excluídos das análises os CPFs de indivíduos que foram apoiados pelo ReDes em projetos previstos em contratos assinados após 2010. Isso beneficia a identificação do tratamento, ao garantir que um tratado não seja comparado com outro tratado em um momento futuro. Portanto, são considerados 39 projetos no total, atingindo 1.748 beneficiados diretos.

O cruzamento das bases do CadÚnico e do Instituto Votorantim se deu a partir do número de CPF dos beneficiados pelo Programa ReDes, a partir do ano de entrada do indivíduo no projeto apoiado pela iniciativa. É importante destacar que os indivíduos apoiados pelo ReDes preservam o status de tratados por todos os anos a partir do maior ano entre o ano de entrada e o ano oficial de início de projeto. Além disso, os familiares de indivíduos apoiados também são considerados tratados, ainda que haja uma distinção entre indivíduos diretamente apoiados e familiares de indivíduos tratados. Portanto, a identificação dos indivíduos apoiados pelo Programa ReDes foi realizada considerando-se a possibilidade de dois tipos de tratamento, como forma de dar maior consistência aos resultados da análise de efetividade. O tratamento familiar inclui indivíduos de 17 anos ou mais diretamente beneficiados ou membros de uma família de um beneficiário do ReDes. O tratamento individual inclui apenas indivíduos de 17 anos ou mais diretamente beneficiados pelo ReDes. Nesse caso, os membros das famílias atendidas pelo Programa ReDes, mas não diretamente beneficiados, são excluídos como potenciais unidades de controle, como forma de limpar a identificação do tratamento. O corte de idade mínima de 17 anos para a identificação do tratamento decorre de que essa foi a menor idade verificada entre os indivíduos apoiados pelo ReDes encontrados no CadÚnico.

Para a avaliação da efetividade do Programa ReDes, um total de 19 indicadores foram escolhidos como variáveis de interesse, os quais se espera que a intervenção seja capaz de afetar. Algumas variáveis, referentes à família e ao domicílio, relacionadas com a qualidade dos seus materiais de construção, renda familiar e despesas familiares, foram avaliadas em nível familiar e individual. Outras variáveis, relacionadas a indicadores do mercado de trabalho referentes ao indivíduo, foram avaliadas apenas em nível individual.

• Variáveis Avaliadas nos Tratamentos Familiar e Individual⁵: Domicílio com piso de material adequado⁶ (de cimento, madeira aparelhada, cerâmica, lajota ou pedra ou carpete); Domicílio com paredes de material adequado (de alvenaria/tijolo com revestimento, alvenaria/tijolo sem revestimento ou madeira aparelhada); Despesas com energia; Despesas com água; Despesas com gás; Despesas com alimentação; Despesas com transporte; Despesas com medicamentos; Despesas totais; Renda média domiciliar per capita; Pobreza (Renda média domiciliar per capita menor do que um quarto de salário mínimo); Pobreza extrema (Renda média domiciliar per capita menor do que um oitavo de salário mínimo).

• Variáveis Avaliadas Apenas no Tratamento Individual: Renda bruta dos últimos 12 meses; Renda de todos os trabalhos (último mês); Trabalhou nos últimos 12 meses; Trabalhou na última semana; Participa da população economicamente ativa (trabalhou ou esteve afastado do trabalho no período de referência); Trabalhador formal; Número de meses trabalhados no último ano.

Outras 12 variáveis foram escolhidas como covariadas, isto é, variáveis de controle incluídas nas regressões que medirão a efetividade do tratamento. Essas variáveis referem-se às características das famílias e de seus responsáveis, as quais apresentam maior variabilidade do que controles puramente individuais. Elas são: Domicílio rural; Família com responsável negro; Família com responsável mulher; Família com responsável analfabeto; Acesso adequado simultâneo à água, esgoto, coleta de lixo e eletricidade; Família beneficiária do Programa Bolsa Família; Razão de dependência total; Razão de dependência de jovens; Razão de dependência de idosos; Família com cônjuge e com filhos; Família sem cônjuge e com filhos; Família sem cônjuge e sem filhos.

4 Metodologia

O objetivo da presente avaliação é investigar o efeito do Programa ReDes sobre uma série de indicadores de bem-estar social. Para isso, o trabalho busca acompanhar a evolução de indicadores de bem-estar referentes aos indivíduos e/ou famílias apoiadas (isto é, referentes a um grupo de tratamento) e às não apoiadas (isto é, referentes a um grupo de controle) após o apoio do ReDes. Mais especificamente, se busca comparar o desempenho de indivíduos e famílias beneficiadas pelo programa com o desempenho de não-beneficiados em cada município com projetos contemplados⁷. Em primeiro lugar, define-se uma variável binária de tratamento D_i = {0, 1}. Assim, uma intervenção D_i sobre uma variável de interesse Y_i em uma unidade i pode ter os seguintes resultados potenciais:

$$ResultadoPotencial=\left\{\begin{array}{c}{Y}_{1i},se{D}_i=1\\ Y_{0i},se{D}_i=0\end{array}\right.$$

Segundo essa equação, D_i tem valor igual a 1 se a unidade i (por exemplo, um indivíduo) for exposta a um tratamento (por exemplo, participar diretamente de um projeto apoiado pelo Programa ReDes) e valor igual a 0 caso contrário. Por sua vez, a variável de interesse (por exemplo, a renda do trabalho) tem valor de Y_1i se o indivíduo i receber o tratamento, e Y_0i se o indivíduo não receber o tratamento. Nesse caso, portanto, o valor do impacto do tratamento poderia ser representado simplesmente por Y_1i -Y_0i. Todavia, os dados disponíveis para o cálculo desse impacto apresentam o indivíduo i como tratado ou não tratado, mas não como os dois status simultaneamente. Por isso, o problema fundamental da avaliação de impacto, também conhecido como problema fundamental da inferência causal, pode ser resumido como um problema de dados omitidos.

Uma simples comparação de médias entre tratados e controles para Y_i, condicional ao tratamento D_i está formalmente relacionada ao efeito médio do tratamento de acordo com a equação a seguir:

$$E\left(Y_i\text{|}{D}_i=1\right)-E\left(Y_i\text{|}{D}_i=0\right)=E\left(Y_{1i}\text{|}{D}_i=1\right)-E\left(Y_{0i}\text{|}{D}_i=1\right)+E\left(Y_{0i}\text{|}{D}_i=1\right)-E\left(Y_{0i}\text{|}{D}_i=0\right)$$

Nessa equação, E(Y_1i|D_i = 1) - E(Y_0i|D_i = 1) equivale o efeito médio do tratamento para os indivíduos tratados (EMTT), isto é, a diferença entre o Y_i observado após o tratamento e o Y_i não observado caso o tratamento não tivesse acontecido para o grupo de tratamento. O termo E(Y_0i|D_i = 1) - E(Y_0i|D_i = 0) equivale à diferença inicial de Y_i entre os grupos de tratamento e de controle. Nos casos em que o tratamento é definido de maneira aleatória na população, Y_0i e D_i são independentes, de modo que E(Y_0i|D_i = 1) equivale a E(Y_0i|D_i = 0), de modo que os dois termos se anulam. Ou seja, a diferença inicial não afeta o resultado do tratamento. Por outro lado, nos casos em que o tratamento não é aleatoriamente distribuído entre os indivíduos de uma população, a diferença inicial de não é nula, de modo que a simples comparação de médias de Y_i entre tratados e controles levaria a um problema de viés de seleção.

O método do pareamento por escore de propensão (propensity score matching) é útil exatamente nesses casos, como forma de lidar com o problema do viés de seleção. O estimador de pareamento busca para cada indivíduo no grupo de tratamento o indivíduo no grupo de controle mais próximo a ele em termos de variáveis observáveis. Dessa maneira, cada membro do grupo de tratamento tem um par no grupo de controle, o qual representa o seu contrafactual (Pinto, 2016).

As técnicas de pareamento partem de duas hipóteses. Primeiro, a hipótese de seleção nos observáveis. De acordo com essa hipótese, existe um vetor de características observáveis que permite controlar por todas as variáveis que estão relacionadas ao resultado potencial na ausência de tratamento e que também afetam a decisão do indivíduo em participar ou não. Segundo, a hipótese de sobreposição. De acordo com essa hipótese, é necessário que a região do vetor X_i que engloba as características dos indivíduos tratados também represente as características dos indivíduos que estão no grupo de controle. Ou seja, o resultado de um indivíduo no grupo de controle é um bom previsor do resultado potencial na ausência de tratamento de um indivíduo no grupo de tratamento que possui o mesmo vetor de variáveis observadas X_i.

Satisfeitas as duas hipóteses, pode-se calcular o EMTT por meio de uma estratégia que minimiza o viés de seleção. Dado o vetor de características individuais X_i, compara-se a média observada de Y_i para os tratados com essas características com a média observada de Y_i para indivíduos do grupo de controle com essas mesmas características. Assim o efeito sobre os tratados pode ser calculado pelo valor esperado, ou expectativa, dessa diferença de médias na distribuição de Y_i condicional a D_i, para a subpopulação com características observáveis X = x.

$$EMTT=E\left(Y_{1i}\text{|}{D}_i=1,X_i=x\right)-E\left(Y_{0i}\text{|}{D}_i=1,X_i=x\right)=E\left(Y_{1i}-Y_{0i}\text{|}{D}_i=1,X_i=x\right)$$

No presente caso, isso significa que a construção do pareamento parte do pressuposto de que a propensão a participar do Programa ReDes depende das características de indivíduos e de suas famílias. Para calcular o efeito do tratamento, a comparação adequada entre o grupo de tratamento e o grupo de controle deve ser restrita aos indivíduos com características semelhantes em relação à propensão a participar do programa. Nesse caso, uma alternativa é o pareamento dos indivíduos usando uma função de X_i que resume toda a informação contida nesse vetor. Essa função é a probabilidade de receber o tratamento, dado o conjunto de características X_i, também denominada de escore de propensão:

$$P\left(X_i\right)=Pr\left[\left.D_i=1\right|X_i\right]$$

O escore de propensão é estimado por procedimentos paramétricos para a estimação de probabilidade, tal como o modelo logit. Nesse caso, a probabilidade de um indivíduo ser tratado segue a seguinte equação:

$$Pr\left[\left.D_i=1\right|X_i=x\right]=\frac{exp\left(x\beta \right)}{1+exp\left(x\beta \right)}$$

Para a construção da base de dados de análise, é aplicado um algoritmo de pareamento a partir das bases municipais do CadÚnico. O funcionamento desse algoritmo pode ser resumido em 7 etapas:

1. Abre-se uma base municipal do CadÚnico com projetos apoiados pelo Programa ReDes (são 19 bases municipais no total);

2. São identificados todos os indivíduos tratados e os potenciais controles segundo os critérios de identificação mencionados na seção anterior. Os dois grupos foram restritos para os indivíduos presentes em pelo menos 4 anos na base de dados, que cobre o período 2012-17. Ambos os grupos de indivíduos são identificados no ano imediatamente anterior ao início oficial dos projetos (isto é, 2012).

3. São escolhidas as variáveis incluídas no modelo logit que irá calcular o escore de propensão. Essa escolha é baseada em uma metodologia automatizada de inclusão de variáveis por ajuste de regressão (forward selection).

4. É calculado o escore de propensão. Nesse passo, as unidades com escores extremos, sem possibilidade de comparação com unidades do outro grupo, são descartadas (trimming).

5. Uma avaliação de impacto de uma intervenção seguindo o método do pareamento por escores de propensão depende de uma métrica predeterminada que define a proximidade do escore de propensão dos indivíduos tratados em relação ao escore de propensão dos indivíduos não tratados. Na presente avaliação, é aplicado o método do pareamento por vizinho mais próximo, que usa os resultados do indivíduo do grupo de não tratados que possui escore de propensão mais próximo ao escore de propensão do indivíduo tratado i para estimar qual seria o seu resultado na ausência de tratamento. O pareamento aqui realizado é de 1 controle para cada tratado.

6. A base municipal é restrita apenas para os indivíduos tratados e seus controles pareados, escolhidos na etapa anterior.

7. As bases municipais restritas aos indivíduos pareados são empilhadas.

Esse procedimento é repetido tanto considerando-se o tratamento em nível familiar, como em nível individual. A avaliação da efetividade do Programa ReDes é feita a partir dessas duas bases de análise pareadas.

Acompanhar a evolução das médias dos indicadores de interesse ao longo do tempo permite a observação de algumas tendências, mas não é o suficiente para isolar o impacto do tratamento. Isto é, para melhor capturar a causalidade do Programa ReDes sobre o desempenho dos indicadores socioeconômicos de seus beneficiados, é preciso controlar por outros fatores a eles associados, como variáveis de controle (como as características das famílias), efeitos fixos individuais e o seu comportamento ao longo do tempo⁸. Esse exercício foi realizado nas bases de dados pareadas, as quais, como já relatado, consistem em bases de dados em painel, isto é, que combinam uma dimensão de variabilidade entre indivíduos, como também uma dimensão de variabilidade ao longo do tempo.

Portanto, cada uma das variáveis de interesse foi estimada por meio de um modelo que procura explicá-la em função da variável dummy de tratamento D_it (em cada ano, com valor igual a 1 para os indivíduos do grupo de tratamento após o início do tratamento e 0 para os indivíduos do grupo de controle) e variáveis dummy anuais T_t, tomando o ano de pareamento como referência. O modelo também inclui um vetor X_it de variáveis de controle de características do domicílio e da família ao qual cada indivíduo está inserido, conforme já descrito anteriormente. Um termo de erro aleatório μ_it está presente no modelo. O modelo é representado pela seguinte equação, em que o indicador de indivíduo é representado por i, e o indicador de ano é representado por t:

$$Y_{it}={\alpha }_i+\beta D_{it}+\gamma T_t+\delta X_{it}+{\mu }_{it}$$

O exercício foi realizado por dois métodos alternativos de estimação. Para as variáveis de interesse contínuas, foram utilizados o método dos mínimos quadrados ordinários empilhados (MQOE) e o método de efeitos fixos (EF). Para as variáveis de interesse binárias, foram utilizados os métodos de regressão logística (logit) e de regressão logística condicional (logit C).

Um primeiro método para dados longitudinais é o de Mínimos Quadrados Ordinários Empilhados (MQOE), também conhecido como Pooled OLS. Esse método ignora a natureza dos dados em painel, de que os fatores individuais não-observados são correlacionados com os regressores. A estimação se faz via regressão por mínimos quadrados, considerando cada observação (i x t) como sendo independente.

Contudo, sabe-se que, na maioria dos casos, as observações não são sempre independentemente distribuídas ao longo do tempo. Isto é, existem fatores não-observados específicos a cada indivíduo que podem provocar viés de heterogeneidade nas estimativas, de modo que se faz necessário o uso de uma série de métodos de controle. Nesse sentido, as técnicas de painel procuram meios para controlar os efeitos não-observados fixos no tempo, mas variáveis para cada observação, que acabam afetando os parâmetros de ajuste às variáveis de resposta. O modelo de efeitos fixos consiste em uma maneira de se eliminar o termo de heterogeneidade individual fixa no tempo (α). Em resumo, esse modelo permite que cada unidade cross-section da amostra tenha um intercepto diferente, apesar de as inclinações do vetor de parâmetros beta serem as mesmas para todos. Dado o modelo apresentado anteriormente, para cada observação i, calcula-se a média da equação ao longo do tempo e subtrai-se a equação de sua média.

Em um modelo de variáveis dependentes binárias, a variável endógena y assume um de dois valores possíveis, igual a um (sucesso), ou igual a zero (insucesso). O objetivo de se trabalhar com esse tipo de modelo empírico é estimar, ou prever, a probabilidade de sucesso e de insucesso, condicional a um dado vetor x de variáveis explicativas. Supondo que os dados observados representem as ações de indivíduos agrupados em células, independentes e identicamente distribuídas como tentativas, a distribuição de probabilidade do modelo de variáveis independentes binárias terá um formato binomial. Portanto, os modelos de regressão logística, ou de regressão para variáveis dependentes limitadas, consistem em uma série de transformações matemáticas para restringir o vetor de probabilidades estimado ao intervalo [0, 1], o que é importante para a interpretação dos seus parâmetros. Cada um desses parâmetros representa o logaritmo natural da chance de sucesso com uma mudança unitária na sua variável explicativa correspondente, mantendo-se os demais regressores fixos. Para estimar a regressão logística, utiliza-se o método da máxima verossimilhança, o qual se baseia na distribuição de y dado x, e, por isso, automaticamente considera a heteroscedasticidade em var(y | x).

O caso do modelo de regressão logística condicional parte de uma base de dados estratificada em um conjunto de subgrupos. A estimação, portanto, atribui um termo constante para cada um dos subgrupos. No caso de uma base de dados em painel, como é o caso da presente avaliação, os subgrupos são os indivíduos, que são observados ao longo do tempo. Portanto, a regressão logística condicional pode ser entendida como uma aplicação do modelo de efeitos fixos para variáveis dependentes binárias. O modelo pode ser estimado da mesma maneira do que o modelo logístico anterior.

Observa-se que o CadÚnico apresenta um problema de baixa variabilidade de informações, uma vez que os dados cadastrais não são atualizados anualmente para todos os indivíduos. Portanto, a estimação de regressões por dados em painel assume o risco de, em alguns casos, trabalhar com informações redundantes.

Para lidar com esse problema e testar a robustez dos resultados estimados com as técnicas para dados em painel e com modelos logísticos, o último exercício da avaliação da efetividade do Programa ReDes consiste na estimação de regressões por primeiras diferenças. Nesse exercício, cada base de dados em painel é dividida em várias bases anuais. Nessas bases anuais, são computadas, para cada variável de interesse, as diferenças de valores em comparação ao ano do pareamento (2012). Assim, para cada variável de interesse, foram estimadas várias cross-sections anuais, de modo a acompanhar a evolução dos coeficientes da variável dummy de tratamento. O modelo aplicado para todas as estimações busca explicar a variável de interesse ∆Y_i em função do tratamento e de um vetor MUN_i de dummies referentes ao município em que o indivíduo reside. As regressões foram estimadas pelo método de mínimos quadrados ordinários (MQO).

$$∆Y_i=\alpha +\beta D_i+\gamma MU{N}_i+{\mu }_i$$

5 Resultados

5.1 Estatísticas descritivas da base pareada

O primeiro passo da análise de efetividade é uma exploração descritiva dos dados na base pareada. Para isso, procurou-se inicialmente acompanhar a evolução da composição dos grupos de status de tratamento. A tabela a seguir mostra o número total de indivíduos dos grupos de Tratamento e de Controle por ano. Aqui, o critério de identificação dos indivíduos a cada um dos dois status de tratamento segue os ajustes já referidos anteriormente. Em resumo, o indivíduo apoiado por um projeto beneficiado pelo Programa ReDes passa a ser identificado como tratado a partir do maior ano entre seu o ano de entrada e o ano oficial de início de projeto.

De um total de 2.248 indivíduos apoiados em tratamento familiar e 972 apoiados em tratamento individual identificados no CadÚnico, respectivamente 1.393 e 581 foram identificados no ano do pareamento (2012). Desses, respectivamente 1.034 e 531 apresentaram 4 anos ou mais de presença na base de dados. Observa-se, por fim, que como o pareamento foi realizado com poucas unidades tratadas e muitas unidades de controle nas bases municipais originais, o procedimento de trimming eliminou muitas observações consideradas não-comparáveis. Dessa forma, a amostra final contou com 529 indivíduos apoiados em tratamento familiar, e 336 apoiados em tratamento individual, com igual número de indivíduos não apoiados pareados como grupo de controle. Como esperado, verifica-se maior concentração de indivíduos na base de tratamento familiar. Também se verifica um caimento contínuo do número de indivíduos por grupo, sobretudo nos últimos dois anos.

Tabela 1
Pareados por ano e tipo de tratamento

Ano	Tratamento Familiar		Tratamento Individual
	Controles	Tratados	Controles	Tratados
2012	1.058	0	672	0
2013	670	387	419	250
2014	593	464	371	297
2015	552	506	345	322
2016	447	455	291	295
2017	359	407	242	263

Fonte: Elaboração dos autores.

O próximo passo da análise procura identificar a qualidade do pareamento. Para isso, foi realizado o cálculo da diferença das médias do grupo de tratados e de controles para cada variável de interesse nas duas bases de análise (isto é, de tratamento individual e familiar). Esse cálculo foi realizado no próprio ano do pareamento (2012). Aqui, todos os indivíduos beneficiados pelo ReDes em algum momento no período de cobertura dos dados (2012-2017) foram identificados nesse ano e comparados com os não-beneficiados.

Em geral, um bom pareamento depende da não rejeição da hipótese de que a diferença de médias entre tratados e controles em cada variável de interesse é zero no seu ano de referência. Isso significa que os indivíduos beneficiados e não-beneficiados pelo ReDes são semelhantes nas variáveis de interesse no ponto de partida da análise, de modo que eventuais diferenças no futuro sejam atribuídas à participação no programa. Para testar essa hipótese, foi realizado um Teste t de Student para cada variável de interesse. Nesses testes, a hipótese nula é de que a diferença é zero. A hipótese alternativa é de que a diferença é diferente de zero, independentemente se for maior para tratados ou controles.

De maneira geral, os testes realizados verificaram bom pareamento para as bases. Apenas a variável de despesas com transporte, na base de tratamento familiar, e de trabalho formal, na base de tratamento individual, apresentaram diferenças significativas a 5%.

Tabela 2
Teste-t para a diferença de médias (Ano-base: 2012)

Variável	Base de Tratamento Individual			Base de Tratamento Familiar
	Controles	Tratados	t	Controles	Tratados	t
Despesas com Água	8,036	7,521	0,410	6,909	7,295	-0,390
Despesas com Alimentação	170,390	158,905	1,200	172,900	163,501	1,220
Despesas com Energia	34,911	43,098	-0,720	32,325	45,885	-1,330
Despesas com Gás	35,003	33,485	1,220	34,486	33,962	0,550
Despesas com Medicamentos	10,577	11,884	-0,500	9,945	10,599	-0,330
Despesas Totais	275,241	271,119	0,240	269,189	271,786	-0,180
Despesas com Transporte	9,622	8,071	0,600	8,310	5,520	2,010**
Material das Paredes do Domicílio	0,801	0,813	-0,390	0,813	0,836	-0,970
Material do Piso do Domicílio	0,732	0,726	0,170	0,703	0,686	0,600
Meses Trabalhados no Último Ano	7,138	6,156	1,570	-	-	-
Participação na PEA	0,390	0,342	1,280	-	-	-
Pobreza	0,875	0,878	-0,120	0,894	0,888	0,300
Pobreza Extrema	0,622	0,637	-0,400	0,614	0,628	-0,440
Renda Bruta nos Últimos 12 Meses	880,455	766,935	0,760	-	-	-
Renda Média per Capita Familiar	86,886	86,009	0,100	81,684	82,875	-0,210
Renda do Trabalho	125,577	110,979	0,950	-	-	-
Trabalho Formal	0,038	0,139	-2,770***	-	-	-
Trabalhou nos Últimos 12 Meses	0,507	0,473	0,790	-	-	-
Trabalhou na Última Semana	0,471	0,434	0,840	-	-	-
Total de observações	529	529		336	336

Fonte: Elaboração dos autores. Variáveis monetárias em R$. Nota:
• ^*
  p<0,1;
• ^**
  p<0,05;
• ^***
  p<0,01.

5.2 Regressões por métodos de dados em painel

A próxima análise realizada no presente trabalho refere-se à estimação do impacto da participação no Programa ReDes sobre cada um dos 19 indicadores de bem-estar de interesse. Como relatado anteriormente, o exercício foi realizado por dois métodos alternativos de estimação para cada variável de interesse. Para as variáveis de interesse contínuas, foram utilizados o método dos mínimos quadrados ordinários empilhados (MQOE) e o método de efeitos fixos (EF). No caso das variáveis de interesse binárias, foram utilizados os métodos de regressão logística (logit) e logística condicional (logit C), que permite um termo constante para cada indivíduo observado ao longo do tempo.

Todas as variáveis de interesse mensuradas em unidades monetárias, isto é, referentes à renda ou às despesas familiares, foram transformadas em escala logarítmica nas estimações. O objetivo desse procedimento é controlar possíveis efeitos de variações de preços ao longo dos anos, assim como de observações outliers. Nas estimações por efeitos fixos, foram estimados desvios-padrão robustos a clusters de observações por indivíduo, para flexibilizar a hipótese de que as observações são independentes - isto é, permite-se a correlação entre observações de um mesmo indivíduo.

Os resultados estão representados nas tabelas a seguir. Destacaram-se os resultados considerados robustos, isto é, significativos e com mesmo sinal nas estimações baseadas no método de Efeitos Fixos tanto para o tratamento familiar, como para o tratamento individual, nesse caso para as estimações que consideraram os dois tratamentos. As estimativas realizadas a partir do método dos Efeitos Fixos são mais confiáveis do que aquelas feitas por Mínimos Quadrados Ordinários Empilhados porque elas lidam com possível viés de heterogeneidade entre os indivíduos. No caso das variáveis binárias, como verificou-se que os resultados estimados são sensíveis à baixa variabilidade das variáveis de interesse, sobretudo naqueles baseados no método da regressão logística condicional, foram considerados robustos os resultados significativos e com mesmo sinal obtidos com os dois métodos e nos dois tratamentos.

Tabela 3
Resultados das estimações da efetividade do Programa ReDes (Variáveis Contínuas)

Variável	Tratamento familiar		Tratamento individual
	MQOE	EF	MQOE	EF
Despesas com Água	-0.071**	-0.112***	-0.039	-0.114**
	(0.034)	(0.039)	(0.044)	(0.051)
N	5873	5873	3750	3750
Despesas com Alimentação	0.154***	-0.007	0.076	-0.177**
	(0.045)	(0.072)	(0.053)	(0.084)
N	5873	5873	3750	3750
Despesas com Energia	0.118***	0.062	0.196***	-0.07
	(0.035)	(0.05)	(0.045)	(0.062)
N	5873	5873	3750	3750
Despesas com Gás	0.063*	0.015	0.044	-0.072
	(0.033)	(0.053)	(0.041)	(0.065)
N	5873	5873	3750	3750
Despesas com Medicamentos	-0.192***	-0.166***	-0.154***	-0.198**
	(0.047)	(0.064)	(0.058)	(0.079)
N	5873	5873	3750	3750
Despesas Totais	0.086***	0.006	0.033	-0.11*
	(0.026)	(0.042)	(0.032)	(0.059)
N	5873	5873	3750	3750
Despesas com Transporte	0.246***	-0.034	0.231***	0.026
	(0.04)	(0.062)	(0.051)	(0.067)
N	5873	5873	3750	3750
Renda Média per Capita Familiar	0.058	-0.134**	0.122**	-0.036
	(0.037)	(0.061)	(0.051)	(0.085)
N	5873	5873	3750	3750
Meses Trabalhados no Último Ano	-	-	0.173	-0.644**
	-	-	(0.217)	(0.327)
N	-	-	1646	1646
Renda Bruta nos Últimos 12 Meses	-	-	0.806***	0.46**
	-	-	(0.136)	(0.2)
N	-	-	3750	3750
Renda do Trabalho	-	-	0.586***	0.331**
	-	-	(0.102)	(0.142)
N	-	-	3750	3750

Fonte: Elaboração dos autores. Desvio padrão entre parênteses. Modelo com variáveis de controle de tempo e de características das famílias.Nota:
• ^*
  p<0,1;
• ^**
  p<0,05;
• ^***
  p<0,01.

Tabela 4
Resultados das estimações da efetividade do Programa ReDes (Variáveis Binárias, Estimativas dos Parâmetros)

Variável	Tratamento familiar		Tratamento individual
	Logit	Logit C	Logit	Logit C
Material das Paredes do Domicílio	0.006	1.475**	0.246**	1.184
	(0.092)	(0.662)	(0.115)	(0.919)
N	5873	5873	3750	3750
Material do Piso do Domicílio	0.101	1.405*	0.241**	0.096
	(0.09)	(0.837)	(0.115)	(0.742)
N	5873	5873	3750	3750
Pobreza	-0.178**	0.098	-0.344***	0.076
	(0.083)	(0.277)	(0.105)	(0.352)
N	5873	5873	3750	3750
Pobreza Extrema	-0.082	0.373*	-0.218**	0.068
	(0.068)	(0.194)	(0.085)	(0.251)
N	5873	5873	3750	3750
Participação na PEA	-	-	0.5***	0.711***
	-	-	(0.076)	(0.259)
N	-	-	3735	3735
Trabalho Formal	-	-	-0.773***	1.113
	-	-	(0.186)	(1.067)
N	-	-	1580	1580
Trabalhou nos Últimos 12 Meses	-	-	0.396***	0.653**
	-	-	(0.078)	(0.29)
N	-	-	3450	3450
Trabalhou na Última Semana	-	-	0.421***	0.698**
	-	-	(0.078)	(0.286)
N	-	-	3450	3450

Fonte: Elaboração dos autores. Desvio padrão entre parênteses. Modelo com variáveis de controle de tempo e de características das famílias.Nota:
• ^*
  p<0,1;
• ^**
  p<0,05;
• ^***
  p<0,01.

Dentre os resultados robustos, observa-se a redução de despesas com água (de 10,6% a 16%), assim como de despesas com medicamentos (de 15,3% a 18%). Para os indicadores relacionados ao mercado de trabalho, observaram-se resultados positivos expressivos, tais como o crescimento da renda bruta nos últimos 12 meses (58,4%) e da renda do trabalho (39,2%). Em relação às variáveis binárias, verificou-se crescimento da probabilidade de acesso a postos de trabalho dos indivíduos tratados em comparação com os indivíduos do grupo de controle. Assim, houve crescimento da probabilidade de participação na população economicamente ativa (de 64,9% a 103,6%), assim como do acesso ao trabalho nos últimos 12 meses (48,6% a 92,1%) e do acesso ao trabalho na última semana (de 52,3% a 101%)⁹. Por outro lado, entre aqueles que reportaram acesso ao trabalho nos últimos 12 meses, os tratados trabalharam menos meses, ainda que a diferença seja pequena (-0,644 meses).

5.3 Regressões por primeiras diferenças

Para se verificar a robustez dos resultados estimados no exercício anterior, o próximo exercício da avaliação da efetividade do Programa ReDes consiste na estimação de regressões por primeiras diferenças. Nesse exercício, cada base de dados em painel é dividida em várias bases de diferenças anuais. Nessas bases anuais, são computadas, para cada variável de interesse, as diferenças de valores em comparação ao ano do pareamento (isto é, 2012). Assim, para cada variável de interesse, foram estimadas regressões anuais, de modo a acompanhar a evolução dos coeficientes da variável de tratamento. Todas as estimações foram realizadas pelo método dos mínimos quadrados ordinários (MQO). Os coeficientes estimados ano a ano para as variáveis com resultados robustos, isto é, significantes e com mesmo sinal em pelo menos dois anos da série, estão representados na tabela abaixo.

Tabela 5
Resultados das estimações da efetividade do Programa ReDes (primeiras diferenças, resultados robustos)

Ano	Despesas com água		Despesas com medicamentos		Participação na PEA	Renda bruta nos últimos 12 meses	Renda do trabalho	Trabalhou na última semana
	Familiar	Individual	Familiar	Individual	Individual	Individual	Individual	Individual
2013	-0.021	-0.024	-0.113*	-0.117	0.054**	0.318*	0.238*	0.044**
	(0.037)	(0.046)	(0.061)	(0.072)	(0.024)	(0.183)	(0.122)	(0.022)
N	1057	669	1057	669	669	669	669	528
2014	-0.078	-0.194***	-0.049	-0.017	0.063*	0.359	0.182	0.036
	(0.051)	(0.067)	(0.085)	(0.096)	(0.034)	(0.256)	(0.187)	(0.036)
N	1057	668	1057	668	666	668	668	526
2015	-0.206***	-0.23***	-0.094	-0.094	0.097***	0.575**	0.335	0.069*
	(0.056)	(0.073)	(0.092)	(0.105)	(0.037)	(0.281)	(0.204)	(0.041)
N	1058	667	1058	667	663	667	667	525
2016	-0.305***	-0.265***	-0.19*	-0.215*	0.107**	0.566*	0.35	0.064
	(0.067)	(0.084)	(0.108)	(0.128)	(0.045)	(0.336)	(0.24)	(0.047)
N	902	586	902	586	578	586	586	478
2017	-0.351***	-0.377***	-0.178	-0.365**	0.146***	0.777**	0.46*	0.103*
	(0.077)	(0.094)	(0.124)	(0.159)	(0.051)	(0.385)	(0.272)	(0.054)
N	766	505	766	505	494	505	505	420

Fonte: Elaboração dos autores. Desvio padrão entre parênteses. Modelo com variáveis de controle de município. Nota:
• ^*
  p<0,1;
• ^**
  p<0,05;
• ^***
  p<0,01.

Considerando todas as estimações realizadas pelo presente trabalho, foram destacados os resultados que foram considerados robustos nos dois exercícios anteriores, isto é, de regressões por efeitos fixos ou modelos logísticos e de regressões por diferenças. Esses resultados são considerados os mais confiáveis de todos os obtidos pela presente avaliação, uma vez que se mantiveram ao longo de todas as especificações metodológicas. Os resultados robustos são a redução de despesas com água, redução de despesas com medicamentos, aumento na participação na população economicamente ativa, aumento da renda bruta em 12 meses, aumento da renda do trabalho e aumento do acesso ao trabalho na última semana. Destaca-se que a tendência ao longo dos anos mostra um crescimento da magnitude do coeficiente de impacto do tratamento sobre as variáveis relacionadas ao mercado de trabalho. Portanto, infere-se que o efeito do apoio é duradouro ao longo do tempo.

Dessa maneira, pode-se concluir que as evidências apontam para resultados favoráveis do Programa ReDes em relação aos seus objetivos de inclusão produtiva, isto é, de geração de emprego e de renda de maneira estável e duradoura. De maneira geral, os resultados corroboram outras avaliações empíricas de programas de inclusão produtiva no Brasil (Niquito et al., 2018; Ely et al., 2019), as quais verificaram efeitos positivos dessas intervenções no mercado de trabalho. Para o caso da redução de despesas familiares com água e medicamentos, uma hipótese que explicaria esse resultado é a possibilidade dos indivíduos apoiados pelo programa se abastecerem no local de trabalho, sobretudo aqueles que residem em domicílios rurais. A novidade incorporada pela presente avaliação é a verificação desses efeitos em uma base de dados específica de pessoas em situação de vulnerabilidade social (o CadÚnico), além de explorar duas definições de tratamento (individual e familiar) para buscar resultados mais robustos.

5.4 Custo-efetividade do Programa ReDes

A análise de custo-efetividade é uma metodologia de avaliação microeconômica que indica o potencial econômico das políticas, isto é, o quanto de recursos alocados diretamente são necessários para gerar uma unidade de impacto adicional nas variáveis de interesse. No caso de variáveis de interesse monetárias, considera-se que a política pode ser considerada custo-efetiva se o seu indicador for maior do que 1, que representa uma política de transferência de renda. O indicador de custoefetividade é utilizado para ordenar preferências sociais para políticas públicas com o mesmo objetivo.

Portanto, a razão custo-efetividade (CE) de uma política pública é uma metodologia de avaliação econômica que engloba tanto os seus custos, como os seus benefícios. No caso de uma política de inclusão produtiva, esse indicador pode levar em consideração tanto o montante de renda adicional criado para seus beneficiados, quanto o custo dos projetos apoiados. Nesse sentido, o indicador pode ser definido como a razão entre os benefícios gerados pela política e os custos diretos dessa política (Machado et al., 2018):

$$CE=\frac{Rendaadicionalcriadapelosprojetosapoiados}{Custodosprojetos}$$

No caso do Programa ReDes, para a análise de custo-efetividade, foi considerado um total de 39 projetos, com 1.748 beneficiados diretos (sendo 972 identificados no CadÚnico) e um valor total investido de R$ 29.343.368¹⁰.

O valor da adicionalidade do Programa ReDes foi calculado para duas variáveis de renda que revelaram impactos positivos, significativos e robustos em relação à participação no programa: a renda do trabalho (mensal) e a renda bruta em 12 meses. Para ambas as variáveis, foram identificados o valor observado médio para os beneficiários e o impacto da participação no programa. Nesse último caso, foi tomado o impacto calculado pelo método dos Efeitos Fixos. Com esses dados, foi calculado o valor contrafactual. O valor do benefício, portanto, é o valor da renda adicional criada pelo ReDes, ou seja, o valor observado descontado do contrafactual, tomado em 12 meses e multiplicado para o total de beneficiários diretos. O custo total dos projetos foi identificado como o valor total investido. A tabela a seguir resume o cálculo do benefício:

Tabela 6
Benefício do Programa ReDes sobre a renda

Indicador de Renda	Renda observada (R$) (A)	Impacto estimado (B)	Renda contrafactual (R$) (C)=(A)/(1+B)	Renda adicional (R$) (D)=(A)-(C)	Valor em 12 meses (R$)	Renda total anual (R$)
Renda do Trabalho	202	0,39	145	57	682	1.192.939
Renda Bruta em 12 Meses	1.890	0,58	1.193	697	697	1.217.989

Fonte: Elaboração dos autores. A renda observada é a média amostral dos indivíduos beneficiados para cada variável. O impacto é o exponencial do coeficiente da estimação de cada variável pelo método dos Efeitos Fixos obtidos na seção anterior do relatório. A renda contrafactual é obtida descontando o impacto médio da renda observada. A renda adicional é a diferença entre a renda observada e a renda contrafactual. No caso da renda do trabalho, cujo valor é mensal, o valor em 12 meses foi obtido multiplicando-se o valor adicional por 12. A renda total anual equivale à renda adicional em 12 meses multiplicada pelo número de beneficiários (1.748).

Após calcular o benefício, a presente análise voltou-se a indicadores relacionados à análise de custo-efetividade do Programa ReDes. Como um programa de inclusão produtiva tem o objetivo de gerar emprego e renda de maneira estável e duradoura para seus beneficiários, pressupôs-se que o benefício seria gerado de maneira anual e com prazo infinito. O valor presente do benefício ao longo do tempo, contudo, seria descontado por meio de uma taxa de desconto. Foram estabelecidos dois cenários para as taxas de desconto. O primeiro toma a taxa Selic descontada do IPCA em 2023 (equivalente a 2,75%), com base nas previsões do Boletim Focus, do Banco Central. O segundo toma a remuneração do Tesouro Direto descontada do IPCA para 2035 (equivalente a 3,40%). Ambas previsões foram observadas em 8 de agosto de 2020.

O primeiro indicador calculado é o valor da perpetuidade, equivalente à razão entre o benefício e a taxa de desconto. O objetivo desse indicador é verificar o valor da soma dos benefícios anuais dos infinitos valores futuros em valor presente.

O segundo indicador é a razão de custo-efetividade. Essa razão foi calculada pela divisão entre o valor da perpetuidade do benefício e o custo total dos projetos. Para que o Programa ReDes seja custo-efetivo, espera-se que o valor dessa razão seja superior à unidade para cada variável de renda considerada.

O terceiro indicador é o prazo de payback. O objetivo desse indicador é, relaxando-se a hipótese de que o fluxo de benefícios é infinito, calcular quantos anos demora para que o Programa ReDes atinja a razão custo-efetividade unitária em cada variável de renda considerada. Portanto, com base no valor presente líquido dos projetos, o payback pode ser entendido como o tempo de retorno de um investimento.

O quarto indicador é a taxa de desconto de break-even. Essa taxa é a taxa de desconto máxima para que o programa tenha custo-efetividade unitária, isto é, cuja soma dos benefícios seja capaz de compensar o seu custo. No caso da presente avaliação, o objetivo desse indicador é, ao invés de se definir a priori uma taxa de juros, calcular a taxa de desconto que faz com que a razão custoefetividade seja unitária. Os resultados dessa análise encontram-se nas tabelas a seguir.

Tabela 7
Custo-efetividade do Programa ReDes (Cenário 1)

Indicador de Renda	Perpetuidade (R$)	Custo-Efetividade	Payback (anos)	Break-even
Renda do Trabalho	43.379.584	1,48	38	4,07%
Renda Bruta em 12 Meses	44.290.502	1,51	37	4,15%

Fonte: Elaboração dos autores. Foi assumida uma taxa de desconto de 2,75%. O custo do programa equivale ao valor total diretamente desembolsado para os projetos apoiados.

Tabela 8
Custo-efetividade do Programa ReDes (Cenário 2)

Indicador de Renda	Perpetuidade (R$)	Custo-Efetividade	Payback (anos)	Break-even
Renda do Trabalho	35.086.429	1,20	48	4,07%
Renda Bruta em 12 Meses	35.823.200	1,22	46	4,15%

Fonte: Elaboração dos autores. Foi assumida uma taxa de desconto de 3,40%. O custo do programa equivale ao valor total diretamente desembolsado para os projetos apoiados.

Com base nos cálculos realizados, pode-se observar que o Programa ReDes é custo-efetivo para os dois cenários e para as duas variáveis de renda consideradas, já que o indicador de custoefetividade foi sempre maior do que a unidade.

Contudo, o resultado obtido para a razão custo-efetividade emprega uma hipótese otimista de que os empreendimentos gerarão um fluxo de renda perpétuo. Ou seja, a razão custo-efetividade do programa é dependente da hipótese de permanência, isto é, de que os projetos sejam capazes de sobreviver ao longo do tempo. Como visto, o ReDes tem longo prazo de payback (mais de 30 anos). Além disso, cabe destacar que a condição de custo-efetividade do programa é dependente da hipótese de que as taxas de desconto sejam inferiores a 4,07%. Essa hipótese é compatível com a tendência recente dos juros de longo prazo no Brasil.

Por fim, é importante deixar claro que a presente análise de custo-efetividade observa apenas uma dimensão do Programa ReDes, isto é, a geração de renda para os beneficiários diretos. O Programa tem outros objetivos, como a geração de postos de trabalho para segmentos vulneráveis da população, assim como a criação de incentivos para a coesão social nas comunidades e a autoestima de famílias em situação de pobreza. Esses pontos, que não estão sendo levados em consideração aqui, fazem com que os benefícios do Programa ReDes possam ser maiores do que aquilo que foi mensurado. Por outro lado, como a presente avaliação não considera os custos operacionais do programa, os custos totais considerados na razão de custo-efetividade também podem ser maiores.

Considerações finais

O objetivo do artigo foi avaliar o Programa ReDes como uma iniciativa, conduzida pelo BNDES e pelo Instituto Votorantim, destinada à inclusão produtiva. A análise de efetividade aqui realizada procurou estimar o impacto da participação no Programa ReDes sobre variáveis de interesse, por meio de diferentes procedimentos econométricos. Dentre os resultados mais robustos verificouse redução de despesas com água (entre 10,6% a 16%), assim como de despesas com medicamentos (de 15,3% a 18%). Para os indicadores relacionados ao mercado de trabalho, observou-se resultados positivos expressivos, tais como o crescimento da renda bruta nos últimos 12 meses (58,4%) e da renda do trabalho (39,2%). Além disso, houve crescimento da probabilidade de participação na população economicamente ativa (de 64,9% a 103,6%), assim como o acesso ao trabalho na última semana (de 52,3% a 101%).

Com base nos efeitos estimados sobre a participação do programa, foi realizada uma análise de custo-efetividade do ReDes. Essa análise foi direcionada para apenas um dos objetivos do programa, isto é, a geração de renda de maneira estável e duradoura para seus beneficiários. A razão de custo-efetividade foi definida como a razão entre a renda adicional gerada para os beneficiários do programa em perpetuidade e o valor total diretamente desembolsado para os projetos apoiados. Com base nos cálculos realizados, pode-se observar que o Programa ReDes é custo-efetivo para as duas variáveis de renda que haviam mostrado impactos robustos (renda do trabalho e renda bruta nos últimos 12 meses). Contudo, o resultado obtido para a razão custo-efetividade emprega uma hipótese otimista de que os empreendimentos gerarão um fluxo de renda perpétuo. Ou seja, a razão custoefetividade do programa é dependente da hipótese de permanência, isto é, de que os projetos sejam capazes de sobreviver ao longo do tempo. Como visto, o ReDes tem prazo de payback de no mínimo 37 anos. Além disso, cabe destacar que a condição de custo-efetividade do programa é dependente da hipótese de que as taxas de desconto sejam inferiores a 4,07%.

Em resumo, os resultados indicam que o Programa ReDes é custo-efetivo e cumpre com seus objetivos. A análise empírica demonstrou que o programa é capaz de gerar ocupação e renda de maneira estável e relativamente duradoura (considerando-se o horizonte de tempo observado após o início dos projetos) e está focalizado em populações com elevado nível de vulnerabilidade social, já que muitos de seus beneficiários foram identificados no CadÚnico. Os resultados corroboram outras avaliações de programas de inclusão produtiva no Brasil (Niquito et al., 2018; Ely et al., 2019), que também verificaram efeitos positivos dessas intervenções no mercado de trabalho. As novidades aqui incorporadas são a verificação desses efeitos em uma base de dados específica de pessoas em situação de vulnerabilidade social (o CadÚnico), a exploração das identificações do tratamento em nível individual e familiar, a investigação de possíveis impactos da intervenção em outras dimensões além do emprego e da renda (isto é, as despesas familiares e a qualidade do domicílio), além do cálculo da sua razão de custo-efetividade.

Como sugestões para tornar o Programa ReDes ainda mais efetivo em relação à inclusão produtiva, as evidências empíricas obtidas pela presente avaliação destacam que a condição de custoefetividade do ReDes é dependente da hipótese de permanência dos benefícios gerados no longo prazo. Portanto, é fundamental que se invista em condições que garantam que os projetos apoiados sejam financeiramente sustentáveis.

Por fim, cabe levantar algumas limitações do presente trabalho, e cuja aprimoramento aponta uma agenda de pesquisa no tema da avaliação de políticas de inclusão produtiva no Brasil. Em primeiro lugar, a estimação empírica contou com um conjunto de poucos indivíduos tratados identificados na base de dados, de modo que foi impossibilitada a abertura dos resultados por tipo de projeto apoiado, sexo, idade e município de residência. Em segundo lugar, os dados do CadÚnico apresentam baixa variabilidade, de modo que pode haver subnotificação de mudanças de indicadores sociais, sobretudo nas dimensões de qualidade domiciliar e educação.

• (1)
  O Sistema S inclui instituições como o Serviço Brasileiro de Apoio às Micro e Pequenas Empresas (Sebrae), o Serviço Nacional de Aprendizagem Industrial (Senai) e o Serviço Nacional de Aprendizagem Comercial (Senac).
• (2)
  Em janeiro de 2019, a Fibria saiu do grupo, com sua venda para a Suzano.
• (3)
  O Fundo Social, criado em 1997, é a principal modalidade de apoio do BNDES para projetos que possuem como objetivo principal a promoção de bem-estar social (Neves; Leal, 2011). Partiu de um desafio da elaboração de uma agenda capaz de compatibilizar ações dedicadas a projetos de caráter social com características típicas da ação do Banco. Em resumo, é um produto capaz de apoiar projetos e organizações que não oferecem retorno financeiro ao BNDES, utilizando, no entanto, os mesmos processos de análise de projetos empregados pelas demais áreas do banco.
• (4)
  Os municípios são: Alcobaça (BA), Brasilândia (MS), Caravelas (BA), Colinas do Sul (GO), Curvelo (MG), Itabaiana (SE), João Pinheiro (MG), Laranjeiras (SE), Niquelândia (GO), Nobres (MT), Nova Viçosa (BA), Paracatu (MG), São Mateus (ES), Três Lagoas (MS), Três Marias (MG), Uruaçu (GO), Várzea Grande (MT), Vazante (MG) e Xambioá (TO).
• (5)
  Outros 4 indicadores foram inicialmente escolhidos para integrar o conjunto de variáveis avaliadas, mas foram descartadas por terem baixa variabilidade. Eles são: Frequenta instituição de ensino; Acesso a banheiro no domicílio; Despesas com aluguel; Trabalho infantil na família.
• (6)
  As definições sobre a adequação dos materiais do piso e das paredes dos domicílios seguiram a metodologia proposta por Alves e Cavenaghi (2005).
• (7)
  A presente explicação sobre inferência causal está baseada em Holland (1986), Angrist e Pischke (2009) e Grimaldi et al. (2018).
• (8)
  A presente seção foi elaborada de acordo com os trabalhos de Wooldridge (2006); Cameron e Trivedi (2005) e César et al. (2000).
• (9)
  Os efeitos calculados a partir dos resultados dos modelos logísticos foram calculados pelo odds-ratio de seus efeitos marginais, isto é, pelo exponencial dos coeficientes das regressões.

• (10)

  Esse é o valor investido diretamente nos projetos. Não inclui os custos operacionais do BNDES e do Instituto Votorantim.

Referências bibliográficas

• ALVES, J., E., D.; CAVENAGHI, S. Questões conceituais e metodológicas relativas a domicílio, família e condições habitacionais. Papeles de Población, 43, p. 105-131, 2005.
• ANGRIST, J. D.; PISCHKE, J. S. Mostly harmless econometrics: an empiricist’s companion. Princeton: Princeton University Press, 2009.
• BARROS, R. P. B.; CARVALHO, M.; MENDONÇA, R. Sobre as utilidades do Cadastro Único Rio de Janeiro: Instituto de Pesquisa Econômica Aplicada, 2009. (Texto para Discussão, n. 1414).
• CAMERON, A. C.; TRIVEDI, P. K. Microeconometrics - Methods and applications. Cambridge University Press, 2005.
• CÉSAR, C. C.; RIBEIRO, P. M.; ABREU, D. M. Efeito-Idade ou efeito-pobreza? Mães adolescentes e mortalidade neonatal em Belo Horizonte. Revista Brasileira de Estudos de População, v. 17 n. 1/2, 2000.
• CORSEUIL, C. H. L.; NERI, M. C.; ULYSSEA, G. Uma análise exploratória dos efeitos da política de formalização dos microempreendedores individuais Rio de Janeiro: Instituto de Pesquisa Econômica Aplicada, mar. 2014. 30p. (Texto para Discussão, n. 1939).
• ELY, R. A.; UHR, D. A. P.; UHR, J. G. Z. O impacto do Programa Microempreendedor Individual no mercado de trabalho brasileiro. Economic Analysis of Law Review, Brasília, v. 10, n. 2, p. 210224, maio/ago. 2019.
• FOGUEL, M. N. Capítulo 4 - Diferenças em diferenças. In: MENEZES FILHO, N. (Org.). Avaliação econômica de projetos sociais São Paulo: Fundação Itaú Social, 2016. 296p.
• GRIMALDI, D.; PINTO, A.; ALBUQUERQUE, B.; BUCHBINDER, F.; PEREIRA, J. P.; ORTIZ, L.; TORTORELLI, M.; MARTINI, R. Uma solução automatizada para avaliações quantitativas de impacto: primeiros resultados do MARVIm. Rio de Janeiro: BNDES, 2018. (Texto para Discussão, n. 128).
• HOLLAND, P. W. Statistics and causal inference. Journal of the American Statistical Association, v. 81, n. 396, p. 945-960, 1986.
• MACHADO, L.; GRIMALDI, D. da S.; ALBUQUERQUE, B. E. Additionality of countercyclical credit: evaluating the impact of BNDES’ PSI on the investment of industrial firms. Rio de Janeiro: BNDES, 2018. (Texto para Discussão, n. 129).
• MINEIRO, A.; FUCHS, A. G. P.; CARVALHO, E. J. L. A atuação com parceiros no apoio a empreendimentos de baixa renda. BNDES Setorial, Rio de Janeiro, n. 33, p. 89-120, mar. 2011.
• MINISTÉRIO DO DESENVOLVIMENTO SOCIAL (MDS). Manual de gestão do Cadastro Único para Programas Sociais do Governo Federal 3. ed. Brasília: Ministério do Desenvolvimento Social, Secretaria Nacional de Renda de Cidadania, 2017. 116p.
• NEVES, R. O.; LEAL, R. M. Investimento social não reembolsável do BNDES: a trajetória do Fundo Social até 2008. BNDES Setorial, Rio de Janeiro, n. 33, p. 225-260, mar. 2011.
• NIQUITO, T. W.; ELY, R. A.; RIBEIRO, F. G. Avaliação de impacto das assistências técnicas do Sistema S no mercado de trabalho. Revista Brasileira de Economia, Rio de Janeiro, v. 72, n. 2, p.1962016, abr./jun. 2018.
• PAMPLONA, L. Políticas públicas de geração de trabalho e renda: o desafio da atuação do BNDES na Economia Solidária. BNDES Setorial, Rio de Janeiro, n. 30, p. 62-102, set. 2009.
• PAMPLONA, L. Perspectivas para as ações de apoio à inclusão produtiva do BNDES. BNDES Setorial, Rio de Janeiro, n. 45, p. 5783, mar. 2017.
• PINTO, C. C. X. Capítulo 5 - Pareamento. In: MENEZES FILHO, N. (Org.). Avaliação econômica de projetos sociais. São Paulo: Fundação Itaú Social, 2016. 296p.
• VAHDAT, V. S.; ROMÃO, D. M. M.; SEVERIAN, D.; CAVALCANTE FILHO, P. G. C.; FRANÇA, J. M.; BAUER, M. Inclusão produtiva no Brasil: evidências para impulsionar oportunidades de trabalho e renda. São Paulo: Fundação Arymax, Fundo Pranay e Instituto Veredas, 2019. 204p.
• WOOLDRIDGE, J. M. Introdução à econometria - Uma abordagem moderna. Ed. Thomson, 2006.

Datas de Publicação

• Publicação nesta coleção
  12 Fev 2024
• Data do Fascículo
  Jan-Apr 2024

Histórico

• Recebido
  08 Dez 2021
• Aceito
  18 Out 2023