Um estudo sobre a avaliabilidade do Programa + Vida: política de redução de danos em álcool, fumo e outras drogas do município de Recife, Brasil

Evaluability assessment of the + Life Program: a policy of reducing the harm caused by alcohol, smoking and other drugs in the municipality of Recife, Brazil

INFORME TÉCNICO INSTITUCIONAL TECHNICAL INSTITUTIONAL REPORTS

Pollyanna Fausta Pimentel de Medeiros^I; Luciana Caroline Albuquerque Bezerra^II; Naíde Teodósio Valois Santos^III; Evaldo de Oliveira Melo^IV

^IPrograma + Vida. Secretaria de Saúde do Recife. Cais do Apolo, 925. 13º andar. Recife Antigo. Recife, PE, Brasil. CEP: 50.030-230. E-mail: [e-mail]

^IIGrupo de Estudos de Gestãoe Avaliação em Saúde. Instituto de Medicina Integral Prof. Fernando Figueira. Recife, PE, Brasil

^IIICentro de Pesquisa Aggeu Magalhães. Fundação Oswaldo Cruz. Recife, PE, Brasil

^IVInstituto Recife de Atenção Integral às Dependências (RAID). Recife, PE, Brasil

RESUMO

OBJETIVOS: aferir a avaliabilidade do programa + Vida: política de redução de danos em álcool, fumo e outras drogas do município de Recife.

MÉTODOS: foram analisados documentos oficiais da gestão, visando à apreensão dos pressupostos do programa, do problema que pretendia ser resolvido, da coerência entre o problema e os objetivos do programa, bem como de aspectos do programa a serem avaliados. Foram realizadas entrevistas com informantes-chave para conhecer o programa na prática dos atores envolvidos.

RESULTADOS: o programa foi descrito e sua operacionalização sistematizada no modelo lógico, que foi submetido a um comitê de especialistas para apreciação da coerência interna e obtenção de consenso dos interessados na avaliação do programa. A partir do modelo lógico foi construída uma matriz de medidas com critérios/indicadores.

CONCLUSÕES: esse processo possibilitou o julgamento a respeito das condições do programa a ser avaliado.

Palavras-chave: Avaliação de programas, Políticas públicas, Drogas

ABSTRACT

OBJECTIVES: to measure the evaluability of the + Life Program: a policy of reducing the harm caused by alcohol, smoking and other drugs, in the municipality of Recife, Brazil.

METHODS: official management documents were examined with a view to understanding the presuppositions underlying the program, the problem it intended to solve, the coherence of the link between the problem and the program objectives, and the aspects of the program to be evaluated. Interviews were conducted with key-informants as a way of finding out about the way the program is put into practice by those involved in it.

RESULTS: the program was described and its operationalization systematized according to a logical framework, which was submitted to a committee of specialists to analyze its internal consistency and obtain the consensus of those with a stake in evaluation of the program. The logical framework was used to build up a set of measures with criteria/indicators.

CONCLUSIONS: this process made it possible to make judgments with regard to the conditions of the program under evaluation.

Key words: Evaluation program, Public policies, Drugs

Introdução

O uso das drogas acompanha a sociedade ao longo dos tempos, entretanto as circunstâncias do seu consumo variam de acordo com o contexto em que tal consumo acontece, com implicações sociais, psicológicas, econômicas e políticas em nível individual e coletivo. Segundo a Organização Mundial da Saúde¹ cerca de 10% das populações dos centros urbanos de todo o mundo consomem abusivamente substâncias psicoativas independentemente da idade, sexo, nível de instrução e poder aquisitivo.

No primeiro semestre de 2005, a Organização das Nações Unidas (ONU)² divulgou um relatório que afirma que 200 milhões de pessoas distribuídas pelo mundo, entre 15 e 64 anos, usaram drogas ilícitas entre os anos 2003 e 2004. No que diz respeito às drogas consideradas lícitas, o número de usuários de tabaco chega a 30% da população mundial, já o álcool representa cerca de 50%. No Brasil, o I levantamento domiciliar sobre o uso de drogas psicotrópicas - 2001, realizado pelo Centro Brasileiro de Informações sobre Drogas Psicotrópicas (CEBRID),³ envolvendo as 107 maiores cidades do país, revelou a prevalência de 68,4% das pessoas que fizeram uso de bebidas alcoólicas pelo uma vez na vida e estima que 11,2% da população são dependentes.

Em 2003, foi instituída a Política de Atenção aos Usuários de Álcool e Outras Drogas do Ministério da Saúde, contemplando ações de prevenção, promoção, tratamento e reabilitação para os usuários abusivos e/ou dependentes de drogas psicotrópicas. A política é norteada pela estratégia de redução de danos, que de acordo com Veloso et al.,⁴ compreende o consumo de drogas como parte da realidade cotidiana, com uma visão de que a substância psicotrópica é um produto inerente ao homem, transfigurada em nossa sociedade capitalista em mais uma mercadoria a ser consumida. Tal abordagem compreende que os danos decorrentes do uso de drogas não são determinados apenas pelo produto em si, mas resultam da interação entre o sujeito, o produto e o contexto sócio-cultural.

Neste contexto, a Secretaria de Saúde do Município de Recife implantou, no segundo semestre de 2003, o Programa + Vida: política de redução de danos no consumo de álcool, fumo e outras drogas, pautado nas orientações da política de atenção integral aos usuários de álcool e outras drogas do Ministério da Saúde, pela incipiência das ações voltadas para usuários de drogas no âmbito do Sistema Único de Saúde (SUS) no Recife.⁵

O programa divide-se em três eixos de abordagem: a) promoção, proteção específica e redução de danos; b) assistência à saúde: tratamento e reabilitação e; c) perspectiva epidemiológica. A rede está centrada em ações intersetoriais e multidisciplinares, envolvendo práticas educativas e campanhas com interface nos setores de educação, lazer, cultura, trânsito, segurança, entre outros.

Em relação ao tratamento, estão sob responsabilidade da política as seguintes unidades especializadas: a unidade de desintoxicação, os centros de atenção psicossocial (CAPSad) e as casas do meio do caminho (albergues terapêuticos). Para desenvolver atividades no território e nas casas do meio do caminho, a Secretaria de Saúde do Recife institucionalizou o Agente de Redução de Danos (ARD) como cargo efetivo no âmbito da administração direta, através da Lei Municipal nº 17.400/2007. O ARD atua junto com os usuários de drogas visitando comunidades e dialogando/intervindo através de ações que passam pela prevenção do uso de drogas e pela promoção de saúde e cidadania.

Nesta perspectiva, esse estudo pretende responder às seguintes questões: os objetivos do programa e sua operacionalização estão explícitos para os envolvidos no programa e respondem ao problema de saúde que o originou? Que aspectos do programa precisam ser avaliados? Compreende-se ser um momento apropriado para respondê-los, por se tratar de uma ação governamental e tendo em vista a necessidade da avaliação do Programa + Vida, e justifica-se, assim, o objetivo do estudo de aferir a avaliabilidade desse Programa no Município de Recife.

Métodos

Foi realizado um estudo de avaliabilidade do Programa + Vida, no município do Recife, no ano de 2008. De acordo com Leviton et al.,⁶ esse tipo de estudo consiste em: a) esclarecimentos sobre os objetivos e metas do programa; b) desenvolvimento e pactuação do modelo lógico com os interessados; c) análise e comparação entre a realidade do programa e o modelo lógico; d) elaboração de recomendações.

A construção do modelo lógico permite apresentar de forma explícita e detalhada o funcionamento de um programa ou de um serviço. Construir o desenho lógico de um programa significa esquadrinhá-lo em termos da constituição de seus componentes e da sua forma de operacionalização, discriminando todas as etapas necessárias à transformação de seus objetivos em metas.⁷

O processo de construção do modelo lógico seguiu as seguintes etapas: coleta de informações sobre o programa; definição clara do problema-objeto da intervenção; identificação dos componentes do modelo lógico; avaliação do modelo construído por informantes-chaves e, a partir dos subsídios gerados, produção de consenso sobre o modelo que melhor representa a lógica do programa.

Na coleta de informações fez-se o levantamento e a pré-análise dos documentos em potencial para o estudo, o que permitiu a introdução de novos elementos explicativos do fenômeno a ser estudado. A escolha dos documentos guiou-se por princípios básicos, conforme Richardson:⁸ exaustividade, representatividade, homogeneidade e adequação.

Foram utilizadas informações contidas nos seguintes documentos: Política de Atenção Integral aos Usuários de Álcool e Outras Drogas do Ministério da Saúde, 2003; Documento da Assessoria do Programa + Vida, 2007; Plano Municipal de Saúde do Recife - 2006/2009 e Cartilhas do Programa + Vida, 2005.

Os documentos foram analisados considerando os seguintes critérios: existência dos objetivos do programa, público-alvo, metas a serem alcançadas, ações/atividades que precisam ser realizadas para operar o programa, recursos necessários para a realização das ações e resultados a serem alcançados. Isso permitiu refletir a forma de organização do Programa + Vida, construir uma versão preliminar do modelo lógico identificando todos os componentes da gerência do Programa + Vida, os objetivos de implantação, as atividades, os produtos e os resultados esperados.

Uma vez construída a versão preliminar do modelo lógico do Programa + Vida teve início o processo de seleção dos informantes-chave (stakeholders), representado por formuladores da política, gerentes e profissionais de serviço, escolhidos em virtude da área de atuação na Secretária de Saúde do Recife. Foram selecionados dez informantes-chave, para acordar a versão preliminar do modelo lógico do Programa + Vida. A Figura 1 apresenta um fluxograma da estratégia utilizada para realização do estudo.

Os informantes-chave foram compostos por: três gerentes dos CAPSad da Rede do Programa + Vida, um técnico do Programa + Vida, um agente redutor de danos, uma técnica da diretoria de gestão do trabalho da Secretaria de Saúde do Recife, uma técnica da gerência de educação em saúde da Secretaria de Saúde do Recife, uma gerente de território do distrito sanitário I, um gerente da unidade de desintoxicação, uma técnica da unidade de desintoxicação.

Os informantes-chave analisaram o modelo lógico considerando os seguintes critérios: clareza na descrição dos objetivos do programa; definição das metas plausíveis; ações/atividades para operacionalização do programa escritas de forma coerente e objetiva; estrutura/recursos necessários bem definidos para realização das ações e definição do público-alvo.

À luz do modelo lógico, validado pelos informantes-chave, foi criada uma matriz de julgamento (Tabela 1), cuja função é avaliar o desempenho do programa.⁹ Consta nessa matriz: o critério/indicador, o padrão e a fonte de verificação de cada componente/atividade do modelo. O critério/indicador foi escolhido tendo em vista as atividades, a estrutura e os resultados do programa. O padrão de cada critério tomou por base o que está normatizado nos documentos oficiais do programa e a fonte de verificação diz respeito ao lugar onde os dados serão coletados para responder aos critérios/indicadores.

O projeto de pesquisa foi aprovado pelo Comitê de Ética em Pesquisa em Seres Humanos do Instituto de Medicina Integral Prof. Fernando Figueira (IMIP), Registro nº 1174/2008.

Resultados

Os documentos analisados apresentaram um conjunto de informações coerentes e consistentes, quanto ao objetivo geral do Programa + Vida, qual seja: consolidar no Recife uma rede de atenção integral para os usuários de álcool, fumo e outras drogas, de acesso universal e equânime, territorial e hierarquizada, que atue junto às famílias e às comunidades e promova espaços de inclusão/inserção dos usuários.

Quanto aos objetivos específicos do programa, de acordo com os documentos analisados, são: garantir atenção à saúde das pessoas - através de ações preventivas, de promoção da saúde, de tratamento e de reabilitação; promover a reinserção das pessoas envolvidas com álcool, fumo e outras drogas; capacitar todo o quadro de pessoal envolvido com o tema e/ou população vulnerável; mobilizar a sociedade visando desmistificar o tema; implementar a vigilância epidemiológica para os usuários de álcool, fumo e outras drogas do município de Recife; e construir parcerias intersetoriais para enfrentamento da questão.

No entanto, observou-se que a meta estabelecida no Programa + Vida, qual seja: "reduzir os danos dos usuários de álcool, fumo e outras drogas no Recife", é de difícil mensuração, uma vez que não há dados suficientes, sejam indicadores epidemiológicos ou do próprio monitoramento do programa que subsidiem responder: em quanto se espera que seja esta redução? Quanto existe hoje de danos aos usuários de álcool, fumo e outras drogas no Recife?

A construção do modelo lógico do Programa + Vida possibilitou descrever o caminho percorrido pelo programa para solução do problema inicial - aumento dos usuários de álcool, fumo e outras drogas no município de Recife.

A versão preliminar do modelo lógico do Programa + Vida foi constituída de sete componentes: gestão do programa; educação permanente e formação; assistência à saúde; articulação e mobilização social; vigilância à saúde; educação em saúde e produção de informação e comunicação; estrutura necessária ao desenvolvimento das atividades de cada componente, os resultados intermediários e o impacto que se pretende alcançar.

As principais contribuições dos informantes-chave foram: o consenso a respeito dos objetivos geral e específicos do programa, bem como da maioria dos componentes, atividades, estrutura e resultados; expressiva discussão acerca da meta do programa, onde concluiu-se que, de fato, não há fonte de verificação para mensurá-la, fato explicado pela incipiência do programa; substituição de um dos componentes do programa, passando de "Gestão do Programa" para "Organização e Planejamento do Programa", entendendo-se que o termo "Gestão" abrangia atividades alocadas em outros componentes, causando certa confusão e mudanças na redação e no conteúdo de algumas atividades, no sentido de dar completude aos componentes (Figura 2).

A partir da definição do modelo lógico, construiu-se uma matriz de critérios/indicadores do Programa + Vida (Tabela 1) com consulta aos informantes-chave. A matriz contém critérios/indicadores que se pretende avaliar, com seu respectivo padrão e fonte de verificação. A matriz de critérios/indicadores não utilizou todas as atividades que foram detalhadas no modelo lógico. A matriz é uma condição fundamental para avaliação, pois possibilita realizar um julgamento do programa, a partir do padrão pré-estabelecido para determinado critério, bem como a fonte de verificação da informação que considerou dados primários e secundários.

Discussão

Este estudo da avaliabilidade do Programa + Vida contribuiu para um melhor entendimento do programa e demonstrou uma melhor compreensão sobre a concepção e lógica de seu funcionamento e se seus resultados podem ser verificados.

Um aspecto interessante a ser observado é que, ao mesmo tempo em que o detalhamento do conteúdo do Programa + Vida foi uma condição preliminar para a avaliabilidade, a própria iniciativa contribuiu para um maior conhecimento e planejamento das ações daqueles que estão envolvidos no programa. Ou seja, antes mesmo de ter promovido uma sistematização dos dados do programa, no sentido de deixá-lo pronto para o monitoramento e avaliação, proporcionou reflexões acerca das práticas atuais do gerenciamento da política de redução de danos no município de Recife. De acordo com estudo realizado por Gomes,¹⁰ avaliações periódicas permitem ao serviço repensar sua prática cotidiana de forma que possa oferecer novas estratégias e ações mais condizentes às necessidades dos usuários.

O modelo retrata um quadro referencial que ajuda a todos os envolvidos no programa enxergarem com mais clareza a racionalidade da sua construção, ou seja, as relações causais empregadas na sua elaboração. Segundo Medina et al.⁷ (2004: p.46) cria-se "uma maior possibilidade de construção de acordos em relação aos componentes do programa e aos resultados da avaliação", reforçando a importância de haver um processo participativo no estudo de avaliabilidade. Além disto, proporciona as informações necessárias para desenhar uma avaliação, orientando perguntas, tais como: Que resultados o programa pretende atingir? Que atividades têm sido implementadas para alcançar os resultados esperados? Em que medida a obtenção dos resultados afetará o problema diagnosticado?¹¹

O conjunto de atividades elencadas como integrantes do Programa + Vida convergem com relatos de alguns autores que estudaram as estratégias para redução de danos, como as apresentadas por Telles e Buchele⁹ para programas bem sucedidos. Entre elas destacam-se o fornecimento de informações e meios para a mudança de comportamento e cooperação entre diferentes programas.

A metodologia utilizada respondeu aos questionamentos iniciais e atendeu ao objetivo deste estudo, na medida em que foi evidenciada uma importante fragilidade do programa em relação à existência de dados e indicadores qualitativos e quantitativos para os usuários de drogas no município de Recife, embora existam dados sobre os usuários de drogas em tratamento nos serviços de assistência. Resultado similar é apontado no trabalho de Rietra,¹² que destaca a ausência de indicadores nos serviços substitutivos na cidade do Rio de Janeiro que possibilitem mensurar o alcance de metas estipuladas pelos serviços.

A precária forma de sistematização dos resultados em relação aos usuários que estão em atendimento na rede própria dos serviços especializados e a pouca informação sobre o uso de droga no município de Recife reforça, segundo Almeida,¹³ em seu estudo sobre o desafio da produção de indicadores, a necessidade de construção de parâmetros pertinentes que possibilitem acompanhar os resultados, auxiliar possíveis mudanças estratégicas e, principalmente, que sejam um instrumento útil aos processos de gestão do processo de trabalho.

Uma das sugestões para desenvolver indicadores de avaliação na área de redução de danos, referenciado por Saraceno et al.¹⁴ diz respeito a não somente considerar a supressão ou redução do uso, número de técnicos, carga horária, infraestrutura do serviço, mas analisar também a "inserção familiar", no "trabalho" e na "vida cotidiana". O estudo de Libério¹⁵ descreve os seguintes indicadores: perfil da clientela atendida, índices de internação, abandono do tratamento, adesão da família ao tratamento, números de usuários dos serviços que retornam à escola. Estes não foram contemplados na matriz de critérios/indicadores do Programa + Vida, por delimitar informações mais gerais em relação ao desempenho do conjunto de serviços da rede, mas será preciso propor a inclusão deles na matriz de critério/indicadores dos serviços. Acredita-se que as indicações dos autores poderão ser incorporadas para monitorar cada um dos serviços que compõe a rede de álcool e outras drogas. O grupo de informantes-chave na discussão não apontou esses indicadores como pertinentes para a matriz de critérios/indicadores da política.

Estabelecer uma matriz de critérios/indicadores, de acordo com Alves et al.,¹⁶ é uma condição necessária para a realização de uma avaliação. A matriz de critério/indicadores do Programa + Vida possibilitará o planejamento da coleta de dados, técnicas de análise e apresentação do resultado da intervenção e, consequentemente, influenciará a tomada de decisão.

É importante ressaltar que o modelo lógico do Programa + Vida pode ser revisado a qualquer tempo, à medida que novas informações forem coletadas ou que ocorrerem modificações no desenho do programa. O uso de metodologia participativa para discussão dos componentes da política e na construção da matriz de critério/indicadores significou um aspecto inovador que catalisou para um processo interativo e dialógico entre os profissionais na construção e consenso sobre a política.

Neste sentido, algumas recomendações poderiam ser feitas para o aprimoramento do Programa + Vida: investir no fortalecimento do sistema de informação para os usuários de álcool, fumo e outras drogas do município de Recife; realizar um diagnóstico em relação ao uso de álcool, fumo e outras drogas no município de Recife; revisão periódica do modelo lógico do programa; disseminar os resultados desta pré-avaliação com os gestores, gerentes e profissionais da Secretaria Municipal de Saúde; aperfeiçoar o processo de comunicação e ampliar as formas de abordagem e circulação das informações sobre redução de danos, álcool, fumo e outras drogas com os munícipes de Recife; promover maior intercâmbio das diretrizes e ações do Programa + Vida com o meio acadêmico, institucional e com a sociedade.

Recebido em 30 de setembro de 2010

Versão final apresentada em 11 de outubro de 2010

Aprovado em 20 de outubro de 2010

• ¹
  Organização Mundial da Saúde. Relatório sobre a saúde no mundo 2001. Saúde mental: nova concepção, nova esperança. Genebra; 2001.
• 2. Mundo em foco, Revista. Como o mundo vê a maconha. São Paulo: Instituto Brasileiro de Cultura; 2005.
• 3. Carlini EA, Galduróz JCF, Noto AR, Nappo SA. I Levantamento domiciliar sobre o uso de drogas psicotrópicas no Brasil - 2001. Centro Brasileiro de Informações sobre Drogas Psicotrópicas (CEBRID). São Paulo: Universidade Federal de São Paulo; 2001.
• 4. Veloso L, Carvalho J, Santiago L. Redução de danos decorrentes do uso de drogas: uma proposta educativa no âmbito das políticas públicas. In: Bravo MIS, org. Saúde e serviço social. São Paulo: Cortez; Rio de Janeiro: UERJ; 2004.
• 5. Recife. Secretaria de Saúde. Plano municipal de saúde 2006 - 2009. Recife; 2005.
• 6. Leviton LC, Collins C, Laird B, Kratt P. Teaching evaluation using evaluability assessement. Evaluation. 1998; 4: 389-409.
• 7. Medina MG, Silva GAP, Aquino R, Hartz ZMA. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. In: Hartz ZMA, Vieira-da-Silva LM, orgs. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Fiocruz; 2004. p. 41-64
• 8. Richardson RJ. Pesquisa social: métodos e técnicas. São Paulo: Atlas; 1999.
• 9. Telles PR, Buchele F. Redução de danos. In: Prevenção ao uso indevido de drogas: curso de capacitação para conselheiros municipais. Brasília, DF: Presidência da República, Secretaria Nacional Antidrogas; 2008.
• 10. Gomes MPC. A política de saúde mental na cidade do Rio de Janeiro [tese]. Rio de Janeiro: Instituto de Psiquiatria da Universidade Federal do Rio de Janeiro; 1999.
• 11. Cazarin G, Mendes MFM, Albuquerque KM. Perguntas avaliativas. In: Avaliação em saúde: bases conceituais e operacionais. Samico I, Felisberto E, Figueiró AN, Frias PG, orgs. Rio de Janeiro: MedBook; 2010.
• 12. Rietra RC. Inovações na gestão em saúde mental: um estudo de caso sobre o CAPS na cidade do Rio de Janeiro [dissertação]. Rio de Janeiro: Escola Nacional de Saúde Pública da Fundação Oswaldo Cruz; 1999.
• 13. Almeida PF. O desafio da produção de indicadores para avaliação de serviços em saúde mental: um estudo de caso do Centro de Atenção Psicossocial Rubens Corrêa/RJ [dissertação]. Rio de Janeiro: Escola Nacional de Saúde Pública da Fundação Oswaldo Cruz; 2002.
• 14. Saraceno B, Frattura L, Bertolote, JM. Evaluation of psychiatric services: hard and soft indicators in innovative approaches in service evaluations: consumer contribution to QualitativeEvaluation - Soft Indicators. Geneva; WHO/MND/93.19; 1993.
• 15. Libério M. Estudo de satisfação com os CAPS da cidade do Rio de Janeiro: ouvindo seus atores principais [dissertação]. Rio de Janeiro: Instituto de Psiquiatria da Universidade Federal do Rio de Janeiro; 1999.
• 16. Alves CKA, Natal S, Felisberto E, Samico I. Interpretação e análise das informações: o uso de matrizes, critérios, indicadores e padrões. In: Samico I, Felisberto E, Figueiró AN, Frias PG, orgs. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010.

Um estudo sobre a avaliabilidade do Programa + Vida: política de redução de danos em álcool, fumo e outras drogas do município de Recife, Brasil

Evaluability assessment of the + Life Program: a policy of reducing the harm caused by alcohol, smoking and other drugs in the municipality of Recife, Brazil

Datas de Publicação

• Publicação nesta coleção
  31 Jan 2011
• Data do Fascículo
  Nov 2010

Histórico

• Aceito
  20 Out 2010
• Revisado
  11 Out 2010
• Recebido
  30 Set 2010