Indicador sintético para avaliar a qualidade da gestão municipal da atenção básica à saúde

Actividad física en adultos y ancianos evaluados por acelerometría

Resumos

OBJECTIVE: To develop a composite indicator to evaluate the quality of municipal management of primary health care. METHODS: The evaluation model focuses on aspects of health system management. Fifty-five performance indicators were used and classified according to the criteria of relevance, effectiveness, efficacy and efficiency. The measures were aggregated through an additive data envelopment analysis model for measures of value, merit and quality. Data was utilized from 36 municipalities in Santa Catarina State (Southern Brazil), with populations between 10 thousand and 50 thousand residents in 2006. RESULTS: The results are presented as monotonic measures over the interval [0, 1] (score = 1: efficient; other values: inefficient). Five municipalities had a score of 1 in the quality of management for actions promoting access, while eight municipalities received a score of 1 in the quality of management of actions for service provision; the other municipalities were classified as inefficient (score < 1) for both dimensions. CONCLUSIONS: The quality of municipal management in primary health care can be evaluated with a composite indicator, constructed through linear programming techniques, which simultaneously considers the criteria of relevance, effectiveness, efficacy and efficiency and expresses them as measures of value, merit and quality.

Quality Indicators Health Care; Primary Health Care; Health Management; Municipal Management

Indicador sintético para avaliar a qualidade da gestão municipal da atenção básica à saúde

Actividad física en adultos y ancianos evaluados por acelerometría

Dirceu Scaratti^I; Maria Cristina Marino Calvo^II

^IÁrea de Ciências Exatas e da Terra. Universidade do Oeste de Santa Catarina. Joaçaba, SC, Brasil

^IIDepartamento de Saúde Pública. Centro de Ciências da Saúde. Universidade Federal de Santa Catarina. Florianópolis, SC, Brasil

^{Correspondência | Correspondence}

RESUMO

OBJETIVO: Desenvolver um indicador sintético para avaliar a qualidade da gestão municipal da atenção básica à saúde.

MÉTODOS: O modelo de avaliação baseia-se em aspectos da gestão do sistema de saúde. Foram utilizados 55 indicadores de desempenho classificados sob os critérios de relevância, efetividade, eficácia e eficiência e suas medidas agregadas por meio de aplicação de análise envoltória de dados de modelo aditivo, em medidas de valor, mérito e qualidade. A aplicação foi feita a 36 municípios catarinenses com população entre 10 mil e 50 mil habitantes em 2006.

RESULTADOS: Os resultados da aplicação foram apresentados em medidas monóticas no intervalo [0, 1] (medidas = 1: eficientes; demais: ineficientes). Cinco municípios apresentaram medida = 1 na qualidade da gestão das ações de acesso, enquanto oito obtiveram medida = 1 na qualidade da gestão das ações de provimento. Os demais municípios, para ambas as dimensões, foram classificados como ineficientes (medidas < 1).

CONCLUSÕES: A qualidade da gestão municipal da atenção básica à saúde pode ser avaliada com indicador sintético, construído por técnicas de programação linear, que contempla simultaneamente os critérios de relevância, de efetividade, de eficácia e de eficiência agregados em medidas de valor, mérito e qualidade.

Descritores: Indicadores de Qualidade em Assistência à Saúde. Atenção Primária à Saúde. Gestão em Saúde. Administração Municipal.

RESUMEN

OBJETIVO: Analizar el uso de la acelerometría como medida objetiva de actividad física en adultos y ancianos.

MÉTODOS: Revisión sistemática en las bases PubMed, Web of Knowledge, EBSCO y Medline, del 29 de marzo al 15 de abril de 2010. Se utilizaron en la búsqueda las palabras-clave: "accelerometry", "accelerometer", "physical activity", "PA", "patterns", "levels", "adults", "older adults" y "elderly", de forma aislada o combinadas usando "and" o "or". Las listas de referencias de los artículos recuperados fueron examinadas para encontrar artículos potenciales. De los 899 estudios localizados, 18 fueron revisados integralmente, y sus datos extraídos y analizados.

RESULTADOS: Once estudios se realizaron en los Estados Unidos, cinco en Europa, uno en Camerún y otro en Australia. Pocos involucraron ancianos, y sólo uno se refirió a la estación o período del año en que transcurrió la colecta de datos. Los métodos, análisis y resultados discreparon entre los estudios, imposibilitando un análisis más a fondo.

CONCLUSIONES: Se debe promover la estandarización de procedimientos que permitan comparar resultados entre estudios y monitorear alteraciones en una población. Estos datos contribuyen adecuación de las estrategias de monitoreo y promoción de la actividad física.

Descriptores: Indicadores de Calidad de la Atención de Salud. Atención Primaria de Salud. Gestión en Salud. Administración Municipal

INTRODUÇÃO

A avaliação existe desde os primórdios da civilização.⁶ Sua aplicação em programas públicos surgiu com a Segunda Grande Guerra, motivada pela necessidade de controlar a aplicação dos escassos recursos do Estado. No Brasil, começou a ser desenvolvida a partir da década de 1980.¹⁹

Transformar o conceito avaliação da qualidade em critérios, indicadores ou padrões que lhe assegurem a validade desejada é um grande desafio.¹⁰ Sander¹⁷ contribuiu consideravelmente com estudos avaliativos aplicados à gestão da qualidade. Apropriou-se da retrospectiva histórica da teoria da administração e de sua presença na educação latino-americana para apontar e vislumbrar os constructos da administração baseados na eficiência, eficácia, efetividade e relevância. Esses quatro constructos apontam quatro critérios para avaliar e guiar o desempenho administrativo. Sua essência teórica está intimamente ligada à natureza de cada constructo, que corresponde às dimensões econômica, institucional, política e cultural, associadas a cada critério, respectivamente. Scriven¹⁸ delimitou o conceito de qualidade de um objeto às dimensões de valor e mérito: um objeto tem qualidade quando tem valor e mérito, seja ele um sistema, um processo ou um programa. Tem valor quando os seus recursos são bem aplicados para atender às necessidades dos stakeholders; e tem mérito quando faz bem o que se propõe a fazer. Um objeto pode ter mérito e não ter valor quando seu gestor não atende às necessidades da população interessada. Por conseguinte, todo objeto que não tenha mérito, não terá valor, pois não deve ter empregado os seus recursos com eficácia e eficiência para atender às necessidades das suas partes interessadas.

A associação das propostas de Sander¹⁷ e Scriven¹⁸ possivelmente traduzem o conceito de qualidade, considerando valor e mérito. Essas condições são suficientes para que sistemas, processos, projetos e programas exibam qualidade, sendo os critérios de eficiência, de eficácia, de efetividade e de relevância condições necessárias para exibirem qualidade.⁷

Um dos desafios para avaliar a gestão em saúde de natureza determinística ao invés de probabilística é encontrar técnicas que permitam analisar simultaneamente todos os aspectos envolvidos.

A análise envoltória de dados (DEA, do inglês data envelopment analysis) é uma metodologia amplamente empregada no estudo de produtividade e eficiência técnica de organizações que empregam múltiplos insumos para gerar múltiplos produtos. Permite identificar as melhores práticas por meio de fronteiras empíricas de programação linear. Houve grande incremento de publicações internacionais com uso de DEA para avaliação em saúde nos últimos anos.^{11,14,15,16,20} Artigos nacionais relatam a utilização do DEA em estudos econômicos da educação e saúde no Brasil.^4,8,9,13

A qualidade da gestão municipal pode ser traduzida pela habilidade do gestor ao tomar medidas que reduzam o risco de doenças e de outros agravos e que torne universal e igualitário o acesso de cada munícipe às ações e serviços necessários para a promoção, prevenção e recuperação da sua saúde. O presente estudo teve como objetivo desenvolver um indicador sintético para avaliar a qualidade da gestão municipal da atenção básica à saúde.

MÉTODOS

Pesquisa metodológica de desenvolvimento de modelo de avaliação centrado nos aspectos da gestão do sistema de saúde utilizando-se a abordagem DEA e indicadores de eficiência, eficácia, efetividade e relevância, consolidados em um indicador sintético de qualidade. O teste do modelo foi realizado com municípios catarinenses de pequeno porte (de 10 mil a 50 mil habitantes) no ano de 2006.

A matriz de avaliação considerou duas dimensões: gestão das ações de acesso (atuação intersetorial; participação popular; recursos humanos e infraestrutura) e tipos de ação (externa; interna); e gestão das ações de provimento (criança; adolescente, adulto; idoso) e tipos de ação (promoção e prevenção; diagnóstico e tratamento). Resultaram 12 subáreas de análise, para as quais foram selecionados indicadores que refletissem os critérios de qualidade adotados: relevância, efetividade, eficácia e eficiência. Tal seleção ocorreu com base em pesquisa da literatura, oficinas de consenso com especialistas e assessores técnicos da Secretaria de Saúde do Estado de Santa Catarina.

Não foram selecionados indicadores e medidas para o critério de eficiência nas ações de provimento por constituir preocupação fundamental da gestão e não do provimento. Foram selecionados indicadores para as ações externas nos focos de gestão para atuação intersetorial e participação popular. Oito indicadores em cada tipo de ação (internas e medidas para os quatro critérios) foram selecionados para os focos de gestão de recursos humanos e infraestrutura (Tabela 1).

O modelo avaliou a qualidade relativa da gestão municipal em três etapas: na primeira, empregou medidas de relevância e de efetividade da gestão para gerar medida de valor; na segunda, medidas de eficácia e de eficiência para gerar medida de mérito; e, na terceira, essas medidas de valor e de mérito para gerar a medida de qualidade. Algoritmo matemático de programação linear foi desenvolvido para avaliar o desempenho do gestor municipal, comparando-o com os desempenhos de outros gestores por meio de função-desempenho do impacto dos fatores mais relevantes, sob a ótica do gestor. O algoritmo matemático produziu medidas relativas variáveis de acordo com o gestor avaliado. O algoritmo delineado para as agregações das medidas foi aplicado no software Lingo© (Lindo Systems, Chicago, USA).

As curvas de desempenho ótimo resultantes da aplicação foram definidas pelas melhores combinações valor-mérito. Tais curvas foram denominadas "fronteiras de qualidade observada", sendo considerada ótima a qualidade observada nos municípios representados por pontos dessa fronteira e ineficiente nos demais municípios. O algoritmo calculou a distância de cada ponto à fronteira de qualidade observada e associou uma medida inversamente proporcional a ela a cada ponto para obter uma medida monótona e crescente para a qualidade no intervalo [0,1]. O mesmo princípio foi assumido na agregação das medidas de relevância e de efetividade para gerar medida de valor, bem como na agregação das medidas de eficácia e de eficiência para gerar medida de mérito. Foram emitidos juízos de valor para posicionar os municípios da amostra avaliada (gestão "boa" para os 25% melhor posicionados, "ruim" para os 25% pior posicionados e "regular" para os demais municípios entre as posições de 25% e 75%).

Adotou-se a medida aditiva para a aplicação.⁵ No algoritmo desenvolvido, foi designado um município Munº cuja gestão foi avaliada sob vários critérios de desempenho simultâneos (Cj, J = 1, 2,..., J) e estiveram associados a medidas (Mj, J = 1, 2,..., J), funções monótonas e crescentes no intervalo [0, 1].

Foram considerados valores observados 0 < m_j< 1 as medidas (Mj, J = 1, 2,..., J). A gestão do Munº pôde ser avaliada de maneira absoluta e relativa a partir desses valores. No primeiro caso, são conhecidos padrões de desempenho ótimo (mj*,J = 1, 2,...,J∀j) e diz-se que a gestão é eficiente quando (mj* = mj*∀j); nos demais diz-se que a gestão é ineficiente. No segundo modo, não existem ou não são conhecidos padrões ótimos m_j* e a gestão do Munº é avaliada relativamente às gestões de municípios similares Munⁿ(n = 1, 2,..., N), sob o prisma das medidas (Mj, J = 1, 2,..., J).

Entre os modelos matemáticos que empregam DEA para verificar se a gestão de um município Munº é eficiente ou ineficiente, pressupõe-se que as medidas M1,..., Mk assumem valores m1,... mk tais que:

Sempre que

Por conseguinte, o problema de verificar a existência de algum Munⁿ melhor que Munº pode ser resolvido verificando se existem números Zn > 0, n = 0, 1, 2,..., N tais que:

para algum

E para verificar se existem tais z_n, deve-se resolver o problema de programação linear

Sk > 0, k = 1, 2,..., K e Zn > 0, n = 0, 1, 2,..., N;

Que maximize

Tais que

Quando S* > 0, a gestão do Munº é ineficiente, visto que para algum k, os dados observados mostram a possibilidade de os gestores poderem aumentar a medida de desempenho desse município em um dos critérios sem prejudicar o desempenho em outro. Por outro lado, quando , a gestão pode ser considerada ótima, visto que s*_k= 0 para todo k indica que os gestores não podem aumentar o desempenho dessa organização em qualquer um dos critérios, sem prejudicar o desempenho em outro. Os 55 indicadores foram agregados pelo algoritmo desenvolvido (Figura).

RESULTADOS

O número de relatórios gerados a partir da aplicação do algoritmo matemático dependeu das características da avaliação desejada. Foram gerados relatórios para cada agregação de medidas em cada tipo de ação, foco e dimensão, além de relatórios parciais de desempenho da relevância, da efetividade, da eficácia, da eficiência, do valor e do mérito. A Tabela 2 apresenta medidas de relevância, de efetividade, de eficácia, de eficiência, de valor e de mérito de cada um de seus tipos de ação em cada foco, bem como medidas de qualidade da gestão municipal da atenção básica à saúde, de suas dimensões e de seus respectivos focos, para um município da amostra.

Os valores foram apresentados para cada critério de avaliação (relevância, efetividade, eficácia e eficiência) relativamente aos demais municípios. O critério "Valor" resultou da agregação das medidas de efetividade e relevância; o critério "mérito", da agregação das medidas de eficiência e eficácia. Valor = 1 indicou que o município estava na fronteira observada para aquela medida (eficiente); quanto menor o valor, mais distante do valor ideal para aquela medida ele se encontrava. A qualidade da ação indicou o desempenho resultante da agregação de valor e mérito para cada ação desenvolvida - ação externa, ação interna, promoção & prevenção, diagnóstico & tratamento - em cada um dos quatro focos das duas dimensões; a qualidade do foco indicou o desempenho resultante da agregação dos dois tipos de ação em cada foco de análise; a qualidade da dimensão indica o desempenho resultante da agregação dos quatro focos de cada dimensão, fornecendo a medida de desempenho da gestão das ações de acesso e de provimento dos serviços de saúde; a agregação dessas últimas medidas resultou na medida de desempenho da gestão da atenção básica a saúde.

As medidas (1,0), (0,0) e (0,5) indicaram juízos sobre a qualidade da gestão da atenção básica à saúde no município, de acordo com o padrão de qualidade adotado. A qualidade da gestão de um município foi considerada: (i) Boa, quando está representada pela medida (1,0); (ii) Ruim, quando de medida (0,0); e (iii) Regular quando de medida (0,5). As medidas com (*) indicaram que não foi emitido juízo sobre tal ação de gestão, uma vez que ela não foi incluída na aplicação (Tabela 3).

Tal classificação foi proposta como alternativa resumida de julgamento. No exemplo apresentado, o município possuía gestão boa para atuação intersetorial e infraestrutura e gestão regular para participação popular e recursos humanos na dimensão da gestão de ações de acesso aos serviços de saúde. Possuía também gestão boa para a criança e gestão ruim para adolescente, adulto e idoso. Em comparação aos outros 35 municípios avaliados, esse município possuía qualidade regular para a gestão municipal de atenção básica a saúde. Foram gerados relatórios para cada município analisado.

Cinco municípios obtiveram valores ótimos (1,000) na qualidade da gestão das ações de acesso (Q_SMS) e oito na gestão de ações de provimento (Q_PROV); um município obteve valor (1,000) para a qualidade da gestão da atenção básica a saúde (Q_GABS) e dez (28%) ficaram com valores superiores a 0,900. O menor valor observado foi de "Recursos Humanos" (0,219 no município 31). A menor média de valores foi observada para "Participação popular" e a maior para "Criança" (Tabela 4).

DISCUSSÃO

Este é um dos poucos estudos que focalizam a avaliação do desempenho e a provisão da atenção básica à saúde. O modelo proposto apresenta o algoritmo matemático como alternativa para construir um indicador sintético que permita identificar as possibilidades de melhoria no desempenho global da gestão municipal da atenção básica à saúde (Sint_G_ABS). O modelo de avaliação apresentado e os resultados encontrados apontam para grandes diferenças na qualidade dos serviços prestados na área da saúde. Estudos² também aplicaram o DEA para medir a eficiência técnica de 351 centros provedores da atenção primaria à saúde de Portugal, divididos em 12 regiões geográficas, e concluíram que existe evidência de grande variação no acesso aos serviços de saúde, na eficiência técnica e na qualidade dos serviços prestados.

Alguns indicadores sintéticos apresentaram valores mínimos baixos: participação popular (0,250) e recursos humanos (0,219), e quatro municípios apresentaram valores ótimos para mais que um indicador sintético dos focos de avaliação (Tabela 4). Isso sugere que a gestão em saúde nesses municípios ocorre a partir da priorização de alguns tipos e focos de ação em detrimento de outros, e isso é variável no conjunto de municípios analisados.

Estudos avaliativos da eficiência da gestão da atenção à saúde por intermédio dos serviços de cirurgia geral, oftalmologia e cirurgia traumotológica-ortopédica de 22 hospitais valencianos³ (Espanha Oriental) adotaram a abordagem DEA não paramétrica e análises discriminantes para provar a efetividade do modelo DEA em medir a eficiência e classificar os serviços de saúde como eficiente ou ineficiente. O estudo adotou a escala de 0 a 1, sendo considerados eficientes os de medida 1 e ineficientes os de medida menor que 1. A mesma alternativa foi adotada no modelo desenvolvido, resultando em cinco municípios com valor ótimo (1) na gestão das ações de acesso, oito na gestão das ações de provimento, e apenas um considerando as duas dimensões simultaneamente. O resultado sugere que as ações de provimento continuam sendo priorizadas nos municípios analisados, o que não significa, necessariamente, uma gestão que garanta melhores serviços. As demais medidas do indicador sintético de gestão das ações de acesso que obtiveram valor = 1 para a gestão das ações de provimento são inferiores ao terceiro quartil da distribuição dessa dimensão de avaliação. O mesmo pode ser observado no sentido oposto, exceto o município de número 20 (eficiente); todos os municípios com indicador sintético = 1 nas ações de provimento possuem medidas abaixo do terceiro quartil em gestão das ações de acesso. Isso indica que o gestor faz opções entre priorizar ações que garantam o acesso e/ou o provimento, e tal situação resulta em um único município com valor 1 para o indicador sintético de qualidade.

Outra possibilidade do modelo desenvolvido é a identificação dos pontos de ineficiência relativa aos demais municípios, semelhante a outros estudos.⁹ A distância dos valores em cada município relativamente ao ponto ótimo de referência permite verificar onde e quanto ele tem possibilidade de melhorar sua atuação em relação aos municípios semelhantes. As distâncias em relação à fronteira observada para os 36 municípios avaliados foram: 8,472 (0,235/município) para as ações de acesso; 3,382 (0,094/município) para as ações de provimento; e 5,92 (0,164/município) para a gestão da atenção básica. Novamente identifica-se a priorização das ações de provimento nos municípios.

A aplicação do modelo resultou em 22,5% dos indicadores sintéticos de qualidade dos focos de avaliação com medidas acima de 0,900, valor semelhante ao da avaliação da eficiência técnica de 89 centros de saúde de Ghana.¹

A abordagem DEA foi utilizada em avaliação da eficiência produtiva de hospitais brasileiros^4,12 e de gastos públicos com saúde.⁸ Aponta para o potencial da abordagem em processos avaliativos na saúde, mas mostra também que maior importância tem sido dada para a identificação da ineficiência técnica.

Os resultados indicaram um município com qualidade da gestão da atenção básica à saúde ótima; 27,8% dos municípios apresentaram medidas > 0,900 no desempenho e nenhum apresentou desempenho < 0,678. O item de melhor desempenho médio foi "Criança", com medida de 0,870, tradicionalmente prioridade em todos os sistemas de saúde, e o de pior desempenho foi "Participação Popular", com medida de 0,553, que parece ser menos priorizada nos municípios pequenos.

Outros dois tipos de estudos poderiam ser realizados: um incluindo fatores não controlados pelos gestores municipais (fatores sociais, econômicos e ambientais) que têm impacto nos resultados da atenção básica à saúde e afetam a gestão municipal, e outro, utilizando modelos DEA mais complexos (modelos invariantes, de duas fases), que permitem uma comparação mais robusta entre gestões da atenção básica à saúde em municípios de características diferentes.

A pesquisa encontra respaldo em aplicações e publicações internacionais do gênero. Permitiu avaliar a qualidade da gestão da atenção básica à saúde em municípios de pequeno porte, a partir da abordagem DEA. A avaliação agrupou múltiplos indicadores de desempenho adotados pelo Ministério da Saúde e conhecidos pela área em dimensões, tipos de ação e focos de atuação na atenção básica à saúde nos municípios. Por sua vez, os resultados desse processo de avaliação foram agrupados em múltiplos critérios de desempenho que refletem a capacidade do gestor municipal de saúde de alocar recursos para atender as necessidades de promoção, prevenção e recuperação da saúde de seus munícipes.

Recebido: 17/6/2011

Aprovado: 30/1/2012

Trabalho baseado na tese de doutorado de Scaratti D apresentada à Universidade Federal de Santa Catarina em 2008.

Os autores declaram não haver conflitos de interesse.

• 1. Akazili J, Adjuik M, Jehu-Appiah C, Zere E. Using data envelopment analysis to measure the extent of technical efficiency of public health centres in Ghana. BMC Int Health Hum Rights. 2008;8:11. DOI:10.1186/1472-698X-8-11
• 2. Amado CAEF, Santos SP. Challenges for performance assessment and improvement in primary health care: the case of the Portuguese health centres. Health Policy. 2009;91(1):43-56. DOI:10.1016/j.healthpol.2008.11.008
• 3. Caballer-Tarazona M, Moya-Clemente I, Vivas-Consuelo D, Barrachina-Martínez I. A model to measure the efficiency of hospital performance. Math Comput Model 2010;52:1095-102. DOI:10.1016/j.mcm.2010.03.006
• 4. Cesconetto A, Lapa JS, Calvo MCM. Avaliação da eficiência produtiva de hospitais do SUS de Santa Catarina, Brasil. Cad Saude Publica 2008;24(10):2407-17. DOI:10.1590/S0102-311X2008001000021
• 5. Charnes A, Cooper WW, Golany B, Seyford L. Foundations of data evelopment analysis for Pareto-Koopmans efficient empirical production functions. J Econom 1985;30(1/2):91-107. DOI:10.1016/0304-4076(85)90133-2
• 6. Contandriopoulus AP, Champagne F, Denis JL, Pineault R. A avaliação da área da saúde: conceitos e métodos. In: Harz ZMA. Avaliação em saúde: dos modelos conceituais à pratica na análise da implantação de programas. Rio de Janeiro: Fiocruz; 1997. p.29-47.
• 7. Davok DF. Qualidade em Educação. Aval (Campinas). 2007;12(3):505-13. DOI:10.1590/S1414-40772007000300007
• 8. Faria FP, Jannuzzi PM, Silva SJ. Eficiência dos gastos municipais em saúde e educação: uma investigação através da análise envoltória no estado do Rio de Janeiro. Rev Adm Publica. 2008;42(1):155-77. DOI:10.1590/S0034-76122008000100008
• 9. Gonçalves AC, Noronha CP, Lins MPE, Almeida RMVR. Análise Envoltória de Dados na avaliação de hospitais públicos nas capitais brasileiras. Rev Saude Publica 2007;41(3):427-35. DOI:10.1590/S0034-89102006005000023
• 10. Hartz ZMA. Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Fiocruz; 1997.
• 11. Kirigia JM. Emrouznejad A, Cassoma B, Asbu EZ, Barry S. A performance assessment method for hospitals: the case of municipal hospitals in Angola. J Med Syst 2008;32(6):509-19. DOI:10.1007/s10916-008-9157-5
• 12. Lins ME, Lobo MSC, Silva ACM, Fiszman R, Ribeiro VJP. O uso da Análise Envoltória de Dados (DEA) para avaliação de hospitais universitários brasileiros. Cienc Saude Coletiva 2007;12(4):985-98. DOI:10.1590/S1413-81232007000400020
• 13. Lobo MSC, Lins MPE, Silva ACM, Fiszman R. Avaliação de desempenho e integração docente-assistencial nos hospitais universitários. Rev Saude Publica. 2010;44(4):581-90. DOI:10.1590/S0034-89102010000400001
• 14. Murray CJ, Lopez AD, Wibulpolprasert S. Monitoring global health: time for new solutions. BMJ. 2004;329(7474):1096-100. DOI:10.1136/bmj.329.7474.1096
• 15. Pinillos M, Antoñanzas F. La Atención Primaria de Salud: descentralización y eficiencia. Gac Sanit. 2002;16(5):401-7.
• 16. Retzlaff-Roberts D, Chang CF, Rubin RM. Technical efficiency in the use of health care resources: a comparison of OECD countries. Health Policy 2004;69(1):55-72. DOI:10.1016/j.healthpol.2003.12.002
• 17. Sander B. Educational management in Latin America: construction and reconstruction of knowledge. Washington: Organization of Amer State; 1996.
• 18. Scriven M. Evaluation Thesaurus. 4. ed. Thousand Oaks: Sage; 1991.
• 19. Uchimura KY, Bosi MLM. Qualidade e subjetividade na avaliação de programas e serviços em saúde. Cad Saude Publica 2002;18(6):1561-9. DOI:10.1590/S0102-311X2002000600009
• 20. Zavras AI, Tsakos G, Economou C, Kyriopoulos J. Using DEA to evaluate efficiency and formulate policy within a Greek national primary health care network. Data Envelopment Analysis. J Med Syst. 2002;26(4):285-92. DOI:10.1023/A:1015860318972

Datas de Publicação

• Publicação nesta coleção
  24 Abr 2012
• Data do Fascículo
  Jun 2012

Histórico

• Recebido
  17 Jun 2011
• Aceito
  30 Jan 2012