Eficiência do gasto público em atenção primária em saúde nos municípios do Rio de Janeiro, Brasil: escores robustos e seus determinantes

Efficiency of public spending on primary health care in the municipalities of Rio de Janeiro, Brazil: robust scores and their determinants

Resumo

Os serviços de saúde, cujo acesso é um direito de todos e dever do Estado, devem ser prestados com eficiência, pois os recursos públicos são escassos e há uma crescente demanda por parte da população. Nesse contexto, o objetivo deste artigo é avaliar a eficiência dos gastos públicos em atenção básica em saúde (ABS) nos municípios do Rio de Janeiro (n = 70) em 2015. Para isso, primeiramente, usa-se o procedimento jackstrap para identificar possíveis outliers e aplica-se a técnica de análise envoltória de dados para calcular escores robustos de eficiência. Em seguida, esses escores são regredidos, por meio de um modelo tobit, em variáveis ​​não discricionárias que possam afetar a eficiência dos municípios. Os resultados encontrados revelam que 63,9% dos municípios avaliados aplicaram eficientemente os recursos em ABS, mas que, diante dos gastos efetuados, os outputs em ABS poderiam ter sido em média 6,0% maiores. Além disso, não foram encontradas evidências de que municípios mais ricos, socialmente desenvolvidos e/ou populosos tenham sido mais (ou menos) eficientes com relação ao gasto público em ABS do que aqueles não o são.

Palavras-chave: Atenção básica em saúde; Análise de eficiência; Regressão tobit

Abstract

Health services, the access to which is a right of all citizens and the duty of the state, must be efficiently provided, as public resources are scarce and there is a growing demand called for by the population. In this context, the objective was to evaluate the efficiency of public spending on Primary Health Care in the municipalities of Rio de Janeiro (n = 70) in 2015. Initially, the jackstrap procedure was used to identify possible outliers, and Data Envelopment Analysis was then applied to calculate robust efficiency scores. In the second stage, the efficiency scores were regressed into non-discretionary variables using the Tobit method, that may affect the efficiency of municipalities. The results show that 63.9% of municipalities efficiently applied ABS resources, however, given the expenses incurred, ABS outputs could have been, on average, 6% higher. In addition, no evidence was found that wealthier, more socially developed and/or populous municipalities, were more (or less) efficient in public spending on ABS than not.

Key words: Primary health care; Efficiency analysis; Tobit regression

Introdução

O acesso à saúde exerce papel estratégico na agenda de desenvolvimento de qualquer nação, pois está atrelado à melhoria do bem-estar da população, bem como a geração de emprego, renda e inovação¹. Nesse sentido, a Constituição Federal brasileira prevê que “a saúde é um direito de todos e dever do Estado, garantido mediante políticas sociais e econômicas que visem à redução do risco de doença e de outros agravos e ao acesso universal e igualitário às ações e serviços para sua promoção, proteção e recuperação”². Para garantir esse direito, parte da receita proveniente dos impostos arrecadados pela União, estados, Distrito Federal e municípios deve ser aplicada em serviços públicos de saúde. Nesse contexto, a conhecida escassez de recursos, sobretudo no nível municipal, e a necessidade de atendimento às crescentes demandas têm motivado o desenvolvimento de pesquisas com o propósito de mensurar a eficiência dos gastos públicos em saúde³.

Nesse sentido, deve-se ressaltar que o Sistema Único de Saúde (SUS), com seus 30 anos de existência, representa um avanço constitucional fundamental e é motivo de orgulho para a sociedade brasileira. Destaca-se, entretanto, que o SUS possui notados desafios, por exemplo: a dificuldade em se levar a saúde para os 5.570 municípios do Brasil, que apresentam características culturais e sociais diversas; o congelamento dos gastos governamentais pelos próximos 20 anos; o impacto da alternância de poder nas políticas para a saúde, além de uma série de determinantes econômicos representados pelo subfinanciamento do sistema.

Neste artigo, tem-se particular interesse na mensuração da eficiência dos gastos públicos em atenção básica em saúde (ABS), isto é, a relação entre os produtos gerados em função dos recursos empregados⁴. A ABS contempla ações que abrangem a promoção e a proteção da saúde, a prevenção de agravos, o diagnóstico, o tratamento, a reabilitação, redução de danos e a manutenção da saúde. Assim, o objetivo dessa política pública é desenvolver uma atenção integral que impacte na situação de saúde e na autonomia das pessoas, devendo portanto ser o contato preferencial dos usuários e funcionar como um filtro capaz de organizar o fluxo dos serviços na rede do SUS, dos mais simples aos mais complexos⁵.

A avaliação da eficiência em estudos relacionados à saúde pública é recorrente na literatura internacional^6-11. No contexto nacional, a avaliação da eficiência em ABS foi recentemente tratada em um estudo realizado pelo Banco Mundial¹². De acordo com os resultados do trabalho, o Brasil, em comparação com outros países, deveria ser capaz de melhorar seus resultados de saúde em 9% gastando a mesma quantidade de recursos. O estudo ainda revela que a eficiência média dos serviços primários de saúde é de 63% (ou seja, apresenta ineficiência de 37%), ao passo que nos serviços de saúde secundária e terciária a eficiência média é ainda mais baixa: 29%. Isso significa que há possibilidade de melhorar consideravelmente a prestação de serviços utilizando o mesmo nível de recursos. Outros trabalhos^13,14 também discorrem sobre a mensuração da eficiência no contexto local.

Costa, Balbinotto e Sampaio, por sua vez, mensuraram a eficiência dos estados brasileiros no tocante aos transplantes públicos renais e efetuaram uma análise sobre a eficiência produtiva de hospitais do SUS de Santa Catarina^15,16. Em comum, para medir a relação entre outputs e inputs do processo de prestação dos serviços em saúde, as investigações anteriores empregaram a técnica de análise envoltória de dados (data envelopment analysis - DEA), que “pode ser considerada uma ferramenta importante para pesquisadores e gestores no estudo de eficiência e na formulação de políticas de saúde”¹⁷.

No entanto, ainda que relevantes, os trabalhos citados ignoraram o fato de que os escores de eficiência podem ser subestimados pela existência de outliers (unidades de análise que apresentaram desempenho notadamente diferente das demais)^18-21. Outros que o fizeram, como Duarte e colaboradores, embora reconheçam que variáveis que não podem ser controladas pelos gestores possam influenciar os escores de eficiência, não avaliaram com o devido rigor o efeito delas²².

Para suprir essas lacunas, o presente artigo tem por objetivo apresentar um modelo DEA de super eficiência que pode ser aplicado para avaliar a eficiência dos serviços municipais de saúde. Especificamente, pretende-se: (i) ilustrar o uso da técnica jackstrap para identificar possíveis outliers e assim calcular estimadores robustos para os escores de eficiência; e (ii) verificar, por meio de um modelo de regressão tobit, a influência do desenvolvimento humano, do PIB per capta e do tamanho populacional na eficiência dos municípios. Destaca-se que, a partir de um estudo de caso, avaliou-se a eficiência dos gastos públicos em ABS dos municípios do Rio de Janeiro, estado que, devido à falta de recursos financeiros gerada pela redução na arrecadação pela queda do preço do petróleo e pela crise da Petrobras, tem enfrentado notáveis problemas no sistema de saúde pública²³.

Além dessa introdução, este artigo contém mais quatro sessões. A segunda discute os métodos: a técnica DEA, o procedimento jackstrap e os instrumentos de coleta e análise dos dados. Na terceira seção são apresentados os escores de eficiência obtidos por meio do modelo DEA de super eficiência com base na técnica jackstrap e são discutidos os resultados do modelo de regressão tobit. Por fim, têm-se a discussão dos resultados e as conclusões.

Métodos

Data envelopment analysis (DEA)

Eficiência é um conceito relativo, que compara o que uma firma (decision making units - DMU) produziu (outputs), dados os recursos disponíveis (inputs), com o que poderia ser produzido com os mesmos recursos⁴. A DEA é uma técnica não paramétrica de mensuração de eficiência que foi difundida sobretudo a partir dos trabalhos seminais de Charnes, Cooper e Rhodes²⁴ e de Banker, Charnes e Cooper²⁵. A principal diferença entre esses modelos clássicos é que enquanto o primeiro²⁴ pressupõe retornos constantes de escala (RCE), isto é, que qualquer variação nos inputs implique variação proporcional nos outputs, o segundo²⁵ contempla o pressuposto de retornos variáveis de escala (RVE), ou seja, que para determinados volumes de inputs a variação de outputs perca a proporcionalidade.

Na formulação matemática dos modelos DEA admite-se que N unidades tomadoras de decisão (DMUs) utilizem uma mesma tecnologia de produção para transformar m inputs x _n = (x _n1 , ..., x _m ) ? ?^m ₊ em s outputs y _n = (y _n1 , ..., y _m ) ? ?^s ₊ . Assim, o escore de eficiência da DMU_o (objetivo),θ₀ , é dado por²⁶:

${\theta }_0=\frac{{\displaystyle \sum _{j=1}^{s}u}{y}_{oj}}{{\displaystyle \sum _{i=1}^m{v}_i}{x}_{oi}}=\frac{outputvirtual}{inputvirtual}$ (1)

Onde $v_i$ (i = 1,..., m) e $u_j$ (j = 1, ..., s) denotam, respectivamente, os pesos que a DMU_o atribui aos inputs e outputs. Tal atribuição, que é feita de modo a maximar a eficiência da DMU_o, o que lhe é mais favorável, é restrita ao fato de que os pesos aplicados às demais DMUs não podem gerar escores de eficiência superior à unidade. Tais condições são formalizadas no seguinte problema de programação matemática²⁶:

$\begin{array}{l}{\theta }_0=\underset{v,u}{Max}\frac{{\displaystyle \sum _{j=1}^s{u}_j}{y}_{oj}}{{\displaystyle \sum _{i=1}^m{v}_i}{x}_{oi}}\\ \frac{{\displaystyle \sum _{j=1}^s{u}_j}{y}_{nj}}{{\displaystyle \sum _{i=1}^m{v}_i}{x}_{ni}}\le 1\\ v_i,u_j\ge \mathrm{0,}\forall i,j\end{array}$ (2)

Ainda que permita interpretar facilmente a eficiência de uma DMU, o problema expresso em (2) admite infinitas soluções⁴. No caso de modelos orientados a outputs, como os utilizados neste trabalho, para contornar essa situação deve-se tornar o numerador da função objetivo igual a uma constante, normalmente 1, e transformar a restrição em uma diferença entre o numerador e denominador, o que faz com que os escores de eficiência variem entre 0 e 1. Dessa forma, obtêm-se os modelos de multiplicadores⁴, que são mostrados a seguir na formulação para RCE, modelo (3), e para RVE, modelo (4).

$\begin{array}{l}ModeloDEA/RCE\\ {\theta }_0=\underset{{}_{w,u}}{Max}\frac{1}{{\displaystyle \sum _{i=1}^m{v}_i}{x}_{oi}}=\underset{v,u}{Min}{\displaystyle \sum _{i=1}^m{v}_i}{x}_{oi}\\ {\displaystyle \sum _{j=1}^s{u}_j}{y}_{nj}-{\displaystyle \sum _{i=1}^m{v}_i}{x}_{ni}\le 0\\ v_i,u_j\ge \mathrm{0,}\forall i,j\end{array}$ (3)

$\begin{array}{l}ModeloDEA/RVE\\ {\theta }_0=\underset{v,u}{Max}\frac{1}{{\displaystyle \sum _{i=1}^m{v}_i}{x}_{oi}}=\underset{v,u}{Min}{\displaystyle \sum _{i=1}^m{v}_i}{x}_{oi}+v_0\\ {\displaystyle \sum _{j=1}^s{u}_j}{y}_{nj}-{\displaystyle \sum _{i=1}^m{v}_i}{x}_{ni}\le 0\\ v_i,u_j\ge \mathrm{0,}\forall i,j\end{array}$ (4)

Note que na equação (4) v ₀ é uma variável irrestrita, em sinal que indica se o retorno de escala é constante (v ₀ = 0) ou variável (v ₀ ≠ 0). Denotando-se a solução ótima de (3) e (4) por (θ^?, u ^?, v ^?), a DMU_o será eficiente se, e somente se, θ^? = 1 e todos os valores de u ^? e v ^? forem positivos. Caso contrário, ou seja, se θ^? < 1 ou θ^? = 1 e algum valor de u ^? ou v ^? for nulo, a DMU_o será considerada ineficiente.

O procedimento Jackstrap

Embora a técnica DEA seja flexível quanto à adequação aos dados, os escores de eficiência por ela gerados são sensíveis à presença de outliers. Isso porque a ocorrência de inputs ínfimos ou outputs muito acima do esperado para alguma DMU acarretaria níveis mais baixos de eficiência para as DMUs restantes, o que pode levar a uma subestimativa substancial dos escores gerais de eficiência. A rigor, a DEA é baseada no conceito de fronteira, composto por um número relativamente reduzido de observações, em que uma única DMU distante da média pode empurrar a fronteira e assim deslocar artificialmente os requisitos de eficiência para todos os municípios. Destaca-se que os outliers podem ser de fato “outliers reais”, e não apenas o produto de distorções nos dados, devendo os mesmos ser estudados separadamente pelos formuladores de políticas públicas em saúde¹⁹.

Para identificar possíveis outliers, Andersen e Petersen propuseram um modelo DEA de super eficiência, que permite que a DMUs influentes possam ser atribuídos escores de eficiência superiores à unidade¹⁸. No entanto, o modelo de super eficiência depende de inspeção manual dos dados, o que não é exigido pela técnica jackstrap, proposta por Souza e Stošić, que detecta outliers automaticamente¹⁹. O procedimento jackstrap se baseia no conceito de alavancagem, que é o impacto da remoção da DMU₀ sobre os escores de eficiência das demais DMUs. Utilizando reamostragem jackknife, a alavancagem é dada pelo desvio-padrão dos escores de eficiência antes e depois daquela remoção:

${\mathcal{l}}_0=\sqrt{\frac{{\displaystyle \sum _{n=1;n\ne 0}^N{\left({\widehat{\delta }}_n^{0-}-{\widehat{\delta }}_n\right)}^2}}{N-1}}$ (5)

Em que {δ ^{^} _n |n = 1, ..., N} se refere aos escores calculados para cada DMU utilizando todos os dados, enquanto {δ ^{^} _n ^0- |n = 1, ..., N ≠ 0} denota os escores calculados sem a DMU₀.

Tal abordagem pode ser computacionalmente intensiva, pois para N grande o cálculo da alavancagem de todas as DMUs exigiria que N.(N-1) problemas de programação linear tivessem que ser resolvidos. Por isso, Souza e Stošić combinaram as técnicas jackknife e bootstrap, originando o procedimento jackstrap, que torna o processo de identificação de outliers mais eficiente¹⁹. Os passos para a realização do procedimento jackstrap são os seguintes:

a) Selecionar aleatoriamente um subconjunto de L DMUs e calcular as alavancagens ℓ^~ ₁ , em que ℓ assume L valores distintos sorteados do conjunto {1, ..., N}, pois não há reposição;

b) Repetir o passo anterior B vezes para calcular as alavancagens ℓ^~ _b (b = 1, ..., B). Assim, para B suficientemente grande, cada DMU ℓ será selecionada n1 ? B/L N vezes;

c) Calcular a alavancagem média para cada DMU:

${\tilde{\mathcal{l}}}_l=\frac{{\displaystyle \sum _{b=1}^{n_l}{\tilde{\mathcal{l}}}_{lb}}}{n_l}$ (6)

E a alavancagem média global:

$\tilde{\mathcal{l}}=\frac{{\displaystyle \sum _{l=1}^N{\tilde{\mathcal{l}}}_l}}{N}$ (7)

A seguir, as DMUs devem ser ordenadas de acordo com suas respectivas alavancagens. Para identificar as DMUs potencialmente influentes, deve-se comparar aquelas alavancagens com um valor limiar. Assim, os trabalhos de Schettini e de Sousa e Souza sugerem que esse limiar seja definido a partir da função Heaviside, dada por^27,28:

$P\left({\tilde{l}}_0\right)=\{\begin{array}{l}\mathrm{1,}{\tilde{l}}_0<\tilde{l}\log N\hfill \\ \mathrm{0,}{\tilde{l}}_0\ge \tilde{l}\log N\hfill \end{array}$ (8)

Em que ${\tilde{l}}^{*}<\tilde{l}$ log N é o valor limiar, o qual depende do tamanho da amostra (N). Apresentada a técnica DEA e o procedimento jackstrap, a seguir são expostos os métodos utilizados no estudo.

Coleta e análise dos dados

Nesta pesquisa mensurou-se a eficiência dos gastos públicos em atenção básica em saúde dos municípios do Rio de Janeiro, que foram admitidos como DMUs. Para isso, realizou-se uma avaliação ex post, quantitativa e descritiva. Trata-se de um estudo observacional seccional que fez uso de dados administrativos (uso secundário dos dados) para o ano de 2015. A amostra, não probabilística e intencional, foi constituída por 70 dos 92 municípios fluminenses, para os quais a base de dados referente ao ano de 2015, a mais recente, era completa. Por não terem prestado contas dos gastos em ABS ou terem tido algum output nulo, foram excluídos os seguintes municípios: Aperibé, Araruama, Bom Jardim, Cabo Frio, Cambuci, Carmo, Duas Barras, Iguaba Grande, Itaboraí, Itaguaí, Itaocara, Laje do Muriaé, Mangaratiba, Miguel Pereira, Nilópolis, Paraíba do Sul, São Gonçalo, São João de Meriti, São José do Vale do Rio Preto, Saquarema, Seropédica e Sumidouro.

Definidas as DMUs, passou-se à escolha dos inputs e outputs, que é uma etapa fundamental para a DEA, pois os escores de eficiência são diretamente influenciados por essas variáveis²⁹. No entanto, há que se frisar que na literatura não há consenso sobre quais inputs e outputs devam ser empregados na avaliação da eficiência em atenção básica em saúde. Com o objetivo de exemplificar a variabilidade de modelos utilizados pela literatura, destaca-se que: (i) Cabral e colaboradores utilizaram os seguintes inputs: recurso ABS; números de agentes comunitários de saúde, de unidades básicas de saúde instaladas e de equipes relativas à Estratégia Saúde da Família implantadas (per capita). Os outputs adotados foram: percentual de gestantes maiores de 20 anos, nascidos vivos cujas mães realizaram sete ou mais consultas pré-natais, média de cobertura vacinal, proporção de internações hospitalares por condições não sensíveis à atenção ambulatorial da população de um a cinco anos, e proporção de internações hospitalares por condições não sensíveis à atenção ambulatorial da população de 60 anos ou mais¹³; (ii) Duarte e colaboradores, por sua vez, adotaram como inputs o total da despesa com a função saúde e escolheram múltiplos outputs, a saber: quantidades aprovadas de produção ambulatorial realizada pelo SUS, de doses aplicadas em ações de vacinação por município considerando população alvo, número de visitas das equipes de Saúde da Família (ESF) e de agentes comunitários de saúde e o total de famílias cadastradas nas equipes de Saúde da Família²²; e (iii) Braga, Ferreira e Braga utilizaram o número de equipes de saúde e os gastos municipais com atenção básica como inputs, e como outputs o número de famílias acompanhadas pelo Programa de Saúde da Família e a quantidade de visitas domiciliares¹⁴.

Neste trabalho considerou-se um input similar ao utilizado nos trabalhos anteriores: o gasto per capita em ABS. Este input faz parte do Finbra, banco de dados formado pelas informações das declarações recebidas pelo Tesouro Nacional, de acordo com a Lei de Responsabilidade Fiscal 101/2000. Assim, extraíram-se as despesas empenhadas, referentes ao registro contábil n° 10.301 (atenção básica), para o exercício de 2015 de cada um dos municípios do estado do Rio de Janeiro³⁰.

Quanto aos outputs, consideraram-se os indicadores relacionados à universalização do acesso à ABS (expressos em escala numérica que varia de 0 a 100), os quais constam no rol de “Diretrizes, objetivos, metas e indicadores 2013-2015”, pactuado pelo Conselho Nacional de Saúde³¹. Todos os outputs utilizados foram coletados no sítio do Ministério da Saúde e estão expressos no Quadro 1, a seguir³¹. Para manter a coerência com as metas expostas no Quadro 1, no cálculo dos escores de eficiência foram considerados como outputs o inverso da proporção de internações por condições sensíveis à ABS e o inverso da proporção de exodontia em relação aos procedimentos, pois se espera que, quanto mais eficiente a gestão, menores serão esses indicadores, ou seja, maiores serão os inversos deles.

Quadro 1
Outputs do modelo DEA.

Indicador	Meta	Relevância
1. Cobertura populacional estimada pelas equipes de atenção básica (eq_saúde).	Aumentar	Considera a centralidade da atenção básica no SUS, com a proposta de constituir-se como ordenadora do cuidado nos sistemas locorregionais de saúde e eixo estruturante de programas e projetos, além de favorecer a capacidade resolutiva e os processos de territorialização e regionalização em saúde.
2. Proporção de internações por condições sensíveis à atenção básica (intern).	Reduzir	Desenvolver capacidade de resolução da atenção primária ao identificar áreas claramente passíveis de melhorias, enfatizando problemas de saúde que necessitam de melhor prosseguimento e de melhor organização entre os níveis assistenciais.
3. Cobertura de acompanhamento das condicionalidades de saúde do Programa Bolsa Família (PSF).	Aumentar	Permite monitorar as famílias beneficiárias do PBF (famílias em situação de pobreza e extrema pobreza com dificuldade de acesso e de frequência aos serviços de saúde) no que se refere às condicionalidades de saúde, programa que tem por objetivo ofertar ações básicas, potencializando a melhoria da qualidade de vida das famílias e contribuindo para a inclusão social.
4. Cobertura populacional estimada pelas equipes básicas de saúde bucal (eq_bucal).	Aumentar	Mede a ampliação de acesso à saúde bucal pela população.
5. Média da ação coletiva de escovação dental supervisionada (escov).	Aumentar	Reflete o acesso à orientação para prevenção de doenças bucais, mais especificamente cáries e doenças periodontais.
6. Proporção de exodontia em relação aos procedimentos (exodont).	Reduzir	Quanto menor o percentual de exodontia, maior a qualidade do tratamento ofertado pela odontologia do município, o que demonstra que o leque de ações abrange maior número de procedimentos preventivos e curativos, em detrimento da extração dentária.

• Fonte: Elaborado pelos autores a partir de dados do Ministério da Saúde30.

Destaca-se que a escolha dessas variáveis reside no fato de o SUS ser o financiador de políticas de saúde, portanto deseja-se mensurar a qualidade e o alcance desses gastos. Caso o estudo tivesse outro escopo, como a mensuração da eficiência na perspectiva do usuário final, outros outputs deveriam ser escolhidos, por exemplo: as distâncias entre as unidades de saúde e o domicílio do usuário, o tempo de espera até a consulta, a comunicação com o profissional, entre outros.

Por fim, reitera-se que a escolha dos inputs e outputs impacta não só a formulação dos modelos de eficiência da classe DEA, mas a qualidade da informação disponível. Assim, a formulação de avaliações econômicas e análises de eficiência deve levar em consideração informações com confiabilidade. O presente artigo está alicerçado em dados oficiais do governo brasileiro, entretanto o sistema de informações governamental apresenta variabilidades intrínsecas, a saber: (i) em geral os dados administrativos não foram explicitamente criados para fins de pesquisa; e (ii) como as informações são referentes a municípios distintos, há a possibilidade de viés de classificação de despesas por subfunção, assim como outros parâmetros. De modo a controlar tais problemas, tanto a Secretaria do Tesouro Nacional³⁰ quanto o Ministério da Saúde³¹ têm empreendido esforços de melhoria contínua no sentido de dar maior transparência ao processo de coleta e disponibilização dos dados.

A orientação de modelos DEA a outputs ou a inputs depende da possibilidade de controle das variáveis produzidas e dos objetivos dos gestores das DMUs²⁹. No caso em questão, considerou-se a orientação a outputs. Logo, foram classificados como eficientes os municípios que, considerando o input aplicado, conseguiram maximizar a obtenção de outputs. A orientação a outputs foi apropriada porque, se fosse adotada a orientação a inputs, o objetivo seria reduzir os insumos, mantendo-se os níveis atuais de produtos. Isso não seria adequado porque os gastos municipais em saúde são limitados pela Constituição e sobretudo, conforme já exposto, porque o propósito é ampliar os outputs.

Além disso, foi admitido o pressuposto de retornos variáveis de escala, pois, segundo Ferreira e Gomes, a hipótese de retornos constantes de escala: “somente é apropriada quando todas as DMUs estão operando em escala ótima. Competição imperfeita, restrições financeiras, dentre outras causas, podem levar uma DMU a não operar em escala de produção ótima”³². Silva, por sua vez, reconhece que o gap entre o empenho da despesa e a efetiva aplicação dos recursos faz com que os municípios não consigam operar em escala ótima³³.

Na execução do procedimento jackstrap, utilizou-se uma aplicação gentilmente cedida por Borko Stosic, professor associado da Universidade Federal Rural de Pernambuco. Dessa forma, os outliers foram destacados. Realizada a exclusão deles, utilizou-se o software Efficiency Measurement System (EMS) para, por meio da técnica DEA, calcular os escores de eficiência.

Posteriormente, utilizando-se o software Gretl, esses valores foram regredidos em variáveis não discricionárias que poderiam afetar a eficiência das DMUs. Assim, para explicar os determinantes de eficiência do gasto público em atenção básica em saúde dos municípios do Rio de Janeiro, foram estimados os coeficientes de um modelo de regressão tobit, que, segundo McDonald, justifica-se porque a variável dependente, o escore de eficiência calculados pela DEA (θ), é limitada à unidade³⁴:

${\theta }_n=\{\begin{array}{l}{\theta }_n^{*},if0<{\theta }_n^{*}<1\hfill \\ \mathrm{0,}if{\theta }_n^{*}<0\hfill \\ \mathrm{1,}if{\theta }_n^{*}\ge 1\hfill \end{array}$ (9)

Conforme sugerido por Greene, tomou-se o logaritmo de todas as variáveis, originando o modelo dado pela equação (10)³⁵. Desse modo, os coeficientes estimados fornecem a elasticidade, isto é, a variação percentual dos escores de eficiência correspondente à variação percentual dos fatores explicativos.

$\begin{array}{c}\ln \left({\theta }_n\right)={\beta }_o+{\beta }_1\ln {(}_P+\\ {\beta }_2\ln {(}_I+{\beta }_3\ln {(}_p+{\epsilon }_i\end{array}$ (10)

Resultados

A detecção de outliers

Com o propósito de detectar a presença de outliers, a base de dados relativa a 70 dos 92 municípios do Rio de Janeiro foi submetida ao teste de sensibilidade dos escores de eficiência por meio do procedimento jackstrap. No cálculo da alavancagem média de cada DMU, bem como o valor limiar, foram construídas B = 1.000 réplicas de amostras aleatórias (bolhas) de tamanho L = 21, correspondendo portanto a 30% da amostra. Na definição do tamanho da bolha, levou-se em consideração a recomendação de Banker e colaboradores de que o número de DMUs seja igual a no mínimo três vezes a soma do o número de inputs (1) e outputs (6)^36,37, pois a pequena quantidade de DMUs em comparação com o número de inputs e outputs diminui o poder de discriminação da DEA²⁹.

A Tabela 1 mostra a alavancagem média das DMUs (leverage), quantas vezes foram selecionadas em uma bolha (total hits) e o número de vezes que tiveram alavancagem não nula (leverage hits). Observa-se que como as DMUs têm em média a mesma probabilidade de ser selecionadas, o total hits delas são semelhantes. Contudo, aquelas que apresentam elevados leverage hits têm alta alavancagem e portanto representam potenciais outliers.

Tabela 1
Leverage, total hits e leverage hits.

N	DMU	Leverage	Total hits	Leverage hits	N	DMU	Leverage	Total hits	Leverage hits
1	São Jose de Ubá	0,076	315	248	36	Nova Friburgo	0,000	307	13
2	Campos dos Goytacazes	0,023	287	227	37	Queimados	0,000	320	22
3	São Pedro da Aldeia	0,022	301	161	38	Paracambi	0,000	277	44
4	São João da Barra	0,012	305	206	39	Trajano de Moraes	0,000	285	20
5	Volta Redonda	0,011	307	202	40	Eng. Paulo de Frontin	0,000	310	65
6	Porto Real	0,009	282	186	41	Rio Claro	0,000	292	39
7	Silva Jardim	0,009	292	197	42	Marica	0,000	285	17
8	Valença	0,009	273	153	43	Resende	0,000	299	18
9	Barra Mansa	0,008	282	121	44	Miracema	0,000	271	47
10	Casimiro de Abreu	0,005	283	169	45	Três Rios	0,000	291	24
11	Macuco	0,005	304	151	46	Paty do Alferes	0,000	335	73
12	Pirai	0,005	311	145	47	Cardoso Moreira	0,000	304	34
13	Macaé	0,005	308	118	48	Mesquita	0,000	324	5
14	Cantagalo	0,004	302	112	49	S. Sebastião do Alto	0,000	314	12
15	Arraial do Cabo	0,004	297	110	50	S. F. de Itabapoana	0,000	304	5
16	Magé	0,004	306	65	51	Paraty	0,000	302	8
17	São Fidelis	0,003	284	97	52	Varre-Sai	0,000	276	10
18	S. Maria Madalena	0,003	317	126	53	Areal	0,000	274	7
19	Natividade	0,002	322	151	54	Cordeiro	0,000	291	1
20	Italva	0,002	286	94	55	Itatiaia	0,000	315	1
21	Petrópolis	0,002	258	48	56	Rio Bonito	0,000	310	6
22	Itaperuna	0,002	311	90	57	Barra do Pirai	0,000	281	0
23	Sapucaia	0,001	315	74	58	Belford Roxo	0,000	306	0
24	Armação dos Búzios	0,001	321	100	59	Bom Jesus	0,000	321	0
25	Angra dos Reis	0,001	309	93	60	Cach. de Macacu	0,000	293	0
26	Mendes	0,001	284	131	61	Carapebus	0,000	298	1
27	Porciúncula	0,001	296	52	62	Duque de Caxias	0,000	305	0
28	Quatis	0,001	299	99	63	Guapimirim	0,000	267	0
29	Conc. de Macabu	0,001	287	83	64	Japeri	0,000	279	0
30	Rio das Flores	0,001	306	148	65	Niterói	0,000	280	0
31	Quissamã	0,001	315	118	66	Nova Iguaçu	0,000	311	0
32	Vassouras	0,001	319	44	67	Pinheiral	0,000	303	0
33	Levy Gasparian	0,001	309	88	68	Rio das Ostras	0,000	302	0
34	Santo Ant. de Pádua	0,001	316	24	69	Tanguá	0,000	273	1
35	Rio de Janeiro	0,001	329	54	70	Teresópolis	0,000	336	0

• Fonte: Elaborado pelos autores a partir dos resultados do procedimento jackstrap.

O valor limiar do leverage calculado pelo procedimento jackstrap foi cotado em 0,006. Esse valor foi inferior ao leverage de nove DMUs (Tabela 2), o que indica que são outliers. De fato, conforme esperado, quando comparado à média das 70 DMUs analisadas, essas DMUs apresentaram baixo input e/ou elevados outputs. Isso revela a pertinência da adoção do procedimento jackstrap, pois permitiu detectar DMUs com dados não plausíveis em um contexto real, o que pode ter sido consequência de problemas de informação, com valores ínfimos de gastos informados ou produção muito acima do esperado.

Tabela 2
Input e outputs das DMUs classificadas como outliers.

Municípios	gasto	eq_saúde	intern	PSF	eq_bucal	escov	exdont
São Jose de Ubá	1260,29	100,00	0,08	78,47	100,00	0,44	0,01
Campos dos Goytacazes	14,97	85,57	0,06	94,55	64,18	0,02	0,14
São Pedro da Aldeia	321,80	75,15	0,08	43,30	63,91	0,15	0,11
São João da Barra	2321,08	100,00	0,04	89,90	100,00	7,84	0,12
Volta Redonda	42,74	100,00	0,05	70,60	78,64	63,39	0,20
Porto Real	2682,12	100,00	0,04	94,14	100,00	8,23	1,00
Silva Jardim	432,52	100,00	0,03	98,04	100,00	2,91	0,06
Valença	403,14	95,23	0,05	86,58	79,87	1,09	0,12
Barra Mansa	767,43	83,23	0,05	74,67	57,91	0,21	0,16
Média (70 DMUs)	404,94	83,91	0,04	72,78	70,72	3,25	0,39

• Fonte: Elaborado pelos autores a partir dos dados da pesquisa.

Os resultados apresentados na Tabela 2 merecem destaque. Em média, o gasto per capta em ABS nos municípios do estado do Rio de Janeiro é igual a R$ 404,94. Perceba que os municípios classificados como outliers apresentaram valores sensivelmente discrepantes à média estadual. Aparentemente, há três agrupamentos locais entre os outliers: (i) o primeiro ao sudoeste do estado, formado pelos municípios limítrofes Barra Mansa, Valença e Volta Redonda; (ii) o segundo pelos municípios da faixa sul do estado, São Pedro da Aldeia e Silva Jardim; e por fim,(iii) o terceiro, no setor nordeste do estado, abarcando Campos dos Goytacazes, São João da Barra e São José de Ubá.

Identificados os outliers, que foram excluídos da amostra, adiante são mostrados os escores de eficiência calculados por meio da aplicação da técnica DEA para os municípios do estado do Rio de Janeiro.

Escores de eficiência dos gastos públicos em ABS dos municípios do RJ

As estatísticas descritivas dos escores de eficiência do gasto público em atenção básica em saúde dos municípios do Rio de Janeiro antes (DEA) e depois (Heaviside) da exclusão de nove das DMUs classificadas como outliers são mostradas na Tabela 3. Observa-se que o procedimento jackstrap reduziu o número de DMUs eficientes de 43 para 39. Todavia, haja vista que o percentual de DMUs eficientes aumentou, a eficiência média subiu de 0,91 para 0,94. Assim, esses resultados indicam que, mesmo desconsiderando-se as DMUs influentes, os municípios avaliados poderiam, em média, aumentar os outputs em ABS em até 6,0% (1 - 0,94) sem aumentar os gastos per capita naquela área.

Tabela 3
Estatísticas descritivas dos escores de eficiência.

Modelo	DMUs	N. Eficientes	% Eficientes	Média	Desvio-padrão
DEA	70	43	61,4	0,91	0,15
Heaviside	61	39	63,9	0,94	0,12

• Fonte: Elaborado pelos autores.

A Tabela 4 apresenta os escores de eficiência, os alvos para os outputs e o principal benckmark dos 22 municípios do Rio de Janeiro classificados como ineficientes. Os alvos, em particular, podem ser interpretados como a meta a ser perseguida pelos municípios para que se tornem eficientes, mantidos fixos os gastos per capita em ABS. Naturalmente, o alcance das metas é mais desafiador para os municípios mais ineficientes.

Tabela 4
Escores de eficiência, alvos e benchmark das DMUs ineficientes.

N	Município	θ	eq_saúde		intern		PSF		eq_bucal		escov		exodont		Benchmark
			Atual	Alvo	Atual	Alvo	Atual	Alvo	Atual	Alvo	Atual	Alvo	Atual	Alvo
1	Macaé	0,99	58,40	82,16	0,05	0,05	50,77	61,64	55,06	55,42	2,90	2,92	0,09	0,16	Petrópolis
2	Magé	0,78	67,66	86,24	0,04	0,05	59,44	75,81	28,62	76,43	0,02	1,55	0,05	0,11	Arraial do Cabo
3	São Fidélis	0,95	79,52	94,52	0,04	0,04	84,94	89,35	74,30	78,16	0,12	1,37	0,08	0,20	Itaperuna
4	Santo Antonio de Pádua	0,97	92,47	95,45	0,03	0,04	80,84	83,44	96,88	100	0,11	22,38	0,10	0,22	Piraí
5	Rio de Janeiro	0,97	51,21	85,59	0,05	0,05	82,10	84,76	26,15	44,97	0,61	1,19	0,18	0,21	Itaperuna
6	Nova Friburgo	0,99	45,85	78,97	0,05	0,05	58,48	58,83	35,58	42,45	0,01	0,76	0,10	0,14	Petrópolis
7	Queimados	0,54	41,46	91,61	0,03	0,06	42,10	78,05	14,43	72,41	0,59	3,30	0,06	0,33	Casimiro de Abreu
8	Paracambi	0,99	70,75	100,00	0,03	0,03	94,85	95,56	67,01	97,04	0,44	0,44	0,14	0,47	Paty do Alferes
9	Marica	0,96	68,83	81,86	0,05	0,05	38,44	59,19	19,43	52,64	0,38	1,57	0,18	0,20	Petrópolis
10	Resende	0,92	85,60	100,00	0,03	0,03	56,70	78,39	92,28	100	8,11	8,79	0,35	0,38	Três Rios
11	Mesquita	0,99	71,44	79,41	0,05	0,05	41,84	56,14	19,64	45,86	0,03	1,00	0,19	0,19	Petrópolis
12	São Francisco de Itabapoana	0,87	67,72	99,94	0,03	0,03	81,59	93,76	85,64	98,42	1,50	1,88	0,14	0,30	Natividade
13	Paraty	0,81	61,95	94,22	0,03	0,04	73,35	90,66	21,30	85,01	0,31	1,28	1,67	2,06	Rio das Flores
14	Barra do Pirai	0,92	71,67	77,49	0,04	0,04	60,97	70,39	56,66	1,60	1,48	1,60	0,50	0,54	Petrópolis
15	Belford Roxo	0,64	28,40	67,22	0,03	0,05	38,19	60,65	9,32	48,97	0,39	0,61	0,18	0,28	Petrópolis
16	Duque de Caxias	0,80	38,29	79,85	0,04	0,05	38,36	56,48	31,83	45,10	0,14	0,94	0,30	0,38	Petrópolis
17	Guapimirim	0,68	40,52	68,18	0,03	0,04	56,85	83,34	19,62	48,08	0,93	1,36	0,15	0,22	Itaperuna
18	Japeri	0,58	52,40	89,80	0,03	0,05	36,27	65,66	18,49	74,54	0,16	1,49	0,13	0,22	Comendador Levy Gasparian
19	Niterói	0,79	70,15	88,31	0,04	0,05	58,00	73,02	17,48	68,37	0,43	0,94	0,19	0,24	Arraial do Cabo
20	Nova Iguaçu	0,80	52,62	78,74	0,04	0,05	43,71	55,26	25,72	43,64	0,29	0,82	0,18	0,23	Petrópolis
21	Rio das Ostras	0,76	57,61	83,98	0,04	0,05	50,98	66,75	35,91	54,05	0,26	1,75	0,12	0,22	Petrópolis
22	Teresópolis	0,60	41,47	79,83	0,03	0,05	37,59	62,76	18,17	41,32	0,06	0,70	0,14	0,23	Petrópolis

• Fonte: Elaborado pelos autores a partir dos resultados da aplicação da técnica DEA.

É importante ressaltar que embora a DEA possibilite calcular os escores de eficiência das DMUs, essa técnica, isoladamente, não identifica os fatores que influenciam a eficiência. Assim, para completar a análise, foram estimados os coeficientes de um modelo econométrico com o propósito de verificar o efeito de variáveis não discricionárias, que, ao menos no curto prazo, não podem ser controladas pelos gestores.

Determinantes da eficiência do gasto público em ABS dos municípios do Rio de Janeiro

Nesse contexto, buscou-se analisar se os escores de eficiência eram afetados pelo Produto Interno Bruto (PIB) per capita, em milhares de reais, e pelo nível de desenvolvimento socioeconômico do município, expresso pelo Índice Firjan de Desenvolvimento Municipal (IFDM)³⁸. Além disso, esses efeitos foram controlados pelo tamanho populacional dos municípios (pop) em milhares de habitantes. Os resultados das estimações dos coeficientes do modelo de regressão são mostrados na Tabela 5. Testes realizados não detectaram problemas de colinearidade, endogeneidade ou heterocedasticidade.

Tabela 5
Efeitos sobre a eficiência do gasto público em ABS dos municípios do Rio de Janeiro - 2015.

Variável	Coeficiente	Erro padrão	Estatística Z	Valor p
Constante	0,525	0,430	1,225	0,221
PIB	0,026	0,082	0,315	0,753
IFDM	0,486	0,508	0,957	0,339
pop	-0,110	0,089	-1,245	0,213

• Fonte: Elaborado pelos autores.

Analisando-se os resultados mostrados na Tabela 5, constata-se que as variáveis dependentes consideradas no modelo não explicam a variabilidade dos escores de eficiência (IC = 95%). Em outras palavras, não foram encontradas evidências de que municípios mais ricos, desenvolvidos e/ou populosos foram mais (ou menos) eficientes com relação ao gasto público em ABS do que aqueles que não o são.

Discussão

Neste artigo empregou-se uma abordagem em dois estágios. No primeiro, usando-se o procedimento jackstrap, que combina técnicas de reamostragem jackknife e bootstrap para identificar possíveis outliers, calcularam-se estimadores robustos dos escores de eficiência para o modelo DEA de super eficiência. Em seguida, por meio de uma regressão tobit, regrediram-se aqueles escores em variáveis não discricionárias que poderiam afetar a eficiência das instituições. De modo a ilustrar o método apresentado, avaliou-se a eficiência dos gastos públicos em ABS dos municípios do Rio de Janeiro.

Os resultados obtidos por meio da aplicação do procedimento jackstrap mostraram que nove dos 70 municípios avaliados eram outliers, o que significa que eles, em comparação com os demais, apresentaram baixo gasto per capita em ABS e/ou elevados outputs. Excluídos os outliers por meio da técnica DEA, foram calculados escores de eficiência e identificados os alvos para os outputs e o principal benchmark.

Não foram encontrados fatores associados a maior eficiência dos municípios a partir das estimativas do modelo de regressão tobit, ou seja, a eficiência dos gastos públicos em ABS dos municípios do Rio de Janeiro não foi influenciada pelo PIB per capita, o nível de desenvolvimento socioeconômico ou o porte populacional. Esses resultados contradizem os apurados por Dias, pois se verificou que quanto mais populoso e desenvolvido é um município brasileiro, maior é a tendência de que os gastos públicos em saúde sejam eficientes³⁹. Assim, possivelmente os ganhos de escala observados em outros municípios brasileiros não se aplicam aos municípios fluminenses.

Há que se destacar que, em estudo similar, o Banco Mundial¹² mostrou que, considerando todo o Brasil, a eficiência média dos serviços primários de saúde foi apurada em 63%, ao passo que neste artigo a eficiência média encontrada foi da ordem de 94%. A divergência entre os resultados pode ser explicada por alguns motivos: (i) pelo corte de municípios não ser o mesmo; (ii) pela diferença entre as variáveis utilizadas (o estudo do Banco Mundial¹² utilizou quatro indicadores selecionados dos sistemas de saúde, a saber: anos de vida padronizados por idade e ajustados por incapacidade; a probabilidade de morte entre 30 e 70 anos de idade por doenças cardiovasculares, câncer, diabete ou problemas respiratórios crônicos; a percentagem de gastos de recursos próprios sobre as despesas totais com saúde (como indicador de proteção financeira); e um indicador de equidade na saúde, que inclui a imunização infantil contra sarampo, o índice de mortalidade infantil e o risco vitalício de morte materna); e (iii) a adoção da técnica jackstrap, que ao excluir os municípios classificados como outliers, elevou a eficiência média.

Os resultados aqui expostos não podem ser extrapolados, pois se limitam aos municípios fluminenses e para o período especificado. Além disso, salienta-se que, como os escores de eficiência calculados pela DEA são diretamente influenciados pelos inputs e outputs selecionados, pelo tipo de retorno de escala, pela orientação do modelo e, no contexto desta pesquisa, pela remoção de outliers, a adoção de novas escolhas podem gerar resultados diferentes. Ainda assim, os métodos aqui empregados podem ser utilizados para avaliar a eficiência dos gastos públicos em ABS de municípios de outros estados.

Conclusão

Reconhece-se neste artigo o avanço constitucional representado pelo SUS, que acaba de completar trinta anos, e junto ao National Health Service (NHS), representam notáveis exemplos de sistemas de saúde coletiva em nível internacional. Apesar dos pontos positivos do SUS, há espaço para melhorias na gestão dos gastos e aumento da eficiência no serviço prestado. Ressalta-se que este estudo pode ajudar os gestores públicos a definirem estratégias para incrementar a eficiência do gasto em ABS, o que é muito importante, sobretudo no cenário atual, caracterizado pela escassez de recursos públicos, pelo congelamento de gastos e pela necessidade de atendimento às crescentes demandas de saúde no Brasil.

Nesse sentido, a detecção de benchmarks pode ser um bom elemento para a tomada de decisão por parte dos municípios, pois por meio da comparação do desempenho na prestação de serviços de saúde é possível aprender com as melhores práticas de gestão e assim estimular ações eficientes na gerência do gasto público em saúde. Em acréscimo, destaca-se que as análises aqui apresentadas poderiam constituir uma ferramenta de gestão para a negociação da Pactuação Programada e Integrada e assim fomentar quotas de repasse financeiro baseado em metas, por exemplo.

Sugere-se, para trabalhos futuros: (i) analisar a importância relativa de inputs e outputs do modelo com base em métodos multicriteriais que incorporem o julgamento de especialistas em saúde; (ii) estudar em detalhes a existência de folgas do modelo em relação ao input (gasto), com o objetivo de estimar a possibilidade de recursos adicionais serem melhor aplicados nas demais ações de saúde básica; (iii) o desenvolvimento de um estudo centrado na análise espacial georreferenciada dos municípios, o que permitiria detectar clusters de ineficiência e ou eficiência; e por fim (iv) o desenvolvimento de novas formulações econométricas a serem comparadas com o modelo tobit, a saber: a regressão quantílica, que permitiria estratificar o grau de eficiência em níveis, e a regressão beta, que permitiria modelar relações lineares e não lineares entre as variáveis independentes e a variável dependente do modelo.

Agradecimentos

À Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) e ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

Referências

• ¹ Gadelha CAG, Costa LS. Saúde e desenvolvimento no Brasil: avanços e desafios. Rev Saude Publica 2012; 46(Supl. 1):13-20.
• ² Brasil. Constituição da República Federativa do Brasil. Brasília: Senado Federal; 1988.
• ³ Varela PS, Martins GA, Fávero LPL. Desempenho dos municípios paulistas: uma avaliação de eficiência da atenção básica à saúde. Rev Adm 2012; 47(4):624-637.
• ⁴ Zhu J. Quantitative models for performance evaluation and benchmarking. Worcester: Springer; 2014.
• ⁵ Brasil. Ministério da Saúde. Portaria nº 2.488, de 21 de outubro de 2011. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas para a organização da Atenção Básica, para a Estratégia Saúde da Família (ESF) e o Programa de Agentes Comunitários de Saúde (PACS). Brasília: Ministério da Saúde; 2011.
• ⁶ Ozcan, YA. Evaluation of performance in health care. In: Ozcan YA. Health care benchmarking and performance evaluation. Boston: Springer; 2014. p. 3-14.
• ⁷ Kawaguchi H, Tone K, Tsutsui M. Estimation of the efficiency of Japanese hospitals using a dynamic and network data envelopment analysis model. Health Care Manag Sci 2014; 17(2):101-112.
• ⁸ Campos MS, Fernández-Montes A, Gavilan JM, Velasco F. Public resource usage in health systems: a data envelopment analysis of the efficiency of health systems of autonomous communities in Spain. Public health 2016; 138(1):33-40.
• ⁹ Arfa C, Leleu H, Goaied M, van Mosseveld C. Measuring the capacity utilization of public district hospitals in Tunisia: using dual data envelopment analysis approach. Int J Health Policy Manag 2017; 6(1):9-18.
• ¹⁰ Khushalani J, Ozcan YA. Are hospitals producing quality care efficiently? An analysis using Dynamic Network Data Envelopment Analysis (DEA). Socio-Economic Planning Sciences 2017; 60(1):15-23.
• ¹¹ Johny V, Rajeev A. Data envelopment analysis of components of comprehensive index for community health assessment of Maharashtra. Indian J Community Med 2017; 42(3):183-184.
• ¹² World Bank. Um ajuste justo: análise da eficiência e equidade do gasto público no Brasil [artigo na Internet]; 2017. [acessado 2019 Dez 14]. Disponível em: https://www.worldbank.org/pt/country/brazil/publication/brazil-expenditure-review-report
  » https://www.worldbank.org/pt/country/brazil/publication/brazil-expenditure-review-report
• ¹³ Cabral KFD, Batista RS, Ferreira MAM, Cerqueira FR. Análise da eficiência na atenção primária à saúde sob a ótica dos profissionais da área. RGSS 2016; 5(2):71-83.
• ¹⁴ Braga GB, Ferreira MAM, Braga BB. A eficiência da atenção primária à saúde: avaliando discrepâncias. Administração Pública e Gestão Social 2015; 7(2):100-107.
• ¹⁵ Costa CKF, Balbinotto Neto G, Sampaio LMB. Eficiência dos estados brasileiros e do Distrito Federal no sistema público de transplante renal: uma análise usando método DEA (análise envoltória de dados) e índice de Malmquist. Cad Saude Publica 2014; 30(8):1667-1679.
• ¹⁶ Cesconetto A, Lapa JS, Calvo MCM. Avaliação da eficiência produtiva de hospitais do SUS de Santa Catarina, Brasil. Cad Saude Publica 2008; 24(10):2407-2417.
• ¹⁷ Lobo MSC, Lins, MPE. Avaliação da eficiência dos serviços de saúde por meio da análise envoltória de dados. Cad Saude Colet 2011; 19(1):93-102.
• ¹⁸ Andersen P, Petersen NC. A procedure for ranking efficient units in data envelopment analysis. Manag Sci 1993; 39(10):1261-1264.
• ¹⁹ Sousa MCS, Stošić B. Technical efficiency of the Brazilian municipalities: correcting nonparametric frontier measurements for outliers. Journal of Productivity Analysis 2005; 24(2):157-181.
• ²⁰ Ahamed SK, Naidu MM, Subba RRC. Outliers: most influential observations in variable returns to scale data envelopment analysis. Indian J Sci Technol 2016; 9(2):1-7.
• ²¹ Boyd T, Docken G, Ruggiero J. Outliers in data envelopment analysis. JCC 2016; 9(2):168-183.
• ²² Duarte JMS, Diniz JÁ, Nobre CJF, Aráujo RJR, autor; Frezatti F. A eficiência dos gastos públicos nos serviços de saúde municipal. In: 16º Congresso USP de controladoria e contabilidade. São Paulo, 2016 Jun 26.
• ²³ Puff J. Saúde pública: como o RJ chegou a uma de suas piores crises no ano dos Jogos. BBC (Brasil) 2016; 11 jan.
• ²⁴ Charnes A, Cooper WW, Rhodes, E. Measuring the efficiency of decision making units. European Journal of Operational Research 1978; 2(6):429-444.
• ²⁵ Banker RD, Charnes A, Cooper WW. Some models for estimating technical and scale inefficiencies in data envelopment analysis. Manag Sci 1984; 30(9):1078-1092.
• ²⁶ Bogetoft P, Otto L. Benchmarking with Dea, Sfa, and R (v. 157). New York: Springer Science & Business Media; 2010.
• ²⁷ Schettini BP. Eficiência técnica dos municípios Brasileiros na educação pública: escores robustos e fatores determinantes. Texto para Discussão. Brasília: Instituto de Pesquisa Econômica Aplicada (IPEA); 2014.
• ²⁸ Sousa MCS, Souza JCF. Escores robustos de eficiência e seus determinantes: o caso das agências do banco do Brasil. Pesquisa e Planejamento Econômico 2014; 44(1):37-69.
• ²⁹ Cook WD, Tone K, Zhu J. Data envelopment analysis: prior to choosing a model. Omega 2014; 44:1-4.
• Sinconfi. Secretaria do Tesouro Nacional (STN) - Contas Nacionais [Internet]. [acessado 2019 Dez 14]. Disponível em: https://siconfi.tesouro.gov.br/siconfi
  » https://siconfi.tesouro.gov.br/siconfi
• ³¹ Brasil. Ministério da Saúde (MS). Secretaria de Gestão Estratégica e Participativa. Departamento de Articulação Interfederativa. Caderno de diretrizes, objetivos, metas e indicadores: 2013-2015. Brasília: MS; 2014.
• ³² Ferreira CMDC, Gomes AP. Introdução à análise envoltória de dados: teoria, modelos e aplicações. Viçosa: UFV; 2009.
• ³³ Silva AC. Eficiência e equidade no gasto público com ensino fundamental nos municípios baianos selecionados: uma estimativa por meio de uma função de bem-estar [monografia]. Brasília: Escola Nacional de Administração Pública; 2010.
• ³⁴ Mcdonald J. Using least squares and tobit in second stage DEA efficiency analyses. Eur J Oper Res 2009; 197(2):792-798.
• ³⁵ Greene WH. The econometric approach to efficiency analysis. In: Fried HO, Lovell CAK, Schimidt SS, editors. The measurement of productive efficiency and productivity growth. USA: Oxford University Press; 2008. p. 92-250.
• ³⁶ Banker RD, Cooper WW, Seiford LM, Thrall RM, Zhu J. Returns to scale in different DEA models. Eur J Oper Res 2004; 154(2):345-362.
• ³⁷ Banker RD, Chang H. The super-efficiency procedure for outlier identification, not for ranking efficient units. Eur J Oper Res 2006; 175(2):1311-1320.
• ³⁸ Federação das Indústrias do Estado do Rio de Janeiro (Firjan). Índice Firjan de Desenvolvimento Municipal [Internet]. [acessado 2019 Dez 16]. Disponível em: https://www.firjan.com.br/
  » https://www.firjan.com.br
• ³⁹ Dias RH. Eficiência da atenção primária à saúde nos municípios brasileiros [dissertação]. Brasília: Universidade de Brasília; 2011.

Editado por

• Editores-chefes:
  Romeu Gomes, Antônio Augusto Moura da Silva

Datas de Publicação

• Publicação nesta coleção
  30 Ago 2021
• Data do Fascículo
  2021

Histórico

• Recebido
  02 Out 2019
• Aceito
  05 Abr 2020
• Publicado
  07 Abr 2020