Panorama da produção intelectual sobre a medição de desempenho na gestão pública

Panorama de la producción intelectual de medición del desempeño en la gestión pública

Overview of the intellectual production of performance measurement in public management

Resumos

No contexto das mudanças na administração pública que visam promover a melhoria do desempenho governamental, este artigo tem como objetivo apresentar um panorama da produção intelectual no campo da medição de desempenho na gestão pública entre 1980 e fevereiro de 2013. Para tanto, foi realizada uma análise bibliométrica de citação e cocitação com apoio dos softwares Sitkis, Netdraw e CiteSpace II. As bases de dados utilizadas foram a ISI Web of Science (WoS) - que reflete a pesquisa internacional - e a SciELO - que reflete a pesquisa brasileira. O estudo na WoS identificou os autores, periódicos, pares de documentos e instituições de pesquisas mais importantes. Além disso, o estudo na base da SciELO apontou que a literatura sobre o campo estudado é dispersa. De forma geral, os resultados obtidos revelam que a medição de desempenho na gestão pública é um campo emergente.

medição de desempenho; gestão pública; análise bibliométrica.

En el contexto de los cambios en la administración pública para mejorar el desempeño del gobierno, este trabajo tiene como objetivo presentar un panorama de la producción intelectual en el campo de la medición del desempeño en la gestión pública entre 1980 y febrero de 2013. En este sentido, fue realizado un levantamiento de datos, con base en análisis bibliométrico de citas e co-citación, e mediante la utilización de los softwares Sitkis, Netdraw y CiteSpace II. Las bases de datos empleadas en este análisis fueron la ISI Web of Science (WoS) - referida a investigación internacional - y SciELO - que refleja la investigación brasileña. El estudio sobre la WoS reveló los autores, revistas, pares de documentos y las instituciones de investigación más importantes. Además, el estudio sobre SciELO indico que la literatura en este campo está todavía dispersa. Por último, los resultados muestran que la medición del desempeño en la gestión pública es un campo emergente.

medición del desempeño; gestión pública; análisis bibliométrico.

In the context of changes in the public administration that aim to enhance government performance, this paper has the goal to present an overview from intellectual production on the field of performance measurement in public management between 1980 and February of 2013. In order to do it, it was applied a citation/co-citation bibliometric analysis using Sitkis, Netdraw and CiteSpace II softwares. The databases used in this analysis were ISI Web of Science (WoS) - that reflects international research - and SciELO - that reflects Brazilian research. The study in WoS revealed the most important authors, journals, pairs of documents and research institutions. Moreover, the study based on SciELO identified that the literature about this field is dispersal. In general terms, the results show that performance measurement in public management is an emerging field.

performance measurement; public management; bibliometric analysis.

1. Introdução

A administração pública deve atender às demandas sociais pelo uso eficiente de recursos e transparência de seus atos e, para que isso ocorra, os cidadãos devem ser continuamente informados, pelos meios de comunicação, sobre os impactos dos planos, das políticas, dos orçamentos, dos déficits e superávits dos governos na qualidade de vida de cada membro e setor da sociedade (Catelli e Santos, 2004; Motta, 2013).

Diante disso, um elemento importante para que a administração pública possa cumprir seu papel é a medição de desempenho. Inicialmente, a medição de desempenho possuía um enfoque unidimensional legado da contabilidade tradicional com apenas medidas financeiras, mas a partir do final dos anos 1980, o enfoque passou a ser multidimensional com equilíbrio entre medidas financeiras e não financeiras (Bourne et al., 2000; Nudurapati et al., 2011). Essa mudança de enfoque reforçou-a como um pré-requisito importante para a melhoria organizacional. De fato, estudos como o de Franco-Santos e colaboradores (2012) apontam que a medição de desempenho contemporânea afeta significativamente o comportamento das pessoas, as capabilidades organizacionais e o desempenho organizacional. Esse resultado é comprovado em parte, no âmbito do setor público, por Speklé e Verbeeten (2014), que realizaram uma survey em organizações do setor público e encontraram que o uso exploratório da medição de desempenho aumenta o desempenho organizacional na medida em que fornece uma comunicação mais clara dos objetivos e metas e também possibilita o ajuste dos objetivos e políticas.

De forma ampla, a medição de desempenho, segundo Franco-Santos e colaboradores (2007), pode ser entendida como um conjunto de processos que uma organização necessita para gerenciar a implementação da estratégia, comunicar o cumprimento de regulamentos bem como sua posição e progresso, influenciar o comportamento dos funcionários, servindo de base para a melhoria do desempenho.

A mensuração dos elementos associados ao desempenho constitui um tema com ampla literatura voltada ao ambiente corporativo (Tezza et al., 2010). Bititci e colaboradores (2012) destacam que as práticas de gestão baseadas na medição de desempenho são comuns em todos os setores da indústria e do comércio, incluindo o setor público. No entanto, Motta (2013) pondera que algumas características que distinguem as empresas privadas e organizações públicas podem ser camufladas nas formas institucionais, mas emergem rapidamente no cotidiano administrativo. Isso indica que a medição de desempenho na gestão pública necessita ser pesquisada considerando seu contexto. Essa necessidade é corroborada por pesquisas como a de Taylor e Taylor (2009), que afirmam que as aplicações da gestão de operações - como o estudo da medição de desempenho - em novos contextos, como o setor não lucrativo, são potenciais temas de pesquisas.

Nesse contexto, torna-se relevante fazer um levantamento da produção científica sobre a medição de desempenho na gestão pública, de modo a responder às seguintes questões. Como tem evoluído o campo de pesquisa da medição de desempenho na gestão pública? Quais são as referências, autores e periódicos mais destacados no campo da medição de desempenho na gestão pública? Qual a conexão existente entre essas referências?

Em face dessas questões, o presente artigo tem como objetivo analisar a literatura sobre medição de desempenho na gestão pública, fornecendo um mapeamento dos trabalhos sobre o tema, identificando comportamentos da literatura e sua evolução. Para isso, o método a ser utilizado consiste na análise bibliométrica com uma amostra de artigos da base de dados da Web of Science (WoS) no período de 1980 a fevereiro de 2013. Complementarmente, efetuou-se uma comparação com a produção nacional publicada na base SciELO.

2. Delineamento da pesquisa

Esta seção apresenta o delineamento da presente pesquisa destacando as características da bibliometria bem como os parâmetros e etapas utilizados na organização do conhecimento do tema medição de desempenho na gestão pública.

A análise bibliométrica é o estudo dos aspectos quantitativos da produção, disseminação e uso da informação registrada com emprego de métodos matemáticos e estatísticos, utilizada na identificação de comportamento da literatura e sua evolução em contexto e época determinados (Spinak, 1996; Tague-Sutckiffe, 1992; Bufrem e Prates, 2005). A seguir, são apresentadas as análises de citação e de cocitação, que são amplamente utilizadas em análises bibliométricas.

A análise de citações parte da premissa de que autores citam artigos que consideram importantes no desenvolvimento de suas pesquisas e, segundo Bufrem e Prates (2005), qualquer ato de citar o autor de artigo anterior é sempre significativo. Logo, os trabalhos mais citados teriam maior influência sobre a área do que aqueles menos citados (Tahai e Meyer, 1999). Essa análise pode ainda ser estendida à "contagem" das referências arroladas no final do texto, o que possibilita identificar e mapear características da comunicação científica, medir o impacto e a visibilidade de determinados autores dentro de uma comunidade científica e também verificar quais "escolas" do pensamento vigoram dentro das mesmas (Vanz e Caregnato, 2003).

Já a análise de cocitação indica a relação e frequência dos pares de documentos que são citados por outros documentos. A premissa fundamental dessa análise é que, quanto mais dois documentos são cocitados conjuntamente, maior é a probabilidade de que tenham conteúdos relacionados (Spinak, 1996).

Convém destacar que, segundo Garfield (1979), a análise de citações não tem como princípio medir o número de vezes que um determinado autor está certo ou errado, mas, sim, medir o nível de contribuição de um pesquisador ou uma instituição à ciência.

Neste artigo as análises de citação e de cocitação são utilizadas em conjunto com elementos gráficos advindos da representação das redes sociais, que tratam do conjunto de atores e as ligações entre eles. O conceito das redes sociais foi desenvolvido a partir da confluência da teoria social com a metodologia matemática, estatística e computacional (Wasserman e Faust, 1994).

A partir dessa visão geral sobre a bibliometria, a seguir são apresentadas as etapas utilizadas para condução da pesquisa (figura 1).

Figura 1
Etapas da análise bibliométrica

A base de dados utilizada para a busca dos artigos foi a WoS (Web of Science) Institute for Scientific Information (ISI), que é amplamente utilizada para divulgação de pesquisas científicas em 12.311 títulos, que, segundo Chadegani e colaboradores (2013), abrange revistas com maior fator de impacto se comparada com bases como a da Scopus. Além disso, mesmo sem cobrir bases como a da Scopus, a análise das referências dos artigos da amostra permite expandir a análise a livros, relatórios e artigos de outras bases e também anteriores a 1980.

Para a seleção das referências sobre medição de desempenho foram identificadas as palavras-chave nos trabalhos de González e Toledo (2012) e Lacerda e colaboradores (2012), sendo elas: performance measurement, performance measure, performance evaluation, performance assessment, performance appraisal, associadas às palavras-chave da área de gestão pública: public sector, public service, public organization, public management.

A busca utilizando esses termos foi realizada em 28 de fevereiro de 2013 na base Web of Science por artigos, publicados no período de 1980 a 2013, selecionando-se apenas os artigos (document types) pertencentes às áreas temáticas (subject area) public administration, management, political science, economics, operation research management science, planning development, industrial relations labor, business, business finance, social science and interdisciplinary, environmental studies, engineering civil, engineering industrial, utilizando-se das palavras-chave anteriormente definidas, resultou na amostra de 268 artigos.

Após a definição dessa amostra procedeu-se à importação dos metadados (título, resumo, autores, palavras-chave, periódico, referências e número de citações) dos 268 artigos da base WoS.

A etapa seguinte consistiu na validação, organização e sistematização dos dados coletados, utilizando-se de planilha eletrônica para padronizar os metadados dos artigos da amostra. Essa etapa de padronização é importante, pois, segundo Mugnaini e colaboradores (2004), a transformação da informação bibliográfica em indicadores bibliométricos exige cautela em cada passo e reprocessamento, porque nem sempre a informação se encontra perfeitamente padronizada.

A seguir foi utilizado o software CiteSpace II (Chen, 2006) para gerar as redes de cocitação. Segundo Chen (2006), esse software permite mapear e visualizar novas tendências na literatura científica, detectando pontos de viragem intelectual, quando o conhecimento abre espaço para novidades científicas e explosões, que são os momentos em que há um aumento significativo de publicação de trabalhos sobre o mesmo tema.

As referências processadas no CiteSpace II também exigiram padronização para a eliminação de possíveis duplicidades que interferem no mapeamento da rede e no levantamento de indicadores como os de frequência, centralidade e densidade. O indicador de centralidade é utilizado na análise de redes de cocitações e, segundo Marteleto (2001), representa os atores que mais se relacionam com os demais; logo, um ator com grande centralidade está em contato direto e adjacente com muitos outros atores da rede, sendo reconhecido como um grande canal de informações, trazendo a ideia de poder. Já o indicador de densidade, segundo Hanneman e Riddle (2005), exprime o grau de conectividade de uma rede de modo que, quanto mais densa ela for, maior é a possibilidade de fluxo de informações. Esse indicador é calculado tendo como numerador o número de relações existentes e denominador o número de relações possíveis.

Complementarmente, foram utilizados o Sitkis (Schildt, 2002) no gerenciamento das referências mais citadas e o Netdraw (Borgatti, 2002) para o mapeamento dos relacionamentos entre os trabalhos mais relevantes que suportaram as pesquisas sobre medição de desempenho na gestão pública. O Netdraw permite a visualização detalhada das coocorrências de citações de forma a identificar os documentos mais influentes.

A etapa final consistiu nas análises de citação e de cocitação exploradas por suas métricas comuns e pelas representações gráficas das redes sociais.

Para fins de comparação, foi levantada e analisada a produção nacional sobre o tema medição de desempenho na base SciELO Brasil com os termos "medição de desempenho" ou "avaliação de desempenho" combinados com "público" ou "pública".

3. Dados obtidos na base Web of Science

Esta seção apresenta e discute os resultados obtidos da análise das publicações da amostra de 268 artigos do Web of Science, cuja abordagem obedecerá a seguinte ordem: análise das publicações, análise de cocitações de autores e, por fim, a análise de cocitações de referências.

3.1 Análise das publicações

A análise da amostra dos 268 artigos apontou que eles receberam um total de 1.644 citações até fevereiro de 2013. Do total da amostra, 68 (25%) artigos não receberam citações e 48 (18%) concentram 68% do total das citações recebidas.

A evolução temporal dessas citações pode ser observada no gráfico 1, em que a linha sólida representa a evolução das publicações, e a tracejada, das citações. A partir do gráfico 1, pode-se observar que o número de publicações tem aumentado ao longo dos anos. Como pode ser notado, até 2005, o número de publicações por ano era inferior a 10. Crescendo fortemente a partir de 2006, chegando ao patamar de 36 publicações em 2011, essa evolução parece colaborar para o aumento no número de citações de artigos sobre o assunto. Esse aumento nas publicações pode ter sido impulsionado pelo surgimento, na última década do século XX, da Nova Gestão Pública (New Public Management), cuja preocupação central, segundo Sano e Abrucio (2008), pode ser resumida como a combinação entre a flexibilização da gestão e o aumento da responsabilização da administração pública.

Gráfico 1
Publicações e citações entre 1980 e fevereiro de 2013

Já em relação às citações, observa-se que a partir de 1997 houve um aumento no número de citações mais acentuado do que o aumento no número de publicações, evidenciando que o tema medição de desempenho na gestão pública passou a ser de interesse para a academia.

A seguir, efetua-se uma análise temporal e temática sobre os 10 artigos mais citados da amostra, que estão listados na tabela 1.

Tabela 1-
Artigos mais citados, no período de 1980 a 2013 (até fevereiro)

A dinâmica do processo de contratação é o tema central de Hefetz e Warner (2004). Na visão dos autores, a adoção de sistemas formais de monitoramento é fundamental para garantir o sucesso da contratação de bens e serviços públicos, que exige especificações e critérios claros para a avaliação do seu desempenho. A principal crítica em relação à medição de desempenho consiste em falhas relacionadas com negligência à voz do cidadão (Hefetz e Warner, 2004). A pesquisa evidencia como desafios impostos ao gestor público: a complexidade da prestação de serviços públicos, as limitações das abordagens de mercado e a necessidade de envolver o cidadão.

A pesquisa de Fernandez e Rainey (2006) trata da gestão da mudança organizacional. Os autores identificaram na literatura sete fatores sobre mudança organizacional, que são considerados pontos consensuais e oferecem proposições adequadas para testes e refinamentos em pesquisas futuras. Para os autores, a mensuração e avaliação de desempenho integram o fator de institucionalização das mudanças organizacionais, que devem ser incorporadas à rotina dos seus membros. É preciso que os gestores acompanhem, por meio da mensuração de desempenho, a extensão da adoção das mudanças, assegurando que não se retorne a velhos padrões e comportamentos (Fernandez e Rainey, 2006).

O trabalho empírico de Heinrich (2002) aborda as implicações da gestão de desempenho na gestão pública. A autora pondera que a avaliação de desempenho de programas públicos sofre a influência da estrutura organizacional nas escolhas políticas, nas restrições e nas práticas de prestação de serviços. No contexto público devem ser consideradas as mudanças frequentes de prioridades políticas; administrativas e profissionais; os conflitos partidários dentro das burocracias e a integração às vezes precária entre níveis de governo e autoridades formais e informais (Heinrich, 2002).

A pesquisa de Kravchuk e Schack (1996) foca o design de sistema de medição de desempenho no âmbito do Government Performance and Results Act (GPRA), que consiste na adoção da administração gerencial pela administração pública federal americana, a partir de 1993. Os autores ressaltam que, ao final dos anos 1980, em todos os setores econômicos tornou-se evidente o interesse na prática de um ambiente de gestão eficaz. Para que isso ocorra, é preciso incorporar um sistema de medição de desempenho com controle de medidas apropriado, que assegure o alinhamento das atividades com o objetivo maior da organização (Kravchuck e Schack, 1996).

A gestão do desempenho, a avaliação e a aprendizagem nos governos locais modernos são o foco do artigo de Sanderson (2001). Para o autor, no Reino Unido, o desenvolvimento da gestão de desempenho no contexto do New Public Management (NPM) teria sido basicamente top-down, com o predomínio da preocupação pelo accountability (responsabilização) em detrimento da promoção da aprendizagem e da adoção como um mecanismo de mudança. O autor assevera que as autoridades locais precisam desenvolver a capacidade de produzir mudanças, consistentes com as metas e objetivos desejados, a partir das evidências produzidas pela medição de desempenho. Além disso, é preciso mudar a cultura organizacional, assegurando que a avaliação seja incorporada à rotina (Sanderson, 2001).

Townley e colaboradores (2003) abordam em seu artigo a medição de desempenho e a racionalização das organizações, analisando a introdução de medidas de desempenho na província de Alberta, no Canadá. Para os autores, a operacionalização da "reinvenção do governo" (Osborne e Gaebler, 1992) por meio de medidas de planejamento e medição de desempenho envolve a racionalidade instrumental, ou seja, pela relação "meios-fins", e a ação comunicativa, isto é, com princípios validados pelo grupo. Os autores relatam o predomínio da racionalidade instrumental na introdução dos sistemas formais de medição de desempenho na província de Alberta.

Um estudo exploratório sobre a "reinvenção" em 1.200 municípios dos Estados Unidos é o foco do artigo de Moon e colaboradores (2001). Os autores sugerem que a adoção da reinvenção municipal é associada à condição, dimensão econômica e aos fatores institucionais, como sindicato e tipo de governo. O termo "reinvenção" é uma alusão ao termo cunhado por Osborne e Gaebler (1992) na obra Reinventing government, que ressalta a necessidade urgente de mudanças nos setores públicos do mundo inteiro.

O artigo de Townley (1997) tem como enfoque a lógica institucional da avaliação de desempenho de acadêmicos em universidades do Reino Unido. A pesquisa ilustra o jogo de pressões por isomorfismo e as fontes de resistência nas universidades a essa pressão. Para a autora, as universidades, em face da sua dependência por recursos públicos e da legitimidade do modelo de eficiência do setor privado, são particularmente vulneráveis às pressões por isomorfismo. A avaliação de desempenho, para Townley (1997), é um poderoso mito institucional, constituindo parte daquilo que a organização necessita para legitimar-se.

A pesquisa de Moynihan (2006) avalia a implementação da reforma da gestão pública nos Estados Unidos. O autor afirma que a gestão por resultados foi parcialmente adotada no caso estudado; considera ainda que os governos estaduais dos Estados Unidos enfatizaram o planejamento estratégico e a avaliação de desempenho, mas foram menos bem-sucedidos na implementação de reformas que aumentam a autoridade gerencial.

O texto de Pratchett (1999) trata do uso de tecnologia de informação e comunicação (TIC) ou e-government na administração pública contemporânea. Para o autor, as novas tecnologias de informação podem fornecer informações geradas externamente às organizações públicas, que facilitem a compressão de contextos sociais e econômicos. Pratchett (1999) ainda afirma que o estudo realizado no governo do Reino Unido sugere uma ênfase exagerada na medição de desempenho.

Gráfico 2
Distribuição temporal das citações aos 10 artigos mais citados na base WoS

A distribuição temporal dos 10 artigos mais citados (gráfico 2) revela que 70% foram publicados no período de 2001 a 2006 e que as primeiras citações começaram em 1997, intensificando-se em 2003, com um pico em 2001, atingindo o patamar de 78 citações.

Os artigos coletados tiveram suas publicações concentradas em 105 periódicos. A tabela 2 apresenta os 14 periódicos que mais publicaram no tema medição de desempenho na gestão pública, e juntos eles acumulam 137 (51%) dos 268 artigos da amostra. Destaca-se que 67 periódicos continham um único artigo.

É possível verificar, pelos dados da tabela 2, que há uma concentração das publicações - 124 (91%) - em periódicos da temática da administração pública, destacando-se os periódicos International Review of Administrative Sciences, Public Administration Review e Public Money & Management.

No período de 2000 a 2009, 72 artigos foram publicados nos periódicos da tabela 2, representando um aumento expressivo, comparado aos 21 publicados na década anterior. Já no período de 2010 a 2013 (até fevereiro), foram publicados 42 trabalhos científicos, com destaque para o aumento no número de artigos publicados no periódico Review of Public Personnel Administration, de dois (de 2000 a 2009) para seis (de 2010 a 2013).

Tabela 2-
Publicações nos periódicos que mais publicaram sobre medição de desempenho na gestão pública

• Fonte: Elaboração própria.

Nota: * indica que o ano de 2013 compreende até fevereiro.

Também observa-se que a partir de 2000 surgiram artigos sobre medição de desempenho na gestão pública em periódicos de outras áreas como o The International Journal of Human Resource Management, que é voltado para a área de gestão de pessoas, e também no International Journal of Operations & Production Management, que é um periódico europeu voltado para gestão de operações.

Outra análise importante está sobre a rede de colaboração entre os coautores dos artigos da amostra, considerando o país de origem da instituição de pesquisa de filiação do autor. A figura 2 ilustra o mapa de distribuição geográfica da rede de colaboração dos países mais influentes quanto à publicação de artigos sobre o tema medição de desempenho na gestão pública, em que as linhas representam as parcerias existentes. Observa-se no mapa, gerado por meio do Google Earth e o CiteSpace II, que as conexões existentes compreendem parcerias entre autores de instituições de pesquisa concentradas nos Estados Unidos, Canadá, Europa e Austrália.

Uma visualização mais detalhada sobre a rede de colaboração está ilustrada na figura 3, que foi traçada utilizando-se do software CiteSpace II para o período de 1983 a 2013 (até fevereiro) e restringindo-se os países com frequência de artigos maior ou igual a dois.

Figura 2
Mapa de distribuição geográfica da rede de colaboração de coautoria

A rede é constituída por 49 países (nós) e o valor da densidade da rede é 0,0272, indicando que apenas 2,72% de todas as conexões possíveis foram estabelecidas. Os tamanhos dos nós indicam o número de publicações, sendo um anel para cada segmento de tempo a partir da primeira publicação, e as cores representam o ano de publicação do artigo, em que as escuras representam as publicações mais antigas e as claras as mais recentes, conforme o mapeamento que associa cores a segmento de tempo apresentado na parte superior da figura 3.

Figura 3
Rede de coautoria por país

Nota-se que a rede de colaboração de coautoria por país é constituída de um componente principal que conecta os países mais representativos na literatura sobre medição de desempenho na gestão pública. Nesse caso, a rede indica que a maior parcela (18% com 68 artigos) dos trabalhos é oriunda dos Estados Unidos e da Inglaterra (5% com 48 artigos). Destacam-se também a Austrália com 14 artigos, o Canadá com 12, a Itália e Holanda com 11 publicações cada um.

Quanto às conexões, representadas pelas linhas que ligam os nós (países), elas apontam as parcerias de coautoria entre instituições estrangeiras. Além da rede principal, nota-se a existência de países onde as publicações aparecem isoladas, como a Grécia, a Alemanha, a Turquia e a Índia, demonstrando uma ausência de parcerias com pesquisadores de instituições estrangeiras.

Já os anéis escuros na parte externa (figura 3) diferenciam os países com maior centralidade, sendo a Inglaterra com 0,32, seguida pelos Estados Unidos com 0,26. Para Marteleto (2001), quanto mais central é um indivíduo, mais bem posicionado ele é em relação à troca e à comunicação, o que aumenta seu poder na rede.

As conexões representadas pelas linhas que ligam os nós (países) demonstram as parcerias de coautoria entre instituições estrangeiras.

O Canadá e os Estados Unidos apresentam parcerias desde 1999, com o artigo The relationship between performance appraisal and indulgence in the evaluation process de autoria dos pesquisadores Denis Morin, pesquisador da Universidade de Quebec (Canadá), Kevin R Murphy, da Universidade de Colorado (Estados Unidos) e Alain Larocque, da Universidade Laval (Canadá). Enquanto a colaboração entre Inglaterra e Irlanda teve origem em 2000 com o artigo Coping with ambiguity: reconciling external legitimacy and organizational implementation in performance measurement, de autoria dos pesquisadores Alan Lawton, da Open University Business School (Inglaterra), David McKevitt, da University of Limerick (Irlanda), e Michelle Millarc, da National University of Ireland (Irlanda).

Outra análise sobre os países permite a identificação de suas instituições de pesquisas que se destacam. A tabela 3 lista as 10 instituições de pesquisa com maior número de publicação sobre a medição de desempenho na gestão pública.

Tabela 3-
Instituições de pequisa que mais publicaram artigos sobre medição de desempenho na gestão pública, no período de 1980 a 2013 (até fevereiro)

Fonte: Elaboração própria com resultados do CiteSpace II.

A Universidade de Manchester, na Inglaterra, é a que apresenta o maior número de artigos. Dessa universidade destacam-se os seguintes pesquisadores e temas: Claire Moxham com pesquisas sobre medição de desempenho em organizações sem fins lucrativos; Paul Clarkson com a avaliação e implementação de sistemas de medição de desempenho no serviço de saúde público inglês; e Sven Modell com a gestão da contabilidade e controle na gestão pública.

A Universidade de Wisconsin, nos Estados Unidos, ocupa a segunda posição em relação ao número de artigos e tem como representantes autores como Donald Moynihan e Carolyn Heinrich, que possuem artigos listados entre os 10 mais citados da amostra.

As análises das publicações permitiram identificar algumas características da literatura sobre medição de desempenho na gestão pública, tais como: períodos de destaque no número de publicações e citações; periódicos mais citados; colaboração entre países e instituições de pesquisa; e artigos mais citados.

A seção seguinte apresenta a análise das cocitações de autores mais frequentes e influentes nos artigos da amostra.

3.2 Análise das cocitações de autores

Além dos trabalhos mais citados, foram analisadas as relações de cocitação dos autores das referências em trabalhos de terceiros. Inicialmente, foi gerada a rede de cocitação entre os autores, por meio da abordagem Author Co-citation Analysis (ACA), considerando todas as referências da amostra, no CiteSpace II (Chen, 2006). Os autores presentes em cada artigo foram cruzados entre si. Em seguida, essas cocitações foram agrupadas em conglomerados denominados clusters.

A figura 4 apresenta a rede de cocitação de autores processada a partir de 12.162 referências (93,89% do total), sendo formada por 902 nós (autores) e 4.107 links (conexões), que resultaram em 15 clusters. O resultado da pesquisa indica uma baixa densidade (0,01) que implica uma baixa conectividade entre os autores.

Figura 4
Rede completa de autores cocitados e componente principal - cluster 9

A análise da rede de cocitação aponta o cluster 9 como componente principal. Ele possui 782 autores e concentra 87% dos autores cocitados pelos artigos da amostra. A partir dos anos das citações dos pares de autores, observa-se uma grande amplitude entre os anos das publicações, sendo a mais antiga publicada em 1914 por Morris Llewellyn Cooke e as mais recentes em 2011, como o relatório de auditoria do National Audit Office of Estonia, o artigo da pesquisadora Jasmijn Bol que aborda a medição de desempenho individual, além do artigo sobre redes de pesquisa sobre governança da australiana Jenny Lewis.

Uma análise complementar a partir dos resultados do CiteSpace II revela que os autores mais influentes e centrais estão concentrados no componente principal (cluster 9). O gráfico 3 apresenta os 15 autores mais cocitados, que pertencem ao cluster 9 (figura 4).

O autor mais citado e central é Christopher Pollitt, autor de vários livros de referência na área da administração pública. Além dos autores convencionais, destacam-se também os relatórios de auditoria da Comissão de Auditoria para a Inglaterra e País de Gales, que inclui os governos municipais, a polícia e o Serviço Nacional de Saúde.

A presença da literatura não convencional ou "literatura cinzenta" (grey literature) demonstra a importância dos relatórios como referências para os artigos sobre medição de desempenho na gestão pública. Segundo Côrtes (2006), é frequente o uso de relatórios técnicos, balanços contábeis, informes governamentais e boletins técnicos na fundamentação de procedimentos, análise de desempenho e avaliação da competitividade de determinados setores. Neste sentido, Côrtes (2006) afirma que a literatura cinzenta disponível em sites de órgãos oficiais e instituições não governamentais constitui fontes primordiais de informações setoriais.

Gráfico 3
Relação dos 15 autores mais citados e/ou influentes identificados nos artigos da amostra

A análise das cocitações permitiu identificar os autores mais citados, os mais centrais, e ainda revelou que a literatura cinzenta exerce grande influência no tema medição de desempenho na gestão pública.

A seção seguinte analisa as cocitações das referências mais importantes considerando citação e centralidade e os pares de documentos mais importantes.

3.3 Análise das cocitações de referências

Essa última análise está sobre as relações de coocorrência das citações em trabalhos de terceiros a partir da abordagem de similaridade entre referências DCA (Document Co-citation Analysis) pelo CiteSpace II (Chen, 2006).

Com o objetivo de eliminar as referências duplicadas, considerando todas as referências da amostra, procedeu-se ao refinamento dos dados, que envolveu a geração da rede, seguido pela conferência das referências em uma planilha eletrônica, o que permitiu padronizá-las. O refinamento foi realizado três vezes, até a geração de uma rede de cocitações - figura 5 - composta por 1.087 nós (referências), 4.209 links (conexões), 72 clusters de cocitações, totalizando 12.162 referências (93,89% do total).

A densidade da rede é de 0,71%, o que indica uma baixa conectividade. Na parte central da rede observa-se o principal cluster (48), constituído por 228 membros, tendo 1998 como principal ano de publicação. Estão identificados na figura os clusters 44, 19, 71 e 53, que formam, juntamente com o 48, os cinco principais clusters de cocitações de referências. Os rótulos da ilustração do lado direito identificam as referências com citação maior ou igual a 10.

Figura 5
Rede completa de documentos cocitados pelos artigos da amostra e componente principal - cluster 48

No principal componente (cluster 48), com maior número de documentos cocitados, a citação mais atual é o capítulo de livro The UK Research Assessment Exercise (RAE) de Martin e Whitley (2010) em Reconfiguring knowledge production: changing authority relationships in the sciences and their consequences for intellectual. O capítulo trata da avaliação da pesquisa nas universidades vinculada a dotações financeiras. A referência mais antiga presente no principal cluster é o artigo de Flanagan, publicado em 1954 no periódico Psychological Bulletin, que aborda os requisitos comportamentais para medidas de desempenho.

O cluster 44 apresenta 49 membros em sua composição, com publicações predominantes em 1984. A referência mais recente a de Ezzamel (1994), que analisa o sistema de orçamentação no processo de mudança organizacional em uma Universidade do Reino Unido, em um contexto de redução de financiamento estatal. Já a referência mais antiga no cluster é o artigo de Gouldner (1957), que estuda os papéis sociais analisando o vínculo do indivíduo no contexto do trabalho. A referência com maior grau de centralidade é o artigo de Freidson (1984) que aborda a sociologia da saúde.

O cluster 19 está isolado em relação aos demais, sendo constituído por 39 referências publicadas predominantemente em 1974. Dentre os cinco maiores clusters, o 19 é o que possui as publicações mais antigas, como o livro Politics, economics and welfare de Dahl e Lindblom (1953) sobre organizações e economia política, que também apresenta a maior frequência no âmbito do cluster. No cluster 19, não foram observadas referências centrais ao se considerar o total de referências.

No cluster 53, as 34 referências agrupadas foram publicadas predominantemente em 1993, sendo a referência mais recente a de Adair e colaboradores (2003), que trata de uma revisão da literatura sobre medição de desempenho no sistema de saúde e serviços de saúde mental. Esse cluster apresenta referências com alto grau de citação, considerando o total da amostra, como Pollitt (1993) e Carter e colaboradores (1992), sendo o artigo de Neil Carter o mais influente no grupo, pois possui a maior centralidade (0,08).

As 28 referências do cluster 71 foram publicadas no período de 1980 a 1990, e os mais recentes são os artigos de Dell'Omo (1990) e Couper (1990). Já o mais antigo é Goodwin (1979).

Na identificação das referências mais importantes dos artigos da amostra, foram consideradas a frequência de citação e a centralidade. A partir desses dois indicadores bibliométricos, as 10 cocitações mais frequentes e as 10 mais centrais dispostas no gráfico 4, resultando em 15 referências (figura 5), constituindo-se por nove artigos e seis livros.

A referência mais frequente é o livro de Osborne e Gaebler (1992), seguido pelo artigo de Hood (1995) e o artigo de Poister e Streib (1999). Já as referências mais centrais são as de Brignall e Modell (2000), o artigo de Dimaggio e Powell (1983) e o livro de Carter e colaboradores (1992).

A partir dos dados do gráfico 4, foi gerada uma rede de cocitações no NetDraw (figura 6), considerando as 15 referências mais influentes. A rede apresenta os artigos citados conjuntamente, considerando as referências mais citadas na amostra. O tamanho do nó representa a frequência da referência e a espessura da linha representa a frequência da parceria.

Gráfico 4
mais citadas e centrais identificadas nos artigos da amostra

Os pares de documentos com maior número de cocitação são os trabalhos de Kaplan e Norton (artigo de 1992 e livro de 1996); os artigos de Melkers e Willoughby (2005) e Julnes e Holzer (2001); e os artigos de Melkers e Willoughby (2005) e Poister e Streib (1999).

Como resultado, pode-se argumentar que as referências clássicas da administração pública que tratam da questão da reforma da gestão pública constituem uma base importante para a pesquisa em medição de desempenho na gestão pública, como o livro dos consultores americanos Osborne e Gaebler (1992), Reinventing government, que destaca a ideia de governo empreendedor com ênfase nos resultados da gestão pública. Outro clássico presente é o artigo de Christopher Hood publicado em 1995 no periódico Accounting Organizations and Society, com enfoque na discussão sobre o New Public Management (NPM) como alternativa para a administração pública tradicional. O NPM também é tema do livro de Christopher Pollitt e Geert Bouckaert (2004), pesquisadores da Universidade de Oxford.

Figura 6
Rede de cocitações das 15 referências mais frequentes/influentes

Também merece destaque a presença do artigo de Paul Dimaggio e Walter Powell (1983), que aborda a homogeneização das formas e práticas organizacionais.

Quanto às referências que tratam especificamente da medição de desempenho, destacam-se na formação do corpo teórico os trabalhos de Kaplan e Norton (artigo de 1992 e livro de 1996). O modelo de medição de desempenho Balanced Scorecard (BSC) proposto por Kaplan e Norton (1992) é o modelo de medição de desempenho mais difundido do mundo (Tezza et al., 2010).

Foi possível identificar, por meio das cocitações mais frequentes e também as com maior grau de centralidade, um grupo de artigos e livros que abordam especificamente a medição de desempenho no contexto da gestão pública, sendo eles: Poister e Streib (1999), Melkers e Willoughby (2005), Behn (2003), Julnes e Holzer (2001), Brignall e Modell (2000), Carter e colaboradores (1992) e Radin (2006).

A análise das cocitações de referências evidenciou que existe uma baixa conectividade entre os autores citados na rede, que apresentou quatro agrupamentos (clusters) que se destacam. Essa análise também possibilitou identificar as referências mais importantes considerando citação e centralidade e também os pares de documentos mais importantes.

4. Dados obtidos na base SciELO

Com a finalidade de levantar a produção nacional sobre o tema medição de desempenho na gestão pública, foi realizada uma busca na base de dados SciELO Brasil. Essa base foi escolhida em função do acesso aberto, qualidade e prestígio atribuído aos periódicos no cenário científico brasileiro (Santos e Noronha, 2013).

Os termos utilizados na busca da base SciELO foram "medição de desempenho" ou "avaliação de desempenho" combinados com "público" ou "pública". A busca resultou em 12 artigos publicados no período de 2002 a 2013, que são apresentados na Tabela 4.

Tabela 4-
A amostra de artigos da SciELO

A evolução temporal das publicações, bem como das citações concedidas por publicações da base SciELO, pode ser observada no gráfico 5. A linha sólida representa a evolução das publicações e a tracejada a das citações. Pode-se observar que o número de publicações e citações é crescente, com pico de publicações em 2011 (total de quatro) e de citações em 2012 (total de sete).

Gráfico 5
Publicações e citações na base SciELO

A análise dos 12 artigos apontou que o total de 21 citações recebidas por artigos da base SciELO está concentrado em quatro artigos, 33% do total.

Por meio da análise dos artigos da amostra SciELO foram identificados sete trabalhos voltados à avaliação de desempenho organizacional do setor da saúde e cinco relacionados com o desempenho do indivíduo. Dos artigos voltados ao desempenho do trabalhador, três têm como foco a área da saúde e, com um cada, tem-se como local de pesquisa o instituto de pesquisa público e as prefeituras municipais.

Quanto aos artigos relacionados com a avaliação do desempenho da organização, o artigo de Szwarcwald e colaboradores (2005) é o que recebeu o maior número de citações na base SciELO. Os autores, por meio de informações coletadas na Pesquisa Mundial de Saúde (PMS), abordam a avaliação de desempenho do sistema de saúde brasileiro, apresentando evidências de desigualdades socioeconômicas que devem ser consideradas nas políticas públicas do sistema de saúde. Já o artigo de Varela e colaboradores (2012) propõe uma metodologia de avaliação de desempenho dos municípios paulistas em ações de atenção à saúde.

O artigo de Mota e colaboradores (2012) aborda a avaliação de desempenho do Sistema de Vigilância Sanitária de Sangue em âmbito federal, enquanto o artigo de Sancho e colaboradores (2011) enfoca a avaliação da rede municipal pública de apoio diagnóstico em patologia clínica em Belo Horizonte (MG). Já a avaliação econômica de hospital universitário público é tema dos artigos de Bonacim e Araujo (2010, 2011).

O artigo de Braz e colaboradores (2013) aborda a qualidade da informação, especificamente a variável raça/cor, no âmbito do Índice de Desempenho do Sistema Único de Saúde instituído pelo Ministério da Saúde.

No tocante aos trabalhos voltados à avaliação de desempenho do indivíduo também há um predomínio dos artigos voltados à área da saúde, como Fonseca e Vieira (2011), Pierantoni e colaboradores (2011) e Moraes e Iguti (2013).

O artigo de Ubeda e Santos (2008) aborda a avaliação de desempenho como forma de identificar as competências individuais em um instituto público de pesquisa, enquanto a pesquisa de Lotta (2002) trata da avaliação de desempenho de trabalhadores em duas prefeituras, São Paulo (Brasil) e Sonthofen (Alemanha).

Os artigos coletados tiveram suas publicações concentradas em oito periódicos (tabela 5). Observa-se uma concentração das publicações - nove (75%) - em periódicos da área da saúde, destacando-se o periódico Ciências & Saúde Coletiva com quatro artigos (33% do total da amostra).

Nota-se também a presença de artigos sobre medição de desempenho na gestão pública em periódicos de outras áreas como Ciências Sociais Aplicadas, RAE Eletrônica, Revista de Administração (São Paulo) - RAUSP e Gestão & Produção na área de Engenharias.

No período de 2010 a 2013, foram publicados nove trabalhos científicos, o triplo da quantidade de artigos publicados na década anterior.

Analisando as referências, observa-se uma pulverização das citações, com apenas cinco (1,48%) do total de referências (337) recebendo mais de uma citação pelos artigos da amostra. Dessa forma, não foi possível evidenciar uma referência e autor de destaque. Nas referências dos artigos analisados na base SciELO não foram observadas convergências significativas com as referências identificadas na base do WoS.

Tabela 5-
Publicações nos periódicos que publicaram sobre medição de desempenho na gestão pública na base SciELO

5. Considerações finais

A partir desta pesquisa foi possível apresentar um panorama da produção intelectual no campo da medição de desempenho na gestão pública na Web of Science, por meio da análise bibliométrica. Para fins de comparação com a produção nacional também foram analisados artigos da base SciELO.

A pesquisa efetuada permitiu constatar que na WoS tanto as publicações quanto as citações relacionadas com a medição de desempenho na gestão pública tiveram um aumento expressivo a partir de 1997, época em que surgiu a Nova Gestão Pública (New Public Management).

As publicações sobre medição de desempenho na gestão pública surgiram em sua maioria a partir de 2008 e os 10 artigos mais citados têm suas publicações entre os períodos de 1996 e 2006. Isso demonstra que o campo de pesquisa é recente e emergente.

Os journals que mais se destacaram em relação à temática em estudo foram cinco: International Review of Administrative Sciences, Public Administration Review, Public Money & Management, The International Journal of Human Resource Management, Review of Public Personnel Administration e International Journal of Operations & Production Management. Os três primeiros estão relacionados com a administração pública e os dois últimos relacionam-se às áreas de gestão de pessoas e de gestão de operações.

Outra evidência dessa pesquisa indica que as parcerias de pesquisa estão concentradas nos Estados Unidos, Canadá, Europa e Austrália, com destaque para Estados Unidos e Inglaterra. No que tange à instituição de pesquisa, a Universidade de Manchester, na Inglaterra, é a que apresenta o maior número de artigos, com destaque para os pesquisadores Claire Moxham, Paul Clarkson e Sven Modell.

A pesquisa também revela o autor Christopher Pollitt como de maior destaque, sendo referência na área da administração pública devido à publicação de vários livros.

Outro destaque está para a literatura não convencional ou "literatura cinzenta" (grey literature, em inglês), demonstrando a relevância para o tema de medição de desempenho na gestão pública como os relatórios de auditoria da Comissão de Auditoria para a Inglaterra e País de Gales.

A pesquisa também permitiu identificar os pares de documentos com maior número de cocitações, que são: Kaplan e Norton (artigo de 1992 e livro de 1996); os artigos de Melkers e Willoughby (2005) e Julnes e Holzer (2001); e os artigos de Melkers e Willoughby (2005) e Poister e Streib (1999). Ao lado disso, pôde-se perceber que os trabalhos de Kaplan e Norton, tanto no artigo de 1992 quanto no livro de 1996, são utilizados para a inserção do tema medição de desempenho na gestão pública. Já os trabalhos que fazem mediação dos temas medição de desempenho e gestão pública são os seguintes: Poister e Streib (1999), Melkers e Willoughby (2005), Behn (2003), Julnes e Holzer (2001), Brignall e Modell (2000), Carter e colaboradores (1992) e Radin (2006).

Quanto à produção nacional, o tema medição de desempenho no setor público revelou-se como emergente na base SciELO com pico de publicações em 2011 e de citações em 2012. Observa-se uma concentração de artigos em periódicos da área da saúde, com destaque para o Ciências & Saúde Coletiva e o Saúde em Debate. O achado da literatura cinzenta também foi identificado na pesquisa da base SciELO, com destaque para os instrumentos legais e normativos como do Ministério da Saúde e da Agência Nacional de Vigilância Sanitária (Anvisa). Dadas a limitação do tamanho da amostra nacional e a pulverização das citações concedidas não foi possível destacar um autor ou uma referência dos dados provenientes da base SciELO.

Outra contribuição deste artigo está no próprio método de análise dos dados da WoS, na medida em que apresenta a integração entre softwares de análises bibliométricas e acrescenta a etapa de validação e padronização das referências. A integração dos softwares Sitkis, Netdraw e CiteSpace II possibilitou que a rede fosse refinada, isolando os pares de documentos mais cocitados. Já a validação e padronização concederam maior confiabilidade dos indicadores de centralidade e frequência de autores e documentos ao eliminar as referências duplicadas e corrigir erros de importação dos dados dos softwares.

Finalmente, pode-se concluir que a literatura sobre medição de desempenho na gestão pública é emergente, sendo composta por livros, relatórios técnicos e artigos científicos. Isso abre muitas possibilidades de pesquisa, como a de estudar os autores mais citados ou cocitados, além da análise bibliométrica, para identificar suas características, o porquê de eles serem tão populares, e assim por diante. Também seria interessante estudar, por meio de análise de conteúdo, os autores que servem de ligação entre os demais autores e, ainda, os periódicos apontados como mais importantes.

Uma limitação imposta pela abordagem metodológica refere-se à delimitação da amostra extraída da base de dados internacional (Web of Science) e nacional (SciELO). Por isso, é possível que alguns artigos aderentes ao tema possam não ter sido selecionados.

• ADAIR, Carol E. et al. History and measurement of continuity of care in mental health services and evidence of its role in outcomes. Psychiatric Services, v. 54, n. 10, p. 1351-1356, 2003.
• BEHN, Robert D. Why measure performance? Different purposes require different measures. Public Administration Review, v. 63, n. 5, p. 586-606, 2003.
• BITITCI, Umit et al. Performance measurement: challenges for tomorrow. International Journal of Management Reviews, v. 14, n. 3, p. 305-327, 2012.
• BONACIM, Carlos A. G.; ARAUJO, Adriana M. P. de. Avaliação de desempenho econômico-financeiro dos serviços de saúde: os reflexos das políticas operacionais no setor hospitalar. Ciênc. Saúde Coletiva, Rio de Janeiro, v. 16, n. supl. 1, p. 1055-1069, 2011.
• BONACIM, Carlos A. G.; ARAUJO, Adriana M. P. de. Influência do capital intelectual na avaliação de desempenho aplicada ao setor hospitalar. Ciênc. Saúde Coletiva, Rio de Janeiro, v. 15, n. supl. 1, p. 1249-1261, jun. 2010.
• BORGATTI, Stephen P. NetDraw: graph visualization software. Harvard: Analytic Technologies, 2002.
• BOURNE, M. et al. Designing, implementing and updating performance measurement systems. International Journal of Operations & Production Management, v. 20, n. 7, p. 754-771, 2000.
• BRAZ, Rui M. et al. Avaliação da completude da variável raça/cor nos sistemas nacionais de informação em saúde para aferição da equidade étnico-racial em indicadores usados pelo Índice de Desempenho do Sistema Único de Saúde. Saúde Debate, Rio de Janeiro, v. 37, n. 99, p. 554-562, dez. 2013.
• BRIGNALL, Stan; MODELL, Sven. An institutional perspective on performance measurement and management in the 'new public sector'. Management Accounting Research, v. 11, n. 3, p. 281-306, 2000.
• BUFREM, Leilah; PRATES, Yara. O saber científico registrado e as práticas de medição da informação. Ciência da Informação, Brasília, v. 34, n. 2, p. 9-25, mar. 2005.
• CARTER, Neil; DAY, Patricia; KLEIN, Rudolf. How organisations measure success: the use of performance indicators in government. Londres: Routledge, 1992.
• CATELLI, Armando; SANTOS, Edilene S. Mensurando a criação de valor na gestão pública. Rev. Adm. Pública, Rio de Janeiro, v. 38, n. 3, p. 423-449, ago. 2004.
• CHADEGANI, Arif C. et al. A comparison between two main academic literature collections: Web of Science and Scopus databases. Asian Social Science, v. 9, n. 5, p. 18-26, 2013.
• CHEN, Chaomei. CiteSpace II: detecting and visualizing emerging trends and transient patterns in scientific literature. Journal of the American Society for Information Science and Technology, v. 57, n. 3, p. 359-377, 2006.
• CÔRTES, Pedro L. A importância da literatura cinzenta disponível na internet para as áreas de Ciências Contábeis e Administração de Empresas. Revista Brasileira de Gestão de Negócios, v. 8, n. 20, p. 13-22, 2006.
• COUPER, David C. Police department learns 10 hard quality lessons. Quality Progress, v. 23, n. 10, p. 37-40, 1990.
• DAHL, Robert A.; LINDBLOM, Charles E. Politics, economics, and welfare. Piscataway: Transaction Publishers, 1953.
• DELL'OMO, Gregory G. Capturing arbitrator decision policies under a public sector interest arbitration statute. Review of Public Personnel Administration, v. 10, n. 2, p. 19-38, 1990.
• DIMAGGIO, Paul J.; POWELL, Walter W. The iron cage revisited: institutional isomorphism and collective rationality in organizational fields. American Sociological Review, v. 48, n. 2, p. 147-160, 1983.
• EZZAMEL, Mahmoud. Organizational change and accounting: understanding the budgeting system in its organizational context. Organization Studies, v. 15, n. 2, p. 213-240, 1994.
• FERNANDEZ, Sergio; RAINEY, Hal G. Managing successful organizational change in the public sector. Public Administration Review, v. 66, n. 2, p. 168-176, 2006.
• FLANAGAN, John C.The critical incident technique. Psychological Bulletin, v. 51, n. 4, p. 327, 1954.
• FONSECA, João C. de F.; VIEIRA, Carlos E. C. Análise pluridisciplinar das situações de trabalho: para além da avaliação de desempenho dos trabalhadores do setor de saúde pública no estado de Minas Gerais. Saúde Soc., São Paulo, v. 20, n. 2, p. 390-397, jun. 2011.
• FRANCO-SANTOS, Monica et al. Contemporary performance measurement systems: a review of their consequences and a framework for research. Management Accounting Research, v. 23, n. 2, p. 79-119, 2012.
• FRANCO-SANTOS, Monica et al. Towards a definition of a business performance measurement system. International Journal of Operations & Production Management, v. 27, n. 8, p. 784-801, 2007.
• FREIDSON, Eliot. The changing nature of professional control. Annual Review of Sociology, v. 10, p. 1-20, 1984.
• GARFIELD, Eugene. Is citation analysis a legitimate evaluation tool? Scientometrics, Amsterdã, v. 1, n. 4, p. 359-375, 1979.
• GONZÁLEZ, Mario O. A.; TOLEDO, José Carlos de. A integração do cliente no processo de desenvolvimento de produto: revisão bibliográfica sistemática e temas para pesquisa. Produção, São Paulo, v. 22, n. 1, p. 14-26, 2012.
• GOODWIN, Van Allyn. Federal sector arbitration under the civil service reform act of 1978. San Diego L. Rev., v. 17, n. 4, p. 857-894, 1979.
• GOULDNER, A. W. Cosmopolitans and locals: toward an analysis of latent social rotes - I. Administrative Science Quarterly, v. 2, n. 3, p. 281-306, 1957.
• HANNEMAN, Robert A.; RIDDLE, Mark. Introduction to social network methods. Riverside, CA: University of California, 2005.
• HEFETZ, Amir; WARNER, Mildred. Privatization and its reverse: explaining the dynamics of the government contracting process. Journal of Public Administration Research and Theory, v. 14, n. 2, p. 171-190, 2004.
• HEINRICH, Carolyn J. Outcomes-based performance management in the public sector: implications for government accountability and effectiveness. Public Administration Review, v. 62, n. 6, p. 712-725, 2002.
• HOOD, Christopher. The "New Public Management" in the 1980s: variations on a theme. Accounting, organizations and society, v. 20, n. 2, p. 93-109, 1995.
• JULNES, Patria de L.; HOLZER, Marc. Promoting the utilization of performance measures in public organizations: An empirical study of factors affecting adoption and implementation. Public Administration Review, v. 61, n. 6, p. 693-708, 2001.
• KAPLAN, Robert S.; NORTON, David P. The balanced scorecard - measures that drive performance. Harvard Business Review, v. 70, n. 1, p. 71-79, jan./fev. 1992.
• KAPLAN, Robert S.; NORTON, David P. The balanced scorecard: translating strategy into action. Nova York: Harvard Business Review Press, 1996.
• KRAVCHUK, Robert S.; SCHACK, Ronald W. Designing effective performance-measurement systems under the Government Performance and Results Act of 1993. Public Administration Review, v. 56, n. 4, p. 348-358, 1996.
• LACERDA, Rogério T. O. et al. Uma análise bibliométrica da literatura sobre estratégia e avaliação de desempenho. Gestão & Produção, v. 19, n. 1, p. 59-78, 2012.
• LOTTA, Gabriela S. Avaliação de desempenho na área pública: perspectivas e propostas frente a dois casos práticos. RAE electron. São Paulo, v. 1, n. 2, p. 1-12, dez. 2002. Disponível em: <www.scielo.br/scielo.php?script=sci_arttext&pid=S1676-56482002000200012&lng=pt&nrm=iso>. Acesso em: 15 jul. 2014.
  » <www.scielo.br/scielo.php?script=sci_arttext&pid=S1676-56482002000200012&lng=pt&nrm=iso>
• MARTELETO, Regina M. Análise de redes sociais - aplicação nos estudos de transferência da informação. Ciência da Informação, Brasília, v. 30, n. 1, p. 71-81, jan./abr. 2001.
• MARTIN, Ben; WHITLEY, Richard. The UK research assessment exercise: a case of regulatory capture? In: WHITLEY, Richard; GLAESER, Jochen; ENGWALL, Lars (Ed.). Reconfiguring knowledge production changing authority relationships in the sciences and their consequences for intellectual innovation. Oxford: Oxford University Press, 2010. p. 51-80.
• MELKERS, Julia; WILLOUGHBY, Katherine. Models of performance-measurement use in local governments: understanding budgeting, communication, and lasting effects. Public Administration Review, v. 65, n. 2, p. 180-190, 2005.
• MOON, M. Jae et al. Municipal reinvention: managerial values and diffusion among municipalities. Journal of Public Administration Research and Theory, v. 11, n. 3, p. 327-352, 2001.
• MORAES, Paulo N. de; IGUTI, Aparecida M. Avaliação do desempenho do trabalhador como forma peculiar de prescrição do trabalho: uma análise do PMAQ-AB. Saúde Debate, Rio de Janeiro, v. 37, n. 98, p. 416-426, set. 2013.
• MOTA, Daniel M. et al. Avaliação do Sistema de Vigilância Sanitária do Sangue em âmbito federal, Brasil, 2007. Ciênc. Saúde Coletiva, Rio de Janeiro, v. 17, n. 1, p. 191-202, jan. 2012.
• MOTTA, Paulo Roberto de M. O estado da arte da Gestão Pública. RAE-Revista de Administração de Empresas, v. 53, n. 1, p. 82-90, 2013.
• MOYNIHAN, Donald P. Managing for results in state government: evaluating a decade of reform. Public Administration Review, v. 66, n. 1, p. 77-89, 2006.
• MUGNAINI, Rogério et al. Indicadores bibliométricos da produção científica brasileira: uma análise a partir da base Pascal. Ciência da Informação, Brasília, v. 33, n. 2, p. 123-131, 2004.
• NUDURUPATI, S. S. et al. State of the art literature review on performance measurement. Computers & Industrial Engineering, v. 60, n. 2, p. 279-290, 2011.
• OSBORNE, David; GAEBLER, Ted. Reinventing government: how the entrepreneurial spirit is transforming the public sector. Reading, MA: Addison-Wesley, 1992.
• PIERANTONI, Celia Regina et al. Avaliação de desempenho: discutindo a tecnologia para o planejamento e gestão de recursos humanos em saúde. Rev. Esc. Enferm. USP, São Paulo, v. 45, n. spe, p. 1627-1631, dez. 2011.
• POISTER, Theodore H.; STREIB, Gregory D. Strategic management in the public sector: concepts, models, and processes. Public Productivity & Management Review, v. 22, n. 3, p. 308-325, 1999.
• POLLITT, Christopher. Managerialism and the public services: cuts or cultural change in the 1990s? Oxford: Blackwell, 1993.
• POLLITT, Christopher; BOUCKAERT, Geert. Reforma managementului public: analizã comparatã. Status: Published, 2004.
• PRATCHETT, Lawrence. New technologies and the modernization of local government: an analysis of biases and constraints. Public Administration, v. 77, n. 4, p. 731-751, 1999.
• RADIN, Beryl. Challenging the performance movement: accountability, complexity, and democratic values. Washington, DC: Georgetown University Press, 2006.
• SANCHO, Leyla G.; VARGENS, José M. da C.; SANCHO, Rafael G. Avaliação da efetividade da rede municipal pública de apoio diagnóstico em patologia clínica: o caso de Belo Horizonte (MG). Ciênc. Saúde Coletiva, Rio de Janeiro, v. 16, n. supl. 1, p. 1135-1144, 2011.
• SANDERSON, Ian. Performance management, evaluation and learning in 'modern' local government. Public Administration, v. 79, n. 2, p. 297-313, 2001.
• SANO, Hironobu; ABRUCIO, Fernando Luiz. Promessas e resultados da Nova Gestão Pública no Brasil: o caso das organizações sociais de saúde em São Paulo. Revista de Administração de Empresas, v. 48, n. 3, p. 64-80, 2008.
• SANTOS, Solange M. dos; NORONHA, Daisy P. Periódicos brasileiros de ciências sociais e humanidades indexados na base SciELO: características formais. Perspect. Ciênc. Inf., Belo Horizonte, v. 18, n. 2, p. 2-16, jun. 2013.
• SCHILDT, H. A. SITKIS: software for bibliometric data management and analysis v0.6.1. Helsinki: Institute of Strategy and International Business, 2002.
• SPEKLÉ, Roland F.; VERBEETEN, Frank H. M. The use of performance measurement systems in the public sector: effects on performance. Management Accounting Research, v. 25, n. 2, p. 131-146, 2014.
• SPINAK, Ernesto. Diccionário enciclopédico de bibliometría, cienciometría e informetría. Montevidéu: Unesco, 1996.
• SZWARCWALD, Célia L. et al. Desigualdades socioeconômicas em saúde no Brasil: resultados da Pesquisa Mundial de Saúde, 2003. Rev. Bras. Saúde Mater. Infant., Recife, v. 5, supl. 1, p. S11-S22, dez. 2005.
• TAGUE-SUTCKIFFE, Jean. An introduction to informetrics. Information Processing & Management, v. 28, n. 1, p. 1-3, 1992.
• TAHAI, Alireza; MEYER Meyer J. A revealed preference study of management journals' direct influences. Strategic Management Journal, v. 20, n. 3, p. 279-296, 1999.
• TAYLOR, Andrew; TAYLOR, Margaret. Operations management research: contemporary themes, trends and potential future directions. International Journal of Operations & Production Management, v. 29, n. 12, p. 1316-1340, 2009.
• TEZZA, Rafael et al. Sistemas de medição de desempenho: uma revisão e classificação da literatura. Gestão & Produção, São Carlos, v. 17, n. 1, p. 75-93, jan./mar. 2010.
• TOWNLEY, Barbara. The institutional logic of performance appraisal. Organization Studies, v. 18, n. 2, p. 261-285, 1997.
• TOWNLEY, Barbara et al. Performance measures and the rationalization of organizations. Organization Studies, v. 24, n. 7, p. 1045-1071, 2003.
• UBEDA, Cristina L.; SANTOS, Fernando C. A. Os principais desafios da gestão de competências humanas em um instituto público de pesquisa. Gest. Prod., São Carlos, v. 15, n. 1, p. 189-199, abr. 2008.
• VANZ, Samile A. de S.; CAREGNATO, Sônia E. Estudos de citação: uma ferramenta para entender a comunicação científica. Em Questão, Porto Alegre, v. 9, n. 2, p. 295-307, jul./dez. 2003.
• VARELA, Patrícia S. et al. Desempenho dos municípios paulistas: uma avaliação de eficiência da atenção básica à saúde. Rev. Adm. (São Paulo), São Paulo, v. 47, n. 4, p. 624-637, dez. 2012.
• WASSERMAN, Stanly; FAUST, Katherine. Social network analysis: methods and applications. Cambridge: University Press, 1994.

Datas de Publicação

• Publicação nesta coleção
  Mar-Apr 2015

Histórico

• Recebido
  05 Nov 2013
• Aceito
  06 Out 2014