Proposta de um índice de desempenho para a Defensoria Pública da União

PROPOSAL OF A PERFORMANCE INDEX FOR THE PUBLIC DEFENDER’S OFFICE

Resumo

A Defensoria Pública da União (DPU) é um órgão essencial para o funcionamento do sistema de justiça, de modo que avaliar seu desempenho é fundamental para aperfeiçoar a prestação dos serviços de justiça no país. O presente artigo tem o objetivo de propor e testar empiricamente um índice de desempenho da DPU. Os dados foram coletados por meio de entrevistas com defensores e gestores e em bases oficiais secundárias do órgão, e examinados mediante análise de conteúdo e análise fatorial exploratória e confirmatória. Os resultados mostram que, na percepção dos entrevistados, o desempenho da DPU deve ter como base as seguintes categorias: produtividade, êxito, capacidade de atendimento, qualidade do serviço, celeridade, acesso, descongestionamento e atuação extrajudicial. Os resultados da análise fatorial demonstram a validade de um índice de desempenho composto por quatro fatores, quais sejam: atendimento ao cidadão, quantidade de assistidos, conciliações extrajudiciais e taxa de êxito. A aplicação do índice mostra que o desempenho da DPU vem se reduzindo ao longo dos últimos anos - 2014 a 2017.

Palavras-chave
Administração da Justiça; desempenho judicial; Defensoria Pública; índice de desempenho

Abstract

The Public Defender’s Office is essential for the Justice System functioning, so that evaluating the performance of this organization is fundamental to improving the provision of justice services in the country. This article aims to propose and test an index of performance for the Brazilian Federal Public Defender’s Office (DPU). The data were collected through interviews with defenders and managers and on secondary official bases of the organization and analyzed through content analysis and exploratory and confirmatory factorial analysis. The results show that, in the interviewees’ perception, the performance of the Public Defender’s Office should be based on the following categories: productivity, success, service capacity, quality of service, speed, access, decongesting and extrajudicial action. The results of the factorial analysis demonstrate the validity of a performance index composed of four factors, such as: assistance to citizens, number of citizens assisted, extrajudicial conciliation and success rate. The application of the index shows that the performance of the DPU has been decreasing over the last years - 2014 to 2017.

Keywords
Administration of justice; judicial performance; public defender’s office; performance index

Introdução

A Defensoria Pública da União (DPU) é o órgão responsável no Brasil pela promoção dos direitos humanos e pela defesa, em âmbito federal, dos direitos dos necessitados. Esse órgão presta assistência jurídica integral e gratuita aos cidadãos e às cidadãs em estado de vulnerabilidade social, o que abrange pessoas com renda familiar inferior a dois mil reais, bem como grupos socialmente vulneráveis, a exemplo de comunidades indígenas, remanescentes de quilombos, população LGBTI, trabalhadores e trabalhadoras resgatados de condições de trabalho análogas à escravidão, pessoas em situação de rua, catadores e catadoras de materiais recicláveis, entre outros (BRASIL, DPU, 2018).

Além da DPU, existem outras 27 defensorias públicas no Brasil, uma para cada unidade da Federação. Destaca-se que as competências da DPU não se confundem com as competências das defensorias públicas estaduais, embora o público-alvo dessas instituições seja o mesmo. A DPU atua junto às Justiças Federal, Militar, Eleitoral, do Trabalho, Tribunais Superiores e instâncias administrativas da União. A Defensoria Pública do Distrito Federal, por sua vez, junto às instâncias administrativas do Distrito Federal, aos juízes de Direito e ao Tribunal de Justiça do Distrito Federal e Territórios. As defensorias públicas estaduais atuam junto às instâncias administrativas de seus respectivos estados, bem como aos juízes de Direito e tribunais de justiça estaduais (BRASIL, 1994).

Embora haja restrições de renda para acessar os serviços de assistência jurídica gratuita, o público potencial da DPU é bastante extenso, superando 75 milhões de habitantes. Atualmente, o órgão conta com sucursais em 71 localidades do país, o que inclui todas as capitais e outros 44 municípios. Sua composição abrange mais de 600 defensores públicos, cuja atuação permitiu a prestação de assistência jurídica a 638.143 pessoas no ano de 2017 (BRASIL, DPU, 2018). A DPU é a entidade estatal voltada para a promoção do acesso à justiça, acesso esse viabilizado pelo Estado e, muitas vezes, contra o Estado, uma vez que a Defensoria atua garantindo os direitos humanos contra o aparato repressivo do Estado. Trata-se de uma instituição voltada à inversão das lógicas sociais excludentes (MOTTA, RUEDIGER e RICCIO, 2006). A independência dessa instituição influencia a capacidade de manutenção do bem-estar social, a estabilidade dos regimes democráticos e a proteção dos direitos humanos contra possíveis arbitrariedades dos governos (MADEIRA, 2014).

Tendo em vista sua importante missão institucional, o Poder Constituinte derivado conferiu recentemente à DPU autonomia funcional e administrativa, além da capacidade de encaminhar ao Congresso Nacional sua própria proposta orçamentária (BRASIL, 2013) e projetos de lei sobre sua organização (BRASIL, 2014). Em contrapartida à autonomia conferida, o legislador determinou um prazo para que a DPU conte com defensores em todas as unidades jurisdicionais do país (BRASIL, 2014). Trata-se de um desafio árduo para o órgão em um contexto de restrição fiscal, em que não é mais possível a elevação da despesa pública, tendo em vista o estabelecimento, em 2016, do teto de gastos públicos por um período de vinte anos (BRASIL, 2016).

Uma forma de superar tal desafio é concentrar os esforços na realização das capacidades da Defensoria para o recrudescimento do desempenho institucional, ampliando assim o nível de prestação de serviços. Para tanto, é fundamental que se possa mensurar o desempenho mediante índice confiável para melhor gerenciá-lo. Assim, este trabalho tem o objetivo de propor e testar um índice de desempenho da Defensoria Pública da União. Para isso, foi observada a percepção de defensores e gestores da DPU sobre os indicadores do desempenho do órgão, e, em seguida, foram coletados dados secundários oficiais para testar empiricamente o índice proposto.

Importante destacar a existência de uma associação teórica entre autonomia burocrática e qualidade do governo (FUKUYAMA, 2013), associação essa que pode se refletir em aumento de desempenho organizacional. Segundo Zahra e Jadoon (2016), a autonomia pode levar à maior eficiência no comportamento dos gerentes. No entanto, deficiências em termos de coordenação e controle entre agências públicas podem afetar negativamente o desempenho das políticas públicas conduzidas por essas agências (ZAHRA e JADOON, 2016). Nesse sentido, a autonomia poderia ser benéfica, dependendo de fatores como os mecanismos de controle envolvidos na capacidade da burocracia (FUKUYAMA, 2013).

No caso da DPU, embora haja um elevado nível de autonomia, sua capacidade é colocada em dúvida. Bersch et al. (2017), por exemplo, descrevem a DPU como um órgão com elevada autonomia e baixa capacidade (BERSCH, PRAÇA e TAYLOR, 2017). Considerando o debate sobre autonomia, capacidades e desempenho, este artigo se faz relevante por gerar informações a respeito das relações entre essas variáveis em um órgão público que foi recentemente dotado de autonomia. Além disso, o estudo se consubstancia em uma importante contribuição gerencial para a DPU, que passa a ter um instrumento validado teórica e empiricamente para a mensuração de seu desempenho organizacional. Por fim, o estudo também se mostra relevante por estabelecer uma agenda de pesquisas futuras a respeito do tema.

1. Referencial teórico

A gestão do desempenho é fundamental para a obtenção de resultados e ampliação da produtividade nas organizações (LOTTA, 2002). Os resultados gerais do desempenho das organizações são consequência da soma dos resultados individuais. Assim, ao conhecer os fatores que propiciam ou favorecem o alcance de resultados positivos individuais, é possível desenvolver estratégias ou práticas para que essas pessoas mantenham bons níveis de desempenho para a organização (FOGAÇA e COELHO JUNIOR, 2015). Além disso, avaliar o desempenho das organizações públicas é uma ferramenta de transformação no âmbito funcional, pois possibilita a identificação de falhas e o desenvolvimento de políticas profissionais para mitigá-las (LOTTA, 2002).

Os indicadores de desempenho podem ser classificados em quatro tipos: insumos, processos, produtos e resultados. Os indicadores de insumo envolvem os recursos empregados pelos órgãos públicos para apoiar os seus programas, atividades e serviços, como recursos humanos, financeiros e físicos. Os indicadores de processo referem-se aos meios utilizados para a prestação dos serviços. Os indicadores de produto, por sua vez, refletem a quantidade de produtos ou serviços efetivamente fornecidos ou concluídos. Por fim, os indicadores de resultado abrangem a qualidade dos benefícios, das atividades e o impacto dos serviços para os destinatários ou a comunidade em geral (MINASSIANS, 2015).

Avaliar o desempenho é também importante para comparar resultados obtidos e esperados (LOTTA, 2002), além de reconhecer mecanismos de acompanhamento para identificar desvios e garantir execução (BRANDÃO e GUIMARÃES, 2001). O desenvolvimento de métodos para monitoramento e avaliação do desempenho passa pelo desenvolvimento de sistemas de gestão que abarquem os inúmeros fatores relacionados ao desempenho. Busca-se retratar a realidade sem esperar que se chegue a uma realidade concreta e livre de subjetividade (BARBOSA, 1996). Esse desafio é ainda maior quando se trata de organizações do sistema de justiça, que é um sistema complexo, cujas organizações ainda são desconhecidas pela população (SADEK, 2010).

O desempenho em organizações judiciais, especialmente de tribunais, tem sido bastante pesquisado no âmbito internacional (BUSCAGLIA e ULEN, 1997; DAKOLIAS, 1999; BEENSTOCK e HAITOVSKY, 2004; BEER, 2006; MITSOPOULOS e PELAGIDIS, 2007; DIMITROVA-GRAJZL et al. 2012; JONSKI e MANKOWSKI, 2014). Também na literatura nacional já existe um corpo considerável de publicações a respeito do desempenho judicial (ABRAMO, 2010; CASTRO, 2011; YEUNG e AZEVEDO, 2012; GOMES, GUIMARÃES e AKUTSU, 2016 e 2017; GOMES e FREITAS, 2017; GOMES, ALVES e SILVA, 2018). No entanto, há pouco conhecimento teórico produzido sobre os fenômenos relativos às organizações do sistema de justiça no campo da administração pública (GOMES e GUIMARÃES, 2013; GUIMARÃES, GOMES e GUARIDO-FILHO, 2018). Isso se torna relevante em um contexto em que o desempenho judicial está intimamente relacionado à própria capacidade democrática do Estado. Nesse sentido, para o bom funcionamento da democracia, é necessário o bom desempenho das instituições da Justiça ao exercer suas funções sociais, bem como a importância de a população depositar confiança nos trabalhos realizados por tais instituições (FILGUEIRAS, 2013).

No âmbito do Judiciário, o desempenho tem sido descrito por meio de diversas dimensões, como: eficiência, que abarca a produtividade dos juízes em termos de quantidades de processos e decisões; celeridade, que contempla o tempo de duração dos processos; efetividade, relativa à confiança da população no Judiciário; qualidade, relacionada ao mérito das decisões; independência, que se refere à autonomia política de fato das organizações da Justiça; e acesso, que diz respeito à abrangência do Judiciário no interior do país (GOMES e GUIMARÃES, 2013). Além dessas dimensões, Akutsu e Guimarães (2012) acrescentam outras dimensões às quais o desempenho judicial tem sido associado na literatura: accountability, estrutura e recursos estratégicos do Poder Judiciário.

Algumas tentativas de mensuração do desempenho de organizações do sistema de justiça estão documentadas na literatura acadêmica. Alguns desses estudos focam em aspectos específicos do desempenho. Este é o caso do trabalho de Yeung e Azevedo (2012), o qual trata da mensuração da eficiência dos tribunais de justiça estaduais. Para tanto, as variáveis utilizadas como insumos tratam da força de trabalho, do número de juízes e de pessoal auxiliar, e as utilizadas como produto foram o número de sentenças no 1º grau e de decisões que põem fim ao processo no 2º grau. Os autores concluíram que a falta de recursos não é a única causa para os baixos níveis de eficiência mensurados, uma vez que a maioria dos tribunais poderia melhorar sua eficiência sem alterar a quantidade de recursos (YEUNG e AZEVEDO, 2012).

O trabalho de Oliveira et al. (2016) também foca na eficiência judicial. Essa pesquisa buscou retratar as principais características relacionadas à mensuração da eficiência de juízes e unidades jurisdicionais do estado do Ceará, por meio da criação de um sistema, o “Eficiência.jus”. As variáveis utilizadas para a mensuração abrangem insumos, como quantidade de casos divididos por matérias do Direito, força de trabalho, quantidade de computadores; e produção, envolvendo os atos executados pelos juízes, como despachos, sentenças, precatórias, audiências, conciliações, etc. O sistema construído é capaz de comparar a eficiência de juízes para cada matéria específica do Direito (OLIVEIRA et al., 2016).

Cunha et al. (2014), por sua vez, desenvolvem um método para a mensuração da percepção pública sobre desempenho do Judiciário brasileiro. Trata-se do Índice de Confiança na Justiça Brasileira (ICJBrasil), o qual possui cinco dimensões: eficiência, responsividade, accountability, independência e acesso. O ICJBrasil é composto por dois subíndices: o índice de percepção, baseado em confiança, rapidez em decidir conflitos, custo de acesso, facilidade de acesso, independência, honestidade, competência, percepção do passado (últimos cinco anos) e expectativa para o futuro (próximos cinco anos); e o índice de atitude, relacionado à probabilidade de os usuários recorrerem ao Judiciário para resolução de seus conflitos. Todos os resultados apontam tendências negativas de avaliação do Judiciário como prestador de serviço público. Apesar da percepção negativa, a maioria dos respondentes declarou que buscaria o Judiciário para resolver conflitos, demonstrando a necessidade e importância desse serviço aos brasileiros (CUNHA, OLIVEIRA e GLEZER, 2014).

As conclusões do estudo de Oliveira e Cunha (2016) reforçam os resultados encontrados por Cunha et al. (2014). A observação foi realizada mediante aspectos subjetivos de comportamento que indicam como as pessoas que vivenciaram eventos passíveis de judicialização lidaram com tais eventos. Os resultados indicaram que, no Brasil, a maioria dos conflitos potencialmente judicializáveis não chega às organizações da Justiça. Indicam também que os brasileiros pouco conhecem os seus direitos e deveres de cidadania, situação que se reflete como um primeiro entrave ao acesso à justiça (OLIVEIRA e CUNHA, 2016).

Abramo (2010) trabalha com o tempo médio para a decisão de processos no Supremo Tribunal Federal. Em seu estudo, o autor mensura a média geral para a decisão dos ministros e encontra uma amplitude significativa entre os tempos médios dos ministros. Essa amplitude se reflete em maior congestionamento de processos nos gabinetes dos ministros mais morosos (ABRAMO, 2010). A taxa de congestionamento é um importante indicador do desempenho judicial, pois demonstra o impacto da ineficiência de gestão nas atividades judiciais (GOMES, BUTA e NUNES, 2019).

Gomes et al. (2016), em pesquisa referente aos 27 tribunais estaduais no Brasil, concluem que o número de funcionários de suporte influencia positivamente a produtividade do tribunal. O número de juízes não influenciaria a produtividade do tribunal como um todo, ou seja, acrescentar um juiz não necessariamente leva os outros juízes a serem mais produtivos. Há uma relação positiva entre a carga de trabalho e a produtividade do tribunal, mas essa relação é mitigada pelo número de funcionários de suporte (GOMES, GUIMARÃES e AKUTSU, 2016).

Em outro trabalho, realizado por Gomes e Freitas (2017), considerando as varas da Justiça Federal no Brasil, os resultados indicam que há relações negativas entre a quantidade de juízes e a produtividade das varas. Indicam também que o desempenho dos juízes varia conforme a demanda, ou seja, há uma relação positiva entre a demanda e a produção e produtividade dos juízes. Além disso, apontam para uma relação negativa entre a quantidade de juízes e a produtividade das varas como um todo, corroborando os estudos supracitados (GOMES e FREITAS, 2017).

Além das relações com a demanda e a força de trabalho, há estudos que destacam a importância da inovação tecnológica para a melhoria dos serviços prestados pelas instituições da Justiça (SERBENA, 2013; SILVA, HOCH e RIGHI, 2013). Tais pesquisas indicam que a melhoria dos sistemas informatizados facilita a coleta e padronização de informações sobre o Judiciário, permitindo análises mais consistentes (SERBENA, 2013), além de contribuir para a accountability ao ampliar a transparência da atuação dos órgãos do Judiciário perante o Conselho Nacional de Justiça e a sociedade (SILVA, HOCH e RIGHI, 2013). Em suma, melhores desempenhos em instituições de Justiça estão associados a inovação, tecnologia e modernização na gestão (SERBENA, 2013). Destaca-se que, na DPU, a inovação se dá principalmente pela adição de novas competências ou novas tecnologias aos serviços existentes (BUTA e SILVA FILHO, 2016).

A DPU possui uma lógica de funcionamento semelhante à das demais organizações do sistema de justiça brasileiro. Trata-se de uma organização voltada à promoção do acesso à justiça, autônoma em relação aos demais Poderes da República, e equiparada institucionalmente ao Ministério Público e à Magistratura (MOTTA, RUEDIGER e RICCIO, 2006). Sobre o assunto, Vidal (2014) analisa a capacidade institucional da Defensoria Pública do Estado do Pará, indicando que tal capacidade se refere a um conjunto de características e habilidades relacionadas ao desempenho e sucesso de políticas públicas da organização. A análise do desempenho abrange as atividades desempenhadas por defensores e servidores; o modelo de gestão aplicado habitualmente nos núcleos da Defensoria; e o grau e a satisfação dos assistidos. Os resultados não permitem conclusões claras, mas são identificados aspectos importantes que influenciam o desempenho da organização estudada: o elevado número de assistidos por defensor, a morosidade do sistema judicial e a falta de regulamentação de cunho administrativo (VIDAL, 2014).

Há ainda autores que defendem que a criação de mecanismos de mercado em substituição à estrutura burocrática da DPU poderia aumentar o desempenho da prestação de serviços de assistência jurídica aos cidadãos vulneráveis (SCHULHOFER e FRIEDMAN, 2010). Segundo esses autores, a criação de um sistema de vouchers poderia solucionar problemas relacionados aos conflitos de interesse inerentes às defensorias públicas, uma vez que essas entidades são financiadas pelo Estado para atuarem contra o Estado. Os autores defendem que um sistema de vouchers no qual o assistido é livre para escolher um advogado privado elevaria a qualidade da assistência jurídica, diminuindo a ocorrência de erros no serviço (SCHULHOFER e FRIEDMAN, 2010).

Essa proposta de adoção de mecanismos de mercado para a política pública de assistência jurídica é contrária ao movimento que vem ocorrendo no mundo democrático. Desde meados do século passado, há uma expansão de entidades voltadas especificamente à proteção dos direitos humanos, em resposta à disseminação de normas e padrões globais (KOO e RAMIREZ, 2009).

Nesse sentido, sem fugir para o extremo de adoção de mecanismos de mercado, mas também não adotando a forma hierárquica rígida, há autores que defendem que uma defensoria pública independente reduziria os conflitos de interesse e elevaria o desempenho da prestação de assistência jurídica gratuita. O trabalho de Motta et al. (2006) traz uma leitura de autonomia relativa das instituições estatais em relação aos conflitos sociais e aos governos. Segundo esses autores, as prerrogativas funcionais dos defensores, que garantem a autonomia em sua atuação, são uma inovação que amplia sua capacidade de ação (MOTTA, RUEDIGER e RICCIO, 2006). Madeira (2014), por sua vez, apresenta uma leitura institucional da autonomia da defensoria pública, destacando que as instituições autônomas têm maior capacidade de proteger os direitos humanos contra arbitrariedades, manter o bem-estar social e a estabilidade dos regimes democráticos (MADEIRA, 2014).

Contudo, vale citar que a expectativa de que a independência da defensoria pública aumenta o desempenho das políticas públicas de assistência jurídica nem sempre se confirma. Como exemplo, Smulovitz (2014), ao analisar fatores relacionados à independência de defensorias públicas argentinas, observa que a maior autonomia da Defensoria Pública da província de Salta não reflete maior afabilidade desse órgão a seus assistidos, tampouco maior proporção de defensores públicos por habitante.

É importante citar também Bersch et al. (2017), que, ao estudarem as relações entre capacidades estatais, autonomia e corrupção em organizações públicas federais brasileiras, observaram que a DPU possui elevada autonomia, mas baixo desempenho (BERSCH, PRAÇA e TAYLOR, 2017), reforçando assim uma discussão mais ampla na literatura que indica que maior autonomia não necessariamente significa aumento de desempenho de organizações públicas (ZAHRA e JADOON, 2016; TOMIC, 2018).

2. Método

A pesquisa empírica teve uma etapa qualitativa, voltada para a identificação dos indicadores do desempenho da DPU, e uma etapa quantitativa, mediante a qual foi elaborado e validado um índice de desempenho. O desenvolvimento da pesquisa em duas etapas resulta da necessidade de apreender a percepção daqueles atores que conhecem a natureza da atividade de prestação de assistência jurídica e têm uma visão holística sobre o que é desempenho no âmbito da DPU, minimizando a possibilidade de eleição de indicadores por mera conveniência. Ademais, as análises estatísticas indicam semelhanças entre os indicadores e avaliam o peso de cada um deles no índice final.

Na etapa qualitativa, foram realizadas entrevistas conduzidas ao longo dos meses de maio e junho de 2015 com 14 defensores e gestores que ocupavam cargos de direção no alto escalão da DPU. Com isso, foi possível conhecer uma visão geral de dentro do órgão e traçar um paralelo entre as opiniões de servidores e os índices já acompanhados pela Defensoria. A quantidade de entrevistas foi definida por saturação teórica, conforme Thiry-Cherques (2009). A definição de alto escalão levou em consideração o artigo 5º da Lei Complementar n. 80/1994, que prescreve normas gerais de organização da DPU, bem como a Resolução CSDPU n. 98/2014, que dispõe sobre o Regimento Interno da Defensoria Pública-Geral da União. Por fim, os entrevistados foram intencionalmente escolhidos por já haverem atuado tanto como responsáveis pelo processo de tomada de decisão estratégica na DPU quanto como burocratas que conhecem a rotina e possuem uma visão abrangente do órgão.

As entrevistas foram realizadas presencialmente, no local de trabalho dos entrevistados, com exceção de uma, respondida mediante correio eletrônico por solicitação do entrevistado. Os participantes falaram livremente sobre a seguinte pergunta aberta: “Quais seriam os possíveis indicadores do desempenho da DPU?”. Os entrevistados tiveram liberdade para responder da maneira que julgassem mais adequada, sem interferência do entrevistador, exceto quando a resposta desviava muito do tema investigado. A seleção dos sujeitos da pesquisa ocorreu de maneira intencional. Não obstante tenham sido selecionados atores que conhecem bem a DPU, é possível que os resultados sejam distintos no caso da seleção de outro grupo.

A análise das respostas foi feita com base na técnica de análise de conteúdo categorial temática (BARDIN, 2011). As categorias de análise foram definidas a priori, com base nos indicadores já utilizados pela DPU para mensurar seu desempenho, sem que isso prejudicasse a abertura dos pesquisadores a novas medidas do desempenho da DPU que, porventura, surgissem no decorrer do processo de análise. De início, realizou-se uma leitura das transcrições para um primeiro contato com as respostas das entrevistas e possível reconhecimento e aproximação com o tema estudado à luz do referencial teórico. Em seguida, aprofundando a leitura, foram assinaladas observações focalizando unidades de contexto relacionadas aos indicadores de desempenho da DPU.

A análise gerou uma codificação dos dados, transformando as informações brutas das entrevistas transcritas em representação pertinente do conteúdo. Visando à categorização e à contagem da frequência, foi feito um recorte semântico temático, de acordo com as unidades de registro. A partir desse recorte, foi realizada uma contagem das palavras citadas como indicadores do desempenho, a fim de dar sentido ao contexto evidenciado e estabelecer quocientes, conforme Bardin (2011). Os indicadores foram identificados em termos com semânticas similares (POPPING, 2008). Cada conjunto de indicadores formou categorias temáticas. A contagem foi feita de acordo com a frequência de aparições em cada uma das 14 entrevistas. Todos os termos foram contados individualmente em cada uma das observações, somando e considerando cada repetição na contagem. Para tanto, foi adotada a regra da presença, segundo a qual quanto mais importante um tema ou uma categoria, maior sua frequência de aparição. Todas as categorias foram consideradas com igual importância e peso. Os resultados estão apresentados em números absolutos e em percentuais, permitindo descrição numérica confiável do conteúdo (BARDIN, 2011).

Já na etapa quantitativa, foram avaliados os indicadores passíveis de figurar em um índice de desempenho para as defensorias públicas. Assim, o índice proposto, denominado Índice de Desempenho de Defensorias Públicas (IDDP), é composto pelos indicadores emergentes nas entrevistas. Para testar o índice proposto, foram coletados dados relativos ao ano de 2016, apurados e disponibilizados pela Defensoria em seu portal na internet.¹ Como, na época da realização da pesquisa, ainda não havia dados completos para o ano de 2017, os dados utilizados compreendem o ano de 2016. As variáveis utilizadas estão apresentadas na Tabela 1.

TABELA 1
ESTATÍSTICA DESCRITIVA DAS VARIÁVEIS

VARIÁVEIS	NÚMERO DE OBSERVAÇÕES	MÉDIA	DESVIO-PADRÃO	MEDIANA	VALOR MÍNIMO	VALOR MÁXIMO
PAJS ABERTOS	70	363,7	123,3	352	0	680
ESTOQUE	70	0,633	156.692,2	0,67	0,22	0,88
ATENDIMENTOS	70	22.967,1	25.036,3	15.669	363	167.387
ASSISTIDOS	70	8.715,6	12.355,3	6.173	181	76.136
TME EM MINUTOS	42	21	10,5	20	3	53
TMA EM MINUTOS	47	26.9	16,1	23	3	92
CONCILIAÇÕES EXTRAJUDICIAIS	70	182,6	236.4	97	4	1.224
TDP	68	183,1	98,1	173	12	526
ÊXITO	70	689,3	1.304,9	284	0	7.959
PAJS ATIVOS	69	853,6	553.7	7.920	890	2.711

Fonte: Defensoria Pública da União – Assessoria de Planejamento, Estratégia e Modernização da Gestão.

Essas variáveis são definidas a seguir:

1. Processos de Assistência Jurídica abertos por defensor (PAJs abertos) - razão entre a quantidade de processos de assistência jurídica abertos e o número de defensores.

2. Processos de Assistência Jurídica ativos por defensor (PAJs ativos) - razão entre a quantidade de processos de assistência jurídica ativos e o número de defensores.

3. Estoque - razão entre os processos de assistência jurídica encerrados e os abertos em determinado período.

4. Atendimentos - total de atendimentos prestados pela Defensoria.

5. Conciliações extrajudiciais - quantidade de processos de assistência jurídica concluídos por motivos de acordo extrajudicial.

6. Assistidos - total de pessoas que receberam assistência jurídica.

7. Tempo Médio de Espera (TME) - média de tempo, em minutos, que uma pessoa aguarda para ser atendida nos órgãos de atuação da DPU.

8. Tempo Médio de Atendimento (TMA) - média de tempo, em minutos, que dura o atendimento a cada assistido.

9. Êxito - somatório dos processos concluídos com acordo judicial, vitória parcial ou total em via judicial.

10. Tempo de Duração do Processo (TDP) - média de tempo, em dias, entre o início e a conclusão do processo de assistência jurídica.

Assim, com o objetivo de definir como as variáveis observadas influenciam o desempenho da DPU, foram realizadas análises estatísticas por meio das técnicas de análise fatorial exploratória e confirmatória. Esse tipo de análise permite identificar quais variáveis de um conjunto agrupam-se de forma coerente e são relativamente independentes umas das outras. Tais análises reduzem um grande número de variáveis a um grupo pequeno de fatores, além de estimar os valores de influência de cada variável ao seu fator (TABACHNICK e FIDELL, 2013). Isso é importante para a definição de um índice, pois gera uma medida parcimoniosa, excluindo do cálculo final do índice aquelas variáveis independentes que pouco influenciam a variável dependente.

3. Resultados e análises

A discussão traçada está descrita em duas seções, uma relativa à etapa qualitativa e outra à quantitativa. No primeiro momento, são apresentados e discutidos os resultados da análise do conteúdo das entrevistas. Posteriormente, são expostos os resultados das análises estatísticas envolvidas na avaliação do conjunto de variáveis para formar o IDDP.

3.1. Percepções a respeito do desempenho da DPU

Os indicadores do desempenho abarcam fatores relacionados à atividade-fim da DPU diretamente ligados à atuação dos defensores públicos. Todas as categorias foram agrupadas e nomeadas de acordo com as temáticas correspondentes, conforme sugere Bardin (2011). O tema Indicadores de Desempenho compreende as seguintes categorias: a) quantidade de processos, b) quantidade de atendimentos, c) êxito, d) acesso, e) qualidade do serviço, f) congestionamento, g) tempo de tramitação do processo, h) processos extrajudiciais e i) tempo nas unidades de atendimento.

Na categoria quantidade de processos, estão compreendidos todos os termos que se referem ao número de processos, podendo ser tanto de assistência jurídica quanto judiciais. Na categoria quantidade de atendimentos, encontram-se todas as citações e sinônimos de termos relacionados ao número de atendimentos. É importante destacar que quantidade de processos não é o mesmo que quantidade de atendimentos, já que nem todos os atendimentos geram, necessariamente, um processo. A categoria êxito diz respeito à solução das causas, às respostas aos cidadãos e aos recursos judiciais revertidos para os assistidos. Acesso, por sua vez, corresponde ao acesso à justiça e reconhece a função da Defensoria de abrir portas e facilitar a promoção de direitos. Qualidade do serviço refere-se à satisfação dos assistidos com o atendimento, à qualidade do trabalho dos servidores e da assistência prestada. Já as categorias congestionamento e tempo de tramitação do processo dizem respeito, respectivamente, ao estoque de processos na DPU e ao tempo do andamento do processo até a decisão final. Atuação extrajudicial refere-se à atuação da DPU fora da esfera jurisdicional, mediante a conciliação de conflitos ou atuação nas esferas administrativas da União. Tempo nas unidades de atendimento, por sua vez, compreende o tempo de espera até ser atendido e o tempo de duração do atendimento. A Tabela 2 apresenta as categorias, seus marcadores e frequências de ocorrência.

TABELA 2
CATEGORIAS E INDICADORES DE DESEMPENHO COM BASE NA PERCEPÇÃO DE DEFENSORES E GESTORES DA DPU

CATEGORIA	MARCADORES	FREQUÊNCIA
PRODUTIVIDADE	NÚMERO DE PROCESSOS AJUIZADOS. DEMANDA PROCESSUAL. NÚMERO DE ASSISTÊNCIAS PRESTADAS, AÇÕES CIVIS PÚBLICAS, QUANTIDADE DE AÇÕES. PERCENTUAL DE PROCESSOS, NÚMERO DE LIMINARES, RECURSOS.	24%
ÊXITO	CAUSAS GANHAS, ÊXITO, TAXA DE SUCESSO, VITÓRIAS, RESOLUÇÃO DO PROBLEMA, RECURSOS REVERTIDOS PARA OS ASSISTIDOS, RESPOSTAS AO CIDADÃO.	19%
ATENDIMENTO	NÚMERO DE ATENDIMENTOS, ASSISTIDOS ATENDIDOS, ATENDER 0 CIDADÃO.	15%
QUALIDADE DO SERVIÇO	QUALIDADE, QUALIDADE DO SERVIÇO, SATISFAÇÃO DO USUÁRIO, SATISFAÇÃO DO ATENDIMENTO, PRESTAR UM BOM ATENDIMENTO.	15%
CELERIDADE	TEMPO, CELERIDADE, DURAÇÃO DOS PROCESSOS, ESPERA, CUMPRIMENTO DO PRAZO, PRAZO, TEMPO DE ATENDIMENTO, ESPERA, FILAS.	11%
ACESSO	ACESSO AO DIREITO, ACESSO À JUSTIÇA, ABRIR A PORTA.	6%
DESCONGESTIONAMENTO	ESTOQUE, ÍNDICE DE CONGESTIONAMENTO.	6%
ATUAÇÃO EXTRAJUDICIAL	EXTRAJUDICIAL, FORA DA ATUAÇÃO JUDICIAL, NÃO DEMANDA PROCESSUAL.	4%

Fonte: Dados da pesquisa.

Quantidade de processos foi a categoria de indicadores de desempenho mais observada nas entrevistas, correspondendo a 24% do total de observações. Apesar de haver indicadores relacionados a essa categoria já utilizados pela DPU, não há consenso se é uma informação relevante. Por um lado, alguns trechos das entrevistas explicitam desaprovação por não refletir resultados sobre solução dos casos, por exemplo, “Eu acho que número de processos ajuizados não, não é, não pode ser” e “Aqui a gente mede a quantidade de processos, [...] quantidade de processos é o pior indicador que tem”. Por outro lado, em outros trechos coletados nas entrevistas, os respondentes sustentam que a quantidade de processos é um importante indicador: “Nesse momento, para aferir se realmente a gente está atuando, é a quantidade de processos judiciais”.

Cumpre destacar que a quantidade de processos é um indicador voltado para a mensuração da produtividade dos operadores do direito amplamente utilizado na literatura (YEUNG e AZEVEDO, 2012; GOMES e GUIMARÃES, 2013; GOMES, GUIMARÃES e AKUTSU, 2016; OLIVEIRA et al. 2016; GOMES et al., 2017). De fato, esse indicador por si só não é capaz de mensurar o desempenho organizacional, pois esse é um conceito multidimensional, que abrange não apenas a produtividade dos operadores do direito, mas também outras dimensões, como qualidade, celeridade, acesso e efetividade (GOMES e GUIMARÃES, 2013).

A categoria quantidade de atendimentos também possui um indicador já utilizado pela DPU. A frequência da observação desse indicador foi de 15%, ocorrendo em oito das 14 entrevistas. Os seguintes trechos das entrevistas reforçam a importância desse indicador: “Eu acho que pode ser mais efetivo hoje é o número de atendimentos mesmo”; “O número de atendimentos é fundamental”. Vale destacar que a quantidade de atendimentos não é um indicador citado na literatura sobre desempenho judicial. No entanto, torna-se importante para a DPU, tendo em vista a missão institucional dessa entidade, promover o acesso à justiça. De fato, o atendimento ao público ocupa grande parte do trabalho dos defensores públicos, figurando entre as atividades diárias tidas como mais importantes para esses operadores do Direito (VIDAL, 2014).

Quantidade de processos e quantidade de atendimentos são indicadores quantitativos necessários, mas que, por si sós, não dizem muito a respeito da eficácia dos serviços prestados. Nesse sentido, grande parte dos entrevistados que citou pelo menos um desses indicadores fez ressalva relacionada à importância de se mensurar outra categoria, o êxito, para qualificar o trabalho feito pela DPU. Isso se observa no seguinte trecho: “A partir desses indicadores de produção, a gente precisa analisar como que esses indicadores de produção, de produto, eles estão gerando um desempenho favorável para a sociedade que seria a questão de êxito, em relação à atividade judicial”.

O êxito é a terceira categoria observada nas entrevistas, que ocorre em 19% do total de observações. Presente em seis entrevistas, essa categoria é citada sempre se referindo aos resultados dos processos, dando ênfase ao sucesso dos casos. Destaca-se a ocorrência em uma das entrevistas, em que o entrevistado, apesar de mencionar “causas ganhas”, não concorda que esse seja um indicador “adequado”. Em outras cinco entrevistas, os entrevistados reconhecem que a mensuração do êxito é útil, mas também o relacionam a quantidade de atendimentos, quantidade de processos, qualidade do serviço e congestionamento, reconhecendo a importância da coexistência dessas categorias em uma análise mais ampla.

A qualidade do serviço citada pelos entrevistados compreende a percepção dos assistidos quanto ao atendimento recebido e à assistência dada, como também à qualidade do trabalho dos servidores. Essa categoria foi citada em 15% das observações. Nesse sentido, a pesquisa de satisfação dos usuários foi lembrada como fundamental. O trecho seguinte ilustra isso: “Avaliar a satisfação do atendimento é um indicador essencial”. Isso mostra que a percepção dos assistidos diante do trabalho realizado pela DPU é de grande valia, já que a população deve ser a maior beneficiada, não só com os serviços prestados, mas também com as possíveis melhorias que podem ocorrer com as faltas identificadas pela avaliação de desempenho dos funcionários. Expressões presentes nas entrevistas como “qualidade do trabalho dos servidores” e “prestar um bom atendimento” lembram a importância de servidores comprometidos em desempenhar suas funções. A qualidade do atendimento da DPU confere valor público para a ação dessa organização. A observação da satisfação dos usuários complementa os indicadores relacionados à produtividade, a qual também pode ser vista como melhora nos processos operacionais (VIDAL, 2014).

Cumpre destacar que a satisfação do usuário da DPU é um indicador de resultado utilizado no órgão. A pesquisa de satisfação do assistido foi relatada como uma importante inovação levada a cabo na DPU (BUTA e SILVA FILHO, 2016). Tal pesquisa vinha sendo realizada considerando amostragem probabilística dos participantes, o que permite a extrapolação dos dados para a população, conforme Instrução Normativa DPU n. 4, de outubro de 2014. No entanto, decisão do Conselho Superior da Defensoria, proferida em sua 204ª Sessão Ordinária, no dia 7 de novembro de 2017, revogou essa instrução normativa e vedou essa forma de coleta de dados. Assim, apesar da relevância desse indicador, conforme os participantes da pesquisa, o método de amostragem não probabilística impede que seus resultados sejam utilizados para fins de mensuração do desempenho da DPU. Ademais, as modificações pelas quais esse indicador vem passando têm dificultado a sua comparação em perspectiva longitudinal.

O acesso trata-se de uma categoria de indicadores de resultado e foi responsável por 6% das observações. Os seguintes trechos das entrevistas destacam a DPU como intermediária entre assistidos, e seus direitos e reforçam o compromisso da organização em promover conhecimento e defesa dos direitos da população de baixa renda: “A Defensoria Pública tenta trazer para ela a guarda da política de acesso integral e gratuito à Justiça”; “[...] significa que mais gente tem conhecido a DPU, tem tido acesso ao direito”; “Você nota que o cidadão hipossuficiente, ele tem acesso à Suprema Corte através da Defensoria”.

Acesso tem sido utilizado na literatura como um indicador do desempenho judicial (AKUTSU e GUIMARÃES, 2012; GOMES e GUIMARÃES, 2013). Uma vez que poucos brasileiros conhecem seus direitos e garantias, isso se reflete em um entrave ao acesso à justiça (OLIVEIRA e CUNHA, 2016). Essa dimensão do desempenho de organizações do sistema de justiça é ainda mais relevante quando se trata de defensorias públicas, pois o acesso à justiça é a missão primeira dessas instituições. Acesso está relacionado diretamente com a taxa de congestionamento dos tribunais e com a celeridade dos processos. A taxa de congestionamento é um indicador que corresponde à relação entre a quantidade de processos de assistência jurídica encerrados e a quantidade de processos abertos. Trata-se de uma medida do estoque de processos na DPU. Já tempo de tramitação do processo é a duração do andamento do caso até que se tenha uma resposta a respeito, independente do sucesso. Essas categorias correspondem, respectivamente, a 6% e 8% do total de observações, e estão relacionadas ao processo ou aos meios utilizados para prestar serviços. A taxa de congestionamento representa um importante indicador de desempenho, apontando os efeitos da morosidade e da ineficiência da gestão nas atividades (ABRAMO, 2010; GOMES, BUTA e NUNES, 2019).

A atuação extrajudicial, com 4% das observações, é essencial no sentido de exemplificar que a promoção de direitos não se dá necessariamente no âmbito do Poder Judiciário. Ressalta-se que há indicador acompanhado pela DPU para mensurar quantidade de conciliações extrajudiciais. O serviço de assistência jurídica fomenta o conhecimento dos direitos para a população de baixa renda e foi lembrado com importância durante as respostas dadas. Apesar disso, ainda que os entrevistados destaquem expressões como “atuação extrajudicial” e “não atuação na Justiça”, percebe-se um conflito entre as estratégias de ação, como pode ser visto no seguinte trecho: “Eu acho que, nesse primeiro momento, nós precisamos focar num índice de maior importância, é opinião minha, que eu sei que muitos divergem internamente, mas é a quantidade de processos judiciais”. Por fim, o tempo nas unidades de atendimento representa 3% das observações nas entrevistas. Trata-se de medida de processo que se refere não apenas à espera na fila antes do atendimento, mas ao tempo total de atendimento do usuário.

Observa-se que o desempenho na DPU, assim como no Judiciário como um todo, abrange diversos níveis organizacionais e variadas dimensões. Esse conceito compreende aspectos que vão além da atividade dos defensores e da atividade-fim proposta, envolvendo feições relacionadas a eficiência, celeridade, efetividade, qualidade e acesso, assim como destacam Gomes e Guimarães (2013). Observa-se também que as atividades relacionadas ao atendimento ao público são mais relevantes quando se trata do desempenho da DPU do que em relação ao desempenho judicial. Assim, torna-se proeminente uma avaliação quantitativa no sentido de construir um índice de desempenho parcimonioso e confiável, bem como identificar o quanto cada uma dessas variáveis influencia o desempenho da DPU.

Com base nos resultados das entrevistas, a seção seguinte traz uma proposta de índice para avaliar o desempenho de defensorias públicas, bem como um teste empírico do índice proposto com base em dados oficiais relativos ao período de 2013 a 2017.

3.2. Índice de Desempenho da Defensoria Pública da União (IDDP)

Depois da identificação de nove categorias de indicadores do desempenho, com base na percepção dos membros da administração superior da DPU, foram avaliados indicadores passíveis de figurar em um índice quantitativo de desempenho, denominado de Índice de Desempenho da Defensoria Pública da União (IDDP). Para elaborar o IDDP foram utilizados dados relativos ao ano de 2016, apurados e disponibilizados pela DPU em seu portal na internet. Já para testar o índice foram utilizados dados de 2013 a 2017. Foram levantados junto à Assessoria de Planejamento, Estratégia e Modernização da Gestão, vinculada ao Defensor Público-Geral Federal, dez indicadores para cada um dos órgãos de atuação da DPU, indicadores esses relacionados às categorias alvitradas na etapa anterior. Esses indicadores estão apresentados na Tabela 1 e descritos na seção de métodos.

A Tabela 3 apresenta os resultados de análises relacionadas à adequação dos dados, necessárias para proceder às análises fatoriais. Os indicadores PAJs abertos, atendimentos, conciliações extrajudiciais, êxito, estoque e assistidos possuem informações para a maior parte dos órgãos de atuação, somando 70 observações. Os demais apresentam dados faltantes, e faltam 40% dos dados para o indicador TME; 32,8% para TMA, 2,8% para o TDP e 1,4% para PAJs ativos. Vale ressaltar que uma amostra com 70 observações é aceitável para análises fatoriais caso haja alta variância comum (comunalidade > 0,6) entre as variáveis (TABACHNICK e FIDELL, 2013). Apenas as variáveis atendimentos, assistidos e êxito apresentam valores de comunalidade acima de 0,6. Um teste alternativo para mensurar a adequação da amostra é o de Kaiser-Meyer-Olkin (KMO), cujos resultados acima de 0,7 representam adequação da amostra (FIELD, MILES e FIELD, 2012). Nesse caso, a mensuração de adequação da amostra (MSA) global foi de 0,77. Individualmente, a amostra é adequada para atendimentos, conciliações extrajudiciais, êxito, assistidos, TMA, TDP e processos ativos, cujos valores de MSA variaram entre 0,72 e 0,81, conforme apresentado na Tabela 3.

TABELA 3
VALORES DE COMUNALIDADE EMSA PARA CADA VARIÁVEL

INDICADOR	COMUNALIDADE	MSA
PAJS ABERTOS	0,052	0,57
PAJS ATIVOS	0,453	0,72**
ESTOQUE	0,517	0,53
ATENDIMENTOS	0,754*	0,81**
CONCILIAÇÕES EXTRAJUDICIAIS	0,262	0,88**
ASSISTIDOS	0,768*	0,80**
TME	0,108	0,58
TMA	0,133	0,78**
ÊXITO	0,737*	0,80**
TDP	0,285	0,82**

• ^*
  Valores indicam comunalidade aceitável para análises fatoriais.
• ^**
  Valores indicam MSA aceitável para análises fatoriais.
Fonte: Dados da pesquisa.

Com base na análise das variâncias comuns e no teste KMO de mensuração da adequação da amostra, foram excluídas as variáveis PAJs abertos, estoque e TME, por não serem adequadas para as análises fatoriais. Ao considerar a matriz de correlações, observou-se que essas variáveis apresentam correlações muito baixas quando comparadas com as demais. A exclusão dessas variáveis eleva o MSA global para 0,8, representando um melhor ajuste da amostra. Sequencialmente, já considerando a exclusão das variáveis PAJs abertos, estoque e TME, realizou-se o teste de Bartlett com a matriz de correlações entre as variáveis para verificar se as correlações são significantes. O resultado indica que as correlações observadas são significantes (Qui-quadrado = 2308.5; p-valor < 2,2^e-16), e, portanto, adequadas para a realização de análise fatorial.

Em seguida, foi realizada uma análise fatorial exploratória com o intuito de estimar a variável latente (desempenho) a partir do conjunto de dados apurados pela DPU. Vale ressaltar que os dados utilizados para essa análise foram normalizados devido a uma discrepância na magnitude das variáveis. Para definir o número de fatores, ordenaram-se os valores latentes e aplicou-se um corte, considerando apenas os valores acima de 1 (um), conforme recomendado por Bollen (1989). Os resultados indicam a existência de apenas um fator. Esse único fator é capaz de explicar 40% da variância total da variável latente desempenho. Os resultados da análise permitem a exclusão das variáveis TMA, TDP e PAJs ativos, uma vez que as cargas fatoriais dessas variáveis são inferiores a 0,49.

Por conseguinte, o modelo hipotético para a mensuração do desempenho da DPU é composto por quatro variáveis: atendimentos, assistidos, conciliações extrajudiciais e êxito. Importante observar que as três categorias identificadas de maior importância relativa na etapa qualitativa, “quantidade de processos”, “êxito” e “quantidade de atendimentos”, têm variáveis correspondentes no modelo alvitrado. Considerando a classificação de Minassians (2015), as variáveis que compõem o modelo estão relacionadas aos processos, produtos e resultados do desempenho da DPU, indicando a completude do modelo para a mensuração do desempenho. Quantidade de atendimentos é um indicador de processo; o número de assistidos e o de conciliações extrajudiciais representam indicadores de produto, enquanto êxito representa um indicador de resultado.

Na etapa seguinte, realizou-se uma análise fatorial confirmatória com o objetivo de testar o modelo alvitrado nas etapas anteriores com os dados observados. Para tanto, foi necessário, inicialmente, demonstrar a identificabilidade do modelo, uma vez que apenas modelos identificáveis podem ser estimados (ULLMAN, 2013). A identificabilidade refere-se à existência de solução única para um modelo estatístico, a qual é garantida com base na demonstração de que os parâmetros desconhecidos são funções de parâmetros conhecidos pelo analista, e que essas funções conduzem a soluções únicas (BOLLEN, 1989). Assim, foram aplicados os métodos “Regra t” e “Regra dos três itens”, ambos propostos por Bollen (1989). Os resultados dos testes indicam que o modelo é identificável.

Todas as relações fatoriais mostram-se significantes, conforme demonstrado na Tabela 4. Ademais, o teste σ de Cronbach, medida entre a variância comum e a variância específica das variáveis do modelo, demonstra a confiabilidade do modelo. Vale ressaltar também que cada uma das relações entre as variáveis apresenta significância estatística.

TABELA 4
CARGAS FATORIAIS, ERRO PADRÃO, P-VALOR E σ DE CRONBACH OBTIDOS NA AFC

VARIÁVEIS	CARGA FATORIAL	ERROS PADRÕES	P-VALOR	CT DE CRONBACH
DESEMPENHO	-	-	-	-
ATENDIMENTOS	1.000	-	-	0,83
ASSISTIDOS	0,810	0,072	0,000	0,87
CONCILIAÇÕES	0,729	0,082	0,000	0,91
ÊXITO	0,782	0,076	0,000	0,90

Fonte: Dados da pesquisa.

Para avaliar o ajuste global do modelo, é importante observar alguns índices, bem como as inadequações não reveladas pelos índices de ajuste dos componentes do modelo. A Tabela 5 sumariza os principais índices de ajustes do modelo. Os resultados demonstram que o modelo está bem ajustado para o conjunto de dados utilizado.

TABELA 5
ÍNDICES DE AJUSTE DO MODELO

ÍNDICE	VALORES IDEAIS	ÍNDICES DE AJUSTE DO MODELO
${\chi }_m^2$	-	2,075
dfm	-	2
${\chi }_b^2$	-	218,606
${∆}_2=\frac{{\chi }_b^2-{\chi }_m^2}{{\chi }_b^2-d{f}_m}$	PRÓXIMOSA 1*	0,999
CFI	> 0,95**	1,000
TLI	> 0,95**	0,999
RMSEA	< 0,05**	0,023
RMSEA (INTERVALO DE CONFIANÇA DE 90%)	-	0,000 - 0,239
P-VALOR RMSEA <= 0,05	> 0,05**	0.616
SRMR	<=0,08**	0,022

Fonte: Dados da pesquisa.
• ^*
  Bollen (1989)
• ^**
  Meade, Johnson e Braddy (2008).

Utilizando as cargas fatoriais como ponderação para o processo de cálculo do IDDP, foram verificados os resultados para o índice no período de 2013 a 2017 (os dados relativos a 2017 não incluem o último bimestre do ano). Tendo em vista a discrepância de magnitude entre as variáveis, seus valores foram padronizados para variarem de 0 e 1. Posteriormente, foi calculada a média de cada uma das variáveis para cada ano, ponderada pelas cargas fatoriais. Destaca-se que o resultado é um número adimensional que permite a comparação ao longo do tempo. O Gráfico 1 apresenta o IDDP para o período de 2013 a 2017.

GRÁFICO 1
EVOLUÇÃO DO IDDP AO LONGO DO PERÍODO DE 2013 A 2017*

* Não estão incluídos os dois últimos meses de 2017.

Como resultado geral da análise longitudinal dos dados, observa-se uma redução do índice de desempenho da DPU ao longo dos últimos anos. Tal queda é da ordem de 6% de 2013 para 2014, e de 10% de 2014 para 2015. Já de 2015 para 2016, houve um incremento de 5% no índice de desempenho da DPU. Assim, considerando todo o período de 2013 a 2017, verifica-se uma queda de 11% no nível de desempenho. Vale destacar que os dados de 2017 não consideram os dois últimos meses do ano.

Essa queda do desempenho pode ser explicada por distintas perspectivas. Por um lado, embora não exista indicativo de causalidade, poderia haver pouco ganho político em fortalecer uma entidade que “protege criminosos” e litiga contra o próprio Estado (BERSCH, PRAÇA e TAYLOR, 2017). Ou seja, esse seria o resultado de possíveis conflitos de interesse, próprios das defensorias públicas, pois essas organizações são mantidas pelo Estado para atuarem contra o Estado (SCHULHOFER e FRIEDMAN, 2010). Nesse sentido, o bom funcionamento da Defensoria Pública não seria prioridade para o corpo político.

Por outro lado, a queda no desempenho seria resultante da maior autonomia delegada à DPU depois de 2013. Níveis mais elevados de autonomia sem que haja mecanismos de controle correspondentes tendem a prejudicar o desempenho de burocracias (FUKUYAMA, 2013). Autonomia sem contrapartida de mecanismos de controle democrático incentiva escolhas políticas subótimas por parte da burocracia, com maior esforço baseado nos interesses dos burocratas do que no interesse público (FUKUYAMA, 2013; ZAHRA e JADOON, 2016; TOMIC, 2018). Embora essas sejam possíveis explicações para os resultados encontrados na pesquisa, precisam ser vistas com cautela, pois diversos outros fatores podem estar associados à queda de desempenho da DPU no período considerado. Assim, para confirmar as explicações propostas, são necessários estudos mais aprofundados.

Conclusão

A DPU é um órgão fundamental na promoção de direitos e do acesso integral e gratuito à justiça para a população de baixa renda. A essa instituição foi estabelecido o desafio de ampliar seu desempenho em um contexto de ajuste fiscal. Para gerenciar esse desempenho, entende-se que é fundamental mensurá-lo adequadamente. Desse modo, o objetivo do trabalho foi propor e aplicar um índice de desempenho da DPU, o IDDP, baseado não na escolha de indicadores por conveniência, mas na percepção de defensores e gestores, profundos conhecedores dos serviços prestados pela DPU.

Com base nas entrevistas realizadas com integrantes do alto escalão da DPU, foram identificadas nove categorias de indicadores de desempenho: quantidade de processos, quantidade de atendimentos, êxito, acesso, qualidade do serviço, congestionamento, tempo de tramitação do processo, processos extrajudiciais e tempo nas unidades de atendimento. Em todas as entrevistas, pelo menos uma das categorias foi citada, sendo quantidade de processos a categoria mais observada e mais importante do ponto de vista dos entrevistados, seguida por êxito, quantidade de atendimentos e qualidade do serviço.

Em seguida, foram identificados indicadores relacionados a essas categorias que já tivessem mensuração apurada pela DPU. Tais indicadores foram avaliados quantitativamente, tendo sido criado um índice parcimonioso composto por quatro indicadores capazes de influenciar o desempenho. Cada uma dessas variáveis influencia o desempenho em proporções distintas: quantidade de atendimentos, com carga de 1,000; quantidade de assistidos, com carga de 0,810; total de conciliações extrajudiciais, com carga de 0,729; e êxito, com carga fatorial de 0,782. Tais cargas funcionam como ponderação no processo de cálculo do IDDP. Por fim, a aplicação do IDDP demonstrou que o desempenho da DPU vem caindo nos últimos anos, sendo oferecidas algumas explicações para esse fenômeno.

Este estudo possui natureza indutiva e exploratória, de modo que os resultados aqui elencados possuem um caráter orientador, não conclusivo. A criação do IDDP apresenta limitações metodológicas, principalmente no que se refere à validação dos indicadores. Em primeiro lugar, o índice possui apenas validação interna à DPU. Ou seja, foi observada a visão apenas do alto escalão dessa organização. Um índice mais abrangente poderia ser obtido a partir da observação da percepção de outros stakeholders da DPU, como demais operadores do Direito (como magistrados e membros do Ministério Público), acadêmicos que estudam o tema e usuários dos serviços da DPU.

Além disso, é forçoso ressaltar que a criação de um índice de desempenho é interessante para comparações do desempenho da DPU em perspectiva longitudinal, ou em comparações de desempenho entre outros órgãos de defensoria pública, sendo assim, necessária a validação do IDDP, por exemplo, para as defensorias estaduais. Contudo, análises que levem em conta apenas o índice agregado, e não avaliam os indicadores individuais, contribuem para a redução da transparência sobre o desempenho do órgão. Nesse sentido, é salutar que o IDDP seja utilizado para fins gerenciais e acadêmicos, mas que seja considerado também de maneira individual cada um dos indicadores que o integram.

O presente estudo representa uma contribuição para a construção do conhecimento a respeito do desempenho em organizações do sistema de justiça, uma vez que se buscou identificar variáveis capazes de influenciar o desempenho organizacional. Além disso, há uma contribuição gerencial para a DPU, pois o IDDP pode servir de base para decisões estratégicas do órgão, bem como para acompanhar serviços prestados aos cidadãos, identificando falhas e norteando possíveis melhorias na atuação. Ressalta-se que o desempenho de organizações do Judiciário tem recebido cada vez mais a atenção de estudiosos; no entanto, as demais organizações do sistema de justiça, como a DPU, vêm sendo negligenciadas. Nesse sentido, a própria metodologia de construção do IDDP traz a possibilidade de replicação para os demais órgãos do sistema de justiça.

Por fim, como proposta de agenda de pesquisa, ressalta-se que, para uma compreensão adequada do desempenho em defensorias públicas, bem como nas demais organizações do sistema de justiça brasileiro, seriam necessários estudos voltados ao relacionamento entre os indicadores de desempenho e os fatores que o influenciam, de modo a permitir a observação de relação de causalidade entre essas variáveis. Em outras palavras, além de identificar o desempenho das organizações de justiça, são essenciais também estudos capazes de identificar e explicar os fatores que afetam os desempenhos observados, de modo a gerar informações relevantes aos gestores dessas organizações. Ademais, seria producente a replicação deste estudo em outros órgãos de Defensoria, de modo a compreender se os fatores que indicam desempenho na DPU também são encontrados nas defensorias estaduais. Por fim, é interessante que se investiguem os fatores que influenciam a queda no desempenho da DPU no período posterior à concessão da autonomia.

• 1
  Disponível em: http://www.dpu.def.br/transparencia/acoes-e-programas. Acesso em: 28 mar. 2019.

AGRADECIMENTOS

Os autores agradecem aos integrantes do grupo de pesquisa Administração da Justiça (AJUS) e aos avaliadores anônimos da Revista Direito GV, que muito contribuíram para o aprimoramento da pesquisa.

REFERÊNCIAS

• ABRAMO, Claudio Weber. Tempos de espera no Supremo Tribunal Federal. Revista Direito GV, v. 6, n. 2, p. 423-442, 2010.
• AKUTSU, Luiz; GUIMARÃES, Tomás de Aquino. Dimensões da governança judicial e sua aplicação ao sistema judicial brasileiro. Revista Direito GV, São Paulo, v. 8, n. 1, p. 183-202, 2012.
• BARBOSA, Lívia. Meritocracia à brasileira: o que é desempenho no Brasil? Revista do Serviço Público, v. 120, n. 3, p. 58-108, 1996.
• BARDIN, Laurence. Análise de conteúdo São Paulo: Edições 70, 2011.
• BEENSTOCK, Michael; HAITOVSKY, Yoel. Does the appointment of judges increase the output of the judiciary? International Review of Law and Economics, v. 24, n. 3, p. 351-369, 2004.
• BEER, Caroline. Judicial performance and the rule of law in the Mexican states. Latin American Politics & Society, v. 48, n. 3, p. 33-61, 2006.
• BERSCH, Katherine; PRAÇA, Sérgio; TAYLOR, Matthew M. State capacity, bureaucratic politicization, and corruption in the Brazilian state. Governance: An International Journal of Policy, Administration, and Institutions, v. 30, n. 1, p. 105-124, 2017.
• BOLLEN, Kenneth A. Structural equations with latent variables Chapel Hill, North Carolina: Wiley, 1989.
• BRANDÃO, Hugo P.; GUIMARÃES, Tomás de Aquino. Gestão de competências e gestão de desempenho: tecnologias distintas ou instrumentos de um mesmo construto? Revista de Administração de Empresas, v. 41, n. 1, p. 8-15, 2001.
• BRASIL. Constituição da República Federativa do Brasil de 1988 Brasília. Disponível em: http://www.planalto.gov.br/Ccivil_03/Constituicao/Constituicao.Htm Acesso em: 28 mar. 2019.
  » http://www.planalto.gov.br/Ccivil_03/Constituicao/Constituicao.Htm
• BRASIL. Lei Complementar nº 80, de 12 de janeiro de 1994 Organiza a Defensoria Pública da União, do Distrito Federal e dos Territórios e prescreve normas gerais para sua organização nos Estados, e dá outras providências. Disponível em: http://www.planalto.gov.br/ccivil_03/LEIS/LCP/Lcp80.Htm Acesso em: 9 ago. 2019.
  » http://www.planalto.gov.br/ccivil_03/LEIS/LCP/Lcp80.Htm
• BRASIL. Emenda Constitucional nº 74, de 6 de agosto de 2013. Altera o art. 134 da Constituição Federal. Disponível em: http://www.planalto.gov.br/ccivil_03/Constituicao/Emendas/Emc/emc74.htm Acesso em: 29 mar. 2019.
  » http://www.planalto.gov.br/ccivil_03/Constituicao/Emendas/Emc/emc74.htm
• BRASIL. Emenda Constitucional nº 80, de 4 de junho de 2014. Altera o Capítulo IV - Das funções essenciais à justiça, do Título IV - Da organização dos poderes, e acrescenta artigo ao Ato das Disposições Constitucionais Transitórias da Constituição Federal. Disponível em: http://www.planalto.gov.br/ccivil_03/Constituicao/Emendas/Emc/emc80.htm Acesso em: 28 mar. 2019.
  » http://www.planalto.gov.br/ccivil_03/Constituicao/Emendas/Emc/emc80.htm
• BRASIL. Emenda Constitucional nº 95, de 15 de dezembro de 2016 Altera o Ato das Disposições Constitucionais Transitórias, para instituir o novo regime fiscal, e dá outras providências. Disponível em: http://www.planalto.gov.br/ccivil_03/Constituicao/Emendas/Emc/emc95.htm#\art1 Acesso em: 28 mar. 2019.
  » http://www.planalto.gov.br/ccivil_03/Constituicao/Emendas/Emc/emc95.htm#\art1
• BRASIL. DEFENSORIA PÚBLICA DA UNIÃO. Assistência jurídica integral e gratuita no Brasil: um panorama da atuação da Defensoria Pública da União. 3. ed. Brasília: DPU, 2018.
• BUSCAGLIA, Edgardo; ULEN, Thomas. A quantitative assessment of the efficiency of the judicial sector in Latin America. International Review of Law and Economics, v. 17, n. 2, p. 275-291, 1997.
• BUTA, Bernardo O.; SILVA FILHO, Antonio I. Assistência jurídica gratuita: serviços da Defensoria Pública da União na ótica da abordagem integradora da inovação. Revista do Serviço Público, v. 67, n. 3, p. 377-406, 2016.
• CASTRO, Alexandre. Indicadores básicos e desempenho da justiça estadual de primeiro grau no Brasil [Texto Para Discussão nº 1.609]. Brasília, DF: IPEA, 2011.
• CUNHA, Luciana G.; OLIVEIRA, Fabiana L.; GLEZER, Rubens E. Brazilian justice confidence index: measuring public perception on judicial performance In Brazil. International Law, v. 25, p. 445-472, 2014.
• DAKOLIAS, Maria. Court performance around the world: a comparative perspective. Washingon, DC: The World Bank: The International Bank For Reconstruction and Development, 1999.
• DIMITROVA-GRAJZL, Valentina; GRAJZL, Peter; SUSTERSIC, Janez; ZAJC, Katarina. Court output, judicial staffing, and the demand for court services: evidence from Slovenian courts of first instance. International Review of Law and Economics, v. 32, n. 1, p. 19-29, 2012.
• FIELD, Andy; MILES, Jeremy; FIELD, Zoe. Discovering statistics using R London: SAGE, 2012.
• FILGUEIRAS, Fernando. Accountability e justiça. In: AVRITZER, Leonardo et al (org.). Dimensões políticas da justiça Rio de Janeiro: Civilização Brasileira, 2013.
• FOGAÇA, Natasha; COELHO JUNIOR, Francisco. A hipótese “trabalhador feliz, produtivo”: o que pensam os servidores públicos federais. Cadernos EBAPE.BR, v. 13, n. 4, p. 759-775, 2015.
• FUKUYAMA, Francis. What is governance? Governance: An International Journal of Policy, Administration, and Institutions, v. 26, n. 3, p. 347-368, 2013.
• GARCÍA-RUBIO, Miguel; ROSALES-LÓPEZ, Virginia. Justicia y economía: evaluando la eficiencia judicial em Andalucía. Revista para el Análisis del Derecho, Barcelona, v. 4, p. 1-26, 2010.
• GOMES, Adalmir D.; BUTA, Bernardo O.; NUNES, Rafael R. Relação entre demanda judicial e força de trabalho nas justiças estaduais no Brasil. Cadernos de Gestão Pública e Cidadania, v. 24, n. 78, p. 1-14, 2019.
• GOMES, Adalmir D.; GUIMARÃES, Tomás de Aquino. Desempenho no Judiciário. Conceituação, estado da arte e agenda de pesquisa. Revista Administração Pública, v. 47, n. 2, p. 379-401, 2013.
• GOMES, Adalmir; GUIMARÃES, Tomás de Aquino; AKUTSU, Luiz. Court caseload management: the role of judges and administrative assistants. Revista de Administração Contemporânea, v. 21, n. 5, p. 648-665, 2017.
• GOMES, Adalmir D.; GUIMARÃES, Tomás de Aquino; AKUTSU, Luiz. The relationship between judicial staff and court performance: evidence from Brazilian State Courts. International Journal For Court Administration, v. 8, n. 1, p. 12-19, 2016.
• GOMES, Adalmir O.; ALVES, Simone T.; SILVA, Jéssica T. Effects of investment in information and communication technologies on productivity of courts in Brazil. Government Information Quarterly, v. 35, p. 480-490, 2018.
• GOMES, Adalmir O.; FREITAS, Maria Eduarda M. Correlação entre demanda, quantidade de juízes e desempenho judicial em varas da Justiça Federal no Brasil. Revista Direito GV, v. 13, n. 2, p. 567-585, 2017.
• GUIMARÃES, Tomás de Aquino; GOMES, Adalmir O.; GUARIDO-FILHO, Edson R. Administration of justice: an emerging research field. RAUSP Management Journal, v. 53, n. 3, p. 476-482, 2018.
• JONSKI, Kamil; MANKOWSKI, Daniel. Is sky the limit? revisiting “exogenous productivity of judges” argument. International Journal for Court Administration, v. 6, n. 2, p. 53-72, 2014.
• KOO, Jeong-Woo; RAMIREZ, Francisco O. National incorporation of global human rights: worldwide expansion of national human rights institutions, 1966-2004. Social Forces, v. 87, n. 3, p. 1321-1353, 2009.
• LOTTA, Gabriela S. Avaliação do desempenho na área pública: perspectivas e propostas frente a dois casos práticos. Revista de Administração de Empresas, v. 1, n. 1, p. 2-12, 2002.
• MADEIRA, Lígia M. Institutionalisation, reform and independence of the public defender’s office in Brazil. Brazilian Political Science Review, v. 8, n. 2, p. 47-78, 2014.
• MEADE, Adam W.; JOHNSON, Emily C.; BRADDY, Phillip W. Power and sensitivity of alternative fit indices in tests of measurement invariance. Journal of Applied Psychology, v. 93, n. 3, p. 568-592, 2008.
• MINASSIANS, Henrik P. Network governance and performance measures: challenges in collaborative design of hybridized environments. International Review of Public Administration, v. 20, n. 4, p. 335-352, 2015.
• MITSOPOULOS, Michael; PELAGIDIS, Theodore. Does staffing affect the time to dispose cases in Greek courts? International Review of Law and Economics, v. 27, n. 2, p. 219-244, 2007.
• MOTTA, Luiz P.; RUEDIGER, Marco Aurélio; RICCIO, Vicente. O acesso à justiça como objeto de política pública: o caso da Defensoria Pública do Rio de Janeiro. Cadernos EBAPE.BR, v. 4, n. 2, p. 1-13, 2006.
• OLIVEIRA, Fabiana L.; CUNHA, Luciana G. Medindo o acesso à justiça cível no Brasil. Opinião Pública, v. 22, n. 2, p. 318-349, 2016.
• OLIVEIRA, Leonel G.; NOGUEIRA, José M.; OLIVEIRA, Kátia M.; OLIVEIRA FILHO, Sérgio M. Medição da eficiência de magistrados e de unidades judiciárias no Ceará, Brasil: o sistema Eficiência.Jus. Cadernos EBAPE.BR, v. 3, n. 10, p. 837-857, 2016.
• POPPING, Roel. Online tools for content analysis. In: FIELDING, Nigel; LEE, Raymond M.; BLANK, Grant. The SAGE Handbook of Online Methods, 2008. p. 329-343.
• SADEK, Maria Tereza Aina. O sistema de justiça. In: SADEK, Maria Tereza. O sistema de justiça Rio de Janeiro: Centro Edelstein de Pesquisas Sociais, 2010. p. 1-23.
• SCHULHOFER, Stephen J.; FRIEDMAN, David D. Reforming indigent defense: how free market principles can help to fix a broken system. Policy Analysis, n. 666, p. 1-24, Sep. 1, 2010.
• SERBENA, Cesar Interfaces atuais entre a E-Justiça e a Q-Justiça no Brasil. Revista de Sociologia e Política, v. 21, n. 45, p. 47-56, 2013.
• SILVA, Rosane L.; HOCH, Patrícia; RIGHI, Lucas M. Transparência pública e atuação normativa do CNJ. Revista Direito GV, v. 9, n. 2, p. 489-514, 2013.
• SMULOVITZ, Catalina Public Defense and access to justice in a federal context: who gets what, and how, in the Argentinean provinces. In: INGRAM, Matthew C.; KAPISZEWSKI, Diana. Beyond high courts: the justice complex in Latin America. Notre Dame: Notre Dame Press, 2014. p. 117-147.
• TABACHNICK, Barbara G.; FIDELL, Linda S. Using multivariate statistics New Jersey: Pearson Education, 2013.
• THIRY-CHERQUES, Hermano R. Saturação em pesquisa qualitativa: estimativa empírica de dimensionamento. Revista Brasileira de Pesquisas de Marketing, v. 4, n. 8, p. 20-27, 2009.
• TOMIC, Slobodan. Legal independence vs. leaders’ reputation: exploring drivers of ethics commissions’ conduct in new democracies. Public Administration, v. 93, n. 6, p. 1-17, 2018.
• ULLMAN, Jodie B. Structural equation modeling. In: TABACHNICK, Barbara G.; FIDELL, Linda S. Using multivariate statistics New Jersey: Pearson Education, 2013. p. 681-785.
• VIDAL, Josep P. A Defensoria Pública do Estado do Pará: uma observação sistêmica da capacidade institucional. Revista de Administração Pública, v. 48, n. 3, p. 667-694, 2014.
• YEUNG, Luciana L.-T.; AZEVEDO, Paulo F. Além dos “achismos” e das evidências anedóticas: medindo a eficiência dos tribunais brasileiros. Economia Aplicada, v. 16, n. 4, p. 643-663, 2012.
• ZAHRA, Abiha; JADOON, Muhammad I. Autonomy of public agencies in Pakistan: does structure matter? International Journal Of Public Sector Management, v. 29, n. 6, p. 565-581, 2016.

Datas de Publicação

• Publicação nesta coleção
  08 Jul 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  16 Abr 2019
• Aceito
  30 Jan 2020