Validação de instrumento de auditoria do Sistema Único de Saúde

Validación de instrumento de auditoría del Sistema Único de

Resumo

Objetivo

Analisar a validade e a confiabilidade de um instrumento utilizado em auditoria no Sistema Único de Saúde (SUS).

Métodos

Pesquisa metodológica que empregou as etapas de adaptação de um instrumento de auditoria recomendado pelo Ministério da Saúde, Portaria nº 3410/2013, validação do conteúdo por experts e teste de confiabilidade do instrumento validado.

Resultados

Em relação a adequação do instrumento, originalmente o mesmo possuía 100 itens e 32 subitens, e passou a apresentar 55 itens, com seus respetivos critérios de avaliação, bem como a fonte de coleta da informação, totalizando 165 itens de analise. Na validação desse instrumento os experts sugeriram alterações quanto à semântica e o conteúdo em 77 (46,66%) itens. O teste de confiabilidade apresentou índice de concordância de 0,85 entre as enfermeiras auditoras 1 e 2; 0,82 entre as enfermeiras auditoras 1 e 3 e 0,96 entre as enfermeiras auditoras 2 e 3 com média de 0,88, representando uma concordância quase perfeita interavaliadoras.

Conclusão

A adequação do instrumento fundamentado na legislação vigente e a validação por experts deixou-o conciso, claro e objetivo, apresentando consistência estatística para uso em auditoria no SUS, demonstrada pelo teste de confiabilidade.

Auditoria de enfermagem; Sistema único de saúde; Adaptação; Estudos de validação

Resumen

Objetivo

evaluar la validez y confiabilidad de un instrumento utilizado en auditoría en el Sistema Único de Salud (SUS).

Métodos

investigación metodológica en la que se emplearon las siguientes etapas: adaptación de un instrumento de auditoría recomendado por el Ministerio de Salud, Resolución nro. 3410/2013, validación del contenido por experts y prueba de confiabilidad del instrumento validado.

Resultados

con relación a la adaptación del instrumento, este contenía originalmente 100 ítems y 32 subítems, y pasó a tener 55 ítems, con sus respectivos criterios de evaluación, así como la fuente de recolección de información, con un total de 165 ítems de análisis. En la validación del instrumento, los experts sugirieron cambios relacionados con la semántica y el contenido en 77 ítems (46,66%). La prueba de confiabilidad presentó un índice de concordancia de 0,85 entre las enfermeras auditoras 1 y 2; 0,82 entre las enfermeras auditoras 1 y 3, y 0,96 entre las enfermeras auditoras 2 y 3, con un promedio de 0,88, lo que representa una concordancia entre evaluadoras casi perfecta.

Conclusión

la adaptación del instrumento fundamentado en la legislación vigente y la validación por experts contribuyeron para que quedara conciso, claro y objetivo, con consistencia estadística para uso en auditoría en el SUS, demostrada por la prueba de confiabilidad.

Auditoría de enfermería; Sistema único de salud; Adaptación; Estudios de validación

Abstract

Objective

To analyze the validity and reliability of an instrument used for auditing the Unified Health System (SUS).

Methods

Methodological research that used the steps of adaptation of an audit instrument, recommended by the Ministry of Health, Ordinance No. 3410/2013: expert validation of content and reliability testing of the validated instrument.

Results

Regarding the adequacy of the instrument, it originally had 100 items and 32 sub-items, and remained with 55 items, with their respective evaluation criteria, as well as the source of data collection, totaling 165 items of analysis. For validation of this instrument, the experts suggested changes in semantics and content in 77 (46.66%) items. The reliability test presented an agreement index of 0.85 among nurses one and two; 0.82 among nurses one and three; and 0.96 among nurses two and three, with a mean of 0.88, representing an almost perfect inter-rater agreement.

Conclusion

The adequacy of the instrument, based on the current legislation and expert validation, made it concise, clear, and objective, presenting statistical consistency for use in auditing in the SUS, as demonstrated by the reliability test.

Nursing audit; Unified health system; Adaptation; Validation studies

Introdução

Com o crescimento dos gastos com saúde, tem-se estimulado discussões entre pesquisadores e formuladores de políticas, a fim de procurar soluções inovadoras sobre formas adequadas de utilização dos recursos, para garantir que a evolução das necessidades de cuidados em saúde seja atendida e que os sistemas de saúde funcionem efetivamente.¹,²

Neste sentido, a auditoria é uma atividade indispensável para qualquer tipo de sistema de saúde, tanto público quanto privado. Pode ser realizada em estabelecimentos de saúde e unidades prestadoras de serviços sob gestão federal, estadual e municipal.³

Considerando que as intervenções propostas pelo auditor tendem a promover melhorias nos resultados e na qualidade da assistência prestada, objetiva-se que a auditoria contribua na qualificação da gestão.⁴

A auditoria, enquanto ferramenta de avaliação permite monitorar a eficiência e eficácia do atendimento no Sistema Único de Saúde (SUS).⁵

Neste contexto, estudo⁶ demonstrou que no cenário internacional, o uso de instrumentos padronizados qualifica e quantifica o cumprimento dos contratos, firmados entre as partes podendo ser entes públicos, privados ou filantrópicos. Dessa forma, as fragilidades e as potencialidades são avaliadas e a qualidade da assistência prestada consegue ser aferida, o que permite planejar e avaliar o cumprimento das metas pactuadas, como quantidade de pacientes atendidos, número de cirurgias realizadas, oferta de consultas, dentre outros.

A fim de compreender o estado da arte, realizou-se busca sistemática nas bases de dados Pubmed, Web of Science, PsycInfo e Lilacs até 31 de julho de 2018, sem limitação de idioma e ano de publicação, com objetivo de buscar estudos referentes à área de contratualização de serviços na saúde e especificamente à padronização de instrumentos. Foram utilizados os seguintes termos dos Descritores em Ciências da Saúde para identificação das publicações: Auditoria de enfermagem; Contratos; Avaliação em Saúde; Gestão em Saúde e Saúde Pública. Esses termos foram combinados com operadores booleanos de acordo com as regras de cada base de dados. Os seguintes critérios de inclusão foram adotados: ser estudo original, ser publicado em periódico com corpo editorial e revisão por pares e abordar a tematica instrumento de avaliação na contratualização de serviços de saúde.

O que foi identificado em relação aos instrumentos de contratualização com o SUS, são portarias ministeriais que informam regras básicas e gerais em relação à contratualização,⁷ mas não foi localizado modelo de instrumento que possa ser implantado e seguido pelos gestores públicos, tampouco nenhum instrumento validado.

A Portaria do Ministério da Saúde (MS) nº 3410/2013,⁷ que “Estabelece as diretrizes para a contratualização de hospitais no âmbito do SUS em consonância com a Política Nacional de Atenção Hospitalar”, no artigo 4 recomenda que seja utilizado instrumento para auditar os prestadores de serviços que têm a finalidade de avaliar os compromissos firmados entre as partes.⁷

Observa-se que devido à autonomia que os municípios em gestão plena possuem, existe flexibilidade na estratégia de avaliação dos serviços contratualizados, o que pode causar divergências e falhas na elaboração de instrumentos de forma empírica. Em consequência, podem ocorrer falhas na gestão pública, mau uso dos recursos públicos e má qualidade na assistência prestada.⁸,⁹

O instrumento adotado neste estudo foi construído na Secretaria de Saúde de Londrina-PR, baseado nos contratos e nas legislações. Porém, foram enfrentadas dificuldades nas avaliações por parte do contratante e dos serviços contratados, pois o documento permitia interpretações dúbias, além de apresentar falta de clareza e objetividade. Desta forma, identificou-se a necessidade de construir um instrumento atual, validado por experts com experiência em contratualização no SUS e que representam as várias esferas envolvendo esse processo.

Diante do exposto, o objetivo deste estudo foi analisar a validade e a confiabilidade de um instrumento utilizado em auditoria no SUS.

Métodos

Estudo de desenvolvimento metodológico e aplicado, de abordagem quantitativa. Foi desenvolvido na cidade de Londrina, localizada no sul do Brasil. O município tem gestão plena na saúde, sendo responsável pelo planejamento, execução e avaliação dos serviços contratados. Em 2017, possuía população de 558.439 habitantes⁹e era referencia para 21 municípios, abrangendo uma população de 846.708 habitantes.¹⁰

Previamente à realização do estudo foi solicitada a autorização da Diretoria de Regulação da Atenção à Saúde (DRAS), que faz parte da Secretaria de Saúde do local em estudo. A DRAS é responsável pela contratualização dos prestadores de serviços ao SUS no município.¹¹

O objeto desta pesquisa é o instrumento de avaliação de auditoria adotado no município, que consiste na parte qualitativa do Documento Descritivo (DD), sendo este um anexo dos contratos estabelecidos entre gestores públicos e prestadores de serviço, em que são detalhados: modelo de assistência, tipo de avaliação, método de ensino e pesquisa que serão auditados.

O instrumento original de auditoria, preconizado na Portaria MS nº3410/2013⁷era composto por oito categorias, sendo elas: Atenção à Saúde, Participação nas Políticas Prioritárias do SUS, Política de formação, Gestão hospitalar, Ações relacionadas ao processo de trabalho e a integração local/regional, Políticas Ministeriais de assistência em alta complexidade e áreas específicas, Políticas de Recursos Humanos, Pesquisa e Avaliação Tecnológica em Saúde. No total o instrumento possuía 100 itens e 32 subitens. Esse estudo foi desenvolvido em três etapas, conforme figura 1.

Figura 1
Etapas da adequação e validação do instrumento

A primeira consistiu na adequação do instrumento original pelos autores e enfermeiros doutorandos de diversas especialidades, fundamentados na literatura científica e portarias ministeriais.

Para execução desta etapa, foram realizados encontros presenciais entre os autores para discutir e adequar o instrumento. Já com os doutorandos foi feita apresentação do estudo em uma das reuniões do grupo de pesquisa; posteriormente foi enviado o material por email para análise e sugestões que foram respondidas eletronicamente.

Na segunda etapa foram realizadas oficinas com experts para validar o conteúdo do instrumento adaptado. A escolha dessas pessoas foi intencional, tendo sido convidados diferentes representantes com experiência no tema desta pesquisa. Participaram dez profissionais que atuavam no setor responsável pela contratualização, tanto no seguimento do gestor municipal como no do prestador sendo eles: dois gestores públicos, três prestadores de saúde e cinco enfermeiros auditores. O critério de inclusão para tais especialistas foi trabalhar há pelo menos três anos com auditoria ou gestão do SUS e ter experiência com contratualização nesse Sistema. Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido.

Optou-se por selecionar esses experts e realizar a validação do instrumento em oficinas porque essas estratégias permitem que os participantes protagonizem a análise do contexto de que fazem parte, além de ser considerado como um momento potencializador da participação dos diferentes atores, de compartilhamento de saberes e práticas em avaliação. Essa mesma estratégia foi adotada em outros estudos de validação.¹²-¹⁵

Efetuou-se o convite pessoal e individual a cada um dos experts, com a explicação da temática e objetivo do estudo. Datas, horários previstos e local que melhor atendessem o agrupamento dos experts foram propostos. Quatro dias antes da primeira oficina foi enviada uma cópia encadernada do instrumento a cada um dos participantes e outra online, para que todos tivessem a oportunidade de lê-lo previamente.

Devido à complexidade e a quantidade de itens e subitens desse documento foi necessário realizar duas oficinas para a sua análise e validação. Cada um dos itens foi avaliado, seguindo as orientações: se o item foi reelaborado, qual o critério para a sua avaliação e a fonte de coleta de informação.

O grupo de experts avaliou os itens do instrumento quanto às equivalências semânticas (gramatical e de vocabulário) e de conteúdo (conceito, relação de um item com o outro) e foi solicitado que quando necessário indicassem sugestões sobre possíveis modificações ou complementação dos itens. Adotou-se nesta etapa um índice de validade de conteúdo de 100%. Todos os experts julgaram cada um dos itens do instrumento simultaneamente e só após consenso unânime do grupo foi finalizado o processo de validação.

Após a conclusão das oficinas, procedeu-se a avaliação da confiabilidade do instrumento. Para esta etapa foram convidadas, intencionalmente, três enfermeiras auditoras com experiência profissional de pelo menos três anos na área de auditoria pública que não participaram da etapa de validação. Solicitou-se que elas aplicassem o instrumento em uma instituição, a qual nunca haviam auditado.

As enfermeiras auditoras aplicaram o instrumento simultaneamente na mesma instituição, porém sem comunicação entre elas. O objetivo desta etapa era avaliar as mesmas situações, em um determinado recorte de tempo, permitindo analisar o teste de confiabilidade interavaliadores, que indica o grau de correspondência entre avaliações independentes de dois ou mais experts, estimada pelo cálculo de Kappa.¹⁶

Foram determinados os índices de Kappa para os auditores 1 e 2, 1 e 3, 2 e 3, considerando todas as questões e itens.

Pretendia-se atingir o valor de Kappa de pelo menos 0,6, considerado como correlação moderada. Caso não fosse alcançado esse valor, seriam realizadas adaptações do instrumento e sua reaplicação pelas auditoras até que se atingisse o valor mínimo de Kappa adotado no estudo.

Após a etapa de aplicação do instrumento, as auditoras responderam a um teste sobre o processo de sua aplicabilidade.¹⁷ Foram avaliados os critérios: compreensão das instruções e das questões e facilidade para assinalar as respostas do instrumento.

Os dados foram tabulados no programa Microsoft Excel for Windows® e analisados pelo Statistical Package for the Social Science (SPSS) versão 22.0.

Foram realizadas análises descritivas dos dados, com frequências absolutas, relativas e aplicação do teste de Kappa a confiabilidade.

O desenvolvimento do estudo atendeu as normas éticas em pesquisa envolvendo seres humanos, obtendo parecer favorável conforme consta na Plataforma Brasil nº1.702.128.

Resultados

A etapa de adaptação do instrumento pelos autores resultou na adequação de conteúdo e de semântica em todos os itens, inclusive com atualizações baseadas nas legislações vigentes. O documento original era composto por itens e subitens e nessa etapa os subitens tornaram-se itens.

Participaram da etapa de validação do conteúdo dez experts. Quanto à ocupação, havia cinco enfermeiras auditoras, um técnico administrativo, um gerente de marketing, um gerente executivo, um secretário de saúde e um diretor de serviços públicos. O tempo de atuação dos experts no SUS variou de três a 30 anos, sendo a maioria de três a dez anos.

A avaliação dos experts resultou na reestruturação do instrumento, sendo realizadas alterações gramaticais, exclusões de categorias por estarem em desacordo com portarias ministeriais, inserção de 14 itens fundamentados em legislações vigentes, subdivisão de quatro itens que avaliavam assuntos distintos e exclusão de um item por ser repetitivo.

Considerando todas as etapas de adequação do instrumento original que possuía 100 itens e 32 subitens, e ficou com 55 itens, com seus respetivos critérios de avaliação, bem como a fonte de coleta da informação, totalizando 165 itens de analise. Na validação desse instrumento os experts sugeriram alterações quanto à semântica e o conteúdo em 77 (46,66%) itens.

Em relação às quantidades de categorias que compõem o instrumento original, houve redução de oito para cinco. Essas exclusões foram baseadas nas legislações vigentes.

As cinco categorias do instrumento validado são:

1. Atenção à Saúde;

2. Eixo de assistência;

3. Eixo de gestão;

4. Eixo de formação;

5. Eixo de ensino e pesquisa.

Constatou-se que as alterações realizadas refinaram-no, trouxeram clareza e objetividade, tendo sido inseridos os critérios de avaliação por item e a fonte de coleta das informações. As adequações no documento original e no validado encontram-se na integra no link: www.nepgese.com.

A confiabilidade do instrumento analisado foi validada e ele foi aplicado por três enfermeiras auditoras, com tempo médio de experiência no SUS foi de 12 anos, com mínimo de oito e máximo de 20 anos.

O tempo necessário para a aplicação do instrumento foi de 3:30h para todas as enfermeiras, que o aplicaram simultaneamente.

Na tabela 1 estão apresentados os índices Kappa de acordo com as avaliações das enfermeiras por categoria do instrumento.

Tabela 1
Índices de concordância entre as enfermeiras auditoras por categoria do instrumento utilizado em auditoria no Sistema Único de Saúde e índice geral de concordância

Enfermeiras auditoras	Categoria do Instrumento	Índice por categoria	Índices para todas as categorias
1 e 2	Categoria A	0,86	0,85
	Categoria B	0,80
	Categoria C Categoria D Categoria E	0,63 1,00 1,00
1 e 3	Categoria A	0,86	0,82
	Categoria B	0,61
	Categoria C Categoria D Categoria E	0,63 1,00 1,00
2 e 3	Categoria A	1,00	0,96
	Categoria B	0,80
	Categoria C Categoria D Categoria E	1,00 1,00 1,00

Os resultados demonstraram que as enfermeiras auditoras 1 e 2 possuem concordância quase perfeita (0,80 a 1,00) com índice Kappa 0,85; as 1 e 3 possuem concordância substancial com índice Kappa 0,82 e as 2 e 3 possuem concordância quase perfeita, com índice Kappa 0,96.

As três auditoras consideraram de fácil entendimento as instruções de como aplicar e assinalar as respostas do instrumento. Quanto à compreensão das questões, duas auditoras relataram completa facilidade e uma parcial facilidade.

Inicialmente, foi proposto para o grupo de experts que fosse determinado valor de cada item do instrumento, porém esta tarefa constituiu-se em uma limitação do estudo, pois durante as oficinas, os experts propuseram que não fosse realizada essa ação, pois a valoração depende dos demais itens contratualizados em cada município ou esfera de gestão pública.

Discussão

O processo de adaptação inicialmente consistiu na leitura detalhada do instrumento original e na leitura de referencias que abordassem a temática; pelo fato dos autores possuírem experiência com contratualização e avaliação, o processo foi facilitado. Muitas legislações atuais em relação à temática não foram identificadas, porém foram encontradas três legislações essenciais¹⁷,¹⁸ que fazem referências às Portarias Ministeriais.

Na etapa de validação de conteúdo, o perfil dos experts, com experiência de trabalho na instituição e no SUS, trouxe contribuições substanciais para a adequação do instrumento. Estudos que utilizaram a mesma diversidade de profissionais, com formações e funções que ocupam distintas, tiveram o mesmo resultado em relação a proporcionar enriquecimento nas discussões, com reflexões abrangentes e complexas, possibilitando olhar sob pontos distintos do mesmo assunto.¹⁵

Uma das fortalezas desse estudo foi a seleção intencional dos experts que oportunizou a representação de todos os envolvidos no processo de contratualização e avaliação, que promoveu discussões entre gestores públicos (contratantes), gestores das instituições (contratados) e enfermeiros auditores (responsáveis por acompanharem o cumprimento da execução dos itens contratualizados).

Nas oficinas foram observadas dificuldades para que os experts chegassem a um consenso, pois eles, por vezes, não pensavam na intenção de tornar o instrumento aplicável em qualquer realidade trazendo debates centralizados, apenas, nas vivências e realidades de suas instituições. Notou-se também que ao envolver gestores públicos e gestores de instituições contratadas, houve momentos em que a oficina tornava-se local de debate de problemas situacionais e individuais.

Estudos que utilizaram a mesma metodologia, com atores inseridos em diferentes contextos e que analisaram uma temática especifica, mostraram que há momentos de dificuldade e que nem sempre se chega a um consenso.¹⁹,²⁰ Tais acontecimentos exigiram intervenção por partes dos autores, em sinalizar o objetivo do estudo e reforçar as exigências contidas nas legislações, para que se conseguisse chegar a um entendimento comum de forma imparcial e resolutiva.¹⁵,²¹

Em relação à análise da confiabilidade interavaliadores, a concordância substancial atribuída pelas enfermeiras auditoras na Categoria B-Eixo de Assistência pode ser justificada pelo fato do instrumento ser qualitativo; portanto, em alguns itens, continha questões subjetivas. Como, por exemplo, o item “B.12- Manter ambiência hospitalar de acordo com normas e legislações vigentes das Resoluções da Diretoria Colegiada”, que analisam se iluminação, ruídos e ambiências estão agradáveis. Itens como este compõem a legislação obrigatória, porém podem ser avaliados como muito bom ou excelente, pois a quantidade de ruídos, por exemplo, pode ser analisada de forma diferente entre pessoas, baseada na opinião individual.

Destaca-se que, apesar de alguns itens do instrumento não terem atingido o percentual de concordância quase perfeita entre as enfermeiras auditoras, os autores optaram por não realizar a segunda rodada de aplicação do instrumento, pois no geral, este atingiu 84,6% de concordância interavaliadores, que representa consistência estatística.

Em relação ao tempo de aplicação do instrumento (3:30h), à medida que o profissional que aplicará o instrumento domina as questões, utiliza-o com frequência, conhece bem a instituição, o tempo de aplicação diminui e o serviço pode ser dividido ao longo das visitas que serão realizadas na instituição pelo auditor.

Pelo fato de não se ter identificado na literatura dos últimos 10 anos artigos que discutissem os instrumentos de auditoria, utilizados para avaliar a contratualização dos serviços, as discussões comparativas com achados semelhantes em outros estudos foi outra limitação desse estudo.

Contudo, há estudo a respeito da construção de instrumentos de auditoria para avaliar questões relacionadas à qualidade da assistência e de cobranças hospitalares. Para elaboração desse instrumento a escolha dos profissionais que participaram dessa construção também foi feita de forma intencional, com profissionais que atuavam diretamente com o objeto em estudo. O referido instrumento contribui para gerar indicadores de auditoria e consequentemente, melhorar a qualidade do serviço prestado.⁵

Outro estudo sobre a construção de instrumentos de auditoria, e que possui alguns itens relacionados à contratualização, foi desenvolvido por fisioterapeutas auditores. Também utilizou na metodologia analise da literatura e de legislação para construir indicadores e itens do instrumento. Esse instrumento também teve por objetivo padronizar a auditoria nos serviços de fisioterapia visando a qualidade da prestação de serviços.²²

A contratualização como ferramenta para modernização e melhoria da qualidade da prestação de serviços de saúde²³e da eficácia da gestão pública é fundamental, porém é uma ferramenta complexa e que deve ser avaliada criteriosamente.

Conclusão

A realização deste estudo possibilitou adaptar e validar um instrumento de avaliação utilizado em auditoria do SUS. O método utilizado mostrou-se adequado para alcance do objetivo proposto e pode subsidiar a realização de outras pesquisas relacionadas à temática. Acredita-se que a adaptação e validação do referido instrumento poderá servir de subsídios para gestores nos processos de avaliação de contratos e de prestação de serviços, bem como de formuladores de políticas públicas na estruturação de estratégias baseadas nos resultados identificados. Atrelados a isso, apresentam-se as implicações para a possibilidade de melhor alocação de recursos públicos. Apesar das limitações do estudo, como impossibilidade de valoração do instrumento e não localização de outros estudos de validação de instrumentos de auditoria usados na contratualização do SUS espera-se que esse estudo contribua para a melhoria da saúde pública brasileira.

Referencias

• ¹
  Silva KR, Lima MD, Sousa MA. Auditoria: ferramenta de enfermagem para melhoria da qualidade assistencial. Rev Gest Saúde (Brasília). 2016;7(2):793-810.
• ²
  Peruzzo HE, Liberatti VM, Rossaneis MA, Vannuchi MT, Haddad MC. Perspectivas, sentimentos e vivências de ouvidores do Sistema Único de Saúde no exercício da função. Cienc Cuid Saude. 2017; 16(1):1-7.
• ³
  Dorne J, Volpato Hungare J. Conhecimentos teóricos de auditoria em enfermagem. Rev Uningá Rev. 2017;15(1):8.
• ⁴
  Segateli TN, Castanheira N. A atuação do profissional enfermeiro na auditoria em saúde. Rev Saúde Desenvolv. 2015;7(4):43-56.
• ⁵
  Viana CD, Bragas LZ, Lazzari DD, Garcia CT, Moura GM. Implantação da auditoria concorrente de enfermagem:um relato de experiência. Texto Contexto Enferm. 2016;25(1):e3250014. .
• ⁶
  Barbosa AP, Tardivo CR, Barbosa EC. Mecanismos de controle da gestão do SUS à Luz da Lei Complementar Nº 141, de 2012. Adm Públ Gestão Social. 2016; 8(1):66-74.
• ⁷
  Brasil. Portaria nº. 3.410, de 30 de dezembro de 2013. Estabelece as diretrizes para a contratualização de hospitais no âmbito do SUS em consonância com a Política Nacional de Atenção Hospitalar [Internet]. [citado 2018 Fev 20]. Disponível em:<http://ww.bvsms.saude.gov.br/bvs/saudelegis/gm/2014/prt3410_30_12_2013.html>
  » http://ww.bvsms.saude.gov.br/bvs/saudelegis/gm/2014/prt3410_30_12_2013.html
• ⁸
  Silva GG, Cruz VL, Santos RR, Leone RJ. Contratos de gestão com organizações sociais: o papel dos sistemas de controle interno como ferramenta de acompanhamento e fiscalização. Rev Cientifica Hermes. 2018; 21:274-94.
• ⁹
  Instituto Brasileiro de Geografia e Estatística (IBGE). Brasil. Paraná. Londrina. Panorama [Internet]. Brasília (DF): IBGE; 2017. [citado 2018 Maio 6].Disponível em: https://cidades.ibge.gov.br/brasil/pr/londrina/panorama
  » https://cidades.ibge.gov.br/brasil/pr/londrina/panorama
• ¹⁰
  Paraná. Regionais de Saúde. Regionais SESA - 17ª RS – Londrina [Internet]. Londrina: Secretaria da Saúde; sd. [citado 2018 Maio 10]. Disponível em: http://www.saude.pr.gov.br/modules/conteudo/conteudo.php?conteudo=2769 .
  » http://www.saude.pr.gov.br/modules/conteudo/conteudo.php?conteudo=2769
• ¹¹
  Londrina. Prefeitura de Londrina. Secretaria de Saúde de Londrina. Secretarias. Saúde. DRAS. Histórico [Internet]. [citado 2018 Jan 10]. Disponível em: http://www.londrina.pr.gov.br/index.php?option=com_content&view=article&id=559&Itemid=603
  » http://www.londrina.pr.gov.br/index.php?option=com_content&view=article&id=559&Itemid=603
• ¹²
  Assis MN, Andrade AC, Rogenski KE, Castilho V, Fugulin FMT. Intervenções de enfermagem em pediatria: contribuição para a mensuração da carga de trabalho. Rev Esc Enferm USP · 2015; 49(Esp2):83-89.
• ¹³
  Cruz CW, Gaidzinski RR. Tempo de enfermagem em centro de diagnóstico por imagem: desenvolvimento de instrumento. Acta Paul Enferm. 2013; 26(1):79-85.
• ¹⁴
  Bonfim D, Pereira MJ, Pierantoni CR, Haddad AE, Gaidzinski RR. Instrumento de medida de carga de trabalho dos profissionais de Saúde na Atenção Primária: desenvolvimento e validação. Rev Esc Enferm USP. 2015; 49(Esp 2):25-34.
• ¹⁵
  Onocko Campos RT, Miranda L, Gama CA, Ferrer AL, Diaz AR, Gonçalves L, Trapé TL. Oficinas de construção de indicadores e dispositivos de avaliação: uma nova técnica de consenso. Estud Pesqui Psicol. 2010;10(1):221-41.
• ¹⁶
  Perroca MG. The new version of a patient classification instrument: assessment of psychometric properties. J Adv Nurs. 2013;69(8):1862-8.
• ¹⁷
  Coluci MZ, Alexandre NM. Development of a questionnaire to evaluate the usability of assessment instruments. Rev Enferm UERJ. 2009;17(3):378-82.
• ¹⁸
  Brasil. Portaria nº. 2.925, de 01 de novembro de 2017. Revoga as legislações que instituem o Incentivo de Qualificação da Gestão Hospitalar (IGH) [Internet]. [citado 2018 Set 20]. Disponível em http://bvsms.saude.gov.br/bvs/saudelegis/gm/2017/prt2925_03_11_2017.html
  » http://bvsms.saude.gov.br/bvs/saudelegis/gm/2017/prt2925_03_11_2017.html
• ¹⁹
  Martins EP, Rutizat NS, Costa JC, Fernandes ES. Variação linguística em aulas de língua portuguesa: uma experiência com a leitura em oficinas do PIBID. In: II CONEDU – Congresso Nacional de Educação. 2015. [citado 2018 Mar 20] Disponível em: http://www.editorarealize.com.br/revistas/conedu/trabalhos/TRABALHO_EV045_MD1_SA15_ID7733_03092015104823.pdf
  » http://www.editorarealize.com.br/revistas/conedu/trabalhos/TRABALHO_EV045_MD1_SA15_ID7733_03092015104823.pdf
• ²⁰
  Ibiapina AR, Monteiro CF, Alencar DC, Fernandes MA, Costa Filho AA. Oficinas Terapêuticas e as mudanças sociais em pacientes com transtorno mental. Escola Anna Nery. 2017;21(3):e20160375
• ²¹
  Luiz GM, Prá RM, Azevedo RC. Intervenção psicossocial por meio de oficina de dinâmica de grupo em uma instituição: relato de experiência. Psic Rev São Paulo. 2014;2(2):245-60.
• ²²
  Aleluia IR, Santos FC. Auditoria em fisioterapia no Sistema Único de Saúde: proposta de um protocolo específico. Fisioter Mov. 2013;26(4):725-41.
• ²³
  Heyer G. New public management: A strategy for democratic police reform in transitioning and developing countries. Policing: Int J Police Strategies Manag. 2011; 34(3):419-33, 2011.

Datas de Publicação

• Publicação nesta coleção
  10 Out 2019
• Data do Fascículo
  Sep-Oct 2019

Histórico

• Recebido
  8 Out 2018
• Aceito
  2 Maio 2019