Acessibilidade / Reportar erro

FATORES AMBIENTAIS NO MONITORAMENTO DE INDICADORES DE EFETIVIDADE ASSISTENCIAL HOSPITALAR* * Artigo extraído da tese de doutorado: “FATORES AMBIENTAIS QUE INFLUENCIAM NO MONITORAMENTO DE INDICADORES DE EFETIVIDADE ASSISTENCIAL EM HOSPITAIS NAS DIMENSÕES DE SEGURANÇA DO PACIENTE E CUIDADO CENTRADO NO PACIENTE”, Universidade Federal do Paraná, Curitiba, PR, Brasil, 2022.

RESUMO

Objetivo:

identificar fatores ambientais que favorecem o monitoramento de indicadores de efetividade assistencial nas dimensões segurança e cuidado centrado no paciente em hospitais.

Método:

pesquisa qualitativa com estudo de casos múltiplos, desenvolvida em três hospitais do sul do Brasil, envolvendo 58 participantes. Dados coletados entre junho/2020 e dezembro/2021 mediante questionários, entrevistas, grupos focais, documentos institucionais, submetidos à análise de conteúdo categorial.

Resultados:

evidenciaram-se categorias: fatores ambientais internos e externos; e subcategorias: convergentes e não convergentes, a saber: internos convergentes - planejamento estratégico e apoio da Direção à gestão da qualidade, sistemas de informação e estratégias, métodos e procedimentos institucionais; interno não-convergente: hospital de ensino público; e externos convergentes - políticas públicas e fatores epidemiológicos; e não-convergentes - agência acreditadora e rede hospitalar.

Conclusão:

evidenciaram-se fatores favorecedores do monitoramento de indicadores de efetividade nas dimensões consideradas, que elucidam boas práticas de gestão da qualidade, úteis e relevantes aos hospitais brasileiros.

DESCRITORES:
Indicadores de qualidade em assistência à saúde; Gestão da qualidade em saúde; Avaliação de resultados (cuidados de saúde); Serviços Hospitalares; Estudo de caso

ABSTRACT

Objective:

To identify environmental factors that favor monitoring care effectiveness indicators in the dimensions of safety and patient-centered care in hospitals.

Method:

Qualitative research with multiple cases study, carried out in three hospitals in south Brazil, involving 58 participants. Data was collected between June 2020 and December 2021 through questionnaires, interviews, focus groups, and institutional documents subjected to categorical content analysis.

Results:

The following categories were identified: internal and external environmental factors; and subcategories: convergent and non-convergent, namely: internal convergent - strategic planning and management support for quality management, information systems, and institutional strategies, methods and procedures; internal non-convergent: public teaching hospital; and external convergent - public policies and epidemiological factors; and non-convergent - accrediting agency and hospital network.

Conclusion:

Factors favoring the monitoring of effectiveness indicators were found in the dimensions considered, which elucidate good quality management practices that are useful and relevant to Brazilian hospitals.

KEYWORDS:
Quality Indicators, Healthcare; Health Quality Management; Outcome Assessment (Health Care); Hospital Services; Case Study

RESUMEN

Objetivo:

Identificar los factores ambientales que favorecen el seguimiento de los indicadores de eficacia asistencial en las dimensiones de seguridad y atención centrada en el paciente en los hospitales.

Método:

investigación cualitativa con estudio de casos múltiples, realizada en tres hospitales del sur de Brasil, con 58 participantes. Datos recopilados entre junio de 2020 y diciembre de 2021 mediante cuestionarios, entrevistas, grupos de discusión y documentos institucionales, sometidos a un análisis de contenido categórico.

Resultados:

se identificaron las siguientes categorías: factores ambientales internos y externos; y subcategorías: convergentes y no convergentes, a saber: internos convergentes: planificación estratégica y apoyo de la dirección a la gestión de la calidad, sistemas de información y estrategias, métodos y procedimientos institucionales; internos no convergentes: hospital de enseñanza pública; y externos convergentes: políticas públicas y factores epiHubo factores que favorecieron el seguimiento de los indicadores de eficacia en las dimensiones consideradas, que dilucidan buenas prácticas de gestión de la calidad útiles y pertinentes para los hospitales brasileños.

DESCRIPTORES:
Indicadores de calidad en la atención sanitaria; Gestión de la calidad en la atención sanitaria; Evaluación de resultados (atención sanitaria); Servicios hospitalarios; Estudio de casos

HIGHLIGHTS

Indicadores hospitalares essenciais à segurança e cuidado centrado no paciente.

Monitoramento dos indicadores revela práticas relevantes de gestão da qualidade.

Indica fatores favorecedores do monitoramento de indicadores de efetividade.

INTRODUÇÃO

Fatores do ambiente interno e externo afetam diretamente o processo produtivo em um hospital e, consequentemente, seus resultados. Indicadores de efetividade medem o impacto relativo a mudanças desejáveis ou indesejáveis atribuídas a cuidados de saúde11 Donabedian A. The seven pillars of quality. Arch Pathol Lab Med. [Internet]. 1990 [cited 2021 Jan. 04]; 114(11). Available from: https://pubmed.ncbi.nlm.nih.gov/2241519/
https://pubmed.ncbi.nlm.nih.gov/2241519...
.

Indicadores relativos à segurança do paciente retratam a qualidade do cuidado22 Institute of Medicine (IOM). Crossing the quality chasm: a new health system for the 21st century. Washington: National Academy Press; 2001. e o esforço organizacional para criação e manutenção de ambientes seguros. E indicadores de cuidado centrado no paciente medem o quanto o hospital responde às necessidades e expectativas de pessoas e as tornam o núcleo dos cuidados33 Seiffert LS, Wolff LDG, Silvestre AL, Mendonça TR, Cruz ED, Ferreira MMF. Validation of hospital effectiveness indicators in the patient-centered care dimension. Revista de Enfermagem Referência. [Internet]. 2020 [cited 2021 Feb. 10]; 5(2). Available from: https://doi.org/10.12707/RIV19098
https://doi.org/10.12707/RIV19098...
.

Há carência de estudos que contemplem indicadores de efetividade nas dimensões da qualidade22 Institute of Medicine (IOM). Crossing the quality chasm: a new health system for the 21st century. Washington: National Academy Press; 2001.. Conhecer hospitais reconhecidos por esforços institucionais bem-sucedidos em prol da qualidade monitora indicadores de efetividade assistencial e viabiliza informações essenciais à gestão da qualidade e segurança do paciente, tanto a hospitais da rede pública como da privada.

A gestão da qualidade é um componente crucial para garantir a segurança, eficácia e eficiência dos serviços prestados pelos hospitais, e implica eleger indicadores que justifiquem a necessidade de realização de ciclos de melhoria contínua com vista à excelência de cuidados em saúde.

Buscou-se identificar fatores ambientais que favorecem o monitoramento de indicadores de efetividade assistencial nas dimensões segurança e cuidado centrado no paciente em hospitais.

MÉTODO

Pesquisa qualitativa com resultados parciais de tese44 Silvestre AL. Fatores ambientais que influenciam no monitoramento de indicadores de efetividade assistencial em hospitais nas dimensões da segurança do paciente e cuidado centrado no paciente. [Thesis]. Curitiba (PR): Universidade Federal do Paraná; 2022., desenvolvida conforme o checklist do Consolidated Criteria for Reporting Qualitative Research (COREQ)55 Souza VR, Marziale MH, Silva GT, Nascimento PL. Translation and validation into Brazilian Portuguese and assessment of the COREQ checklist. Acta Paul Enferm. [Internet]. 2021 [cited 2022 Nov. 21]; 34(eAPE02631):1-9. Available from: https://doi.org/10.37689/acta-ape/2021AO02631
https://doi.org/10.37689/acta-ape/2021AO...
.

O método de procedimento foi o Estudo de casos múltiplos, cujas etapas de definir e projetar, preparar, coletar e analisar foram adaptadas de Yin66 Yin RK. Estudo de caso: planejamento e métodos. Trad. de Cristhian Matheus Herrera. Porto Alegre: Bookman; 2015.. Na terceira etapa de análise e conclusão, procedeu-se à análise temática categorial77 Bardin L. Análise de Conteúdo. ed. rev. e atual. Trad. de Reto LA, Pinheiro A. Brasil; . Edições 70, 2021..

Relativamente à Etapa 1 - definir e projetar, selecionaram-se três hospitais de uma lista da região sul do Brasil, que atendiam, no mínimo, seis dos sete critérios: 1. Realizar atendimento cirúrgico; 2. Ser referência em uma ou mais especialidades para o SUS; 3. Atender três ou mais especialidades; 4. Ter uma ou mais UTI Adulto; 5. Atender alta complexidade; 6. Ser hospital de ensino; 7. Ser acreditado em nível de excelência. Os hospitais foram codificados como H1, H2, H3.

Os primeiros participantes de cada hospital foram indicados pela respectiva Direção e selecionaram outros, consoante a Técnica Bola de Neve. Critérios de inclusão foram: idade superior a 18 anos, trabalhar no hospital há mais de seis meses; exclusão: ausência por licença, férias ou outro motivo no período de coleta de dados. Participaram 58 profissionais (18 do H1, 30 do H2, 10 do H3), sendo 13 do nível estratégico, 16 do tático e 29 do operacional, codificados individualmente pela letra P e número correspondente à ordem da assinatura no TCLE.

Na Etapa 2 - preparar, coletar e analisar, coletaram-se dados entre junho/2020 e dezembro/2022: 144 questionários online autoaplicados (Q); 19 entrevistas, sendo 12 presenciais (E) e sete por videoconferência (V); três grupos focais (GF); além de informações em quatro levantamentos estruturados em sites (LS); 35 documentos cedidos pelos gestores (D); 19 visitas técnicas (VT); seis encontros para demonstração de sistemas de informação. Foram digitadas 120 laudas em diários de campo; 349 laudas de transcrições de entrevistas, videoconferências e grupos focais.

Os indicadores de efetividade assistencial nas dimensões de segurança do paciente e cuidado centrado no paciente foram considerados neste estudo, àqueles validados por Seiffert88 Seiffert LS. Indicadores para avaliação da efetividade assistencial de hospitais. [Thesis]. Curitiba (PR): Universidade Federal do Paraná; 2019. [cited 2023 Nov. 30]. Available from: https://acervodigital.ufpr.br/xmlui/bitstream/handle/1884/61975/R%20-%20T%20-%20LEILA%20SOARES%20SEIFFERT.pdf?sequence=1
https://acervodigital.ufpr.br/xmlui/bits...
. Em tese, foram aqueles nos quais foi aplicada a Técnica Delphi, mediante a qual indicadores de efetividade da assistência de enfermagem na dimensão segurança foram avaliados por um painel de especialistas, considerando a correspondência de cada um deles a atributos desejáveis, fundamentados na literatura correlata: a saber: “disponibilidade, confiabilidade, simplicidade, representatividade, sensibilidade, abrangência, objetividade, baixo custo, utilidade, estabilidade e tempestividade”88 Seiffert LS. Indicadores para avaliação da efetividade assistencial de hospitais. [Thesis]. Curitiba (PR): Universidade Federal do Paraná; 2019. [cited 2023 Nov. 30]. Available from: https://acervodigital.ufpr.br/xmlui/bitstream/handle/1884/61975/R%20-%20T%20-%20LEILA%20SOARES%20SEIFFERT.pdf?sequence=1
https://acervodigital.ufpr.br/xmlui/bits...
,99 Seiffert LS, Wolff LDG, Cruz ED, Ferreira MMF, Silvestre AL. Indicators of effectiveness of nursing care in the dimension of patient safety. Rev Bras Enferm. [Internet]. 2020 [cited 2022 Nov. 21]; 73(3):1-8. Available from: https://www.scielo.br/j/reben/a/bH386JswdxYD7jBbWMtbFTQ/?format=pdf⟨=pt
https://www.scielo.br/j/reben/a/bH386Jsw...
.

Na Etapa 3 - de análise e conclusão, procedeu-se à análise de conteúdo categorial77 Bardin L. Análise de Conteúdo. ed. rev. e atual. Trad. de Reto LA, Pinheiro A. Brasil; . Edições 70, 2021., mediante pré-análise, exploração de material e tratamento dos dados obtidos, com apoio do software NVivo®, versão Release 1.3 (535) para a codificação, categorização, filtragem, buscas e questionamentos sobre os dados.

Destaca-se que se realizaram testes de validade de constructo e conclusões dos casos, separadamente. Utilizaram-se, no mínimo, três etapas de validação com os participantes, individualmente e no grupo focal, com múltiplas fontes de dados, permitindo explorar várias facetas1010 Hayashi PJ, Abib G, Hoppen N, Wolff LDG. Processual validity in qualitative research in healthcare. Inquiry. [Internet]. 2021 [cited 2022 Dec. 10]; (58). Available from: https://pubmed.ncbi.nlm.nih.gov/34845941/
https://pubmed.ncbi.nlm.nih.gov/34845941...
. Em cada hospital, um grupo focal finalizou a coleta de dados, para validar, complementar e corrigir o respectivo relatório individual, com dados compilados das fontes e procedimentos.

O estudo foi aprovado pelos Comitês de Ética e Pesquisa da instituição proponente (Parecer n.o 3.598.996) e das instituições coparticipantes (que emitiram outros três pareceres de aprovação).

RESULTADOS

Os dados relativos à caracterização do ambiente geral dos hospitais H1, H2 e H3 estão descritos em conjunto, com destaque para as semelhanças e diferenciação entre eles.

O hospital H2 é público, com capacidade de operar mais de 500 leitos, e os demais são de grande porte, e por consequência, a estrutura e a produtividade diferem entre eles. Embora todos pertençam ao Sistema Único de Saúde (SUS), o H1 e o H3 integram o Sistema de Saúde Suplementar, com interface com o SUS. Todos são hospitais de alta complexidade, com unidades de Terapia Intensiva (UTI), internações para cirurgias, Pronto Atendimento e atendem pacientes em mais do que 45 especialidades médicas.

O H1 é o hospital de maior complexidade assistencial na região extremo-oeste do estado do Paraná e referência regional para gestação de alto risco; cardiologia; oncologia e neonatologia. O H2 é o maior e mais complexo hospital do Estado e referência para o SUS em diversas especialidades: gestação de alto risco, emergência obstétrica, dor torácica, acidente vascular cerebral, vítimas de violência sexual, e internacional para o transplante de medula óssea, neonatologia, hemato-oncologia, neurologia adulto e infantil, e cirurgia bariátrica. E o H3 é referência para o Vale do Itajaí nas especialidades de cardiologia, psiquiatria, cirurgia cardiológica adulto e pediátrico, oncologia, internação clínica pediátrica, intensivismo adulto, pediátrico e neonatal. Pertence à Rede de Hospitais Sentinela.

O H2 é hospital de ensino e, apesar de outrora ter obtido certificação de Acreditação Nacional nível 1 pela ONA, não possui atualmente certificação de acreditação hospitalar. E o H1 e H3 são acreditados pela Organização Nacional de Acreditação (ONA), nível 3 (de excelência), destacando-se o H3 por ser também acreditado pela Joint Commission Accreditation (JCI). Para a certificação no Nível 3 da ONA é requisitada a comprovação de maturidade gerencial do hospital, mediada por estratégias racionais estritamente alinhadas aos resultados continuamente avaliados.

Todos os três hospitais têm histórico de esforços para buscar certificação, de investimento na estrutura e processos, assim como ciclos de melhorias. O setor responsável pela qualidade de todos eles se encontra no nível estratégico e possui sistemas de informação hospitalar, com módulos específicos de monitoramento de indicadores de qualidade. Os hospitais H1, H2 e H3 monitoram os indicadores elucidados no Quadro 1, validados por Seffert88 Seiffert LS. Indicadores para avaliação da efetividade assistencial de hospitais. [Thesis]. Curitiba (PR): Universidade Federal do Paraná; 2019. [cited 2023 Nov. 30]. Available from: https://acervodigital.ufpr.br/xmlui/bitstream/handle/1884/61975/R%20-%20T%20-%20LEILA%20SOARES%20SEIFFERT.pdf?sequence=1
https://acervodigital.ufpr.br/xmlui/bits...
,99 Seiffert LS, Wolff LDG, Cruz ED, Ferreira MMF, Silvestre AL. Indicators of effectiveness of nursing care in the dimension of patient safety. Rev Bras Enferm. [Internet]. 2020 [cited 2022 Nov. 21]; 73(3):1-8. Available from: https://www.scielo.br/j/reben/a/bH386JswdxYD7jBbWMtbFTQ/?format=pdf⟨=pt
https://www.scielo.br/j/reben/a/bH386Jsw...
.

Quadro 1
Indicadores de efetividade assistencial monitorados na dimensão de segurança do paciente cuidados centrados no paciente nos hospitais H1, H2, H3. Curitiba, PR, Brasil, 2022.

Os fatores no ambiente interno dos três hospitais que os participantes consideraram favorecedores do monitoramento dos indicadores considerados neste estudo, foram organizados em duas categorias; fatores internos e externos, e duas subcategorias cada uma delas, a saber: Fatores internos convergentes - planejamento estratégico e apoio da Direção à gestão da qualidade, sistemas de informação e estratégias, métodos e procedimentos institucionais; não convergentes: hospital de ensino público. Fatores ambientais externos convergentes - políticas públicas e fatores epidemiológicos; não convergentes - agência acreditadora e rede hospitalar.

Com destaque, o apoio da Direção dos hospitais é imprescindível em relação aos indicadores, [...] propicia condições de efetivá-los e os gestores empenham-se em mensurá-los, monitorá-los e realizam ações para corrigir os desvios de desempenho detectados (Q.P13.H2). Sobretudo, a Direção [...] norteia e alinha com a estratégia da instituição, acompanha os indicadores estratégicos, principalmente no momento da revisão e elaboração do Planejamento Estratégico (Q.P2.H1).

Os sistemas de informação (SI), nos quais a [...] base de registro dos indicadores está construída, a fórmula, os parâmetros, tudo está num software [...] (V.P2.H1), permitindo monitoramento de [...] objetivos estratégicos do hospital, análise dos fatores críticos, acompanhamento de planos de ação, avaliação dos resultados periodicamente, relatórios gerenciais e gráficos de gestão à vista (GF.H1).

Diferentes estratégias, métodos e procedimentos contribuintes ao monitoramento de indicadores, como a Metodologia Lean que enseja [...] compreensão e organização dos principais processos (Q.P10.H3); e o Mapeamento que viabiliza [...] compreensão dos processos, supressão ou simplificação dos que necessitam alterações, e [...] repensar sistematizado da prática, bem como melhoria de serviços (GF.H1). Nos três hospitais há Gestão de Risco com ênfase em eventos adversos e sentinelas (never events), com notificações de incidentes, busca ativa de prontuários, busca fonada após alta, revisão de prontuários randomizados, uso de Trigger tool, relatórios de gestão de processo, de notificações, análise de causa raiz e auditorias.

São definidos os responsáveis pelo monitoramento de cada indicador (H1 e H2) e grupos de representantes de diferentes unidades (H3). O monitoramento dos indicadores de efetividade assistencial em sistemas de informação hospitalar condiz com ações e metas previstas em Plano de Segurança do Paciente, como protocolos de segurança do paciente, de hemovigilância e tecnovigilância. Embora realizem atividades voltadas ao cuidado centrado no paciente, a única mensuração de indicadores nessa dimensão decorre de pesquisa de satisfação do paciente (H1, H2, H3).

Há agenda de reuniões para monitoramento dos indicadores. No H2 são realizadas reuniões do NSP, do Comitê da Qualidade (Grupos Internos da Qualidade das unidades assistenciais e administrativas), da Comissão de Controle de Infecção Hospitalar e do Comitê Transfusional. No H1 há Gambas; [...] que o Diretor, com a área da qualidade e gerentes de departamento e divisões, discute os indicadores daquela área específica (V.P10.H1; GF.H1).

A natureza de hospital de ensino público influencia o monitoramento de indicadores ,enquanto [...] demandas da rede assistencial de um hospital de alta complexidade e de grande porte são diversas; [...] sua atuação é exclusivamente para o SUS, por contratualização com o Gestor municipal, pactuação que define os indicadores de resultado assistencial que vão monitorar o atendimento (Q.P13.H2), e os [...] mais avaliados são do contrato com o Gestor, com a Secretaria, que envolvem, quantitativos e qualitativos, por exemplo, resposta da ouvidoria em tempo hábil, reuniões do NSP [...] o quanto produzo, atendo consulta nova, realizo procedimento [...] sustentabilidade financeira do hospital (GF.H2).

Fatores e atores do ambiente externo operacional

Em atendimento às políticas públicas relativas à segurança do paciente e ao cuidado centrado no paciente, os hospitais possuem NSP e gestão de risco estruturados; integram a Rede Sentinela da Vigilância Sanitária, atendendo às demandas de órgãos reguladores como Agência Nacional da Vigilância Sanitária (ANVISA) e Secretaria do Estado de Saúde que [...] monitoram, acompanham, inclusive analisam a instituição conforme os resultados (V.P2.H1); [...] há indicadores exigidos pela legislação específica (E.P17.H1).

Em relação aos fatores epidemiológicos, a pandemia da Covid-19 trouxe adaptações e consequências aos hospitais, que observaram expressiva redução de receita, com impacto na elegibilidade e no monitoramento de alguns indicadores de efetividade assistencial (H1, H3). O H2 expôs a dificuldade de seguir metas pactuadas no planejamento anual, dadas as mudanças drásticas e rápidas impostas: [...] vem uma pandemia, tudo o que foi planejado, na parte orçamentária, não deu para fazer, foi assinado um contrato, um plano orçamentário [...] (E.P23.H2).

A pandemia dificultou o monitoramento de indicadores devido à redução de consultas, exames e procedimentos eletivos (V.P10.H1), superlotação, sobrecarga laboral, reestruturação no modelo organizacional (GF.H1, GF.H3). Houve prejuízo da [...] pesquisa de satisfação do paciente, pois o trabalho foi direcionado para triar os pacientes COVID-19 (E.P5.H1; E.P10.H1); [...] alguns indicadores de auditoria foram suspensos [...] o mais importante era que as pessoas assistissem aos pacientes [...] (GF.H3).

No processo de preparo do hospital para avaliação de certificação de acreditação, Agências Acreditadoras recomendam a adoção de indicadores como os relativos a protocolos de segurança (Q.P2.H1). Mas [...] a ONA e a JCI não obrigam a monitorar indicadores [...] eles dizem que têm que medir as metas. Quem diz qual indicador monitorar é o hospital [...] (GF.H3). O processo de acreditação tem caráter educativo que favorece o amadurecimento organizacional, senso crítico, integração entre setores e mudança de paradigma na segurança do paciente (V.P10.H1). Os hospitais H1 e H3 corroboram que agências acreditadoras melhoraram a sustentabilidade, processos e resultados, redução de custos, desperdícios e retrabalho; incentivam ao benchmarking e à competitividade.

Uma especificidade do ambiente operacional externo foi observada no H2; essa, ao integrar uma rede de gestão hospitalar, direciona-se à adoção de um planejamento estratégico que prioriza Modelo de gestão da qualidade e de gestão de riscos assistenciais e tecnológicos, programa de gestão à vista que sugere aos hospitais a elegibilidade de determinados indicadores, monitorados em sistema de informação corporativo.

DISCUSSÃO

Os hospitais pesquisados se situam no sul do Brasil, com portes, capacidades instaladas e resultados de processos produtivos diferenciados. Oferecem serviços em muitas especialidades médicas, e mais de uma delas são referências para o SUS. São de alta complexidade, têm UTI Adulto, só o H2 realiza transplantes. Têm Serviço de Controle de Infecção Hospitalar, Núcleo de Segurança do Paciente (NSP), Setor de Gestão da Qualidade e de Gestão de risco e monitoram os indicadores de efetividade assistencial nas dimensões de segurança do paciente e cuidado centrado no paciente. O H1 e H3 são hospitais privados, acreditados em nível de excelência, e o H2 é um hospital público federal, de ensino.

A influência de fatores ambientais na elegibilidade e monitoramento dos indicadores de efetividade assistencial nas dimensões da qualidade pesquisadas são discutidos em categorias: ambiente interno e ambiente externo operacional.

Em relação aos atores e fatores do ambiente interno, o planejamento estratégico institucional (PE) de cada hospital inclui a decisão sobre monitoramento de indicadores de efetividade assistencial como parte de diretrizes para a qualidade, efetividade e valorização do paciente.

É indiscutível que para conferir caráter estratégico ao planejamento é necessário efetivo envolvimento da Alta Gestão1111 Paladini EP. Gestão da qualidade. Ed. do Kindle. São Paulo: Atlas; 2019.. Destaca-se a responsabilidade da Direção do Hospital ao propor e implementar políticas e diretrizes; viabilizar, influenciar e envolver colaboradores com foco no alcance de objetivos pretendidos.

Na busca pelo monitoramento eficaz, os Sistemas de Informação (SI) auxiliam a informação, embasam processos decisórios, ações e divulgação, em tempo real, à tomada de decisão assertiva, realização de planos de ação e permitem definição de fórmulas e parâmetros em softwares e aplicativos. Os SI permitem conhecer variáveis do ambiente que viabilizam o planejamento, organização, coordenação e a avaliação de protocolos e metas de segurança e cuidado centrado no paciente, bem como mitigação de falhas.

Entretanto, são necessários SI robustos que possibilitem a tomada de decisão com menor grau de incerteza, com ação sobre pontos críticos dos sistemas hospitalares. O uso dos aplicativos na saúde oferece benefícios sobre os métodos tradicionais, como prover em tempo real o acesso portátil a serviços de informação em saúde, a coleta e o armazenamento de abundância de dados.

Em teoria, sistemas de informação deveriam ser unificados. No exemplo do SUS, não há a utilização dos mesmos sistemas, fontes de informações e de planejamento. Portanto, o sistema não reverbera os resultados e as ações integralmente, a gestão é fragmentada e gera ineficiência. Outras fragilidades são a má qualidade dos registros administrativos, prontuários parcialmente informatizados1212 Santos TO, Pereira LP, Silveira DT. Implementation of health information systems: a systematic review. Rev Eletron Comun Inf Inov Saúde. [Internet]. 2017 [cited 2021 Feb. 23]; 11(3). Available from: https://brapci.inf.br/index.php/res/v/208052
https://brapci.inf.br/index.php/res/v/20...
.

Para além dos SI, estratégias, métodos e procedimentos institucionalizados foram apontados pelos hospitais como fatores contribuintes ao monitoramento de indicadores, segundo as suas condições internas, recursos, processos, condições da clientela (perfil epidemiológico, frequência de incidentes) e as influências do ambiente externo operacional.

O fato de a ficha técnica de cada indicador estar inserida nos SI não garante acessibilidade a todos os profissionais. É indispensável a divulgação, uma vez que essa contém informações relevantes ao correto monitoramento e interpretação do indicador, relativas a como é construído (fórmula, metas), como ocorre a coleta de dados e análise dos resultados.

Além da notificação, os hospitais buscam outros métodos e procedimentos para identificar incidentes de segurança, ampliando a possibilidade de alimentação de dados para a obtenção de indicadores fidedignos. A revisão dos processos clínicos nos prontuários tem sido base de estudos devido à acessibilidade aos dados. Todavia, as desvantagens são documentação incompleta, custo elevado e ser retrospectivo1313 Caldas B do N, Mendes W. Investigação/pesquisa em segurança do paciente. In: Sousa P, Mendes W. Segurança do paciente criando organizações de saúde seguras. Rio de Janeiro: Fiocruz; 2019..

Hospitais que adotam relatórios e demandas provenientes de estudos de indicadores da Ouvidoria para a tomada de decisões, conseguem otimizar resultados, com ações aparentemente simples e óbvias aos olhos do cliente, mas não visíveis à Direção1414 Silva HC. Influência da ouvidoria como ferramenta estratégica. Revista da ABO [Internet]. 2020 [cited 2021 Dec. 04]; (3). Available from: https://revista.abonacional.org.br/files/helizena-a-influencia-da-ouvidoria-como-ferramenta-de-gestao-estrategica.pdf
https://revista.abonacional.org.br/files...
. Em relação a indicadores de efetividade, o trabalho da Ouvidoria tem conquistado espaço, embora não sejam obtidos dados acerca de cirurgias canceladas no dia agendado por motivos institucionais e nem sobre recomendação do hospital pelo paciente.

Os hospitais devem medir e relatar o que importa para as pessoas, como atendimento competente, valorização da experiência do usuário, resultados e confiança1515 Kruk ME, Gage AD, Arsenault C, Jordan K, Leslie HH, Roder-DeWan S, et al. High-quality health systems in the sustainable development goals era: time for a revolution. Lancet Glob Health [Internet]. 2018 [cited 2021 Jan. 07]; 5(11). Available from: https://pubmed.ncbi.nlm.nih.gov/30196093/
https://pubmed.ncbi.nlm.nih.gov/30196093...
. No setor privado, é clara a influência do contexto político e social diante da dependência dos recursos contratados nos planos de saúde, que possibilitam escolhas dos clientes e elevação do seu nível de satisfação e fidelidade1616 Sadeh E. Interrelationships among quality enablers, servisse quality, patients’s satisfaction and loyalty in hospitals. The TQM Journal. [Internet]. 2017 [cited 2021 June 11]; 29(1). Available from: https://doi.org/10.1108/TQM-02-2015-0032
https://doi.org/10.1108/TQM-02-2015-0032...
. Assim, qualidade e confiança são elementos-chave na competição de mercado. Quanto maior a pressão e concorrência externa, maior o investimento em estratégias de comunicação e abordagens de cuidado centrados no paciente1717 Correia T, Carapinheiro G, Carvalho H, Silva JM, Dussault G. The effects of austerity measures on quality of healthcare services: a national survey of physicians in the public and private sectors in Portugal. Hum. Resour Health. [Internet]. 2017 [cited 2021 July 10]; 15(82). Available from: https://pubmed.ncbi.nlm.nih.gov/29233172/
https://pubmed.ncbi.nlm.nih.gov/29233172...
.

Frequentemente, é destacada a centralidade do paciente no cuidado, porém em uma perspectiva subjetiva e limitada. As propostas para mensurações não superam a tradicional pesquisa de satisfação99 Seiffert LS, Wolff LDG, Cruz ED, Ferreira MMF, Silvestre AL. Indicators of effectiveness of nursing care in the dimension of patient safety. Rev Bras Enferm. [Internet]. 2020 [cited 2022 Nov. 21]; 73(3):1-8. Available from: https://www.scielo.br/j/reben/a/bH386JswdxYD7jBbWMtbFTQ/?format=pdf⟨=pt
https://www.scielo.br/j/reben/a/bH386Jsw...
,1515 Kruk ME, Gage AD, Arsenault C, Jordan K, Leslie HH, Roder-DeWan S, et al. High-quality health systems in the sustainable development goals era: time for a revolution. Lancet Glob Health [Internet]. 2018 [cited 2021 Jan. 07]; 5(11). Available from: https://pubmed.ncbi.nlm.nih.gov/30196093/
https://pubmed.ncbi.nlm.nih.gov/30196093...
e da produção incipiente nacional relacionada a este tema99 Seiffert LS, Wolff LDG, Cruz ED, Ferreira MMF, Silvestre AL. Indicators of effectiveness of nursing care in the dimension of patient safety. Rev Bras Enferm. [Internet]. 2020 [cited 2022 Nov. 21]; 73(3):1-8. Available from: https://www.scielo.br/j/reben/a/bH386JswdxYD7jBbWMtbFTQ/?format=pdf⟨=pt
https://www.scielo.br/j/reben/a/bH386Jsw...
, bem como sobre o engajamento do paciente na melhoria da efetividade hospitalar1818 Liang L, Cako A, Urquhart R, Straus SE, Wodchis WP, Baker GR, et al. Patient engagement in hospital health service planning and improvement: a scoping review. BMJ Open. [Internet]. 2018 [cited 2021 Oct. 10]; 8(1). Available from: http://dx.doi.org/10.1136/bmjopen-2017-018263
http://dx.doi.org/10.1136/bmjopen-2017-0...
.

A aplicabilidade dos indicadores de efetividade assistencial é destacada pelo conhecimento advindo de seu monitoramento compartilhado com os colaboradores e clientela externa, como prioridade estratégica de amadurecimento, crescimento e aprendizado. Além disso, a publicização desses indicadores fomenta responsabilidade, transparência, qualidade e segurança do hospital1919 Duckett S, Cuddihy M. Targeting zero supporting the Victorian Hospital system to eliminate avoidable harm and strengthen quality of care report of the review of hospital safety and quality assurance in Victoria. Victorian Government: Melbourne; 2016..

Destacam-se, nos três hospitais, a relevância de informações acerca de séries temporais relativas aos resultados de monitoramento viabilizadas por diversos relatórios, gráficos ou infográficos fixados em unidades, acessíveis em sistemas de informação ou enviados por e-mail e discutidos em reuniões com integrantes de diversos níveis (estratégico, tático e operacional).

Os resultados de indicadores de efetividade hospitalar podem ser utilizados por pacientes, médicos, profissionais de saúde, compradores (por exemplo, departamentos governamentais de saúde, financiadores de planos de saúde privados) e pela mídia2020 Canaway R, Bismark M, Dunt D, Prang KH, Kelaher M. “What is meant by public?”: stakeholder views on strengthening impacts of public reporting of hospital performance data. Soc Sci Med. [Internet]. 2018 [cited 2021 Nov. 30]; (202). Available from: https://pubmed.ncbi.nlm.nih.gov/29524870/
https://pubmed.ncbi.nlm.nih.gov/29524870...
. Apesar de os três hospitais não divulgarem aos pacientes, ressalta-se que os resultados obtidos sejam amplamente divulgados, favorecendo o desenvolvimento de ciclos de melhoria contínua da qualidade.

Já em relação aos fatores do ambiente externo operacional, as políticas públicas e, em especial, as resoluções da Anvisa relativas à segurança do paciente e ao cuidado centrado no paciente não dependem da discricionariedade da Direção dos hospitais. Devem ser compreendidas e visibilizadas nas práticas hospitalares, revelando o seu cumprimento.

Nos hospitais pesquisados, as resoluções da Anvisa, incluindo os protocolos relacionados às metas de segurança do paciente estão implantados2121 Brasil. Assistência segura: uma reflexão teórica aplicada à prática. Série Segurança do Paciente e Qualidade em Serviços de Saúde. Agência Nacional de Vigilância Sanitária; 2017., há capacitação sobre gestão de risco e segurança do paciente, bem como usam metodologias para planejamento, monitoramento, comunicação de incidente e riscos de segurança.

Outro fator externo operacional relevante foram as alterações no perfil epidemiológico dos pacientes atendidos em decorrência da Pandemia da Covid-19, que implicaram mudanças no mix de produção, na elegibilidade e no monitoramento de alguns indicadores de efetividade assistencial, pressionando a qualidade na tentativa de otimizar o uso de recursos. Foi um período de incertezas e desafios que exigiu da gestão dinamicidade nas decisões.

Os ambientes hospitalares caracterizam-se pelo dinamismo e complexidade, enfrentam imprevisibilidade, incerteza por terem pouco espaço para erros, além de elementos diversos para monitorar. Neste contexto, fatores que impactam a segurança e a qualidade dos processos assistenciais devem ser considerados, como fatores do ambiente, estrutura, riscos, cultura organizacional, bem como regulamentos nacionais e políticas. Portanto, diante da pandemia da Covid-19, mobilizaram-se ações de segurança para promover a disseminação de estratégias, assim como tornar sistemas de saúde mais resilientes ao impacto dos danos22 Institute of Medicine (IOM). Crossing the quality chasm: a new health system for the 21st century. Washington: National Academy Press; 2001..

Nos hospitais privados, a pandemia afetou prioritariamente o financeiro, prejudicando a sustentabilidade do negócio, exigindo revisão do planejamento2222 Zanatta JM, Sausen JO, Halberstadt IA. Strategic management and organizational alignment: case study in Rio Grande do Sul health philanthropical institutions. Rev Bras Adm Cient. [Internet]. 2019 [cited 2021 Apr. 24]; 10(4). Available from: http://royaljms.com/index.php/aegaeum/article/view/258
http://royaljms.com/index.php/aegaeum/ar...
; já no hospital público, catalisou a impossibilidade de seguir o planejamento.

Contudo, apesar das dificuldades impostas pela pandemia, benefícios de curto prazo em áreas, atributos-chave de segurança foram adotados, como transparência, comunicação ativa, colaboração e adoção rápida de práticas de segurança do paciente.

A atuação de Agências Acreditadoras contribui no monitoramento de indicadores de efetividade assistencial, fornecendo sugestões positivas de práticas com bons resultados, por ser metodologia de avaliação externa da qualidade dos hospitais que determina a conformidade de acordo com padrões técnicos e legais2323 Santos WS, Fiates GGS, Rocha RA. Quality of hospital services under the perspective of accreditation. Rev. Adm. Hosp. Inov. Saúde. [Internet]. 2019 [cited 2023 Feb. 01]; 16(1). Available from: http://dx.doi.org/10.21450/rahis.v16i1.5670
http://dx.doi.org/10.21450/rahis.v16i1.5...
. O processo de acreditação propõe atividades como observações, feedback e autorreflexão2424 Desveaux L, Mitchell JI, Shaw J, Ivers NM. Understanding the impact of accreditation on quality in healthcare: a grounded theory approach. Int J Qual Health Care. [Internet]. 2017 [cited 2023 Feb. 10]; 29(7). Available from: https://pubmed.ncbi.nlm.nih.gov/29045664/
https://pubmed.ncbi.nlm.nih.gov/29045664...
, e incentiva profissionais e pacientes à redução de riscos e prevenção de incidentes mediante ciclos de melhoria dos processos. Ademais, o processo de acreditação pode contribuir para mudanças gerenciais amplas e positivas no hospital. Embora represente um fator ambiental externo operacional influente no ambiente interno, destaca-se o compromisso e empenho da Direção e dos colaboradores do hospital em prol da melhoria de estrutura e processos.

Na mesma perspectiva, há influências favoráveis quando o hospital pertence a uma rede de gestão hospitalar que prioriza a gestão da qualidade, fator presente no ambiente externo operacional do H2. Destaca-se que entre as finalidades dos hospitais públicos federais estão a assistência (geralmente de média e alta complexidade, com uso extensivo de tecnologia), o ensino e a pesquisa. Portanto o aprimoramento de sua gestão fomentado pelo direcionamento de um modelo de rede que: busca resultados, alcance de metas, controle nas decisões sobre o trabalho25 e que estimule a adoção de práticas gerenciais atuais e eficazes, pode contribuir à qualidade da assistência, segurança do paciente e uso racional dos recursos.

A natureza pública de um hospital de ensino universitário traz especificidades como a contratualização, mediante a qual gestores pactuam metas quantitativas e qualitativas de atenção à saúde e de gestão hospitalar, controladas por Comissão de Acompanhamento - processo que se constitui ferramenta de gestão que favorece a melhoria da qualidade da assistência pois direciona o mix de produção do hospital, os serviços ofertados, a clientela atendida, os recursos utilizados e o monitoramento de determinados indicadores de qualidade.

Embora haja a concepção da impossibilidade de generalização de resultados oriundos de pesquisas qualitativas, sugerindo uma limitação ao estudo, os resultados refletem fatores ambientais comuns a muitos hospitais brasileiros. Esses podem elucidar como hospitais com ambientes semelhantes conseguem eleger e monitorar os indicadores, a partir das perspectivas, experiências, estratégias, métodos e procedimentos utilizados nos hospitais participantes da pesquisa.

CONSIDERAÇÕES FINAIS

Identificaram-se fatores internos que influenciam o monitoramento de indicadores de efetividade assistencial: planejamento estratégico institucional e apoio da Direção à gestão da qualidade; sistemas de informação; estratégias, métodos e procedimentos; natureza pública de um hospital universitário. E no ambiente externo operacional: políticas públicas, em especial a Anvisa; fatores epidemiológicos, agências acreditadoras; integração à rede de hospitais que prioriza a gestão da qualidade.

Resultados revelam possibilidades de melhorias à gestão da qualidade e segurança do paciente, no monitoramento e divulgação de indicadores hospitalares. Recomendam-se novos estudos com maior número de hospitais que possibilitem explorar em profundidade cada uma das categorias identificadas neste estudo, a fim de explicar a influência do ambiente no monitoramento de indicadores de efetividade assistencial.

  • COMO REFERENCIAR ESTE ARTIGO:

    Silvestre AL, Wolff LDG, Figueiredo KC, Gelbcke FL, Alves M, Seiffert LS. Environmental factors in monitoring hospital care effectiveness indicators. Cogitare Enferm. [Internet]. 2024 [cited “insert year, month and day”]; 29. Available from: https://doi.org/10.1590/ce.v29i0.95653.

REFERÊNCIAS

  • 1
    Donabedian A. The seven pillars of quality. Arch Pathol Lab Med. [Internet]. 1990 [cited 2021 Jan. 04]; 114(11). Available from: https://pubmed.ncbi.nlm.nih.gov/2241519/
    » https://pubmed.ncbi.nlm.nih.gov/2241519
  • 2
    Institute of Medicine (IOM). Crossing the quality chasm: a new health system for the 21st century. Washington: National Academy Press; 2001.
  • 3
    Seiffert LS, Wolff LDG, Silvestre AL, Mendonça TR, Cruz ED, Ferreira MMF. Validation of hospital effectiveness indicators in the patient-centered care dimension. Revista de Enfermagem Referência. [Internet]. 2020 [cited 2021 Feb. 10]; 5(2). Available from: https://doi.org/10.12707/RIV19098
    » https://doi.org/10.12707/RIV19098
  • 4
    Silvestre AL. Fatores ambientais que influenciam no monitoramento de indicadores de efetividade assistencial em hospitais nas dimensões da segurança do paciente e cuidado centrado no paciente. [Thesis]. Curitiba (PR): Universidade Federal do Paraná; 2022.
  • 5
    Souza VR, Marziale MH, Silva GT, Nascimento PL. Translation and validation into Brazilian Portuguese and assessment of the COREQ checklist. Acta Paul Enferm. [Internet]. 2021 [cited 2022 Nov. 21]; 34(eAPE02631):1-9. Available from: https://doi.org/10.37689/acta-ape/2021AO02631
    » https://doi.org/10.37689/acta-ape/2021AO02631
  • 6
    Yin RK. Estudo de caso: planejamento e métodos. Trad. de Cristhian Matheus Herrera. Porto Alegre: Bookman; 2015.
  • 7
    Bardin L. Análise de Conteúdo. ed. rev. e atual. Trad. de Reto LA, Pinheiro A. Brasil; . Edições 70, 2021.
  • 8
    Seiffert LS. Indicadores para avaliação da efetividade assistencial de hospitais. [Thesis]. Curitiba (PR): Universidade Federal do Paraná; 2019. [cited 2023 Nov. 30]. Available from: https://acervodigital.ufpr.br/xmlui/bitstream/handle/1884/61975/R%20-%20T%20-%20LEILA%20SOARES%20SEIFFERT.pdf?sequence=1
    » https://acervodigital.ufpr.br/xmlui/bitstream/handle/1884/61975/R%20-%20T%20-%20LEILA%20SOARES%20SEIFFERT.pdf?sequence=1
  • 9
    Seiffert LS, Wolff LDG, Cruz ED, Ferreira MMF, Silvestre AL. Indicators of effectiveness of nursing care in the dimension of patient safety. Rev Bras Enferm. [Internet]. 2020 [cited 2022 Nov. 21]; 73(3):1-8. Available from: https://www.scielo.br/j/reben/a/bH386JswdxYD7jBbWMtbFTQ/?format=pdf⟨=pt
    » https://www.scielo.br/j/reben/a/bH386JswdxYD7jBbWMtbFTQ/?format=pdf⟨=pt
  • 10
    Hayashi PJ, Abib G, Hoppen N, Wolff LDG. Processual validity in qualitative research in healthcare. Inquiry. [Internet]. 2021 [cited 2022 Dec. 10]; (58). Available from: https://pubmed.ncbi.nlm.nih.gov/34845941/
    » https://pubmed.ncbi.nlm.nih.gov/34845941
  • 11
    Paladini EP. Gestão da qualidade. Ed. do Kindle. São Paulo: Atlas; 2019.
  • 12
    Santos TO, Pereira LP, Silveira DT. Implementation of health information systems: a systematic review. Rev Eletron Comun Inf Inov Saúde. [Internet]. 2017 [cited 2021 Feb. 23]; 11(3). Available from: https://brapci.inf.br/index.php/res/v/208052
    » https://brapci.inf.br/index.php/res/v/208052
  • 13
    Caldas B do N, Mendes W. Investigação/pesquisa em segurança do paciente. In: Sousa P, Mendes W. Segurança do paciente criando organizações de saúde seguras. Rio de Janeiro: Fiocruz; 2019.
  • 14
    Silva HC. Influência da ouvidoria como ferramenta estratégica. Revista da ABO [Internet]. 2020 [cited 2021 Dec. 04]; (3). Available from: https://revista.abonacional.org.br/files/helizena-a-influencia-da-ouvidoria-como-ferramenta-de-gestao-estrategica.pdf
    » https://revista.abonacional.org.br/files/helizena-a-influencia-da-ouvidoria-como-ferramenta-de-gestao-estrategica.pdf
  • 15
    Kruk ME, Gage AD, Arsenault C, Jordan K, Leslie HH, Roder-DeWan S, et al. High-quality health systems in the sustainable development goals era: time for a revolution. Lancet Glob Health [Internet]. 2018 [cited 2021 Jan. 07]; 5(11). Available from: https://pubmed.ncbi.nlm.nih.gov/30196093/
    » https://pubmed.ncbi.nlm.nih.gov/30196093
  • 16
    Sadeh E. Interrelationships among quality enablers, servisse quality, patients’s satisfaction and loyalty in hospitals. The TQM Journal. [Internet]. 2017 [cited 2021 June 11]; 29(1). Available from: https://doi.org/10.1108/TQM-02-2015-0032
    » https://doi.org/10.1108/TQM-02-2015-0032
  • 17
    Correia T, Carapinheiro G, Carvalho H, Silva JM, Dussault G. The effects of austerity measures on quality of healthcare services: a national survey of physicians in the public and private sectors in Portugal. Hum. Resour Health. [Internet]. 2017 [cited 2021 July 10]; 15(82). Available from: https://pubmed.ncbi.nlm.nih.gov/29233172/
    » https://pubmed.ncbi.nlm.nih.gov/29233172
  • 18
    Liang L, Cako A, Urquhart R, Straus SE, Wodchis WP, Baker GR, et al. Patient engagement in hospital health service planning and improvement: a scoping review. BMJ Open. [Internet]. 2018 [cited 2021 Oct. 10]; 8(1). Available from: http://dx.doi.org/10.1136/bmjopen-2017-018263
    » http://dx.doi.org/10.1136/bmjopen-2017-018263
  • 19
    Duckett S, Cuddihy M. Targeting zero supporting the Victorian Hospital system to eliminate avoidable harm and strengthen quality of care report of the review of hospital safety and quality assurance in Victoria. Victorian Government: Melbourne; 2016.
  • 20
    Canaway R, Bismark M, Dunt D, Prang KH, Kelaher M. “What is meant by public?”: stakeholder views on strengthening impacts of public reporting of hospital performance data. Soc Sci Med. [Internet]. 2018 [cited 2021 Nov. 30]; (202). Available from: https://pubmed.ncbi.nlm.nih.gov/29524870/
    » https://pubmed.ncbi.nlm.nih.gov/29524870
  • 21
    Brasil. Assistência segura: uma reflexão teórica aplicada à prática. Série Segurança do Paciente e Qualidade em Serviços de Saúde. Agência Nacional de Vigilância Sanitária; 2017.
  • 22
    Zanatta JM, Sausen JO, Halberstadt IA. Strategic management and organizational alignment: case study in Rio Grande do Sul health philanthropical institutions. Rev Bras Adm Cient. [Internet]. 2019 [cited 2021 Apr. 24]; 10(4). Available from: http://royaljms.com/index.php/aegaeum/article/view/258
    » http://royaljms.com/index.php/aegaeum/article/view/258
  • 23
    Santos WS, Fiates GGS, Rocha RA. Quality of hospital services under the perspective of accreditation. Rev. Adm. Hosp. Inov. Saúde. [Internet]. 2019 [cited 2023 Feb. 01]; 16(1). Available from: http://dx.doi.org/10.21450/rahis.v16i1.5670
    » http://dx.doi.org/10.21450/rahis.v16i1.5670
  • 24
    Desveaux L, Mitchell JI, Shaw J, Ivers NM. Understanding the impact of accreditation on quality in healthcare: a grounded theory approach. Int J Qual Health Care. [Internet]. 2017 [cited 2023 Feb. 10]; 29(7). Available from: https://pubmed.ncbi.nlm.nih.gov/29045664/
    » https://pubmed.ncbi.nlm.nih.gov/29045664
  • *
    Artigo extraído da tese de doutorado: “FATORES AMBIENTAIS QUE INFLUENCIAM NO MONITORAMENTO DE INDICADORES DE EFETIVIDADE ASSISTENCIAL EM HOSPITAIS NAS DIMENSÕES DE SEGURANÇA DO PACIENTE E CUIDADO CENTRADO NO PACIENTE”, Universidade Federal do Paraná, Curitiba, PR, Brasil, 2022.

Editado por

Editora associada:

Dra. Luciana Nogueira

Datas de Publicação

  • Publicação nesta coleção
    20 Set 2024
  • Data do Fascículo
    2024

Histórico

  • Recebido
    03 Ago 2023
  • Aceito
    04 Abr 2024
Universidade Federal do Paraná Av. Prefeito Lothário Meissner, 632, Cep: 80210-170, Brasil - Paraná / Curitiba, Tel: +55 (41) 3361-3755 - Curitiba - PR - Brazil
E-mail: cogitare@ufpr.br