Avaliação do desempenho do uso da tecnologia da informação na saúde: revisão sistemática da literatura sobre o tema

Longaray, André Andrade; Castelli, Tiago Machado

doi:10.1590/1413-812320202511.26342018

Resumo

A Tecnologia da Informação (TI) tornou-se fundamental na prestação de serviços de cuidado à saúde, abrangendo a pluralidade dos aspectos que envolvem a área. Isso faz com que a TI possa oferecer significativa contribuição ao desempenho das organizações de saúde. Há uma lacuna do conhecimento sobre como realizar e implementar melhorias nessas tecnologias, que como um dos motivos, cita-se a carência de estudos com o tema de Avaliação de Desempenho de Tecnologia da Informação na saúde. O objetivo deste trabalho é contribuir na disseminação do conhecimento sobre o assunto, através da realização de uma revisão sistemática com o emprego do “Knowledge Development Process – Constructivist (Proknow-C)”. Através da análise de métricas de produção, observou-se de que forma os estudos integrantes do Portfólio Bibliográfico da pesquisa representam a área do conhecimento investigada, e a partir de uma análise sistemática do conteúdo dessas publicações foi possível indicar as lacunas do conhecimento ainda existentes na área. Como limitação do estudo destaca-se a característica construtivista do “Proknow-C” e, nas sugestões para futuras pesquisas, recomenda-se o preenchimento das lacunas de conhecimento observadas, oriundas da análise realizada.

Palavras-chave Gestão em saúde; Tecnologia da informação; Pesquisa operacional; Gestão do conhecimento para a pesquisa em saúde; Revisão

Abstract

Information Technology (IT) has become fundamental in the provision of healthcare services, encompassing the entire gamut of aspects involved in the area. For this reason, IT can make a significant contribution to the performance of health organizations. There is a knowledge gap about how to introduce and implement improvements in these technologies, one of the reasons cited being the lack of studies on the topic of Evaluation of the Performance of Information Technology in health. The objective of this work is to contribute to the dissemination of knowledge on the subject, by conducting a systematic review using Proknow-C (Knowledge Development Process–Constructivist). By means of the analysis of production metrics, it was seen how the studies comprised in the Bibliographical Portfolio of research represent the area of knowledge investigated. Based on a systematic analysis of the content of these publications, it was possible to ascertain the knowledge gaps still existing in the area. As a limitation of the study, the constructivist nature of Proknow-C is the main issue and, in the suggestions for future research, it is recommended that, based on the analysis performed, the knowledge gaps identified be filled.

Key words Health management; Information Technology; Operational research; Knowledge Management for Health Research; Review

Introdução

A gestão na área da saúde deixou de ser uma característica distintiva, para ser característica necessária ao funcionamento e sobrevivência das organizações¹ culminando na busca de um melhor desempenho tanto na esfera administrativa, como na médica das organizações do campo². Devido às especificidades da gestão na área, o desafio centra-se no entendimento de uma percepção macro sobre o desempenho, cujos aspectos administrativos e médicos tornam-se integrados. A desconsideração da pluralidade desses aspectos, correspondentes à estrutura, processos, pessoas, relações políticas e sociais, culturas e tecnologias implicam no desempenho obtido e na prosperidade de melhores resultados³.

A Avaliação do Desempenho pondera os multicritérios envolvidos no cenário citado abrangendo essa percepção de complexidade. A ocorrência desse tipo de avaliação nas organizações de saúde se expande com a adoção de novas práticas e metodologias de gerenciamento em apoio à gestão da saúde, tal como na aplicação de recursos tecnológicos que se relacionam de forma direta e indireta aos processos operacionais e gerenciais⁴^,⁵.

Da mesma forma em que as tecnologias facilitaram a mensuração do desempenho, no que tange às organizações de saúde, a Tecnologia da Informação (TI) tornou-se parte integral qualquer atividade relacionada à prestação dos serviços de cuidado à saúde⁶, compreendendo a heterogeneidade de processos envolvidos dessas organizações. A TI é considerada como fator de relevância ao desempenho das mesmas²^,⁷^-¹⁰, pois transformou a forma em que se prestam os serviços¹¹. Dito isso, o simples fato de adotar uma tecnologia não pode ser considerada como uma certeza de melhora ao desempenho, as vantagens com sua utilização, ocorrerem somente se houver um emprego eficiente das disponíveis¹².

Nisso, devido à importância da TI nessa conjuntura, a Avaliação de Desempenho da mesma, torna-se fundamental para que os resultados com sua utilização impliquem em um melhor desempenho organizacional¹³. No entanto, existe uma lacuna do conhecimento sobre como realizar, analisar e implementar melhorias nas Tecnologias da Informação na saúde¹⁰. As atividades de Avaliação de Desempenho sobre as tecnologias, devem se associar ao conhecimento dos gestores na interpretação da real análise dos impactos ocasionados pelas mesmas. Assim, seja na prática, no ensino e na literatura, o conhecimento relacionado às tecnologias na saúde desponta como desafiador e muito promissor¹⁴^,¹⁵ de forma a que estudos sobre Avaliação de Desempenho na temática, necessitem progredir devido à carência de avaliação das tecnologias no ambiente da saúde¹⁶^,¹⁷.

Com base no que foi apresentado, esta pesquisa tem como objetivo contribuir na disseminação do conhecimento da literatura científica que aborda o tema da Avaliação de Desempenho de TI na saúde. Para tal objetivo, adotou-se o Knowledge Development Process – Constructivist (Proknow-C)¹⁸^,¹⁹, um processo estruturado de pesquisa científica, desenvolvido no Laboratório de Metodologia Multicritério de Apoio à Decisão (LabMCDA), do Departamento de Engenharia de Produção e Sistemas da Universidade Federal de Santa Catarina (UFSC), originado com o propósito de auxiliar os pesquisadores a realizar uma busca na literatura a fim de produzir resultados relevantes e com reconhecimento científico. A escolha desse método se adequa com o objetivo proposto, pois se levantou um fragmento de literatura pertinente sobre o tema da Avaliação de Desempenho da Tecnologia da Informação na área da saúde, investigando o estado atual dos estudos realizados com a temática, sendo possível indicar as lacunas do conhecimento presentes na área.

Tecnologia da Informação na saúde

Conceitualmente, a “Tecnologia da Informação na saúde” (Health Information Technology – HIT) define-se como o processamento de informação tanto de software como hardware que lida com armazenagem, recuperação, compartilhamento e uso de informação, dados e conhecimento da área da saúde para comunicação e tomada de decisão²⁰.

A complexidade envolvida nas organizações de saúde produz desafios, que de fato, a tecnologia pode ajudar a cumprir, porém requer recursos financeiros, humanos e técnicos de uma fonte escassa¹¹. Na utilização da HIT é necessária a compreensão de necessidades diferentes quanto ao uso das tecnologias¹⁰, visto que a coleta de informações, a forma como utilizá-las e para quem disponibilizá-las varia de acordo com diferentes dimensões presentes nessas organizações. Estas são: dimensão administrativa, envolvendo principalmente os aspectos responsáveis pela gestão; dimensão médica, envolvendo principalmente os aspectos diretamente ligados a prestação de serviços à saúde; e dimensão dos pacientes, aspectos originados por pacientes que buscam cuidado em saúde.

Segundo Bose¹³, além da multidimensionalidade de dados, a HIT também possui desafios relacionados à complexidade de dados, integração entre sistemas, segurança e confiabilidade, e a noção dos reais benefícios e riscos das tecnologias. A fim de que a HIT supere esses desafios provando ser eficiente para os processos administrativos e clínicos, além de gerar satisfação com os pacientes, é necessário avaliar o desempenho das tecnologias de forma rigorosa²¹.

Avaliação de Desempenho da Tecnologia da Informação na saúde

Inicialmente, na literatura houve a preocupação com a avaliação financeira, investigando a relação direta entre os investimentos em tecnologias e o desempenho das organizações de saúde. Mas, recentemente começou a surgir um interesse na avaliação da HIT de forma integrada, tornando clara a noção de que o desempenho se relaciona com os potenciais benefícios da HIT²².

A avaliação de Desempenho da HIT, não inclui apenas a investigação do hardware ou software que compõe a tecnologia em si, é preciso conhecer o processo da informação no determinado contexto em que as instituições da saúde se inserem²³. Geralmente, os pesquisadores da área buscam desenvolver survey para a avaliação da HIT e seu desempenho, porém, essa metodologia não gera e nem analisa indicadores de desempenho²⁴. Para abranger todos os critérios que envolvem seria necessário adotar uma visão holística da Avaliação de Desempenho, conforme um “processo para construir conhecimento no decisor, a respeito do contexto específico que se propõe avaliar, a partir da percepção do próprio decisor por meio de atividades que identificam, organizam, mensuram ordinalmente e cardinalmente, integram e permitem visualizar o impacto das ações e seu gerenciamento”²⁵.

Metodologia

O presente estudo baseia-se na metodologia proposta por Roesch²⁶, sendo classificado quanto ao propósito do projeto, método (delineamento), técnicas de coleta e de análise de dados.

A revisão sistemática realizada foi classificada quanto à natureza do objetivo do estudo, como uma pesquisa diagnóstico, buscando-se investigar um fragmento da literatura relevante ao tema da Avaliação de Desempenho de Tecnologias da Informação na saúde. No que tange ao delineamento, a pesquisa caracteriza-se como descritiva, pois foi a partir da descrição das características pertencentes ao fragmento da literatura selecionado, que a pesquisa diagnóstico se concretizou. A abordagem metodológica da pesquisa enquadra-se como quali-quantitativa. De acordo com Roesch²⁶, a associação dessas duas dimensões oferece entendimento sobre a complexidade do tema, assim como possibilita a exposição do tema de forma objetiva. A abordagem qualitativa está aplicada na composição do Portfólio Bibliográfico e na análise sistêmica de conteúdo, e a abordagem quantitativa está empregada na bibliometria do estudo, cujos ambos os processos pertencem ao instrumento de intervenção utilizado, o Knowledge Development Process – Constructivist (Proknow-C).

O Proknow-C como método de revisão sistemática consiste em uma estrutura para construir conhecimento a partir da característica do construtivismo, isto é o processo de pesquisa na literatura é determinado a partir dos interesses e delimitações impostas pelo pesquisador através da visão de mundo adotada. Dentre as características que tornam o método robusto cientificamente destaca-se um processo amplo de busca de dados, e a característica particular de análise quanto aos critérios para análise de conteúdo calcada previamente a partir da visão de mundo adotada, permitindo a integração dos achados²⁷.

A técnica de coleta de dados adotada mediante ao propósito de pesquisa, método, abordagem metodológica e instrumento de intervenção definidos, correspondeu à pesquisa de documentos. Tanto para coleta, como para a análise dos dados, foi utilizado o instrumento de intervenção adotado, contribuindo com rigor científico à realização do estudo.

Resultados e discussão

A condução deste estudo baseou-se no emprego do método Proknow-C para revisar na literatura o tema da Avaliação de Desempenho de TI na saúde. A escolha é justificada pela visão de mundo adotada, Avaliação de Desempenho, para análise da literatura, permitindo que o conhecimento gerado pudesse ser quantificado e analisado pelas lentes do Proknow-C.

O processo do método é composto por uma série de quatro etapas: 1) seleção do Portfólio Bibliográfico; 2) análise bibliométrica; 3) Análise sistêmica; e 4) identificação de lacunas e objetivos de pesquisa¹⁸^,¹⁹, demonstrados na Figura 1.

Figura 1
Etapas do Proknow-C (Fluxograma).

A seleção do Portfólio Bibliográfico (PB) visa identificar um conjunto de pesquisas, neste estudo, que possuem foco na Avaliação de desempenho da TI na saúde sob a visão da Avaliação de Desempenho.

O objetivo da bibliometria é desenvolver conhecimento aos pesquisadores acerca das características bibliográficas dos estudos selecionados. No Proknow-C a análise bibliométrica é realizada tanto no Portfólio Bibliográfico quanto nas referências citadas pelas publicações pertencentes ao PB.

Para refletir acerca do conteúdo dos estudos selecionados a etapa da análise sistêmica corresponde à análise do PB a partir de uma visão de mundo estabelecida. Como a presente pesquisa adota como visão de mundo a Avaliação de Desempenho, a estrutura de análise baseia-se em seis lentes derivadas do conceito de Avaliação de Desempenho.

Como conclusão das etapas anteriores, o conhecimento gerado permite aos pesquisadores a identificação de lacunas na literatura, retratando também o campo de estudos analisado, instigando a produção científica¹⁸^,¹⁹.

Seleção do Portfólio Bibliográfico (PB)

Primeiramente foram determinados os eixos de pesquisa e, para cada eixo, palavras-chave relacionadas. Os eixos de pesquisa foram a Tecnologia da Informação na saúde (nas dimensões administrativas e operacionais, esta última correspondente às dimensões da informação de médicos e pacientes) e Avaliação de Desempenho, como ilustrado na Figura 2.

Figura 2
Eixos de pesquisa e palavras-chave.

Ao todo 170 combinações de palavras-chave foram realizadas mediante o uso da expressão booleana AND que indica que os estudos encontrados, de alguma forma abordaram os 2 eixos de pesquisa definidos.

A consulta nas bases de dados foi realizada no período de 28 de julho e 29 de julho de 2017, sendo as bases selecionadas: American Society of Civil Engineers – ASCE; Compendex; Ebsco; ProQuest; Science Direct; Scopus; Web of Science; e Wiley Online Library. Na consulta das bases, não existiu filtragem relacionada à delimitação temporal dos estudos. Durante o andamento da consulta nas bases, testou-se a aderência das palavras-chaves estipuladas, selecionando-se cinco estudos, aleatoriamente, para comparar as palavras-chave destes, com as palavras-chave definidas nos eixos de pesquisa. Ao final da comparação, verificou-se correspondência entre as palavras-chaves.

A busca inicial resultou em um Portfólio Bibliográfico bruto de 1.914 publicações. Com o auxílio do software ENDNOTE X8, as publicações forma organizadas e deu-se início aos processos de filtragem. Primeiro, realizou-se a eliminação de artigos repetidos, ao todo 1.407 publicações foram excluídas, restando, portanto 507 publicações. Após, verificou-se o alinhamento do título dos estudos ao tema de Avaliação de Desempenho da TI no ambiente da saúde, eliminando-se 379 publicações, sobrando 128 para a próxima filtragem.

Na fase de reconhecimento científico, consultou-se o Google Acadêmico, com o intuito de se investigar o número de citações de cada publicação. A escolha pelo site ocorreu pela disponibilização de grande quantidade de informações relacionadas às métricas das publicações, além de permitir o uso do software Publishor Perish²⁸. Ao se contabilizar o número total de citações do PB, pôde-se estipular um ponto de corte do total de citações, correspondido a um percentual de representatividade científica de 95%. As 63 publicações com reconhecimento científico foram submetidas à leitura do resumo para alinhamento quanto ao objetivo da revisão. Estudos em que o ano de publicação corresponde a 2015, 2016 ou 2017, pertencentes às 65 publicações que não obtiveram reconhecimento científico, também foram separados para análise do alinhamento quanto ao resumo, devido ao fato de que por serem publicações recentes, possuem menor oportunidade de serem citadas.

Sendo assim, 63 publicações de reconhecimento científico comprovado, mais 30 publicações cujo ano de publicação é 2015, 2016 ou 2017, tiverem lido o resumo. Constatou-se que 23 publicações estão alinhadas de acordo com o resumo. Partindo para a leitura integral das 23 publicações, primeiro conferiu-se a disponibilidade das mesmas, apenas uma publicação foi excluída por não estar disponível gratuitamente. Desta forma, 8 estudos foram excluídos por não se alinharem integralmente com o tema proposto, e um foi descartado por constar duas vezes no PB devido ao fato de ser a mesma publicação, mas publicada de forma diferente, a versão com menos notoriedade científica foi descartada. Assim, o Portfólio Bibliográfico contabilizou, após as filtragens mencionadas, 13 publicações.

Como última etapa da seleção do PB, realizou-se o teste de representatividade. Para isso, levantou-se das 13 publicações alinhadas integralmente com o objetivo da revisão, todas as referências utilizadas nos estudos. No total, 498 referências foram citadas. Organizando os dados dessas referências, também foram realizadas as filtragens de alinhamento de título, de reconhecimento científico, alinhamento de resumo e leitura integral verificando a oportunidade de incorporar ao Portfólio Bibliográfico novas publicações representativas. Sendo assim, das 498 referências extraídas das 13 publicações do PB, verificou-se a congruência com o objetivo da revisão de 3 publicações.

Portanto, de um total de 1.914 publicações inicialmente, o fragmento da literatura representativo da forma em que o tema da Avaliação de Desempenho da Tecnologia da Informação na Saúde na visão de mundo da Avaliação de Desempenho é abordado cientificamente, foi composto por um Portfólio Bibliográfico final de 16 publicações²⁹^-⁴⁴.

Análise bibliométrica

Depois de selecionado o Portfólio Bibliográfico, a segunda etapa do Proknow-C corresponde à bibliometria. Foram conduzidas análises respectivas à relevância dos periódicos e fator de impacto da produção, dos autores mais prolíferos ao tema e das publicações de maior destaque.

Para a identificação dos periódicos relevantes à temática da Avaliação de Desempenho das Tecnologias da Informação na saúde elaborou-se o Gráfico 1, evidenciando os periódicos com maior número de publicações dentre os estudos selecionados no PB e os periódicos mais encontrados nas referências das publicações do PB, já que, como mencionado, a análise bibliométrica é realizada tanto no Portfólio Bibliográfico quanto em suas referências.

Gráfico 1
Periódicos relevantes ao Portfólio Bibliográfico.

Analisando os dados, indica-se que o periódico mais relevante do Portfólio Bibliográfico é o International Journal of Industrial Ergonomics, com duas publicações no PB e uma nas referências do mesmo. Estipula-se o fator de impacto de produção do periódico em 1.415 pelo índice do Journal Citation Reports (JCR), e em 0.564 pelo índice do SCImago Journal & Country Rank (SJR). Publicado pela editora Elsevier, o periódico atua desde 1986, com a finalidade de desenvolver contribuições para o entendimento do fator humano na relação com a tecnologia e seus componentes. Ao analisar individualmente o fator de impacto de produção, o periódico JAMA Internal Medicine se sobressai sobre os demais, com índices de 16.538 (JCR) e 6.684 (SJR).

Na análise de quais autores possuem relevância na temática da Avaliação de Desempenho das Tecnologias da Informação na saúde, observou-se que os autores dos estudos selecionados no PB não se repetem, não havendo um autor destaque. No entanto, em relação aos autores das publicações citadas nas referências do Portfólio Bibliográfico, Ben-Tzion Karsh e Richard Holden, aparecem como os autores com mais publicações, 16 e 12, respectivamente.

De forma a investigar a relevância das publicações pertencentes ao Portfólio Bibliográfico, elaborou-se o Gráfico 2 com a finalidade de relacionar as publicações de maior citação do PB, com a relevância de seus autores, averiguando quais os atores destas possuem estudos com destaque entre as referências citadas pelo PB. Consultou-se Google Acadêmico para retratar a relação mencionada.

Gráfico 2
Artigos de relevância do Portfólio Bibliográfico.

Analisando os dados, a publicação de maior relevância para o PB pertence à Amarasingham et al. ³¹ com o artigo citado 330 vezes. Demonstrando relevância tanto para o Portfólio Bibliográfico quanto as referências do PB, o artigo³² consta com 157 citações, e um de seus autores, Anwer Aqil contabiliza oito estudos citados pelas referências do PB. Dentre os estudos citados como referências do Portfólio Bibliográfico, e que destacam-se na temática da Avaliação de Desempenho da TI na saúde, ressalta-se o artigo³⁵, devido ao fato de que um dos autores ser o Ben-Tzion Karsh, considerado pela análise dos autores mais relevantes ao Portfólio Bibliográfico como autor notório, com 16 publicações citadas nas referências do PB.

Análise sistêmica

A análise sistêmica adotada na pesquisa tem como base as lentes difundidas no Proknow-C, indicando a filiação teórica que dá norte para a análise. As lentes do Proknow-C dividem-se em seis caracterizando a Avaliação de Desempenho, como uma atividade contínua e integrada, de acordo com a abordagem propositada (Lente 1 - Abordagem), construída para determinado ambiente/contexto (Lente 2 - Singularidade), por meio da identificação dos objetivos dos decisores envolvidos (Lente 3 - Identificação dos objetivos), mensurando os indicadores construídos (Lente 4 - Mensuração), integrando os indicadores para informar uma visão holística (Lente 5 - Integração) e identificando o status quo do desempenho analisado, permitindo o apoio à decisão, propondo ações de melhora ao desempenho. (Lente 6 - Gestão)¹⁸^,¹⁹.

Cabe ressaltar que na realização da análise sistêmica apenas estudos em que os modelos de Avaliação de Desempenho foram aplicados de forma prática puderam ser analisados. Sendo assim, das 16 publicações pertencentes ao Portfólio, os artigos³²^,⁴² não fizeram parte desta seção.

A primeira lente refere-se ao tipo de abordagem utilizada pelas publicações do Portfólio Bibliográfico para a realização da avaliação de desempenho proposta. Quanto às abordagens que oferecem um processo de apoio à decisão, nenhuma publicação possui como alicerce a abordagem construtivista, e apenas os estudos³⁰^,³⁸ propuseram a abordagem prescritivista. As demais publicações aplicaram um modelo associado ao processo de tomada de decisão, nas abordagens normativistas²⁹^,³¹^,³⁴^,³⁶^,³⁹^,⁴⁰ ou descritivas³³^,³⁵^,³⁷^,⁴¹^,⁴³^,⁴⁴.

Na lente 2, analisou-se o reconhecimento a partir do autor de cada publicação do Portfólio Bibliográfico, de que o contexto avaliado é único. Apenas para cinco publicações²⁹^-³¹^,³⁵^,³⁸, os autores das mesmas consideram que o modelo aplicado é único considerado o contexto físico. Verificou-se também se o decisor é identificado nos modelos de Avaliação de Desempenho desenvolvidos e, como resultado, para nove publicações o decisor, não é reconhecido³¹^,³⁴^-³⁶^,³⁹^-⁴¹^,⁴³^,⁴⁴. Mesmo que de alguma forma reconhecidos, os decisores nos estudos³³^,³⁷ são apenas mencionados durante o estudo. As três publicações restantes²⁰^,³⁰^,³³ contam com a participação do decisor no modelo.

Na análise da lente 3, buscou-se intensificar a investigação sobre a participação do decisor nas publicações, identificando a existência de influência do decisor na construção dos modelos de avaliação. No caso, se no desenvolvimento dos modelos são levados em consideração os objetivos, critérios e valores dos decisores, buscando conhecer se durante o processo houve o aumento de conhecimento do problema no decisor. Dentre o Portfólio selecionado, em nenhuma publicação, o modelo está integralmente alicerçado nos objetivos, valores e critérios do decisor, e apenas em dois estudos²⁹^,³⁰ esse processo está parcialmente alicerçado pela influência do mesmo.

A lente 4 tem como objetivo identificar os estudos do Portfólio Bibliográfico em que é informado o tipo de escalas de mensuração utilizada, e se as propriedades das mesmas respeitam a Teoria da Mensuração⁴⁵. Em doze publicações³⁰^,³¹^,³³^-⁴¹^,⁴³ as escalas utilizadas são ordinais As duas publicações²⁹^,⁴⁴ restantes utilizam-se de escalas cardinais, sendo apenas a pesquisa²⁹ apresenta conformidade com a Teoria da Mensuração, contemplando todos critérios de mensurabilidade operacionalidade, homogeneidade, inteligibilidade e distinção.

A lente 5 refere-se à integração dos critérios do modelo de avaliação. Em onze publicações³⁰^,³¹^,³³^-³⁵^,³⁷^,³⁹^-⁴¹^,⁴³^,⁴⁴ não são integrados os resultados do desempenho das tecnologias no ambiente da saúde, conforme o modelo de avaliação adotado. Ocorre a integração de critérios apenas nos estudos²⁹^,³⁶^,³⁸. Em relação à forma em que é realizada a integração do modelo, em ambos os estudos³⁶^,³⁸ a integração foi feita de forma ilustrativa, apresentando os indicadores em escalas ordinais, dispostos em gráficos. Já no estudo²⁹ verificou-se uma integração cardinal, porém sem um nível de referência que permitisse um melhor conhecimento do nível de desempenho da tecnologia avaliada.

A última lente do Proknow-C diz respeito ao processo de gestão do desempenho. Primeiramente, foi analisado se o estudo permitia realizar o diagnóstico dos pontos fortes e fracos da Tecnologia da Informação na saúde na situação atual (status quo) de desempenho. Das 14 publicações submetidas à análise sistêmica, quatro estudos não realizam o diagnóstico da situação atual²⁹^,³⁴^,³⁵^,³⁷. Dentre os estudos que permitem o conhecimento dos pontos fortes e fracos do desempenho obtido na avaliação, nove publicações³⁰^,³¹^,³³^,³⁶^,³⁸^,⁴⁰^,⁴¹^,⁴³^,⁴⁴ realizam diagnóstico descritivos e uma publicação³⁹ realiza diagnóstico numérico. Para completar a análise da sexta lente, investigou-se se as publicações do Portfólio propõem ações com a finalidade de melhorias ao desempenho das tecnologias avaliadas. A maior parte dos estudos não recomenda ações de aperfeiçoamento²⁹^,³³^-⁴¹^,⁴⁴. Apenas os estudos³⁰^,³¹^,⁴³ apresentam ações de aperfeiçoamento, porém sem um processo por trás das ações, de forma que também não haja indicação de uma hierarquia entre as ações necessárias melhoria do desempenho.

Lacunas e oportunidades de pesquisa

A análise realizada referente às 6 lentes do Proknow-C permitiu, a partir de um fragmento da literatura sobre a Avaliação de Desempenho da Tecnologia da Informação na saúde, destacar oportunidades para futuras pesquisas. O Quadro 1 apresenta as oportunidades de pesquisa referentes ao tema proposto para cada lente do Proknow-C, segundo a visão de mundo adotada neste trabalho, a visão da Avaliação de Desempenho.

Thumbnail

Quadro 1
Lacunas e oportunidades de pesquisa identificadas.

As oportunidades descritas referem-se às lacunas de pesquisa percebidas nas publicações que compõem o Portfólio Bibliográfico, considerando Avaliação de Desempenho de Tecnologias da Informação na saúde. Os estudos até o momento sobre o tema carecem de modelos construídos a partir do contexto físico e seus decisores em abordagem que fomente o processo de apoio à decisão de início ao fim de todas as etapas de construção do modelo de avaliação de desempenho, como também da definição de critérios e indicadores que permitem identificar o desempenho atual das tecnologias de forma integral, viabilizando ações de gestão para o aperfeiçoamento.

As lacunas observadas corroboram a ideia de que a Tecnologia da Informação na saúde carece da análise do uso das tecnologias e na obtenção da totalidade de benefícios que o emprego das tecnologias proporciona. A falta de estudos, ou a ainda baixa produção científica sobre o tema sob a visão de mundo da Avaliação de Desempenho que abordam as nuances do construto da Avaliação de Desempenho de forma integral, apontam descuido na gestão da saúde com um aspecto fundamental ao funcionamento das organizações de saúde, tanto na esfera administrativa, como no âmbito médico.

Considerações finais

Este estudo teve como objetivo analisar as publicações científicas referentes à Avaliação de Desempenho da Tecnologia da Informação na saúde, a fim de contribuir na geração de conhecimento sobre o tema. Na perspectiva de identificar o campo científico dessa temática, detalhando as lacunas e a oportunidade de pesquisa para a área, adotou-se como instrumento de intervenção, o Knowledge Development Process – Constructivist (Proknow-C).

A revisão sistemática com o emprego do Proknow-C se destaca por ser um processo estruturado a partir da visão de mundo adotada pelo pesquisador. Com isso, sob o ponto de vista da Avaliação de Desempenho, o presente estudo se propôs a contribuir descrevendo uma área do conhecimento ainda recente e que carece de uma maior produção. A partir do instrumento de intervenção utilizado, foi selecionado um Portfólio Bibliográfico representativo ao tema, composto por 16 publicações.

Como etapa de análise, investigou-se o estado atual da produção científica sobre a temática na identificação de periódicos, autores e publicações de destaque na área de estudo. Além disso, determinou-se lacunas do conhecimento presentes na área que indicam a negligência das características dos modelos de Avaliação de Desempenho na análise do desempenho das tecnologias empregadas na área da saúde.

Outra contribuição refere-se à disseminação do método Proknow-C sobre uma temática ainda pouco explorada na perspectiva da Avaliação de Desempenho. Já como limitações destaca-se a escolha das bases de dados para consulta na seleção do Portfólio Bibliográfico, que ficou limitada a seis, embora todas elas representativas ao campo do conhecimento estudado. Também se destaca o aspecto construtivista inerente ao método Proknow-C.

Por fim, como sugestão para futuras pesquisas indica-se a ampliação da consulta em outras bases e o desenvolvimento de estudos que preencham as lacunas de conhecimento encontradas.

Financiamento

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) por meio de Bolsa de Mestrado.

Pesquisador deseja conhecer as pesquisas científicas que representam o fragmento da literatura relativo ao tema

Referências

¹ Escrivão Júnior A. Uso da informação na gestão de hospitais públicos. Cien Saude Colet 2007; 12(3):655-666.
² Olson JR. Belohlav JA, Cook LS. A Rasch model analysis of technology usage in Minnesota hospitals. Inl JMed Inform 2012; 81(8):527-538.
³ Gonçalves JEL. Por que as nossas organizações apostam em gestão? Col Meira Mattos-Rev das Cien Militares 2003; 5.
⁴ Farias DC, Araujo FOD. Gestão hospitalar no Brasil: revisão da literatura visando ao aprimoramento das práticas administrativas em hospitais. Cien Saude Colet 2017; 22(6):1895-1904.
⁵ Schiesari LMC. Avaliação externa de organizações hospitalares no Brasil: podemos fazer diferente? Cien Saude Colet 2014; 19(10):4229-4234.
⁶ Nguyen QT, Naguib RNG, AbdGhani MK, Bali RK, Marshall IM, Culaba NH, Wickramasinghe NS, Chaker MH, Lee RV. An analysis of the healthcare informatics and systems in Southeast Asia: a current perspective from seven countries. International Journal of Electronic Healthcare 2008; 4(2):184-207.
⁷ Goldschimidt PG. HIT and MIS: implications of health information technology and medical information systems. Communications of the ACM 2005; 48(10):68-74.
⁸ Shekelle P, Morton SC, Keeler EB. Costs and benefits of health information technology 2006. Evidence Report/Technology Assessment No. 132. Maryland: Agency for Healthcare Research and Quality. (AHRQ) (No.06-E006). [acessado 2017 Jul 10]. Disponível em: https://www.ncbi.nlm.nih.gov/books/NBK37988/
» https://www.ncbi.nlm.nih.gov/books/NBK37988/
⁹ Gagnon M, Desmartis M, Labrecque M, Car J, Pagliari C, Pluye P, Frèmont P, Gagnon J, Tremblay N, Légaré F. Systematic Review of Factors Influencing the Adoption of Information and Communication Technologies by Healthcare Professionals. J Med Syst 2010; 36(1):241-277.
¹⁰ Sinha RK. Impact of health information technology in public health. J Biomed Inform 2010; 1(4):223-236.
¹¹ Strome T. Healthcare analytics for quality and performance improvement Hobbken: John Wiley & Sons; 2013.
¹² Langley J, Beasley C. Health Information Technology for Improving Quality of Care in Primary Care Settings. Prepared by the Institute for Healthcare Improvement for the National Opinion Research Center under contract No. 290-04-0016. AHRQ Publication No. 07-0079-EF. Rockville: Agency for Healthcare Research and Quality; 2007. [acessado 2017 Jul 13]. Disponível em: http://library.ahima.org/PdfView?oid=79033
» http://library.ahima.org/PdfView?oid=79033
¹³ Bose R. Knowledge management-enabled health care management systems: capabilities, infrastructure, and decision-support. Expert Syst Appl 2003; 24(1):59-71.
¹⁴ Haux R. Health information systems - past, present, future. Int J Med Inform 2006; 75(3):268-281.
¹⁵ Hemmat M, Ayatollahi H, Maleki MR, Saghafi F. Future Research in Health Information Technology: A Review. Perspect Health Inf Manag 2017; 14(1):1-19.
¹⁶ Chaves LDP, Ferreira JBB, Camelo SHH, Balderama p, Tanaka OY. Reflections on Information Systems in Health, Evaluative Search and Nursing. Enfermería Global 2014; 13(2):313-321.
¹⁷ Greenes RA. Clinical Decision Support: The Road Ahead Cambridge: Academic Press; 2006.
¹⁸ Ensslin L, Ensslin SR, Lacerda RTO, Tasca JE. Proknow -C, Knowledge Development Process- Constructivist. Processo técnico com patente de registro pendente junto ao INPI Brasil. Edição 10, n.4. Rio de Janeiro: INPI; 2010.
¹⁹ Tasca JE, Ensslin L, Ensslin SR, Alves MBM. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training 2010; 34(7):631-655.
²⁰ Thompson T, Brailer D. The Decade of Health Information Technology: Delivering Consumer-centric and Information-rich Health Care - Framework for Strategic Action Washington: Department of Health & Human Services; 2004
²¹ Luzi D, Pecoraro F, Tamburis O. Economic Evaluation of Health IT. Ammenwerth E, Rigby M, editors. Evidence-Based Health Informatics - Promoting Safety and Efficiency Through Scientific Methods and Ethical Policy Amsterdam: IOS Press; 2016. p.165-180.
²² Black AD, Car J, Pagliari J, Anandan C, Cresswel K, Bokun T, McKinstry B, Procter R, Majeed A, Sheikh A. The Impact of eHealth on the Quality and Safety of Health Care: A Systematic Overview. PLoS Medicine 2011; 8(1):1-16.
²³ Yen Po-Yin, Bakken, S. Review of health information technology usability study methodologies. J Am Med Inform Assoc 2012; 19(3):413-422.
²⁴ Hübner-Bloder G, Ammenwerth E. Key Performance Indicators to Benchmark Hospital Information Systems - A Delphi Study. Methods Inf Med 2009; 48(6):508-518.
²⁵ Ensslin L, Girrhorn E, Ensslin SR, Petri M,Vianna WB. Avaliação do desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à decisão - construtivista. Pesq Oper 2010; 30(1):125-152.
²⁶ Roesch SMA. Projetos de Estágio e de Pesquisa em Administração. 3ª ed. São Paulo: Atlas; 2013.
²⁷ Chaves LC, Ensslin L, Ensslin SR, Valmorbida SMI, Da Rosa FS. Sistemas de apoio à decisão: mapeamento e análise de conteúdo. RECADM, 2013; 12(1):6-22.
²⁸ Harzing AW. Publish or Perish Harzing; 2007. [acessado 2017 Jul 13]. Disponível em: https://harzing.com/resources/publish-or-perish
» https://harzing.com/resources/publish-or-perish
²⁹ Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197.
³⁰ Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728.
³¹ Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114.
³² Aqil A, Lippeveld T, Hozumi D. PRISM framework: a paradigm shift for designing, strengthening and evaluating routine health information systems. Health policy and planning 2009; 24(3):217-228.
³³ Pennathur PR, Cao D, Bisantz AM, Lin L, Fairbanks RJ, Wears RL, Perry SJ, Guarrera TK, Brown JL, Sui Z. Emergency department patient-tracking system evaluation. Int Ind Ergon 2011; 41(4):360-369.
³⁴ Kazandjian V, Lipitz-Snyderman A. HIT or miss: the application of health care information technology to managing uncertainty in clinical decision making. J Eval Clin Pract 2011; 17(6):1108-1113.
³⁵ Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379.
³⁶ Hah H, Bharadwaj A. A multi-level analysis of the impact of health information technology on hospital performance. Proceedings of the International Conference on Information Systems, 2012.
³⁷ Kim MS, Shapiro JS, Genes N, Aguilar MV, Mohrer D, Baumlin K, Belden JL. A pilot study on usability analysis of emergency department information system by nurses. Appl Clin Inform 2012; 3(1):135-153.
³⁸ Or C, Tao D. Usability study of a computer-based self-management system for older adults with chronic diseases. J Med Internet Res 2012; 1(2):1-16.
³⁹ Verbeke F, Karara G, Nyssen M. Evaluating the impact of ICT-tools on health care delivery in sub-Saharan hospitals. Stud Health Technol Inform 2013; 192:520-523.
⁴⁰ Bardhan IR, Thouin MF. Health information technology and its impact on the quality and cost of healthcare delivery. Decision Support Systems 2013; 55(2):438-449.
⁴¹ Bisio I, Lavagetto F, Marchese M, Sciarrone A. A smartphone-centric platform for remote health monitoring of heart failure. International Journal of Communication Systems 2015; 28(11):1753-1771.
⁴² Hypponen H, Ronchi E, Adler-Milstein J. Health care performance indicators for health information systems. Stud Health Technol Inform 2016; 222:181-194.
⁴³ Jian W, Lu M, Han W, Hu M. Introducing diagnosis-related groups: is the information system ready? Int J health plann. Manage2016; 31(1):58-68.
⁴⁴ Rejeb O, Pilet C, Hamana S, Xie X, Durand T, Aloui S, Doly A, Biron P, Perrier L, Augusto V. Performance and cost evaluation of health information systems using micro-costing and discrete-event simulation. Health Care Manag Sci 2017; 21(2):204-223.
⁴⁵ Roberts FS. Measurement theory Boston: Addison Wesley; 1979.

Datas de Publicação

Publicação nesta coleção
06 Nov 2020
Data do Fascículo
Nov 2020

Histórico

Recebido
08 Mar 2018
Aceito
30 Jan 2019
Publicado
01 Fev 2019

Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.

[1] ¹ Escrivão Júnior A. Uso da informação na gestão de hospitais públicos. Cien Saude Colet 2007; 12(3):655-666.

[2] ² Olson JR. Belohlav JA, Cook LS. A Rasch model analysis of technology usage in Minnesota hospitals. Inl JMed Inform 2012; 81(8):527-538.

[3] ³ Gonçalves JEL. Por que as nossas organizações apostam em gestão? Col Meira Mattos-Rev das Cien Militares 2003; 5.

[4] ⁴ Farias DC, Araujo FOD. Gestão hospitalar no Brasil: revisão da literatura visando ao aprimoramento das práticas administrativas em hospitais. Cien Saude Colet 2017; 22(6):1895-1904.

[5] ⁵ Schiesari LMC. Avaliação externa de organizações hospitalares no Brasil: podemos fazer diferente? Cien Saude Colet 2014; 19(10):4229-4234.

[6] ⁶ Nguyen QT, Naguib RNG, AbdGhani MK, Bali RK, Marshall IM, Culaba NH, Wickramasinghe NS, Chaker MH, Lee RV. An analysis of the healthcare informatics and systems in Southeast Asia: a current perspective from seven countries. International Journal of Electronic Healthcare 2008; 4(2):184-207.

[7] ⁷ Goldschimidt PG. HIT and MIS: implications of health information technology and medical information systems. Communications of the ACM 2005; 48(10):68-74.

[8] ⁸ Shekelle P, Morton SC, Keeler EB. Costs and benefits of health information technology 2006. Evidence Report/Technology Assessment No. 132. Maryland: Agency for Healthcare Research and Quality. (AHRQ) (No.06-E006). [acessado 2017 Jul 10]. Disponível em: https://www.ncbi.nlm.nih.gov/books/NBK37988/
» https://www.ncbi.nlm.nih.gov/books/NBK37988/

[9] ⁹ Gagnon M, Desmartis M, Labrecque M, Car J, Pagliari C, Pluye P, Frèmont P, Gagnon J, Tremblay N, Légaré F. Systematic Review of Factors Influencing the Adoption of Information and Communication Technologies by Healthcare Professionals. J Med Syst 2010; 36(1):241-277.

[10] ¹⁰ Sinha RK. Impact of health information technology in public health. J Biomed Inform 2010; 1(4):223-236.

[11] ¹¹ Strome T. Healthcare analytics for quality and performance improvement Hobbken: John Wiley & Sons; 2013.

[12] ¹² Langley J, Beasley C. Health Information Technology for Improving Quality of Care in Primary Care Settings. Prepared by the Institute for Healthcare Improvement for the National Opinion Research Center under contract No. 290-04-0016. AHRQ Publication No. 07-0079-EF. Rockville: Agency for Healthcare Research and Quality; 2007. [acessado 2017 Jul 13]. Disponível em: http://library.ahima.org/PdfView?oid=79033
» http://library.ahima.org/PdfView?oid=79033

[13] ¹³ Bose R. Knowledge management-enabled health care management systems: capabilities, infrastructure, and decision-support. Expert Syst Appl 2003; 24(1):59-71.

[14] ¹⁴ Haux R. Health information systems - past, present, future. Int J Med Inform 2006; 75(3):268-281.

[15] ¹⁵ Hemmat M, Ayatollahi H, Maleki MR, Saghafi F. Future Research in Health Information Technology: A Review. Perspect Health Inf Manag 2017; 14(1):1-19.

[16] ¹⁶ Chaves LDP, Ferreira JBB, Camelo SHH, Balderama p, Tanaka OY. Reflections on Information Systems in Health, Evaluative Search and Nursing. Enfermería Global 2014; 13(2):313-321.

[17] ¹⁷ Greenes RA. Clinical Decision Support: The Road Ahead Cambridge: Academic Press; 2006.

[18] ¹⁸ Ensslin L, Ensslin SR, Lacerda RTO, Tasca JE. Proknow -C, Knowledge Development Process- Constructivist. Processo técnico com patente de registro pendente junto ao INPI Brasil. Edição 10, n.4. Rio de Janeiro: INPI; 2010.

[19] ¹⁹ Tasca JE, Ensslin L, Ensslin SR, Alves MBM. An approach for selecting a theoretical framework for the evaluation of training programs. Journal of European Industrial Training 2010; 34(7):631-655.

[20] ²⁰ Thompson T, Brailer D. The Decade of Health Information Technology: Delivering Consumer-centric and Information-rich Health Care - Framework for Strategic Action Washington: Department of Health & Human Services; 2004

[21] ²¹ Luzi D, Pecoraro F, Tamburis O. Economic Evaluation of Health IT. Ammenwerth E, Rigby M, editors. Evidence-Based Health Informatics - Promoting Safety and Efficiency Through Scientific Methods and Ethical Policy Amsterdam: IOS Press; 2016. p.165-180.

[22] ²² Black AD, Car J, Pagliari J, Anandan C, Cresswel K, Bokun T, McKinstry B, Procter R, Majeed A, Sheikh A. The Impact of eHealth on the Quality and Safety of Health Care: A Systematic Overview. PLoS Medicine 2011; 8(1):1-16.

[23] ²³ Yen Po-Yin, Bakken, S. Review of health information technology usability study methodologies. J Am Med Inform Assoc 2012; 19(3):413-422.

[24] ²⁴ Hübner-Bloder G, Ammenwerth E. Key Performance Indicators to Benchmark Hospital Information Systems - A Delphi Study. Methods Inf Med 2009; 48(6):508-518.

[25] ²⁵ Ensslin L, Girrhorn E, Ensslin SR, Petri M,Vianna WB. Avaliação do desempenho de empresas terceirizadas com o uso da metodologia multicritério de apoio à decisão - construtivista. Pesq Oper 2010; 30(1):125-152.

[26] ²⁶ Roesch SMA. Projetos de Estágio e de Pesquisa em Administração. 3ª ed. São Paulo: Atlas; 2013.

[27] ²⁷ Chaves LC, Ensslin L, Ensslin SR, Valmorbida SMI, Da Rosa FS. Sistemas de apoio à decisão: mapeamento e análise de conteúdo. RECADM, 2013; 12(1):6-22.

[28] ²⁸ Harzing AW. Publish or Perish Harzing; 2007. [acessado 2017 Jul 13]. Disponível em: https://harzing.com/resources/publish-or-perish
» https://harzing.com/resources/publish-or-perish

[29] ²⁹ Bilsel RU, Büyüközkan G, Ruan, D. A fuzzy preference-ranking model for a quality evaluation of hospital web sites. International Journal of Intelligent Systems 2006; 21(11):1181-1197.

[30] ³⁰ Edwards PJ, Moloney KP, Jacko JA, Sainfort F. Evaluating usability of a commercial electronic health record: A case study. Int J Hum Comput Studies 2008; 66(10):718-728.

[31] ³¹ Amarasingham R, Plantinga L, Diener-West M. Clinical information technologies and inpatient outcomes: a multiple hospital study. Arch Int Med 2009; 169(2):108-114.

[32] ³² Aqil A, Lippeveld T, Hozumi D. PRISM framework: a paradigm shift for designing, strengthening and evaluating routine health information systems. Health policy and planning 2009; 24(3):217-228.

[33] ³³ Pennathur PR, Cao D, Bisantz AM, Lin L, Fairbanks RJ, Wears RL, Perry SJ, Guarrera TK, Brown JL, Sui Z. Emergency department patient-tracking system evaluation. Int Ind Ergon 2011; 41(4):360-369.

[34] ³⁴ Kazandjian V, Lipitz-Snyderman A. HIT or miss: the application of health care information technology to managing uncertainty in clinical decision making. J Eval Clin Pract 2011; 17(6):1108-1113.

[35] ³⁵ Holden RJ, Brown RL, Alper SJ, Scanlon MC, Patel NR, Karsh B. That's nice, but what does IT do? Evaluating the impact of bar coded medication administration by measuring changes in the process of care. Int J Ind Ergon 2011; 41(4):370-379.

[36] ³⁶ Hah H, Bharadwaj A. A multi-level analysis of the impact of health information technology on hospital performance. Proceedings of the International Conference on Information Systems, 2012.

[37] ³⁷ Kim MS, Shapiro JS, Genes N, Aguilar MV, Mohrer D, Baumlin K, Belden JL. A pilot study on usability analysis of emergency department information system by nurses. Appl Clin Inform 2012; 3(1):135-153.

[38] ³⁸ Or C, Tao D. Usability study of a computer-based self-management system for older adults with chronic diseases. J Med Internet Res 2012; 1(2):1-16.

[39] ³⁹ Verbeke F, Karara G, Nyssen M. Evaluating the impact of ICT-tools on health care delivery in sub-Saharan hospitals. Stud Health Technol Inform 2013; 192:520-523.

[40] ⁴⁰ Bardhan IR, Thouin MF. Health information technology and its impact on the quality and cost of healthcare delivery. Decision Support Systems 2013; 55(2):438-449.

[41] ⁴¹ Bisio I, Lavagetto F, Marchese M, Sciarrone A. A smartphone-centric platform for remote health monitoring of heart failure. International Journal of Communication Systems 2015; 28(11):1753-1771.

[42] ⁴² Hypponen H, Ronchi E, Adler-Milstein J. Health care performance indicators for health information systems. Stud Health Technol Inform 2016; 222:181-194.

[43] ⁴³ Jian W, Lu M, Han W, Hu M. Introducing diagnosis-related groups: is the information system ready? Int J health plann. Manage2016; 31(1):58-68.

[44] ⁴⁴ Rejeb O, Pilet C, Hamana S, Xie X, Durand T, Aloui S, Doly A, Biron P, Perrier L, Augusto V. Performance and cost evaluation of health information systems using micro-costing and discrete-event simulation. Health Care Manag Sci 2017; 21(2):204-223.

[45] ⁴⁵ Roberts FS. Measurement theory Boston: Addison Wesley; 1979.

Lente de análise	Lacuna
1. Abordagem	Desenvolvimento de pesquisa com a construção de modelo de avaliação de desempenho de abordagem construtivista, sendo aplicado em harmonia com o contexto de onde se extraia os dados e o contexto para qual seja construído o modelo.
2. Singularidade	Desenvolvimento de pesquisa com a construção de modelo de avaliação de desempenho que reconheça o decisor fazendo com que o mesmo participe de forma integral do modelo, além de propor o modelo considerando as características únicas do contexto físico para a situação a ser analisada.
3. Objetivos	Desenvolvimento de pesquisa com a construção de modelo de avaliação de desempenho considerando os objetivos, valores e critérios dos decisores, permitindo um processo estruturado de construção e aumento de conhecimento do decisor.
4. Mensuração	Desenvolvimento de pesquisa com a construção de modelo de avaliação de desempenho mediante critérios e indicadores plausíveis de mensuração em escalas ordinais e cardinais, que estejam em conformidade com os princípios da Teoria da Mensuração.
5. Integração	Desenvolvimento de pesquisa com a construção de modelo de avaliação de desempenho que ofereça legitimidade e fundamentação científica dos indicadores mensurados, a partir da integração destes associados a níveis de referência.
6. Gestão	Desenvolvimento de pesquisa com a construção de modelo de avaliação de desempenho que seja possível identificar o status quo da situação atual de desempenho, evidenciando os pontos fortes e fracos do desempenho avaliado através de apresentação de diagnóstico mais completo possível, incorporado de ações de aperfeiçoamento, hierarquizadas, para embasar o decisor sobre quais ações podem ser realizadas para melhorar o desempenho da situação avaliada.