Modelos de Markov aplicados a saúde

RESUMO

Os modelos de Markov prestam apoio aos problemas de decisão envolvendo incertezas em um período contínuo de tempo. A maior disponibilidade e o maior acesso no poder de processamento por meio dos computadores permite que esses modelos possam ser utilizados mais frequentemente para representar estruturas clínicas. Os modelos de Markov consideram os pacientes em um estado discreto de saúde, e os eventos representam a transição de um estado para outro. A possibilidade de modelar eventos repetitivos e a dependência temporal das probabilidades e utilidades associadas permitem uma representação mais precisa da estrutura clínica avaliada. Esses modelos podem ser utilizados para avaliações econômicas em saúde levando em consideração a avaliação dos custos e desfechos clínicos (outcomes), especialmente para a avaliação de doenças crônicas. Este artigo oferece uma revisão do uso dessa modelagem dentro do contexto clínico e as vantagens da possibilidade da inclusão temporal para esse tipo de estudo.

Descritores:
Economia da saúde; Cadeias de Markov; Modelos econômicos

ABSTRACT

Markov Chains provide support for problems involving decision on uncertainties through a continuous period of time. The greater availability and access to processing power through computers allow that these models can be used more often to represent clinical structures. Markov models consider the patients in a discrete state of health, and the events represent the transition from one state to another. The possibility of modeling repetitive events and time dependence of probabilities and utilities associated permits a more accurate representation of the evaluated clinical structure. These templates can be used for economic evaluation in health care taking into account the evaluation of costs and clinical outcomes, especially for evaluation of chronic diseases. This article provides a review of the use of modeling within the clinical context and the advantages of the possibility of including time for this type of study.

Keywords:
Health economics; Markov chains; Models, economic

INTRODUÇÃO

Os modelos de decisão econômica têm sido cada vez mais utilizados para avaliação das intervenções em saúde(¹,²). Os avanços nesse setor baseiam-se, principalmente, na capacidade de processamento de computadores, disponibilidade de softwares específicos para essas tarefas e técnicas matemáticas sofsticadas, agora melhor difundidas.

O modelo de Markov tem se difundido pelos fatores acima expostos e, historicamente, já era aplicado nas avaliações epidemiológicas e avaliações clínicas(³). Na economia da saúde, os modelos de Markov consideram tanto o uso de recursos quando os desfechos (outcomes), sendo esse o ponto forte desse tipo de modelagem.

Nesta revisão, os autores discutem o uso dos modelos de Markov para realização de avaliações econômicas no setor saúde. Este trabalho introduz uma estrutura de avaliação de programas de saúde, as aplicações do modelo de Markov e suas variáveis e estrutura de análise.

Existe um consenso de que as avaliações econômicas em saúde devam ser feitas para lidar com a introdução de novas tecnologias por meio de um modelo de decisão analítica sob condições de incerteza(⁴–⁸). Esse modelo segue o seguinte processo de decisão:

1. estrutura: deve refletir apropriadamente a possibilidade de prognóstico que os indivíduos possam experimentar, e como os tratamentos e programas em saúde que devem ser avaliados possuem impacto nesses prognósticos. Nessa situação, os indivíduos são, no geral, pacientes com uma condição de saúde específica, mas que podem estar saudáveis ou assintomáticos, como no caso dos programas de prevenção;

2. evidência: fornece uma estrutura analítica na qual as evidências relevantes para o estudo possam ser definidas. Isso pode ser obtido por meio do modelo e dos parâmetros de entrada;

3. avaliação: fornece um meio de traduzir as evidências relevantes em estimativas de custos e efeitos das opções sendo comparadas. Os principais tipos de estudo são o custo-efetividade, custo-benefício e custo-utilidade. A melhor opção deve ser tratada com base nas evidências disponíveis;

4. incerteza e variabilidade: facilita uma avaliação dos vários tipos de incerteza. Isso inclui as incertezas relativas ao modelo bem como aos parâmetros de entrada. Os modelos devem também fornecer flexibilidade para caracterizar a heterogeneidade por meio dos vários subgrupos de indivíduos;

5. pesquisas futuras: por meio da avaliação das incertezas, podem-se identificar as prioridades para pesquisas futuras, o que produzirá evidências para reavaliar a questão.

Seguindo esse processo de decisão, a avaliação econômica busca informações a respeito do processo de mensuração adequada dos dados e a informação apropriada sobre a alocação dos recursos(⁸) conforme o tipo de incerteza presente. O quadro 1 apresenta, de forma resumida, os tipos de incertezas as abordagens possíveis para lidar com elas.

Quadro 1
Tipos de incertezas e possíveis abordagens

Tipo de incerteza	Abordagem possível
Metodológica	Caso referência/análise de sensibilidade
Variagao amostral	Análise estatística
Extrapolagao	Métodos de modelagem
Transferabilidade	Análise de sensibilidade

No presente estudo, os autores abordaram o problema da incerteza por meio da extrapolação utilizando os modelos de Markov.

TEMPO NOS MODELOS DE MARKOV

A principal diferença dos modelos do tipo Markov em relação aos demais modelos de avaliação econômica em saúde é o estado que o paciente possui em determinado momento no tempo. O fator “tempo” transcorre de forma explícita com a probabilidade de o paciente ocupar determinados estados em uma série de períodos de tempo discretos. Esses períodos nos modelos do tipo Markov são chamados de “ciclos,” ou seja, a doença está dividida em estados distintos e são assinaladas probabilidades de transição entre esses estados. As durações desses ciclos dependem da doença e das intervenções que estão sendo avaliadas, podendo ser ciclos mensais ou anuais, por exemplo. Do ponto de vista da avaliação econômica, cada ciclo possui um custo associado, a não ser nos estudos de custo-utilidade, nos quais o valor é a utilidade associada a cada ciclo. O tempo médio que um paciente ocupa nos vários estados do modelo é, então, ponderado por seu custo ou utilidade, que serão utilizados para calcular os custos esperados e outcomes. A velocidade com que os pacientes movem-se entre os estados do modelo é determinada pela probabilidade das transições. Assim, ao assinalar o uso dos recursos e os desfechos em saúde, é possível avaliar esses fatores associados à doença e à intervenção sendo realizada.

A primeira etapa na construção de um modelo do tipo Markov está em definir a doença em diferentes estados, os quais devem representar tanto clínica quanto economicamente os importantes efeitos produzidos pela doença, que devem ser incluídos no modelo. Uma importante consideração é que esses estados da doença são mutuamente exclusivos, pois o paciente não pode estar em mais de um estado de doença ao mesmo tempo.

Com a evolução das doenças crônicas, como hipertensão e diabetes, nos países em desenvolvimento(⁹–¹²), os modelos de Markov são ferramentas importantes para o planejamento de programas de saúde. A figura 1 apresenta uma representação gráfica da doença crônica que pode ser introduzida em um modelo de avaliação econômica.

Figura 1
Etapas da progressão da doença até o óbito(¹)

O primeiro estado é definido como assintomático, indicando que o paciente possui a doença, porém não está vivenciando suas consequências e tampouco possui um risco de morte maior do que um sujeito sem a doença. A partir desse estado da doença, o paciente pode mover-se para o estado “morte,” baseado na probabilidade de transição ou progressão da doença. Na progressão da doença o paciente passa a vivenciar sua condição deficitária de saúde com um aumento do risco de morte causado pelo resultado direto da doença sobre todas as outras causas de mortalidade.

Os estados no modelo em que é impossível sair são tecnicamente conhecidos como “absorbing states”; um exemplo disso, no modelo, é a morte. As setas que retrocedem representam a possibilidade de o paciente permanecer no estado, ou conforme o modelo é possível incluir melhorias nas condições clínicas do paciente, como nos casos de remissão das doenças.

As probabilidades de transição são consideradas em cada ciclo do modelo, e podem ser representadas em uma matriz do tipo “n x n”. A soma das probabilidades de transição de cada ciclo devem somar igual a 1 (um), pois existe apenas um estado a cada momento discreto de tempo. Assim, a probabilidade de permanecer no mesmo estado é dada por 1 (um) menos a probabilidade de transição.

A fim de ilustrar, a tabela 1 apresenta uma matriz de probabilidade em um estado monoterápico.

Tabela 1
Probabilidades de transição em um caso monoterápico(¹³)

Transição de	Transição para
	Estado A	Astado B	Estado C	Estado D
Estado A	0,721	0,202	0,067	0,01
Estado B	0	0,581	0,407	0,012
Estado C	0	0	0,75	0,25
Estado D	0	0	0	1

Uma observação importante é a possível confusão no uso dos termos “taxa” e “probabilidade”. A taxa representa a transição em qualquer ponto no tempo, enquanto a probabilidade é a proporção que a população de risco faz em um período específico no tempo(¹,¹⁴). Isso faz com que as probabilidades disponíveis na literatura acadêmica possam não refletir o mesmo período de tempo do ciclo de Markov do modelo em questão. Os dados obtidos a partir da literatura acadêmica geralmente são expressos em taxas que podem variar de 0 a infinito (exemplo: taxa de mortalidade de 2% por ano para a doença X), enquanto que as probabilidades variam de 0 a 1 e possuem o tempo implícito.

Uma maneira de contornar esse problema das probabilidades pode ser feita por meio de:

onde o tempo é expresso por “t” e as taxas por “r”(¹⁵).

A atribuição de pesos ao modelo é necessária para que os custos e outcomes sejam estimados. No caso da expectativa de vida, o peso 1 (um) é dado para cada estado do modelo em que o paciente está “vivo” e o peso 0 (zero) é dado para o estado “morto”. Ao executar o modelo sobre um grande número de ciclos e somar os pesos por meio desses ciclos é obtida uma estimativa média da expectativa de vida em termos do tamanho do ciclo do modelo. Isso multiplicado por tamanho do ciclo em anos produz a expectativa de vida em anos. Nas avaliações econômicas, é comum observar essa predição em termos de quality-ajusted life years (QALY). A principal vantagem reside na ponderação da extensão de tempo em um estado de saúde particular representado pela qualidade de vida nesse estado de saúde. Isso torna o QALY adequado para uso nos modelos de Markov. O uso do custo segue a mesma metodologia, atribuindo os valores gastos em cada ciclo, e os custos são obtidos pela da soma de todos os ciclos. Uma consideração é a possibilidade de atribuir custos não somente aos estados, mas também às transições, que podem representar tratamentos pontuais.

Os modelos do tipo Markov são amplamente utilizados nas ciências, incluindo também áreas como Biologia, Matemática, Ciências Sociais, Música, internet, Química e Física.

Os pontos fortes desse tipo de modelagem são as constantes probabilidades de transição que podem ser resolvidas por meio da álgebra matricial, considerando a matriz de transição com o tempo gasto em cada estado e valor esperado de cada outcome de maneira precisa. Entretanto, o ponto fraco dessa modelagem é também essa probabilidade estática. Conforme mencionado inicialmente, o uso desses modelos tem sido difundido pela maior capacidade de processamento dos computadores, que são capazes de superar a limitação estática da análise matricial.

A seguir, os autores apresentam uma revisão dos dois principais tipos de modelos de Markov utilizados nas avaliações dos programas de saúde, a saber: as simulações cohorts e individuais.

A simulação cohort possui uma solução direta. O cohort inicia no momento zero em um estado inicial da doença; no nosso exemplo de doença crônica, a condição assintomática da doença. A cada ciclo do modelo, as probabilidades de transição são aplicadas e a distribuição dos pacientes em cada estado é ajustada. A execução de vários ciclos determina o perfil de quantos pacientes existem em cada estado do modelo ao longo do tempo. Na tabela 2, é representado o modelo cohort hipotético com 1.000 pacientes.

Tabela 2
Simulação Cohort para o modelo ilustrativo(¹)

Ciclo	Estado da doença			Total
	Assintomático	progressivo	Óbito
0	1.000	0	0	1.000
1	976	10	14	1.000
2	943	28	29	1.000
3	902	52	46	1.000
4	854	79	67	1.000
5	799	109	92	1.000
6	740	139	121	1.000
7	678	168	154	1.000
8	614	195	191	1.000
9	551	218	231	1.000
10	488	237	275	1.000

Nas simulações do tipo Monte Carlo, ao invés de iniciar um cohort do modelo junto, um grande número de pacientes são seguidos individualmente. A principal diferença é que, apesar de os pacientes individuais serem sujeitos às mesmas probabilidades de transição, no modelo de Monte Carlo eles podem ou não transitar entre os estados a cada ciclo. Assim, o caminho seguido por diferentes pacientes será diferente devido à variabilidade aleatória, e os custos e outcomes são produzidos conforme o caminho seguido pelo modelo.

Apesar do crescimento nas análises econômicas com testes clínicos, fica evidente que as principais vantagens das avaliações econômicas podem ser traduzidas em melhor alocação dos recursos escassos.

As avaliações econômicas são uma etapa preliminar importante nos estudos clínicos, e os modelos de Markov são adequados para avaliar a progressão das doenças ao longo do tempo. Outra importante vantagem é a habilidade de lidar tanto com os custos como com os efeitos simultaneamente. Como todo modelo, ele possui limitações que devem ser superadas conforme os modelos aumentam em sofisticação, especialmente para lidar com as transições de probabilidade tempos-dependentes e estados distintos das doenças. Outra dificuldade inerente a este tipo de modelo é a maior complexidade quando comparado às árvores de decisão mais simples e à falta de “memória”. Isso ocorre devido ao pressuposto de Markov com a probabilidade de se transitar entre os estados de saúde sem se basear nas experiências registradas nos ciclos anteriores(¹⁶). Isso pode ser amenizado com o uso dos “tunnel states“ que permitem integrar as experiências de saúde dos ciclos anteriores(¹⁶,¹⁷). Os estados dos ciclos podem ser acessados somente em uma sequência fixa, uma analogia de passar por meio de um túnel. A finalidade dessa abordagem é fornecer um ajuste temporário nas transições de probabilidade que durem mais de um ciclo.

Os modelos de Markov são uma ferramenta analítica amplamente utilizada na área da saúde para avaliações de doenças por meio de um ponto de vista econômico. Essa técnica permite considerar o paciente em um número finito de estados discretos de saúde, no qual os eventos clínicos importantes são modelados como transições de um estado para o outro. Os estudos envolvendo as cadeias de Markov podem ser apresentados por meio de simulações do tipo cohort, ou seja, um teste (trial) com múltiplos sujeitos; ou, senão, pela simulação de Monte Carlo envolvendo múltiplos testes (trials) e um sujeito para cada.

As apresentações desses estudos são feitas por meio das árvores cíclicas que combinam uma estrutura de decisão com os processos de Markov; isso permite considerar problemas clínicos com riscos contínuos ao longo do tempo dentro do modelo. A difusão dessas técnicas pode contribuir nas avaliações de clínicas no momento atual que envolve aumentos tanto nos custos quanto na prevalência das doenças crônicas.

REFERENCES

• ¹
  Briggs A, Sculpher M. An introduction to Markov modelling for economic evaluation. Pharmacoeconomics. 1998;13(4):397-409.
• ²
  Buxton MJ, Drummond MF, Van Hout BA, Prince RL, Sheldon TA, Szucs T, et al. Modelling in economic evaluation: an unavoidable fact of life. Health Econ. 1997;6(3):217-27.
• ³
  Sonnenberg FA, Beck JR. Markov models in medical decision making: a practical guide. Med Decis Making. 1993;13(4):322-38.
• ⁴
  Elsinga E, Rutten FF. Economic evaluation in support of national health policy: the case of The Netherlands. Soc Sci Med. 1997;45(4):605-20.
• ⁵
  Sculpher MJ, Claxton K, Drummond M, McCabe C. Whither trial-based economic evaluation for health care decision making? Health Econ. 2006;15(7):677-87.
• ⁶
  Buxton MJ. Economic evaluation and decision making in the UK. Pharmacoeconomics. 2006;24(11):1133-42.
• ⁷
  Noorani HZ, Husereau DR, Boudreau R, Skidmore B. Priority setting for health technology assessments: a systematic review of current practical approaches. Int J Technol Assess Health Care. 2007;23(3):310-5.
• ⁸
  Drummond MF, Sculpher MJ, Torrance GW, OBrien BJ, Stoddart GL. Methods for the economic evaluation of health care programmes. 3^rd ed. Oxford: University Press; 2005.
• ⁹
  Zimmet P, Alberti KG, Shaw J. Global and societal implications of the diabetes epidemic. Nature. 2001;414(6865):782-7.
• ¹⁰
  Abegunde DO, Mathers CD, Adam T, Ortegon M, Strong K. The burden and costs of chronic diseases in low-income and middle-income countries. Lancet. 2007;370(9603):1929-38.
• ¹¹
  Yach D, Leeder SR, Bell J, Kistnasamy B. Global chronic diseases. Science. 2005;307(5708):317.
• ¹²
  Adeyi O, Smith O, Robles S. Public policy and the challenge of chronic noncommunicable diseases. Washington: The World Bank; 2007.
• ¹³
  Chancellor JV, Hill AM, Sabin CA, Simpson KN, Youle M. Modelling the cost effectiveness of lamivudine/zidovudine combination therapy in HIV infection. Pharmacoeconomics. 1997;12(1):54-66.
• ¹⁴
  Miller DK, Homan SM. Determining transition probabilities: confusion and suggestions. Med Decis Making. 1994;14(1):52-8.
• ¹⁵
  Beck JR, Pauker SG. The Markov process in medical prognosis. Med Decis Making. 1983;3(4):419-458.
• ¹⁶
  Rascati, K. Essentials of pharmacoeconomics. Philadelphia: Wolters Kluwer; 2009.
• ¹⁷
  Hawkins N, Sculpher M, Epstein D. Cost-effectiveness analysis of treatments for chronic disease: using R to incorporate time dependency of treatment response. Med Decis Making. 2005;25(5):511-9.

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2010

Histórico

• Recebido
  09 Dez 2009
• Aceito
  28 Jun 2010