Tradução transcultural de instrumentos de qualidade do processo de doação de órgãos

Resumos

OBJECTIVE:

To carry out the cross-cultural translation of quality instruments in the organ donation process from the National Transplantation Organization of Spain.

METHODS:

Methodological research with quantitative approach conducted in three Neurology reference hospitals in the South of the country. The instruments validation was carried out by mean of the steps of translation, backtranslation, synthesis and expert committee. The reliability was conducted by means of inter-observer equivalence and test and retest stability.

RESULTS:

There was a 100% match among all the judges in 89% of the items in the cross-cultural translation (11% of the items were not equivalent). In the reliability analysis, the Kappa coefficients corresponded to 0.86 and 0.95.

CONCLUSION:

The versions of the instruments were considered valid and reliable for use by institutions that carry out the organ donation process in Brazil.

Nursing assessment; Nursing audit; Transplantation; Validation studies; Direct tissue donation; Translating

Introdução

Nos últimos tempos, o número de pacientes que ingressam em lista de transplantes tem crescido significativamente. Entretanto, as doações efetivadas não têm crescido na mesma proporção, fazendo com que, aproximadamente, um terço dos pacientes morra enquanto aguardam um órgão.^{( 1 - 3 )}

É possível identificar uma grande desigualdade entre o número de potenciais doadores falecidos e as doações efetivadas.^(2,3) O Brasil tem uma taxa estimada de 70 potenciais doadores por milhão de habitantes (por milhão de população − pmp) ao ano. Destes, apenas 43,6 pmp/ano são notificados às Centrais de Notificação, Captação e Distribuição de Órgãos e Tecidos e só 12,6 doadores (pmp/ano) foram efetivados em 2012. Houve perdas de 29,5 pmp/ano potenciais doadores. Dessas perdas, 38,9% corresponderam à negativa familiar; 14% à parada cardíaca e 10% à contraindicação médica.^{( 4 )} Entretanto, os motivos que levam a família à recusa para doação, bem como os motivos de parada cardíaca e das contraindicações médicas, são desconhecidos.^{( 4 - 7 )}

O Brasil não possui um programa de qualidade no processo de doação de órgãos e transplantes que possa determinar as causas das perdas por subnotificação, manutenção e recusa familiar, como resultado do processo assistencial.^{( 4 - 6 )}

A necessidade de aumentar o número de doadores é um problema mundial.^(4-6) Espanha, Portugal, Itália e Estados Unidos, entre outros países, têm mudado essa realidade de maneira significativa.^{( 8 )} A Espanha se destaca nesse cenário,^{( 8 , 9 )} no qual a taxa de notificações de potenciais doadores de órgãos mudou significativamente de 14,8 pmp/ano doadores efetivos, em 1989, para 36,2 pmp/ano em 2012.^{( 9 )} A mudança dessa realidade está relacionada à melhora na organização do processo de transplante e à implantação do Programa de Garantia de Qualidade.^{( 8 , 9 )}

O Programa de Garantia de Qualidade permite à Organização Nacional de Transplantes identificar fatores que influenciam nas perdas de potenciais doadores. Esses dados são transformados em indicadores, o que admite analisar a Morte Encefálica não comunicada, as causas dos problemas na manutenção, os motivos das contraindicações médicas e as negativas familiares, ano a ano.^{( 8 , 9 )}

Diante disso, este estudo teve como objetivo geral realizar a tradução transcultural dos instrumentos de qualidade do processo de doação de órgãos da Organização Nacional de Transplantes da Espanha. Foram objetivos específicos: aplicar os instrumentos de qualidade do processo de doação de órgãos da Organização Nacional de Transplantes da Espanha em hospitais pilotos em Santa Catarina e avaliar a fidedignidade desses instrumentos.

Métodos

Trata-se de uma pesquisa metodológica, de tradução transcultural, desenvolvida conforme recomendações da literatura, realizada junto a três hospitais de referência em Neurocirurgia na Região Sul da Espanha. ^{( 10 - 12 )}

Os instrumentos do Programa de Garantia de Qualidade foram elaborados por profissionais da Organização Nacional de Transplantes, com ampla experiência na área da qualidade e no processo de doação utilizando como fundamentação teórica Avedis Donabedian.^{( 8 , 9 )} Os instrumentos têm como objetivo: definir a capacidade de doação de órgão, conforme o tipo de hospital; detectar perda de possíveis doadores e analisar as causas das perdas como ferramenta para a identificação de pontos de melhora no processo de doação; e descobrir os fatores hospitalares que têm impacto nesse processo. Para a utilização desses instrumentos, a Organização Nacional de Transplantes elaborou um guia de orientação.

O Programa de Garantia de Qualidade utiliza um guia de orientação, o qual descreve passo a passo as etapas para análise nos prontuários dos pacientes falecidos nas unidades de pacientes críticos. Para essa análise são utlizados dois instrumentos. O instrumento I, é utilizado na primeira etapa de análise dos prontuários, denominada etapa de avaliação interna. Essa análise é realizada pelos próprios coordenadores hospitalares de transplantes da instituição. O instrumento II, é utilizado na segunda avaliação dos prontuários (por amostragem), denominada avaliação externa. Essa análise é realizada por coordenadores hospitalares de transplantes de outra instituição. Para participar da segunda etapa, a instituição deverá estar por um ano desenvolvendo a primeira etapa.

O instrumento I apresenta oito itens para análise e o intrumento II, seis itens.

Nos instrumento I e II, em três itens, as respostas são SIM ou NÃO. Para chegar a uma dessas respostas, o profissional deve realizar avaliações detalhadas nas primeiras e nas últimas evoluções da equipe de saúde contidas nos prontuários. Para os outros cinco itens do instrumento I e os outros três itens do instrumento II, há, no mínimo, três possibilidades de resposta; para indicar uma das respostas, o profissional necessita obter informações nas evoluções da equipe de saúde e auxílio no guia de orientação.

A primeira etapa da tradução transcultural foi realizada por dois profissionais da área da saúde, sendo um deles médico e o outro enfermeiro. Após a tradução, desenvolveu-se a síntese, verificando se havia alguma inconsistência de informações entre as versões traduzidas. Havendo consenso entre os tradutores e os pesquisadores, chegou-se à Versão I, documentada como síntese das traduções, a qual foi submetida a backtranslation.

A segunda etapa consistiu na backtranslation, efetuada por dois tradutores, enfermeiros, independentes. Um dos tradutores era nativo da Espanha e o outro do Uruguai e ambos residiam no Brasil. Após o consenso da backtranslation, chegou-se à Versão II, a qual foi avaliada pelos autores dos intrumentos. Após, procedeu-se à avaliação pelo comitê de especialistas.

A avaliação pelo comitê de especialistas foi formado por dez profissionais com vasta experiência na área do conteúdo, com estudos desenvolvidos nessa área e experiência em tradução trasncultural.^{( 10 )} Os referidos profissionais avaliaram as equivalências semântica, cultural, idiomática e conceitual. O material para análise foi encaminhado via correio e por meio eletrônico. Os pesquisadores acompanharam todas as etapas ao mesmo tempo, sanando as dúvidas apresentadas pelo comitê.

Para essa análise, foi utlizada a escala de Likert,^{( 13 )} com os seguintes os valores: -1 = não equivalente; zero = pouco equivalente; +1 = equivalente. Quando os juízes apontavam os valores zero ou -1, eles deveriam dar sugestão para o item. Após os ajustes necessários, os intrumentos foram aprovados para serem utilizados no pré-teste.

A validação de conteúdo foi desenvolvida por meio do comitê de juízes, por meio do cálculo do índice de validação de conteúdo, que indica a proporção de juízes concordantes sobre os itens do instrumento. A constatação de um índice de validação de conteúdo ≤ 0,75 implicou na revisão automática do item, pois significava que pelo menos um dos juízes não ratificou a validade de conteúdo. Os itens considerados válidos foram os que apresentaram índice ≥ 0,8.^{( 12 )}

A quarta etapa foi a do pré-teste, desenvolvido em três instituições hospitalares de alta complexidade e de referência em Neurocirurgia de Santa Catarina. A opção por essas instituições levou em consideração a demanda de pacientes neurocirúrgicos e a média de 25 notificações de potenciais doadores (pmp/ano) à Central de Notificação Captação e Distribuição de Órgãos e Tecidos.

A coleta de dados foi realizada nos prontuários de pacientes que foram a óbito em Unidades de Pacientes Críticos por dois enfermeiros, um médico e os pesquisadores entre maio e junho de 2011. Uma semana antes de iniciar a coleta, os referidos profissionais receberam o guia de orientação.

O pré-teste foi desenvolvido em dois momentos distintos: no primeiro momento, foi realizada nos hospitais de números 1, 2 e 3, entre 1^o de março e 31 de maio de 2010, num total de 119 prontuários, utilizando o instrumento I, o qual buscava identificar os seguintes itens: a causa da morte; se morte encefálica foi identificada pelo Coordenador Hospitalar de Transplantes; motivo pelo qual o Coordenador Hospitalar de Transplantes não detectou a morte encefálica; a contraindicação médica para a doação; a causa da contraindicação médica; se a cirurgia para remoção dos órgãos foi iniciada; a causa da não remoção dos órgãos; se a entrevista familiar foi realizada.

No segundo momento, o pré-teste foi realizado somente no hospital de número 3, entre 1^o de março de 2010 e 1^o de março de 2011, num total de 259 prontuários, utilizando o instrumento II, o qual buscava identificar os seguintes itens: se corresponde a um prontuário de morte encefálica; se há informações que indiquem uma morte encefálica; se foi possível conhecer as causas de perdas do potencial doador; as causas de perdas do potencial doador; se as perdas foram consideradas adequada ou inadequadas; e quais foram as causas das perdas consideradas como inadequadas.

Após a avaliação dos prontuários, os pesquisadores entregaram uma tabela, para que os profissionais envolvidos na coleta de dados pudessem indicar o grau de compreensão de cada item dos instrumentos. Foi utilizada a Escala de Likert,^{( 13 )} e os valores foram representados: -1 = não compreensão, zero = compreendeu parcialmente, +1 = compreendeu totalmente. Quando as respostas foram zero ou -1, foi solicitado que indicassem sugestões para o item e, na sequência, foram efetuadas as alterações propostas nos instrumentos.

Ao término do pré-teste, desenvolveu-se análise das propriedades psicométricas. Para mensurar a fidedignidade dos instrumentos, foram utilizadas a equivalência, por meio da avaliação interobservadores, e a estabilidade, por meio do teste e retete.

Foram avaliados 89 prontuários.

Na equivalência interobservadores, cada um dos Coordenadores Hospitalares de Transplantes analisou todos os prontuários. Na estabilidade teste e reteste, cada um reavaliou dois ou três prontuários, com um intervalo de 5 dias.

A análise dos dados das propriedades psicométricas ocorreu por meio da análise descritiva e estatística. A análise estatística avaliou o grau de concordância entre os resultados dos diversos observadores. O teste utilizado para as comparações foi o Kappa múltiplo, que avalia a concordância entre as respostas. Para essa análise foi considerado nível de significância de 5%. A hipótese testada foi se o índice Kappa fosse igual a zero, o que indicaria concordância nula ou, se fosse maior que zero, a concordância seria maior do que o acaso. Para este estudo, foi considerado um Kappa de 0,70.

O desenvolvimento do estudo atendeu as normas nacionais e internacionais de ética em pesquisa envolvendo seres humanos.

Resultados

Na etapa de avaliação pelo comitê, participaram dez juízes dois quais cinco realizaram as avaliações no instrumento I e cinco no instrumento II.

Os resultados das avaliações pelo comitê mostraram que houve 100% de equivalência por todos os juízes em 89% dos itens e 11% dos itens foram considerados como não equivalentes. Dos itens que não apresentaram equivalência (11%), 80% estavam relacionados à avaliação semântica e 20% à avaliação conceitual.

Os resultados do índice de validação de conteúdo mostraram que a média entre os juízes, em todas as comparações, foi superior a 0,8, valor preconizado para este estudo e conforme outros autores consultados.^{( 12 - 14 )}

Resultados do pré-teste

Os resultados do pré-teste revelaram que todos os profissionais que realizaram a coleta de dados comprenderam totalmente 89% dos itens dos instrumentos, em 8% houve compreensão parcial e em 3% não houve compreensão por todos os profissionais. Cada profissional utilizou um tempo médio de 20 minutos para avaliar cada prontuário.

Dos 378 prontuários avaliados no pré-teste, 125 (33%) eram prontuários de pacientes que apresentavam sinais clínicos de morte encefálica. Dos 125 prontuários, 20 (16%) não tinham informações suficientes para identificar uma possível morte encefálica, sendo desconsiderados. Dos 105 restantes, em 45 (42,8%) houve perda de possíveis doadores e, em 26 (57,7%), as perdas foram consideradas como inadequadas.

A tabela 1 apresenta os resultados do pré-teste relacionados às principais causas de perdas de potenciais doadores.

Tabela 1
Causas de perdas de potenciais doadores

Itens	Possíveis respostas	n(%)*
Instrumento I
Motivos pelo qual o Coordenador Hospitalar de Transplantes não detectou a morte encefálica	Contraindicação médica incorreta	3(37,5)
	Por instabilidade para iniciar o diagnóstico de morte encefalica	2(25)
	Devido a equipe da Unidade de Pacientes Críticos não ter identificado critérios clínicos para morte encefálica	1(12,5)
	Outros	2(25)
Total		8(100)
Motivos da recusa familiar	Família contrária a doação sem uma causa específica	5(23,8)
	Problemas com a equipe de saúde	5(23,8)
	Doador contrário à doação em vida	4(19)
	Família desejava o corpo íntegro	3(14,4)
	Outros	4(19)
Total		21(100)
Instrumento II
Causas de perdas do potencial doador	Mortes encefálicas não identificadas	12(26,6)
	Problemas na manutenção	8(17,7)
	Recusa familiar para doação	21(46,6)
	Problemas logísticos	3(6,7)
	Outros	2(3,4)
Total		45(100)

• ^Fonte
  : Prontuários das unidades de pacientes críticos dos hospitais número 1, 2 e 3. *n corresponde ao número de vezes que o item foi apontado

Resultados das propriedades psicométricas

Participaram 24 Coordenadores Hospitalares de Transplantes, com um tempo médio de atuação na área de 42 meses. Eram enfermeiros 65% e 35% eram médicos.

O Kappa da equivalência interobservadores nos dois instrumentos (Tabela 2) corresponde a uma concordância quase perfeita.

Tabela 2
Kappa e concordância simples da estabilidade dos instrumentos I e II

Itens	Instrumento I		Instrumento II
	Kappa	Concordância (%)	Kappa	Concordância (%)
Causa da morte	0,62	98,6	0,95	98,4
Morte encefálica identificada	1,00	100,0
Contraindicação médica	1,00	100,0
Causa da contraindicação médica	1,00	100,0
Causa da não remoção dos órgãos	0,72	93,8
Foi realizada a entrevista para doação	1,00	100,0
Corresponde a um prontuário em morte encefálica			1,00	100,0
Foi possível conhecer as causas das perdas			0,71	95,0
Causas de perdas de possíveis doadores			0,86	93,9
Causas de perdas consideradas adequadas ou inadequadas			0,51	92,3
Kappa final	0,89	97,7	0,83	95,9

• ^Fonte
  : Prontuários das unidades de pacientes críticos dos hospitais número 1, 2 e 3. Kappa concordância perfeita = 1,00; concordância simples (%)

O Kappa final, na estabilidade teste e reteste (Tabela 3), foi de 0,97 e 0,94, considerado uma forte concordância, valor superior ao preconizado para o estudo, que foi de 0,70.

Tabela 3
Kappa e estabilidade teste e reteste dos instrumentos I e II

Itens	Instrumento I		Instrumento II
	Kappa	Concordância (%)	Kappa	Concordância (%)
Causa da morte	1,0	97,5	1,0	100
Morte encefálica identificada	1,0	100
Causa da contraindicação médica	1,0	100
A cirurgia para remoção dos órgãos foi iniciada	0,93	97,2
Causa da não remoção dos órgãos	1,0	93,3
Foi possível conhecer as causas das perdas			0,98	98,3
Causas das perdas consideradas adequadas ou inadequadas			0,79	89,7
Kappa final	0,97	97,9	0,94	96,0

• ^Fonte
  : Prontuários das unidades de pacientes críticos dos hospitais número 1, 2 e 3. Kappa concordância perfeita = 1,00; concordância simples (%)

Discussão

Os instrumentos traduzidos e adaptados mostraram-se ferramentas importantes para mensurar a qualidade no processo de doação de órgãos. Tais instrumentos apontaram as principais causas de perdas de possíveis e potenciais doadores de órgãos, além de oportunizar a idetificação de pontos fortes, fracos e áreas de melhorias.

Os resultados mostraram a porcentagem de mortes encefálicas nos prontuários avaliados e as reais causas das perdas de potenciais doadores (tabela 1), as quais estiveram relacionadas à não detecção da morte encefálica pelo Coordenador Hospitalar de Transplantes e à recusa familiar. Nessas perdas, identificaram-se os motivos pelos quais o coordenador não detectou a morte encefálica e os motivos pelos quais as famílias recusaram a doação (tabela1). Esses resultados mostram que os instrumentos traduzidos foram capazes de obter resultados conforme os objetivos.

Espera-se que este estudo seja o ponto de partida para o emprego desses instrumentos no processo de doação em todo os país. Certamente, o uso dos instrumentos irá permitir a identificação do potencial de morte encefálica e de potenciais doadores das instituições de saúde, ao mesmo tempo em que fornecerá dados reais sobre os problemas que impedem o aumento do número de doadores efetivos.

Uma das limitações identificadas durante as etapas foi a falta de informações contidas nos prontuários. Quando as informações existiam, estas eram restritas e de difícil compreensão.

Os resultados revelaram uma equivalência de 89% e 92% pelo comitê de especialistas, resultados que se aproximam de outros estudos já realizados no país. Em alguns desses estudos, houve 100% de concordância e uma equivalência de 73%, 80% e 85% pelo Comitê de especilistas.^{( 12 - 14 )} Em um dos estudos houve um percentual de equivalência superior a 80%.^{( 15 )} Em outro estudo, 17% dos itens foram destacados como pouco alterados.^{( 16 )}

A validade de conteúdo dos instrumentos foi considerada excelente, com uma média final de índice de validação de conteúdo de 0,9 quando comparada com outros estudos, cujos índices foram 0,67, 0,80, 0,9 e 1,0.^{( 12 , 15 - 19 )}

A etapa do pré-teste foi fundamental nesse processo. Nessa etapa, teve-se a possibilidade de utilizar os instrumentos, deteccar possíveis erros, confirmar que, tanto a apresentação dos instrumentos como todas as questões, são compreensíveis para quem coleta as informações. Além disso, o pré-teste auxiliou a verificar aspectos práticos da aplicação e o tempo de utilização dos instrumentos na prática.

Os resultados das propriedades psicométricas nos instrumentos I e II corresponderam a uma concordância quase perfeita. Isso sugere que a concordância dos itens pelos intraobservadores encontra-se dentro dos valores preconizados por outros autores, com valores de Kappa de 0,68, 0,73, 0,80, 0,92, 0,97.^{( 13 - 19 )} Ainda, nesses estudos, foram identificados valores de 0,68, 0,86, 0,89 e 0,92 para o testes e retestes.^{( 16 , 17 )}

A média da concordância simples na avaliação dos interobservadores, foi de 97,6%, e a média da concordância simples no teste e reteste foi de 97%, indicando uma concodância excelente, conforme outros estudos.^{( 13 - 19 )} Os dados revelaram que os instrumentos do Programa de Garantia de Qualidade apresentam equivalência e estabilidade excelentes quando comparados aos de outros estudos.^{( 16 - 19 )}

Acredita-se que, por meio desses instrumentos, os gestores do Sistema Nacional de Transplantes possam estimular os gestores hospitalares a utilizar essas ferramentas, no sentido de elaborar indicadores, baseados em informações concisas, extraídas dos prontuários dos pacientes falecidos nas Unidades de Pacientes Críticos.

Conclusão

Os instrumentos de qualidade em doação de órgãos avaliados neste estudo foram adaptados e validados para serem utilizados pelas instituições de saúde que realizam o processo de doação de órgãos, bem como pelas autoridades do sistema de doação do país, pois permitem identificar os motivos da não notificação dos possíveis doadores, as causas de perdas, os motivos das perdas por manutenção, as perdas por recusa e as doações efetivadas.

References

• ¹
  Roza BA, Ferraz Neto B, Thomé T, Schirmer J. [Organ and tissues donation in Brazil: can we evolve?] O Mundo da Saúde São Paulo. 2009;33(1):43-8. Portuguese.
• ²
  Pêgo-Fernandes PM, Garcia VD. Estado atual dos transplantes no Brasil. Diagn Tratamento. 2010;15(2):51-2.
• ³
  Fusco CC, Marcelino CA, Araújo MN, Ayoub AC, Martins CP. Perfil dos doadores efetivos de múltiplos órgãos e tecidos viabilizados pela organização de procura de órgãos de uma instituição pública de cardiologia. J Bras Transpl. 2009;12(2):1109-12.
• ⁴
  Campos HH. Aumento do número de transplantes e da doação de órgãos e tecidos: processo de construção coletiva [Internet]. São Paulo: Associação Brasileira de Transplantes de Órgãos; 2013 [citado 2013 Set 30]. Disponível em: http://www.abto.org.br/abtov03/default.aspx?mn=512&c=957&s=0&friendly=aumento-do-numero-de-transplantes-e-da-doa%E7%E3o-de-org%E3os-e-tecidos-processo-de-constru%E7%E3o-coletiva.
  » http://www.abto.org.br/abtov03/default.aspx?mn=512&c=957&s=0&friendly=aumento-do-numero-de-transplantes-e-da-doa%E7%E3o-de-org%E3os-e-tecidos-processo-de-constru%E7%E3o-coletiva
• ⁵
  El País-DEP. J. Galán. Los trasplantes de órganos en Andalucía suben un 21% [Internet]. Sevilla-España: DEP; 2011. [cited 2013 Set 30]. Available from: http://www.elpais.com/diario/2011/08/05/andalucia/1312496525_850215.html.
  » http://www.elpais.com/diario/2011/08/05/andalucia/1312496525_850215.html
• ⁶
  Marinho A, Cardoso SS, Almeida VV. [Geographic disparities in organ transplantation in Brazil]. Cad Saúde Pública. 2010;26(4):786-96. Portuguese.
• ⁷
  Mattia AL, Barbosa MH, Rocha AM, Rodrigues MB, Freitas-Filho JP, Oliveira MG. [Analysis of the difficulties in the process of organ donation: an integrative bibliographical survey]. Rev Bioethikos. 2010;4(1):66-74. Portuguese.
• ⁸
  Mantesanz R. El modelo español de coordinación de trasplantes. 2 ed. Madrid: La Esfera de los Libros; 2008.
• ⁹
  Organización Nacional de Trasplantes. Programa de garantía de calidad en el proceso de donación [Internet]. España: ONT; 2013 [cited 2013 Sep 20]. Available from: http://www.ont.es/infesp/Paginas/ProgramadeGarantiadeCalidad.aspx.
  » http://www.ont.es/infesp/Paginas/ProgramadeGarantiadeCalidad.aspx
• ¹⁰
  Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the cross-cultural adaptation of the DASH & QuickDASH outcome measures [Internet]. Institute for Work & Health: Canada; 2007 [cited 2013 Sep 20]. Available from: http://www.dash.iwh.on.ca/system/files/X-CulturalAdaptation-2007.pdf.
  » http://www.dash.iwh.on.ca/system/files/X-CulturalAdaptation-2007.pdf
• ¹¹
  Alexandre NM, Coluci MZ. [Content validity in the development and adaptation processes of measurement instruments]. Cienc Saúde Coletiva USP. 2011;16(7):3061-8. Portuguese.
• ¹²
  Vituri DW, Matasuda LM. [Validación de contenido de indicadores de calidad para evaluación del cuidado de enfermería]. Rev Esc Enferm USP. 2009;43(2):429-37. Portuguese.
• ¹³
  Hora EC, Souza RM. [Cross-cultural adaptation of the instrument "family needs questionnaire"]. Rev Latinoam Enferm. 2009;17(4):110-8. Portuguese.
• ¹⁴
  Gasparino RC, Guirardello EB. [Translation and cross-cultural adaptation of the "Nursing Work Index - Revised"]. Acta Paul Enferm. 2009;22(3)281-7. Portuguese.
• ¹⁵
  Guedes DP, Guedes JE. [Translation, cross-cultural adaptation and psycometric properties of the KIDSCREEN-52 for the Brazilian population]. Rev Paul Pediatr. 2011;29(3):364-71. Portuguese.
• ¹⁶
  Sampaio MM, Coeli CM, Miranda NN, Faerstein E, Werneck GL, Chor D, et al. [Interobserver reliability of the International Classifi cation of Primary Care]. Rev Saude Publica. 2008:42(3):230-9. Portuguese.
• ¹⁷
  Franca C, Colares V. [Validation of National College Health Risk Behavior Survey to be use with Brazilian college students]. Ciênc Saúde Coletiva. 2010;15(Supl.1):1209-15. Portuguese.
• ¹⁸
  Domingues GB, Gallani MC, Gobatto A, Miura CT, Rodrigues RC, Myers J. [Adaptación cultural de instrumento para evaluación de la capacidad física en cardiópatas]. Rev Saude Publica. 2011;45(2):276-85. Portuguese.
• ¹⁹
  Novato TS, Grossi SA, Kimura M. [Cultural adaptation and validation of the "diabetes quality of life for youths" measure of ingersoll and marrero into brazilian culture]. Rev Latinoam Enferm. 2008;16(2):224-30. Portuguese.

• Colaborações Knihs NS; Schirmer J e Roza BA contribuíram com a concepção do estudo, análise e interpretação dos dados, revisão crítica relevante do conteúdo intelectual, coleta e interpretação dos dados, redação do artigo e aprovação da versão final a ser publicada.

Datas de Publicação

• Publicação nesta coleção
  2014

Histórico

• Recebido
  27 Nov 2013
• Aceito
  10 Fev 2014