Construção e validação de um instrumento de avaliação de habilidades técnicas para programas de residência em cirurgia geral

Resumos

Objetivo:

construir e validar um instrumento para aferir a aquisição de habilidades técnicas na realização de operações de graus crescentes de dificuldade para ser utilizado na Residência Médica em Cirurgia Geral (RMCG).

Métodos:

foi construído um instrumento de avaliação de habilidades cirúrgicas contendo 11 operações em níveis crescentes de dificuldade. Para a validação do instrumento foi usado o método de validação de face. Por meio de uma ferramenta de pesquisa eletrônica (Survey MonKey(r)) um questionário foi enviado para membros Titulares e Eméritos do CBC de todos os estados brasileiros, portadores de Título de Especialista pelo CBC.

Resultados:

Dos 307 questionários enviados foram recebidas 100 respostas. Para a análise dos dados coletados foi utilizado o teste alfa de Cronbach. Observou-se, de uma forma geral, que os alfas globais se apresentaram com valores próximos ou superiores a 0,70, expressando uma boa consistência interna das perguntas para avaliar os respectivos aspectos de interesse.

Conclusão:

O instrumento de avaliação construído foi validado e pode ser usado como um método de avaliação da aquisição de habilidade técnica na Residência Médica em Cirurgia Geral no Brasil.

Residência Médica; Cirurgia Geral; Educação Médica; Programas de Treinamento

Objective:

To develop and validate an instrument for measuring the acquisition of technical skills in conducting operations of increasing difficulty for use in General Surgery Residency (GSR) programs.

Methods:

we built a surgical skills assessment tool containing 11 operations in increasing levels of difficulty. For instrument validation we used the face validaity method. Through an electronic survey tool (Survey MonKey(r)) we sent a questionnaire to Full and Emeritus members of the Brazilian College of Surgeons - CBC - all bearers of the CBC Specialist Title.

Results:

Of the 307 questionnaires sent we received 100 responses. For the analysis of the data collected we used the Cronbach's alpha test. We observed that, in general, the overall alpha presented with values near or greater than 0.70, meaning good consistency to assess their points of interest.

Conclusion:

The evaluation instrument built was validated and can be used as a method of assessment of technical skill acquisition in the General Surgery Residency programs in Brazil.

Medical Residency; General surgery; Medical Education; Training programs

INTRODUÇÃO

Um bom programa de Residência Médica em Cirurgia Geral (RMCG) é aquele que forma cirurgiões competentes, capazes de prestar a melhor assistência médica possível à população, onde quer que atuem; em grandes centros ou fora deles. Para que o treinamento seja considerado adequado, e os resultados sejam satisfatórios, é preciso haver um currículo estruturado e equilibrado, com objetivos definidos nas diferentes fases da formação especializada, no qual devem ser incluídas uma parte extensa de conhecimentos teóricos e igual oportunidade para todos os residentes desenvolverem a habilidade técnica indispensável ao cirurgião¹, já que "falhar não é uma opção"².

Avaliações devem ocorrer ao final de cada estágio ou ano de treinamento para que se saiba se o residente pode prosseguir para uma etapa mais avançada de seu treinamento. Ao final da residência uma avaliação judiciosa das habilidades técnicas deve ser mandatória para que se possa conceder a certificação a um profissional de fato competente, capaz de oferecer aos pacientes um cuidado de excelência e de exercer com autonomia as suas funções³, em consonância ao Título de Especialista⁴ que ao final do programa, no Brasil, receberá por força de lei.

Já em 1872, na Alemanha, Theodore Billroth reconhecia ser necessária alguma forma de avaliação mais completa para o cirurgião geral além da dimensão cognitiva, pois, mesmo um grande conhecimento teórico não é garantia de habilidade técnica⁵. Muito tem sido publicado sobre avaliação. No entender de Satava etal. há uma deficiência no campo da avaliação do desempenho e da habilidade técnica dos cirurgiões⁶. Para Bhatti não há um teste único confiável e objetivo capaz de avaliar todos os detalhes envolvidos na competência de um cirurgião³.

Pode-se interpretar a avaliação de variadas formas, e todos os seus métodos têm pontos positivos e negativos. A palavra vem do latim a + valere e significa atribuir um valor ao objeto do estudo. Implica em julgar, apreciar. Quando diz respeito a alunos, no caso, residentes, avaliar é quase sinônimo de verificação ou aferição⁷. Em uma de suas muitas concepções, avaliar é comparar e classificar segundo critérios definidos por um instrumento de avaliação. No caso da avaliação de habilidades técnicas é necessário que haja um padrão definido⁸ (avaliação critério-referenciada), e o resultado desta poderá implicar em uma tomada de posição favorável ou não ao desempenho daquele que é avaliado.⁹ A importância da avaliação, certamente, não se encerra no resultado obtido; mas, no que tange à obtenção do Título de Especialista, alcançar os critérios definidos para a "certificação" é o objetivo final.

A maior parte dos testes de avaliação empregados hoje em dia diz respeito à avaliação de conhecimentos e, para isso, entre outros dispositivos, testes de múltipla escolha são muito bons. Quando feitos com cuidado, com opções bem elaboradas, estes, são capazes de avaliarem o saber teórico, mas não avaliam, por exemplo, a capacidade do médico em examinar um paciente (competência clínica) ou realizar uma operação (competência cirúrgica). Isoladamente, não permitem atestar o desempenho de um cirurgião¹⁰.

Até o momento não existe um teste único que inclua a avaliação de todos os requisitos necessários para testar a habilidade técnica, e que nos permita concluir se o cirurgião é ou não competente. O desempenho cirúrgico pode ser avaliado por meio de observação direta no centro cirúrgico, por meio de simuladores, por meio de vídeos, pelo OSATS (Objective Structured Assessment of Technical Skill)⁸, e mesmo em testes orais, pedindo-se ao residente que descreva uma ou outra operação¹¹. Como pontos positivos podemos dizer que são seguros, têm credibilidade e validade, mas poucos são específicos para aspectos próprios das operações, alguns são financeiramente inviáveis para alguns hospitais, outros demandam muito tempo para serem realizados, e exigem um aparato muito grande, como por exemplo, gravações de vídeos, estações múltiplas de testes, ou simuladores.

A habilidade técnica representa o domínio psicomotor do saber, e é o "conjunto de práticas adquiridas, sobretudo por demonstração, repetição e reelaboração crítica, que fornecem ao cirurgião a perícia do saber fazer junto com a capacidade de tomar decisões e resolver questões no seu campo de atuação", e inclui precisão e prevenção de erros. Estas são capacidades muito difíceis de serem avaliadas¹². Ericsson et al. defendem a hipótese de que o especialista se desenvolve por meio de um programa de treinamento intenso e eficiente¹³. O desenvolvimento do domínio psicomotor é alcançado por meio da repetição dos movimentos. Isso significa que quanto maior for o número de vezes que o residente realizar determinada operação mais ele estará desenvolvendo sua destreza manual, até que atinja a automação, quando realiza os movimentos sem que precise pensar neles.

Apenas na última década houve uma ênfase maior na avaliação da destreza manual, motivada, talvez, pela percepção dos educadores de que "talento inato", aquela qualidade que faz o residente precisar de muito menos repetições para ser excelente, é uma particularidade genética rara, e que para aqueles que não têm essa marca em seu genoma, é fundamental um treinamento rigoroso, com repetição dos movimentos em um maior número de vezes até que o futuro cirurgião possa ser considerado competente, o que é conseguido com um grande volume de operações¹⁴.

Bhatti e Cummings³, citando Miller, propõem que a aquisição de competência cirúrgica seja baseada em quatro estágios. Para essa demonstração eles usaram uma pirâmide com a base mais larga. Na base está o "saber" que corresponde ao conhecimento (cognição) necessário para atingir-se o próximo estágio. No quarto e último estágio está o que o indivíduo "realmente faz", e é onde o cirurgião demonstra efetivamente seu desempenho. Na cirurgia isso quer dizer desempenho prático, saber realizar a operação³.

Na regulamentação dos programas de RMCG pela Comissão Nacional de Residência Médica (Brasil) não há nenhum instrumento padronizado para a avaliação de habilidade técnica, nem durante, nem ao final da Residência⁴. Em um sistema formatado desta maneira, assume-se que ao final do programa o residente estará apto para receber o Título de Especialista, mesmo que não se tenha conhecimento de quantas e quais operações ele realizou durante o treinamento. Não há uma avaliação que permita uma tomada de posição em relação ao desempenho observado, que possibilite o reconhecimento dos pontos fortes e os fracos da formação para que o programa possa ser melhorado ou que ratifique a não certificação do residente caso ele não atinja os padrões pré-determinados. Portanto, os objetivos deste estudo foram construir um instrumento para aferir a habilidade técnica de residentes de programas de RMCG em realizar operações de graus crescentes de dificuldade, e validar o instrumento com especialistas em Cirurgia Geral, Membros Titulares e Eméritos do Colégio Brasileiro de Cirurgiões (CBC).

MÉTODOS

Com base nas doenças mais prevalentes no âmbito do exercício diário da Cirurgia Geral, presentes na maior parte dos hospitais, universitários ou não, onde são desenvolvidos programas RMCG em todo o país, foi elaborado um instrumento incluindo 11 operações em níveis crescentes de dificuldade (Tabela 1), consideradas pelos Especialistas em Cirurgia Geral pelo CBC como indispensáveis para aqueles que receberão o Título de Especialista em Cirurgia Geral, e um questionário com quatro perguntas para cada operação para a avaliação da habilidade técnica em realizá-las (Tabela 2). Entre as 11 operações propostas, três foram consideradas de pequena dificuldade para a realização, seis de média dificuldade e duas de grande dificuldade.

Tabela 1
- Operações propostas para avaliação, segundo o grau de dificuldade.

Grau de Dificuldade	Operação
Pequena	Herniorrafia Inguinal
	Gastrostomia
	Herniorrafia Incisional
Média	Colostomia
	Enterectomia
	Colecistectomia Videolaparoscópica
	Derivação Biliodigestiva
	Gastrectomia parcial
	Colectomia parcial
Grande	Hepatectomia simples
	Pancreatectomia caudal

Tabela 2
- Conteúdo específico do instrumento de avaliação das habilidades técnicas.

Validação dos critérios específicos de avaliação de desempenho para cada operação

Herniorrafia Inguinal

a. Identifica corretamente as estruturas correspondentes ao ligamento inguinal, tendão conjunto, triângulo de Hasselbach?

b. Identifica adequadamente as relações anatômicas dos vasos femorais?

c. Trata adequadamente o saco herniário?

d. Fixa adequadamente a tela?

Gastrostomia

a. Incisa adequadamente a parede abdominal para a gastrostomia?

b. Escolhe o segmento do gástrico adequado para posicionamento do cateter?

c. Fixa adequadamente o cateter no estômago?

d. Fixa adequadamente o cateter à parede abdominal?

Herniorrafia Incisional

a. Prepara adequadamente a aponeurose para a fixação da tela?

b. Fixa adequadamente a tela? (distância da borda da aponeurose, distância adequada entre os pontos)

c. Trata adequadamente o conteúdo do saco herniário?

d. Trata adequadamente o saco herniário? (ressecção do excesso, ligadura na base, possibilidade de uso do excesso para isolamento da cavidade abdominal)

Colostomia

a. Escolhe posição adequada na parede abdominal para posicionamento da colostomia?

b. Observa o cuidado de não deixar a alça tensionada?

c. Incisa a alça em extensão adequada?

d. Faz adequadamente a colostomia em alça? (maturação precoce) *

Enterectomia

a. Usa adequadamente os grampeadores lineares para ressecção / sutura de intestino delgado?

b. Usa adequadamente clampes intestinais?

c. Realiza adequadamente uma enteroentero anastomose manual?

d. Observa os cuidados necessários para o sucesso da anastomose? (pontos dos ângulos, vascularização, tensão na linha de sutura)

Colecistectomia Videolaparoscópica

a. Realiza a primeira punção com os cuidados necessários?

b. Reconhece os reparos anatômicos para que a cirurgia seja segura? (dissecar junto à vesícula, exposição do triângulo de Calot, junção císticocoledociana)

c. Disseca adequadamente o pedículo da vesícula (colédoco, ducto cístico, artéria cística)

d. Usa com os cuidados necessários o cautério? (corrente baixa, fora da área da via biliar principal)

Derivação biliodigestiva com jejuno

a. Escolhe adequadamente o segmento de alça para a anastomose? (distância adequada para a alça exclusa)

b. Faz as incisões na via biliar e na alça de maneira adequada?

c. Faz adequadamente a anastomose? (sem tensão)

d. Coloca o dreno de cavidade apropriadamente?

Gastrectomia parcial

a. Reconhece os pedículos vasculares do estômago? (tronco celíaco e gástrica esquerda; gástrica direita, gastroepiploica direita e esquerda, vasos curtos)

b. Reconhece as divisões anatômicas do estômago?

c. Realiza adequadamente as ligaduras vasculares? (tipo de fio, de ligadura)

d. Realiza adequadamente a reconstrução do trânsito? (Y de Roux, B I ou B II, hemostasia submucosa, equidistância das bordas)

Colectomia Parcial

a. Reconhece os reparos anatômicos do pedículo vascular do segmento a ser ressecado?

b. Realiza adequadamente as ligaduras vasculares?

c. Utiliza adequadamente os grampeadores lineares e circulares?

d. Realiza adequadamente a anastomose para a reconstrução do trânsito? (reparos nos ângulos, sutura extra mucosa, posição do meso, ausência de tensão)

Hepatectomia Simples

a. Reconhece corretamente os reparos da vascularização hepática?

b. Realiza adequadamente a digitoclasia, ligaduras e ressecção?

c. Reconhecer os ductos intra-hepáticos e os liga separadamente?

d. Utiliza adequadamente os diferentes métodos para hemostasia? (corrente monopolar, ultrassônicas, bisturi de argônio, colas biológicas.)

Pancreatectomia Distal

a. Reconhece e disseca adequadamente os planos para acesso ao pâncreas?

b. Identifica adequadamente a artéria e veia esplênicas?

c. Realiza adequadamente a sutura do parênquima ?

d. Realiza adequadamente o tratamento do ducto de Wirsung?

• *Ítem retirado do questionário após a validação pelos especialistas.

A validação constou de duas partes, a primeira em relação à escala de dificuldades das operações propostas (Tabela 1), e a segunda, específica, considerando particularidades de cada operação (Tabela 2). O questionário foi construído com perguntas de resposta fechada, sendo as opções: concordo, quando os Especialistas estavam de acordo com a escala de graus de dificuldade das operações e com a capacidade dos critérios de demonstrar a habilidade de realizar a operação; e, não concordo, quando pensavam o contrário.

Para a validação do instrumento foi usado o método de validação de face, aquele no qual um grupo de pessoas ligadas à área de interesse do que está sendo validado, julga se aquele instrumento é passível de avaliar aquilo a que se propõe. Por meio de uma ferramenta de pesquisa eletrônica (Survey MonKey(r)) um questionário foi enviado aos membros Titulares e Eméritos do CBC de todos os estados brasileiros, todos portadores de Título de Especialista pelo CBC. O número de especialistas foi baseado em uma amostra aleatória simples, com erro amostral não superior a 5% segundo amostragem estratificada proporcional, sendo N=1329 representando o total de Cirurgiões registrados no CBC como cirurgiões gerais e n=307 mostrando o número mínimo de cirurgiões a serem consultados. A correspondência eletrônica foi enviada em três etapas distintas. Entre o primeiro e o segundo envio houve um intervalo de 30 dias e entre o segundo e o terceiro o intervalo foi 15 dias.

Para a análise dos dados coletados foi utilizado o coeficiente alfa de Cronbach que determina a consistência interna das respostas ou a correlação média dos itens em um instrumento de pesquisa, para avaliar sua confiabilidade. A análise foi realizada com o número de observações completas de cada operação. Para algumas operações, o cálculo do coeficiente não pôde ser processado, devido à ocorrência de frequência quase absoluta de respostas concordantes nas perguntas pertinentes (quase 100% de concordância).

Esse trabalho foi apresentado ao Comitê de Ética em Pesquisa do Hospital Universitário Clementino Fraga Filho - UFRJ sob o número 115.032 e foi aprovado em 04 de outubro de 2012.

RESULTADOS

Dos 307 questionários enviados foram recebidas 100 respostas. Foram consideradas aproveitáveis as respostas que obedeceram às alternativas: "concordo" ou "não concordo". Em alguns casos foi necessário eliminar a resposta para determinada pergunta por que esta não preencheu o critério pré-estabelecido.

Observou-se que para quase todas as operações os coeficientes alfa globais se apresentaram com valores próximos ou superiores a 0,70, expressando uma boa consistência interna das perguntas para avaliar os respectivos aspectos de interesse (Tabela 3). Apenas em relação à operação "Colostomia", cujo índice foi 0,62, abaixo da média próxima a 0,70, foi retirado o quesito considerado inconsistente (Tabela 2), ficando esta operação com avaliação de três itens e o coeficiente alfa passou para 0,69. Portanto, o teste mostrou que todos os quesitos em relação às operações foram consistentes e podem ser aplicados com grau seguro de confiabilidade.

Tabela 3
- Coeficientes alfa de Cronbach para cada uma das 11 operações avaliadas.

Operação	Número de respostas	Coeficiente alfa de Cronbach
Herniorrafia inguinal	99	0,69
Gastrostomia	98	NP
Herniorrafia incisional	97	0,85
Colostomia	97	0,62 *
Enterectomia	98	0,89
Colecistectomia videolaparoscópica	97	0,76
Derivação biliodigestiva com jejuno	94	NP
Gastrectomia parcial	96	0,67
Colectomia parcial	97	NP
Hepatectomia simples	96	0,93
Pancreatectomia distal	98	0,98

• ^*
  Após exclusão do 4º ítem de avaliação dessa operação, o coeficiente alfa passou a 0,69. NP: não processado devido a concordância absoluta nas respostas.

DISCUSSÃO

As mudanças que estão ocorrendo no exercício da Cirurgia Geral, novas tecnologias que requerem maiores habilidades para o domínio, as demandas sociais quanto à segurança dos pacientes e as proibições legais quanto ao treinamento em anima nobile, têm exigido novos comportamentos quanto ao treinamento e à avaliação dos residentes de Cirurgia Geral.

Na RMCG a falta de um instrumento de avaliação do desenvolvimento de habilidade técnica pode, algumas vezes, comprometer o resultado final das avaliações do desempenho do residente já que na maior parte das vezes estas são referentes apenas ao conhecimento (domínio cognitivo) e ao comportamento (domínio afetivo)³. O uso do tempo de internação, complicações pós-operatórias, mortalidade, presença de corpos estranhos deixados no paciente, lesões iatrogênicas, deiscências, fazem parte de alguns protocolos de avaliação de competência, mas não são adequados para aferição da habilidade técnica per si^12,13.

Construir um instrumento que avalie o ganho de habilidades técnicas não é uma tarefa simples, e passa por várias fases. Todos os envolvidos na educação de futuros cirurgiões gerais questionam-se quais operações, e em que número, estas são indispensáveis saber fazer para que o residente possa ser considerado um especialista.

Neste trabalho, as operações foram arbitrariamente escolhidas por fazerem parte do dia a dia de todos os cirurgiões gerais que praticam em grandes centros, ou fora deles, e foram julgadas por Especialistas (Membros do Colégio Brasileiro de Cirurgiões) como representativas de níveis crescentes de dificuldade de execução, e indispensáveis para aqueles que receberão um Certificado de Especialista. Os critérios de avaliação para cada uma das operações também foram considerados como importantes, significando que o residente que os realiza corretamente pode ser considerado competente na realização daquela operação específica.

A forma mais frequente de coleta de dados é o uso de questionários. Com o advento dos computadores a forma eletrônica nas pesquisas científicas tem aumentado bastante por ser um fator facilitador¹⁵. Apresenta muitas vantagens, o baixo custo, elimina o constrangimento da entrevista pessoal, e favorece um alcance bastante grande da amostra. Como desvantagens há a falta de entendimento de quem lê o questionário, as dificuldades de acesso à internet, e a principal, o baixo índice de respostas, como afirmam vários autores^16-18. A literatura afirma que estes índices podem variar entre 13 e 35%^15-18. Neste trabalho o índice foi 32,6%, e está dentro da realidade aceitável para este tipo de pesquisa.

Validar é dar como correto, verdadeiro. Existem diferentes níveis de validação: de face, de conteúdo, e de critério^19-21. Como método de validação, o de face foi o escolhido, que por ser mais simples, é geralmente o primeiro método de validação a ser utilizado em um estudo²¹. Validação de face é uma medida mais geral, e, embora seja considerada por muitos como uma evidência fraca, não significa que seja incorreta. É o tipo no qual um teste é avaliado por um grupo de pessoas selecionadas, envolvidas naquele campo de atuação do estudo, que afirma que aquele teste é capaz de avaliar aquilo a que se propôs. Em outras palavras pode-se dizer que um teste tem validação de face quando "parece" medir aquilo que se propõe medir. Pode ser usado isoladamente ou como primeiro passo para validação de um instrumento, e pesquisadores assumem que os resultados são representativos da realidade. No caso deste instrumento significa que a lista de operações escolhidas é representativa de níveis crescentes de complexidade, e que os quesitos sobre as mesmas podem indicar a habilidade técnica do residente avaliado em realizá-las^19-21.

O uso desse questionário foi considerado prático e objetivo por abordar aspectos específicos das operações. Outra vantagem é que não houve custos altos envolvidos em sua aplicação.

Em conclusão, certificar um Especialista em Cirurgia Geral é uma grande responsabilidade. Acreditamos que melhorar os métodos de avaliação traduz o compromisso de melhorar o cuidado prestado, e de oferecer à população o atendimento de qualidade que ela merece. O presente instrumento de avaliação construído foi validado e pode ser usado como um método de avaliação do ganho de habilidade técnica nos Programas de Residência Médica em Cirurgia Geral no Brasil.

Agradecimentos

Nossos agradecimentos ao Colégio Brasileiro de Cirurgiões pela disponibilização da lista Nacional de Membros Titulares e Eméritos, e aos especialistas que responderam ao questionário.

REFERENCES

• ¹
  Grantcharov TP, Bardram L, Funch-Jensen P, Rosemberg J. Assessment of technical surgical skills. Eur J Surg. 2002;168(3):139-44.
• ²
  Panait L, Larios JM, Brenes RA, Fancher TT, Ajemian MS, Dudrick SJ, et al. Surgical skills assessment of applicants to general surgery residency. J Surg Res. 2011;170(2):189-94.
• ³
  Bhatti NI, Cummings CW. Competency in surgical residency training: defining and raising the bar. Acad Med. 2007;82(6):569-73.
• ⁴
  Brasil. Ministério da Educação [homepage na Internet]. Regulamentação da Residência Médica [acesso em jul 2014]. Disponível em http://www.mec.gov.br.
  » http://www.mec.gov.br
• ⁵
  O'Shea JS. Becoming a surgeon in the early 20th century: parallels to the present. J Surg Edu. 2008;65(3):236-41.
• ⁶
  Satava RM, Gallagher AG, Pellegrini CA. Surgical competence and surgical proficiency: definitions, taxonomy and metrics. J Am Coll Surg. 2003;196(6):933-7.
• ⁷
  Luckesi CC. Avaliação da aprendizagem escolar: estudos e proposições. 19a ed. São Paulo: Cortez; 2008.
• ⁸
  Martin JA, Regehr G, Reznick R, MacRae H, Murnaghan J, Hutchison C, et al. Objective structured assessment of technical skill (OSATS) for surgical residents. Br J Surg. 1997;84(2):273-8.
• ⁹
  Fried GM, Feldman LS. Objective assessment of technical performance. World J Surg. 2008;32(2):156-60.
• ¹⁰
  Cheung MT, Yau KK. Objective assessment of a surgical trainee. ANZ J Surg. 2002;72(5):325-30.
• ¹¹
  Faurie C, Khadra M. Technical competence in surgeons. ANZ J Surg. 2012;82(10):682-90.
• ¹²
  Mendes OM. Avaliação formativa no ensino superior: reflexões e alternativas possíveis [acesso em jul 2013. Disponível em: http://www.proiac.uff.br/sites/default/files/avaliacao_formativa_olenir.pdf
  » http://www.proiac.uff.br/sites/default/files/avaliacao_formativa_olenir.pdf
• ¹³
  Ericsson KA, Nandagopal K, Roring RW. Toward a science of exceptional achievement: attaining superior performance through deliberate practice. Ann N Y Acad Sci. 2009;1772:199-217.
• ¹⁴
  Sooriakumaran P. Is UK surgical training in crisis? A trainee's perspective. Int J Surg. 2004;2(2):127; discussion 128-9.
• ¹⁵
  Coleman JJ, Esposito TJ, Rozycki GS, Feliciano DV. Early subspecialization and perceived competence in surgical training: are residents ready? J Am Coll Surg. 2013;216(4):764-71; discussion 771-3.
• ¹⁶
  Barbosa EF. Instrumentos de coleta de dados em pesquisas educacionais [acesso em jul 2014]. Disponível em: http://www.tecnologiadeprojetos.com.br/banco_objetos/%7B363E5BFD-17F5-433A-91A0-2F91727168E3%7D_ instrumentos%20de%20coleta.pdf
  » http://www.tecnologiadeprojetos.com.br/banco_objetos/%7B363E5BFD-17F5-433A-91A0-2F91727168E3%7D_ instrumentos%20de%20coleta.pdf
• ¹⁷
  Vieira HC, Castro AE, Schuch Júnior VF. O uso de questionários via e-mails em pesquisas acadêmicas sob a ótica dos respondentes. XIII SEMEAS Seminários em administração. 2010. [acesso em mai 2012]. Disponível em: http://www.ead.fea.usp.br/semead//13semead/resultado/trabalhosPDF/612.pdf.
  » http://www.ead.fea.usp.br/semead//13semead/resultado/trabalhosPDF/612.pdf
• ¹⁸
  Vasconcelos L, Guedes LFA. E-surveys: vantagens e limitações dos questionários eletrônicos via internet no contexto da pesquisa científica. X SEMEAS, FEA-USP. 2007. [Acesso em jul 2014]. Disponível em: http://www.ead.fea.usp.br/Semead/10semead/sistema/resultado/an_resumo.asp?cod_trabalho= 420.
  » http://www.ead.fea.usp.br/Semead/10semead/sistema/resultado/an_resumo.asp?cod_trabalho= 420
• ¹⁹
  Bright E, Vine S, Wilson MR, Masters RS, McGrath JS. Face validity, construct validity and training benefits of a virtual reality TURP simulator. Int J Surg. 2012;10(3):163-6.
• ²⁰
  Shuttleworth M. Face validity. [acesso em set 2014]. Disponível em: https://www.explorable.com/face-validity.
  » https://www.explorable.com/face-validity
• ²¹
  Trochim WMK. Measurement validity types. [acesso em jul 2014]. Disponível em: http://www.socialresearchmethods.net/kb/measval.php.
  » http://www.socialresearchmethods.net/kb/measval.php

• Fonte de financiamento: nenhuma.

Datas de Publicação

• Publicação nesta coleção
  Nov-Dec 2015

Histórico

• Recebido
  30 Maio 2015
• Aceito
  25 Jul 2015