Eficiência e valores de corte do Perfil de Participação e Atividades Vocais para não professores e professores

Zambon, Fabiana; Moreti, Felipe; Vargas, Aline Cristina Tafarelo; Behlau, Mara

doi:10.1590/2317-1782/20152015028

RESUMO

Objetivos: Identificar características de eficiência e valores de corte das dimensões do protocolo Perfil de Participação e Atividades Vocais - PPAV que discriminam disfônicos de indivíduos vocalmente saudáveis; verificar se a nota de corte permanece a mesma para uma amostra de professores.

Métodos: Características de eficiência e valores de corte dos dados do PPAV de 171 indivíduos foram analisados por meio da curva ROC (Receiver Operating Characteristic curve ): 90 professores (60 disfônicos e 30 vocalmente saudáveis, com médias de idade semelhantes, p=0,418) e 81 indivíduos não professores (48 disfônicos e 33 vocalmente saudáveis, com média de idade semelhantes, p=0,934).

Resultados: Os valores de área sob a curva ROC - AUC e os valores de corte do escore total do PAVV que separam indivíduos com e sem disfonia são diferentes para não professores e professores. Indivíduos não professores apresentaram AUC = 0,986 (p<0,001) e 4,5 pontos no escore total do PPAV (sensibilidade=95,8% e especificidade=90,9%); já os professores apresentaram AUC = 0,872 (p<0,001) e nota de corte de 14,6 pontos (sensibilidade=91,7% e especificidade=75,9%).

Conclusão: A nota de corte do PPAV é diferente para não professores e professores, sendo maior para os professores, porém, com maior sensibilidade e especificidade para os indivíduos não professores, podendo ser utilizado para triagens de grandes populações de risco para alteração de voz.

Descritores: Voz; Disfonia; Autoavaliação; Docentes; Protocolos; Fonoaudiologia

ABSTRACT

Purpose: To identify the efficiency characteristics and cutoff values of the dimensions of the Voice Activity and Participation Profile (VAPP) protocol, which discriminates the dysphonic and vocally healthy individuals; to verify if the cutoff values remain the same for a sample of teachers.

Methods: Efficiency characteristics and cutoff values of VAPP data from 171 subjects were analyzed by receiver-operating characteristic (ROC) curve: 90 teachers (60 dysphonic and 30 vocally healthy individuals, with a similar mean age, p=0.418) and 81 nonteachers (48 dysphonic and 33 vocally healthy individuals, with a similar mean age, p=0.934).

Results: The area under the ROC curve (AUC) and the cutoff values of the total score of VAPP for discriminating the individuals with and without dysphonia are different for the nonteachers and teachers. The nonteachers presented AUC=0.986 (p<0.001) and 4.5 points of cutoff of the total score of VAPP (sensitivity=95.8%; specificity=90.9%); the teachers presented AUC=0.872 (p<0.001) and 14.6 points of cutoff of the total score of VAPP (sensitivity=91.7%, specificity=75.9%).

Conclusion: The cutoff values of VAPP are different for the nonteachers and teachers, being higher for the teachers but with greater sensitivity and specificity for the nonteachers, and can be used to screen large populations with the risk of voice disorders.

Keywords: Voice; Dysphonia; Self-assessment; Faculty; Protocols; Speech, Language and Hearing Sciences

INTRODUÇÃO

A comunicação adquire um papel cada vez mais importante no mercado profissional para os indivíduos que dependem dela como instrumento principal de trabalho. A voz é uma das formas essenciais no processo de comunicação, sendo que seu uso pode ser diferente de acordo com a profissão, na quantidade de uso e em sua emissão1 2. Além do fator orgânico, a voz também apresenta um conteúdo individual, com expressão de características emocionais, revelando a personalidade do indivíduo e identificando-o, na medida em que espelha a sua autoimagem e sua autoestima pessoal3. Dentre os profissionais da voz podemos citar: professores, recepcionistas, cantores, secretárias, operadores de telemarketing , advogados, pastores, profissionais de saúde, entre outros. Para todos estes, as alterações vocais podem representar uma limitação profissional, podendo acarretar faltas no trabalho, diminuição de rendimento, produtividade e até mesmo necessidade de mudança de profissão2.

Professores comumente lecionam em condições inadequadas, por muitas horas no dia, para um grande número de alunos e em uma condição ambiental desfavorável. Tais fatores, somados à falta de preparo vocal para lecionar, colaboram para que esses profissionais apresentem alta prevalência de sinais e sintomas vocais e alterações de voz4 5.

Pesquisas demostram que mais de 50% dos professores experimentam problemas em suas vozes no decorrer da sua vida profissional ativa6 7. Um estudo brasileiro evidenciou que professores, quando comparados com a população em geral, têm maior número de sintomas vocais, percebem alterações de voz relacionadas ao trabalho, com limitações profissionais5. Para o docente, a voz é componente constitutivo da sua identidade como trabalhador, do impacto do docente sobre o discente e do componente do processo ensino aprendizagem8 9.

A disfonia pode ocorrer como resultado de uma interação entre fatores hereditários, individuais, comportamentais, estilo de vida e ocupacionais, tais como ruído de fundo, ambiente com acústica restrita, falta de limpeza do local e estresse10 11. Devido ao fato de a comunicação oral ser também um instrumento utilizado para os relacionamentos sociais e afetivos e para as opções de lazer, a disfonia pode causar ainda dificuldades psicológicas e consideráveis restrições emocionais, sociais e funcionais, afetando inclusive a qualidade de vida do indivíduo12 13 14.

Instrumentos de autoavaliação têm sido utilizados para diferenciar pacientes ou agrupá-los, prognosticar resultados individuais, avaliar a efetividade da terapia, além de ajudar o profissional a priorizar problemas no processo de intervenção15 16 17. A autoavaliação das alterações vocais e a análise do resultado de um tratamento são meios utilizados para verificar a efetividade de uma intervenção e desenvolver procedimentos diretivos para a prática clínica na área da saúde18. Protocolos de qualidade de vida são importantes ferramentas para avaliar o impacto de uma determinada doença, instrumentos que de preferência devem ter validade, confiabilidade e sensibilidade comprovadas17.

Estudos têm mostrado que o protocolo Perfil de Participação e Atividades Vocais - PPAV19 é um interessante instrumento para avaliar o quanto o problema de voz restringe e limita as atividades vocais sociais e profissionais, bem como os resultados de um tratamento de voz20 21 22. Além disso, o PPAV apresenta informações adicionais que não são contempladas em outros protocolos17. Porém, na validação do PPAV para o português brasileiro19 não foi definida uma nota de corte que separa indivíduos disfônicos dos vocalmente saudáveis. Além disso, até o momento também não se sabe se os valores de corte desse protocolo são os mesmos para determinados grupos profissionais, como por exemplo, professores, considerando-se as particularidades da disfonia dessa categoria ocupacional.

Estudos referem que o professor apresenta maior carga vocal, não sendo exigido apenas o uso prolongado da voz, como também envolvimento de fatores que representam cargas adicionais, tais como ruído de fundo, falar por muito tempo sem o uso adequado de amplificadores de voz e fatores psicossociais11. Professores, quando comparados com não professores, relatam maior frequência de queixas vocais e desconforto físico10. Da mesma forma, professores referem perceber que um problema de voz afetaria negativamente o futuro da carreira, sendo que mais de 20% dos professores relataram afastamento do trabalho por alterações vocais, com efeitos negativos laborais e econômicos, enquanto nenhum dos demais profissionais afirmou ter se afastado do trabalho por problemas de voz10.

Dessa forma, não se sabe se os valores dos escores do PPAV seriam os mesmos dos encontrados na população em geral. Verificar esse aspecto é importante para que esse protocolo possa ser usado também na triagem vocal de professores, além da já usual forma de aplicação clínica e triagem de indivíduos disfônicos em geral, tornando-se instrumento útil para análise de populações específicas.

Sendo assim, o objetivo da presente pesquisa é identificar características de eficiência e valores de corte das dimensões do protocolo Perfil de Participação e Atividades Vocais - PPAV que discriminam disfônicos de indivíduos vocalmente saudáveis, verificando-se ainda se a nota de corte permanece a mesma para uma amostra de professores.

MÉTODOS

O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal de São Paulo - CEP - UNIFESP sob o número 0789/10 e todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido - TCLE.

Foram analisados por meio da curva ROC características de eficiência e valores de corte dos dados do protocolo Perfil de Participação e Atividades Vocais - PPAV19 de 171 indivíduos divididos em não professores e professores: 48 indivíduos não professores disfônicos e 33 não professores vocalmente saudáveis (média de idade semelhantes, p=0,934, por meio do teste estatístico paramétrico ANOVA); 60 professores disfônicos e 30 professores vocalmente saudáveis (média de idade semelhantes, p=0,418, por meio do teste estatístico paramétrico ANOVA). Todos os professores possuíam mais de 10 anos de tempo de magistério (média de 13,8 anos para os professores disfônicos e 14,8 anos para os professores saudáveis). Os professores disfônicos ministram aulas em turmas de 7 a 40 alunos, sendo que 19 atuam em educação infantil, 33 em ensino fundamental e oito em ensino médio; dos 60 professores disfônicos, 11 trabalham um período por dia e 49 atuam em dois ou três períodos ao dia com atividade de docência. Os professores vocalmente saudáveis ministram aulas em turmas de oito a 35 alunos, sendo que 12 atuam em educação infantil, 14 em ensino fundamental e quatro em ensino médio; dos 30 professores vocalmente saudáveis, 15 trabalham um período por dia e 15 atuam em dois ou três períodos diários com atividade de ensino. Os indivíduos com disfonia poderiam apresentar queixas e alterações de voz de qualquer grau, independente da natureza etiológica, sendo excluídos indivíduos com disfonias agudas por processos inflamatórios/infecciosos e/ou problemas de vias aéreas superiores. Os indivíduos não professores com disfonia e os vocalmente saudáveis foram recrutados por meio de contato telefônico ou pessoalmente a partir da população geral. Os principais locais de atuação destes indivíduos são hospitais, clínicas e em empresas públicas e/ou privadas de segmentos diversos.

O PPAV19é um instrumento de autoavaliação, composto por 28 questões divididas em 5 dimensões: autoavaliação vocal, efeitos no trabalho, efeitos na comunicação diária, efeitos na comunicação social, efeitos na emoção. Os valores de cada questão são marcados por meio de uma escala analógico-visual, com valores que vão de 0 a 100 mm. O escore total máximo do protocolo é 280 pontos: para a dimensão efeitos no trabalho é de 40 pontos, para a dimensão efeitos na comunicação diária é de 120 pontos, para a dimensão efeitos na comunicação social é de 40 pontos e para efeitos na emoção é de 70 pontos. Além disso, o PPAV possui dois escores adicionais: Pontuação de Limitação das Atividades (PLA) e Pontuação de Restrição de Participação (PRP). Para o cálculo da PLA, são somadas as respostas das questões 2, 4, 6, 8, 10, 12, 14, 16, 18 e 20 e para o cálculo da PRP são somadas as respostas das questões 3, 5, 7, 9, 11, 13, 15, 17, 19 e 21. Ambos os escores adicionais PLA e PRP vão de zero a 100 pontos cada.

A Curva ROC (Receiver Operating Characteristic curve ) indica os diferentes pontos de corte de um teste ou escala, segundo seus níveis de sensibilidade e especificidade23. As áreas sob a curva representam o poder do instrumento para classificar corretamente os indivíduos sadios e os doentes. Um teste totalmente incapaz de discriminar sujeitos doentes de não doentes teria uma área sob a curva de 0,5; quanto melhor esta capacidade de discriminação de um teste para esses dois grupos, mais a área sob a curva ROC se aproximará de 1,023. A sensibilidade mostra a precisão do teste em identificar os positivos e a especificidade evidencia a precisão em classificar corretamente os pacientes negativos23. Essa técnica é adequada para estabelecer o ponto de corte, otimizando a sensibilidade e especificidade de um teste diagnóstico23.

RESULTADOS

Os valores de área sob a curva ROC - AUC e os valores de corte do escore total do PAVV foram diferentes para não professores e professores. Indivíduos não professores apresentaram para o escore total do PPAV valor de AUC=0,986 (p<0,001) e 4,5 pontos de nota de corte (sensibilidade=95,8% e especificidade=90,9%); já para os dois escores adicionais, valor de AUC=0,949 (p<0,001) e nota de corte de 2,05 (sensibilidade=91,7% e especificidade=93,9%) para PLA e AUC=0,864 (p<0,001) e nota de corte de 1,90 (sensibilidade=75,0% e especificidade=97,0%) para PRP (Tabelas 1 e 2; Figura 1).

Thumbnail

Tabela 1:
Áreas da Curva ROC para o escore total e adicionais do protocolo Perfil de Participação e Atividades Vocais PPAV em não professores

Thumbnail

Tabela 2:
Sensibilidade e especificidade da curva ROC para os valores de corte do escore total e adicionais do protocolo Perfil de Participação e Atividades Vocais em não professores

Figura 1:
Áreas sob a curva ROC do escore total e adicionais do protocolo Perfil de Participação e Atividades Vocais em não professores

Os professores apresentaram para o escore total do PPAV valor de AUC=0,872 (p<0,001) e nota de corte de 14,6 pontos (sensibilidade=91,7% e especificidade=75,9%); já para os dois escores adicionais, valor de AUC=0,864 (p<0,001) e nota de corte de 1,65 (sensibilidade=96,7% e especificidade=73,3%) para PLA e AUC=0,722 (p=0,001) e nota de corte de 1,35 (sensibilidade=61,7% e especificidade=83,3%) para PRP (Tabela 3 e4; Figura 2).

Thumbnail

Tabela 3:
Áreas da Curva ROC para o escore total e adicionais do protocolo Perfil de Participação e Atividades Vocais em professores

Thumbnail

Tabela 4:
Sensibilidade e especificidade da curva ROC para os valores de corte do escore total e adicionais do protocolo Perfil de Participação e Atividades Vocais em professores

Figura 2:
Áreas sob a curva ROC do escore total e adicionais do protocolo Perfil de Participação e Atividades Vocais em professores

DISCUSSÃO

A identificação da eficiência, dos valores de corte do instrumento como um todo e dos valores de corte para sensibilidade e especificidade máximas são importantes para que esses protocolos possam ser utilizados como ferramentas de triagem de grandes populações, dados de pesquisa em diferentes centros, serviços públicos e como critério para gerenciamento de listas de espera e avaliação de situações de urgência para atendimento24. A qualidade da discriminação de um instrumento depende do valor de sua eficiência.

No presente estudo, foi realizada uma avaliação da eficiência do protocolo PPAV e a identificação dos valores de corte do escore total e escores adicionais PLA e PRP, como instrumento de triagem capaz de separar indivíduos disfônicos dos vocalmente saudáveis e professores com e sem problemas vocais, visto que esses profissionais apresentam alta prevalência de alteração vocal relacionada ao uso profissional e podem apresentar escores diferentes da população em geral pela própria característica ocupacional4 5.

O estudo indica que indivíduos não professores apresentaram para o escore total do PPAV valor de AUC=0,986 (p<0,001) e 4,5 pontos de nota de corte (sensibilidade=95,8% e especificidade=90,9) e os professores, o escore total do PPAV valor de AUC=0,872 (p<0,001) e nota de corte de 14,6 pontos (sensibilidade=91,7% e especificidade=75,9%). Percebe-se que o escore que separa professores com e sem alteração vocal é três vezes maior do que o que separa não professores disfônicos dos vocalmente saudáveis. Provavelmente, devido ao uso vocal excessivo no trabalho, os professores, mesmo sem alteração vocal, percebem maior impacto na participação nas atividades vocais do que os não professores vocalmente saudáveis25 26. Outro dado interessante é que a eficiência do protocolo foi maior para não professores, o que pode indicar que o PPAV19 é um protocolo que foi desenvolvido para disfônicos de uma forma geral, e quando utilizado para uma população específica, como os professores, é interessante que seja associado a outros instrumentos, pois cada questionário oferece informações por ópticas diferentes, embora complementares17.

Em relação aos escores adicionais do protocolo PLA e PRP, os valores de corte foram próximos para os não professores e os professores, o que mostra que os disfônicos de uma forma geral referem limitação e restrição nas atividades vocais, independente de suas profissões19 22.

O PPAV mostrou ser um bom instrumento para realização de triagem vocal em grandes populações, principalmente nos indivíduos não professores, cujas AUC foram acima de 0,85. Porém, o fato de a eficiência do PPAV nos professores ser boa e não excelente, mostra que ele ajuda a mapear a percepção desse profissional, mas não com segurança máxima. Contudo, pelas suas características únicas17, sugere-se que, pelo menos no caso de professores, ele seja usado para auxiliar no mapeamento do impacto vocal, mas que sua análise seja feita em conjunto com outro protocolo que tenha maior eficiência, como por exemplo o IDV ou ESV, que são classificadores perfeitos, comprovadamente excelentes na discriminação de indivíduos com e sem alteração vocal27.

Existem publicações de valor de corte de outros protocolos de autoavaliação do impacto da disfonia, como para o Voice Handicap Index - VHI23 28, o Screening Index for Voice Disorder - SIVD29 (protocolo específico para autoavaliação de professores) e Escala de Sintomas Vocais - ESV30, demonstrando a importância de um valor normativo em um instrumento de autoavaliação vocal para se identificar indivíduos com problemas vocais ou indivíduos em grupo de risco para disfonia que necessitam de acompanhamento ou intervenção. O presente estudo contribui para a compreensão do impacto de um problema de voz na vida de indivíduos disfônicos em geral e, especificamente, de professores. Os dados podem ajudar em grandes triagens populacionais.

CONCLUSÃO

A nota de corte do PPAV é diferente para não professores e professores, sendo maior para este último grupo, porém, com maior sensibilidade e especificidade para os indivíduos não professores, podendo ser utilizado para triagens de grandes populações de risco para alteração de voz, aumentando sua acurácia se utilizado em conjunto com instrumentos complementares de avaliação, como outros protocolos, análise perceptivo-auditiva e/ou acústica da voz.

REFERÊNCIAS

1. Jones K, Sigmon J, Hock L, Nelson E, Sullivan M, Ogren F. Prevalence and risk factors for voice problems among telemarketers. Arch Otolaryngol Head Neck Surg. 2002;128(5):571-7.
2. Fortes FSG, Imamura R, Tsuji DH, Sennes LU. Perfis dos profissionais da voz com queixas vocais atendidos em um centro terciário de saúde. Rev Bras Otorrinolaringol. 2007;73(1):27-31
3. Park K, Behlau M. Perda da voz em professores e não professores. Rev Soc Bras Fonoaudiol. 2009;14(3):463-9.
4. Roy N, Merrill RM, Thibeaults S, Parsa R, Gray SD, Smith EM. Prevalence of voice disorders in teachers and the general population. J Speech Lang Hear Res. 2004;47(2):281-93.
5. Behlau M, Zambon F, Guerrieri AC, Roy N. Epidemiology of voice disorders in teachers and nonteachers in Brazil: prevalence and adverse effects. J Voice. 2012;26(5):665.e9-18.
6. Freitas SV. Disfonia em professoras do Primeiro Ciclo do Ensino Básico: prevalência e factores de risco. Arq Med. 2006;20(5-6):143-52.
7. Dragone MLOS. Programa de saúde vocal para educadores: ações e resultados. Rev CEFAC. 2011;13(6):1133-43.
8. Behlau M, Hogikyan ND, Gasparini G. Quality of life and voice: study of a Brazilian population using the voice-related quality of life measure. Folia Phoniatr Logop. 2007;59(6):286-96.
9. Grillo MH, Penteado RZ. Impacto vocal na qualidade de vida de professore(a)s do ensino fundamental. Pró-Fono R Atual Cient. 2005;17(3):321-3.
10. Smith E, Gray SD, Dove H, Kirchner L, Heras H. Frequency and effects of teachers' voice problems. J Voice. 1997;11(1):81-7.
11. Vilkman E. Voice problems at work: A challenge for occupational safety and health arrangement. Folia Phoniatr Logop 2000;52(1-3):120-5.
12. Behlau M, Madazio G, Feijó D, Pontes P. Avaliação de voz. In: Behlau M, organizador. Voz: O livro do Especialista, volume 1. Rio de Janeiro: Revinter; 2001. p. 85-245.
13. Vieira MM. Voz e relação educativa. Poro: Edições Afrontamento; 1996.
14. Hogikyan ND, Sethuraman G. Validation of an instrument to measure voice-related quality of life (V-RQOL). J Voice. 1999;13(4):557-69.
15. Berlim MT, Fleck MP. "Quality of life": a brand new concept for research and practice in psychiatry. Rev Bras Psiquiatr. 2003;25(4):249-52.
16. Higginson IJ, Carr AJ. Measuring quality of life: Using quality of life measures in the clinical setting. BMJ. 2001;322(7297):1297-300.
17. Tutya AS, Zambon F, Oliveira G, Behlau M. Comparação dos escores dos protocolos QVV, IDV e PPAV em professores. Rev Soc Bras Fonoaudiol 2011;16(3):273-81.
18. Behlau M, Oliveira G, Santos L de M, Ricarte A. Validation in Brazil of self-assessment protocols for dysphonia impact. Pró-Fono R Atual Cient 2009;21(4):326-32.
19. Ricarte A, Oliveira G, Behlau M, Ricarte A. Validation of the Voice Activity and Participation Profile protocol in Brazil. CoDAS. 2013;25(3):242-9.
20. Bassi IB, Assunção AA, de Medeiros AM, de Menezes LN, Teixeira LC, Côrtes Gama AC. Quality of life, self-perceived dysphonia, and diagnosed dysphonia through clinical tests in teachers. J Voice. 2011;25(2):192-201.
21. Dragone ML. Voice activity and participation profile presenting coordinates for readjustment of preventive action of educators. Folia Phoniatr Logop 2011;63(1):49-54.
22. Zambon F, Ferraz P, Oliveira G, Behlau M. Voice rehabilitation effect on teachers' voice-related life activities and perceptual analysis. Flemish Journal Logopedie. 2011;24:155-60.
23. Martinez EZ, Louzada-Neto F, Pereira BB. A curva ROC para testes diagnósticos. Cad Saude Colet. 2003;11(1):7-31.
24. Gräßel E, Hoppe U, Rosanowski F. Grading of the Voice Handicap Index. HNO. 2008;56(12):1221-8.
25. Kankare E, Liu D, Laukkanen AM, Geneid A. EGG and acoustic analyses of different voice samples: comparison between perceptual evaluation and voice activity and participation profile. Folia Phoniatr Logop 2013;65(2):98-104
26. Zambon F, Moreti F, Behlau M. Coping strategies in teachers with vocal complaint. J Voice. 2014:28(3):341-8.
27. Behlau M, Madazio G, Moreti F, Oliveira G, Alves dos Santos LM, Paulinelli BR, Couto Junior EB. Efficiency and Cutoff Values of Self-assessment Instruments on the Impact of a Voice Problem. J Voice 2015 in press.
28. Niebudek-Bogusz E, Kuzańska A, Woznicka E, Sliwinska-Kowalska M. Assessment of the voice handicap index as a screening tool in dysphonic patients. Folia Phoniatr Logop 2011;63(5):269-72.
29. Ghirardi AC, Ferreira LP, Giannini SP, Latorre M do R. Screening index for voice disorder (SIVD): development and validation. J Voice 2013;27(2):195-200.
30. Moreti F, Zambon F, Oliveira G, Behlau M. Cross-cultural adaptation, validation, and cutoff values of the Brazilian version of the Voice Symptom Scale-VoiSS. J Voice 2014;28(4):458-68.

1
Trabalho realizado no Departamento de Fonoaudiologia da Universidade Federal de São Paulo - UNIFESP - São Paulo (SP), Brasil, Centro de Estudos da Voz - CEV - São Paulo (SP), Brasil e no Sindicato dos Professores de São Paulo - SINPRO-SP - São Paulo (SP), Brasil.

Datas de Publicação

Publicação nesta coleção
Dez 2015

Histórico

Recebido
09 Fev 2015
Aceito
24 Maio 2015

Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado

[1] 1. Jones K, Sigmon J, Hock L, Nelson E, Sullivan M, Ogren F. Prevalence and risk factors for voice problems among telemarketers. Arch Otolaryngol Head Neck Surg. 2002;128(5):571-7.

[2] 2. Fortes FSG, Imamura R, Tsuji DH, Sennes LU. Perfis dos profissionais da voz com queixas vocais atendidos em um centro terciário de saúde. Rev Bras Otorrinolaringol. 2007;73(1):27-31

[3] 3. Park K, Behlau M. Perda da voz em professores e não professores. Rev Soc Bras Fonoaudiol. 2009;14(3):463-9.

[4] 4. Roy N, Merrill RM, Thibeaults S, Parsa R, Gray SD, Smith EM. Prevalence of voice disorders in teachers and the general population. J Speech Lang Hear Res. 2004;47(2):281-93.

[5] 5. Behlau M, Zambon F, Guerrieri AC, Roy N. Epidemiology of voice disorders in teachers and nonteachers in Brazil: prevalence and adverse effects. J Voice. 2012;26(5):665.e9-18.

[6] 6. Freitas SV. Disfonia em professoras do Primeiro Ciclo do Ensino Básico: prevalência e factores de risco. Arq Med. 2006;20(5-6):143-52.

[7] 7. Dragone MLOS. Programa de saúde vocal para educadores: ações e resultados. Rev CEFAC. 2011;13(6):1133-43.

[8] 8. Behlau M, Hogikyan ND, Gasparini G. Quality of life and voice: study of a Brazilian population using the voice-related quality of life measure. Folia Phoniatr Logop. 2007;59(6):286-96.

[9] 9. Grillo MH, Penteado RZ. Impacto vocal na qualidade de vida de professore(a)s do ensino fundamental. Pró-Fono R Atual Cient. 2005;17(3):321-3.

[10] 10. Smith E, Gray SD, Dove H, Kirchner L, Heras H. Frequency and effects of teachers' voice problems. J Voice. 1997;11(1):81-7.

[11] 11. Vilkman E. Voice problems at work: A challenge for occupational safety and health arrangement. Folia Phoniatr Logop 2000;52(1-3):120-5.

[12] 12. Behlau M, Madazio G, Feijó D, Pontes P. Avaliação de voz. In: Behlau M, organizador. Voz: O livro do Especialista, volume 1. Rio de Janeiro: Revinter; 2001. p. 85-245.

[13] 13. Vieira MM. Voz e relação educativa. Poro: Edições Afrontamento; 1996.

[14] 14. Hogikyan ND, Sethuraman G. Validation of an instrument to measure voice-related quality of life (V-RQOL). J Voice. 1999;13(4):557-69.

[15] 15. Berlim MT, Fleck MP. "Quality of life": a brand new concept for research and practice in psychiatry. Rev Bras Psiquiatr. 2003;25(4):249-52.

[16] 16. Higginson IJ, Carr AJ. Measuring quality of life: Using quality of life measures in the clinical setting. BMJ. 2001;322(7297):1297-300.

[17] 17. Tutya AS, Zambon F, Oliveira G, Behlau M. Comparação dos escores dos protocolos QVV, IDV e PPAV em professores. Rev Soc Bras Fonoaudiol 2011;16(3):273-81.

[18] 18. Behlau M, Oliveira G, Santos L de M, Ricarte A. Validation in Brazil of self-assessment protocols for dysphonia impact. Pró-Fono R Atual Cient 2009;21(4):326-32.

[19] 19. Ricarte A, Oliveira G, Behlau M, Ricarte A. Validation of the Voice Activity and Participation Profile protocol in Brazil. CoDAS. 2013;25(3):242-9.

[20] 20. Bassi IB, Assunção AA, de Medeiros AM, de Menezes LN, Teixeira LC, Côrtes Gama AC. Quality of life, self-perceived dysphonia, and diagnosed dysphonia through clinical tests in teachers. J Voice. 2011;25(2):192-201.

[21] 21. Dragone ML. Voice activity and participation profile presenting coordinates for readjustment of preventive action of educators. Folia Phoniatr Logop 2011;63(1):49-54.

[22] 22. Zambon F, Ferraz P, Oliveira G, Behlau M. Voice rehabilitation effect on teachers' voice-related life activities and perceptual analysis. Flemish Journal Logopedie. 2011;24:155-60.

[23] 23. Martinez EZ, Louzada-Neto F, Pereira BB. A curva ROC para testes diagnósticos. Cad Saude Colet. 2003;11(1):7-31.

[24] 24. Gräßel E, Hoppe U, Rosanowski F. Grading of the Voice Handicap Index. HNO. 2008;56(12):1221-8.

[25] 25. Kankare E, Liu D, Laukkanen AM, Geneid A. EGG and acoustic analyses of different voice samples: comparison between perceptual evaluation and voice activity and participation profile. Folia Phoniatr Logop 2013;65(2):98-104

[26] 26. Zambon F, Moreti F, Behlau M. Coping strategies in teachers with vocal complaint. J Voice. 2014:28(3):341-8.

[27] 27. Behlau M, Madazio G, Moreti F, Oliveira G, Alves dos Santos LM, Paulinelli BR, Couto Junior EB. Efficiency and Cutoff Values of Self-assessment Instruments on the Impact of a Voice Problem. J Voice 2015 in press.

[28] 28. Niebudek-Bogusz E, Kuzańska A, Woznicka E, Sliwinska-Kowalska M. Assessment of the voice handicap index as a screening tool in dysphonic patients. Folia Phoniatr Logop 2011;63(5):269-72.

[29] 29. Ghirardi AC, Ferreira LP, Giannini SP, Latorre M do R. Screening index for voice disorder (SIVD): development and validation. J Voice 2013;27(2):195-200.

[30] 30. Moreti F, Zambon F, Oliveira G, Behlau M. Cross-cultural adaptation, validation, and cutoff values of the Brazilian version of the Voice Symptom Scale-VoiSS. J Voice 2014;28(4):458-68.