Compartilhar

Validação de conteúdo e confiabilidade do Protocolo de Avaliação dos Distúrbios Adquiridos de Fala em Indivíduos com Doença de Parkinson (PADAF)

Validação de conteúdo e confiabilidade do Protocolo de Avaliação dos Distúrbios Adquiridos de Fala em Indivíduos com Doença de Parkinson (PADAF)

Autores:

Monia Presotto,
Carlos Roberto de Mello Rieder,
Maira Rozenfeld Olchik

ARTIGO ORIGINAL

CoDAS

versão On-line ISSN 2317-1782

CoDAS vol.31 no.5 São Paulo 2019 Epub 31-Out-2019

http://dx.doi.org/10.1590/2317-1782/20192018230

INTRODUÇÃO

A doença de Parkinson (DP) é uma enfermidade neurológica e crônica que apresenta etiologia idiopática(1). Relaciona-se à perda dos neurônios dopaminérgicos da substância negra e à deficiência de dopamina no estriado. É caracterizada pelos sinais cardinais de rigidez, bradicinesia, tremor em repouso e instabilidade postural(2,3).

Estudos apontam que até 90% das pessoas com DP podem apresentar alterações de fala, de modo a apresentar anormalidades que englobam o sistema de ressonância, respiração, voz, prosódia e articulação, interpretadas como originárias de danos no planejamento motor e dificuldades na execução de programas simultâneos ou sequenciais próprios de disfunções dos núcleos da base(4,5).

O controle motor da fala se encontra comprometido em razão de disartria hipocinética e caracteriza-se por prejuízo peculiar da expressão verbal, redução da intensidade vocal, articulação imprecisa, disprosódia, disfluência, menos variação de frequência fundamental, qualidade vocal alterada, como rouquidão e soprosidade, diminuição ou aumento da velocidade, monotonia e tremor vocal(6-10).

É importante destacar a importância de instrumentos de avaliação em pacientes com doenças neurodegenerativas. Raros questionários são validados para avaliar alterações de fala em indivíduos com DP, além disso os escassos instrumentos validados estão disponíveis apenas na sua língua de origem, sendo, na maior parte deles, o inglês. Em diversas áreas da saúde, a validação de instrumentos de avaliação tem sido realizada com o propósito de obter resultados mais precisos e confiáveis. A Fonoaudiologia pode se apropriar pela busca de evidências a fim de construir instrumentos com mais e melhor qualidade(11-13).

Na literatura nacional pesquisada, encontrou-se apenas um estudo que trata da Adaptação para a Língua Portuguesa de um Protocolo de Avaliação das Disartrias de Origem Central em Pacientes com DP(14), que sugere futuros estudos com modificações no protocolo e aplicação dele em um maior espectro de sujeitos e distúrbios neurológicos para sua validação. Demais avaliações, como as encontradas no Protocolo da Mayo Clinic para Avaliação de Desvios da Fala(15) e do Protocolo de Disartria(16), analisam a disartria, sem, contudo, estar direcionadas especificamente a indivíduos com DP.

Esses dados sugerem a necessidade de pesquisas com objetivos diagnósticos, considerando parâmetros que possam fornecer subsídios para o diagnóstico diferencial e procedimentos terapêuticos direcionados à avaliação desses distúrbios. Desta forma, foi elaborado um Protocolo para Avaliação dos Distúrbios Adquiridos de Fala em Indivíduos com DP - PADAF, por meio da compilação e adaptação dos protocolos anteriormente citados, com autorização dos autores da pesquisa sobre a Adaptação para a Língua Portuguesa de um Protocolo de Avaliação das Disartrias de Origem Central em Pacientes com DP, proposto por Fracassi et al.(14). Portanto, essa pesquisa tem o objetivo de elaborar e realizar a validação de conteúdo, assim como verificar a confiabilidade entre examinadores do PADAF.

MÉTODOS

A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa de um hospital universitário referência na área, sob no 150.339, e os sujeitos que aceitaram participar da pesquisa assinaram o Termo de Consentimento Livre e Esclarecido (TCLE).

O protocolo foi realizado de acordo com as etapas a seguir:

1. Validação de conteúdo: foi elaborada a primeira versão do protocolo, por meio de consulta à literatura(14-16) e com base na experiência clínica de duas especialistas em Motricidade Orofacial e Voz, ambas com título de doutoras e pesquisadoras na área. Foram propostos os itens e subitens quanto aos aspectos relacionados às bases motoras da fala (respiração, fonação, ressonância, articulação e prosódia), além das possibilidades de respostas para cada item. Posteriormente, essa versão foi apresentada a sete fonoaudiólogas convidadas, todas com curso de especialização e, no mínimo, três anos de experiência na fonoaudiologia, das quais 57,1% delas possuíam mais de dez anos de experiência na área de disartria, assim como mais de 30 horas despendidas para atuação também na área. As especialistas analisaram o protocolo em relação a itens, subitens e possíveis respostas. Após a análise, classificaram cada item quanto à clareza, segundo uma escala tipo Likert de quatro pontos: 1 = não é claro; 2 = pouco claro; 3 = claro; 4 = muito claro.

Caso os examinadores assinalassem as opções 1 ou 2, os itens deveriam ser reformulados. Nesses itens, também poderiam fazer sugestões, dentro do prazo de 30 dias, e, desta forma, os conteúdos poderiam ser refeitos, aperfeiçoados e submetidos a uma nova avaliação. Ainda, foram realizadas explicações aos juízes, relacionadas às condutas estabelecidas no protocolo. Desta forma, foi obtida a segunda versão do protocolo e enviada novamente a eles para análise, a qual resultou em sua versão final.

Os juízes ainda realizaram uma avaliação final (checklist) do PADAF. As variáveis analisadas foram: utilidade, exequibilidade, objetividade, aspectos clínico-científicos, precisão, clareza, sequência instrucional dos itens, vocabulário, abrangência e organização; classificados de acordo com uma escala tipo Likert: 1 = ruim, 2 = regular, 3 = boa, 4 = muito boa.

A validação do conteúdo foi realizada por meio da aplicação da equação do Índice de Validação do Conteúdo Individual (IVC-I) e Índice de Validação do Conteúdo Total (IVC-T). O IVC-I foi calculado por meio da soma de concordância dos itens que foram marcados por “3” ou “4” na escala tipo Likert dividido pelo número total de respostas. O cálculo do IVC-T foi realizado por meio da soma de todos os IVC-Is, dividido pelo número de itens dos instrumentos. Consensualmente, considerou-se um índice mínimo de concordância do IVC-I e IVC-T de 0,75(17).

2. Aplicação do PADAF: a versão final do protocolo foi aplicada em 25 pacientes com diagnóstico médico de DP idiopática que realizaram seguimento clínico em um hospital universitário no Rio Grande do Sul, Brasil, no período de agosto de 2015 a junho de 2016. A avaliação foi filmada e teve duração aproximada de 40 minutos. Foram incluídos pacientes com diagnóstico médico de DP idiopática, de acordo com os critérios do Banco de Cérebro de Londres(18), nos estágios H&Y 2 e H&Y 3 da escala de Hoehn & Yahr (1967)(19) e em uso de medicação para a doença. Foram excluídos aqueles que apresentaram alteração de compreensão oral, comprometimento auditivo ou visual que impossibilitasse a realização das tarefas, os que estavam em off em relação à medicação no momento da avaliação e os que se negaram a participar do estudo. Foi estimada, inicialmente, uma amostra de 21 pacientes para detectar uma diferença de 0,5 de tamanho de efeito, com poder de 80% e nível de significância de 5%(20).

3. Confiabilidade entre-examinador: compara os resultados obtidos pelos avaliadores diante de um mesmo indivíduo. Foi realizada entre dois examinadores e aplicada no mesmo dia. Os examinadores não conversaram durante os testes, pois o coeficiente de confiabilidade poderia ser influenciado. A confiabilidade do PADAF foi analisada por meio da Análise de Concordância Kappa, que é um indicador de concordância ajustado que varia de “menos 1” a “mais 1” - quanto mais próximo de 1, melhor o nível de concordância entre os observadores. Sua distribuição e os respectivos níveis de interpretação são: < 0,00 = não existe concordância; 0,00 a 0,20 = concordância mínima; 0,21 a 0,40 = concordância razoável; 0,41 a 0,60 = concordância moderada; 0,61 a 0,80 = concordância substancial; 0,81 a 1,00 = concordância perfeita(21). Como critério de aceitação, foi estabelecida a concordância superior a 0,61 entre os juízes.

As análises foram realizadas no SPSS (Statistical Package for Social Scienes) versão 20.0.

Resultados

Foram avaliados 25 pacientes com DP (52% do sexo feminino) e não houve dificuldades em relação à aplicação do protocolo. Os dados sobre as variáveis demográficas e clínicas dos participantes encontram-se na tabela 1.

Tabela 1 Características demográficas e clínicas 

Variáveis Média (DP)
Idade (anos) 63,5 (±13,6)
Escolaridade (anos) 8,3 (±5,3)
Tempo de doença (anos) 8,4 (±5,4)

DP: desvio padrão

A composição final do PADAF (Anexo 1) apresenta 32 questões que avaliam a respiração, a fonação, a ressonância, a articulação e a prosódia.

A primeira análise de conteúdo foi realizada por sete juízes especialistas, descrita conforme a tabela 2. Foi necessário alterar o item 11 (fonação - loudness), inserindo o sinal de (+/-), significando (+) loudness aumentado e (–) loudness diminuído, e o item 19 (mandíbula), inserindo a descrição “abertura”.

Tabela 2 Índice de validação de conteúdo (IVC) – Primeira análise 

Itens do instrumento de avaliação Juízes em concordância (n = 7) IVC-I
1. Respiração – Velocidade 7 1
2. Respiração – Inspiração e expiração 7 1
3. Respiração – Coordenação pneumofonoarticulatória 7 1
4. Fonação – Voz pastosa 7 1
5. Fonação – Voz rouca 7 1
6. Fonação – Voz soprosa 7 1
7. Fonação – Voz áspera 7 1
8. Fonação – Voz trêmula 7 1
9. Fonação – Voz molhada 7 1
8. Fonação – Voz astênica 7 1
11. Fonação – Loudness 5 *0,71
12. Fonação – Pitch (+/-) 6 0,86
13. Fonação – Variação da qualidade vocal 6 0,86
14. Ressonância – Movimento velar 7 1
15. Ressonância – Emissão nasal 6 0,86
16. Ressonância – Prova de Gutzman 6 0,86
17. Articulação - Movimentos do lábio (i/u e pa) 6 0,86
18. Articulação – Língua (ka/ta) 6 0,86
19. Articulação – Mandíbula 5 *0,71
20. Articulação – Diadococinesia 7 0,86
21. Articulação – Vogais isoladas e nas palavras 6 0,86
22. Articulação – Plosivas 6 0,86
23. Articulação – Nasais 6 0,86
24. Articulação – Fricativas 6 0,86
25. Articulação – Líquidas 6 0,86
26. Articulação – Vibrantes 6 0,86
27. Articulação – Encontro consonantal 6 0,86
28. Articulação – Fala espontânea 7 1
30. Prosódia – Frase afirmativa 7 1
31. Prosódia – Frase interrogativa 7 1
32. Prosódia – Frase exclamativa 6 0,86
IVC -T 0,91

IVC-I: índice de validação de conteúdo individual; IVC-T: índice de validação de conteúdo total; *: itens com valores de IVC-I abaixo do esperado; n: número da amostra

Após essas alterações, o protocolo foi novamente enviado aos juízes para segunda análise, descrita na tabela 3.

Tabela 3 Índice de validação de conteúdo (IVC) - Segunda análise 

Itens do instrumento de avaliação Juízes em concordância (n = 7) IVC-I
1. Respiração – Velocidade 7 1
2. Respiração – Inspiração e expiração 7 1
3. Respiração – Coordenação pneumofonoarticulatória 7 1
4. Fonação – Voz pastosa 7 1
5. Fonação – Voz rouca 7 1
6. Fonação – Voz soprosa 7 1
7. Fonação – Voz áspera 7 1
8. Fonação – Voz trêmula 7 1
9. Fonação – Voz molhada 7 1
8. Fonação – Voz astênica 7 1
11. Fonação – Loudness (+/-) 7 1
12. Fonação – Pitch (+/-) 6 0,86
13. Fonação – Variação da qualidade vocal 6 0,86
14. Ressonância – Movimento velar 7 1
15. Ressonância – Emissão nasal 6 0,86
16. Ressonância – Prova de Gutzman 6 0,86
17. Articulação – Movimentos do lábio (i/u e pa) 6 0,86
18. Articulação – Língua (ka/ta) 6 0,86
19. Articulação – Mandíbula – abertura 5 0,86
20. Articulação – Diadococinesia 7 0,86
21. Articulação – Vogais isoladas e nas palavras 6 0,86
22. Articulação – Plosivas 6 0,86
23. Articulação – Nasais 6 0,86
24. Articulação – Fricativas 6 0,86
25. Articulação – Líquidas 6 0,86
26. Articulação – Vibrantes 6 0,86
27. Articulação – Encontro consonantal 6 0,86
28. Articulação – Fala espontânea 7 1
30. Prosódia – Frase afirmativa 7 1
31. Prosódia – Frase interrogativa 7 1
32. Prosódia – Frase exclamativa 6 0,86
IVC -T 0,93

IVC-I: índice de validação de conteúdo individual; IVC-T: índice de validação de conteúdo total; n: número da amostra

A análise final (checklist) do PADAF está descrita na tabela 4.

Tabela 4 Índice de validação de conteúdo – Análise final (checklist

Parecer final - Checklist
Requisitos do instrumento de avaliação Juízes em concordância (n = 7) IVC-I
1. Utilidade 7 1
2. Exequível 7 1
3. Objetividade 6 0,86
4. Aspecto clínico-científico 6 0,86
5. Precisão 6 0,86
6. Clareza 6 0,86
7. Sequência instrucional dos itens 7 1
8. Vocabulário 7 1
9. Abrangência 6 0,86
10.Organização 7 1
IVC -T 0,93

IVC-I: índice de validação de conteúdo individual; IVC-T: índice de validação de conteúdo total; n: número da amostra

A confiabilidade, analisada por meio do valor de kappa em cada base motora da fala, teve perfeita concordância, conforme mostra a tabela 5.

Tabela 5 Valor de kappa 

Valor de kappa
(K)
Respiração
0,82
Fonação
1,00
Ressonância
1,00
Articulação
0,93
Prosódia
0,88
Total
1,00

DISCUSSÃO

O propósito deste estudo foi elaborar e validar o conteúdo de um PADAF, assim como verificar sua confiabilidade. Essa avaliação envolveu os aspectos relacionados às bases motoras da fala (respiração, fonação, ressonância, articulação e prosódia).

A elaboração dos itens que contemplaram a proposta deste protocolo foi baseada na literatura referente à área(14-16) e na experiência e formação de sete fonoaudiólogas que analisaram o protocolo em relação aos itens, subitens e possíveis respostas, classificando-os quanto à sua clareza. Além disso, realizaram uma avaliação final (checklist) do PADAF. Após a análise, classificaram cada um segundo uma escala tipo Likert de quatro pontos; finalmente, foi calculado o IVC.

A validação do conteúdo é realizada mediante o julgamento de diferentes examinadores a respeito de um instrumento. São analisados os itens em relação ao conteúdo e à relevância dos objetivos a serem medidos, bem como os juízes fazem sugestões de quanto suprimir, acrescentar ou alterar os itens(22). Alguns estudos realizam a validação do conteúdo somente por análise qualitativa, por meio da avaliação de um comitê de especialistas(23,24), enquanto outros consideraram de grande importância a análise quantitativa(25,26). No presente estudo, foram realizadas as duas análises.

Durante o desenvolvimento de um instrumento, um dos pontos discutidos nessa avaliação é o número e a qualificação desses juízes. Recomendam-se o mínimo de cinco e o máximo de dez pessoas para participar desse processo(23). Nessa decisão, devem-se levar em conta as características do instrumento, a formação, a qualificação e a disponibilidade dos profissionais necessários(27,28).

A primeira versão proposta foi analisada pelos examinadores que sugeriram algumas pequenas adequações relacionadas aos subitens, o que contribuiu para tornar mais efetiva e clara a proposta. Após essa modificação, foi originada a segunda e última versão do instrumento. Além disso, os especialistas ainda realizaram uma avaliação final (checklist). De acordo com alguns autores, a apreciação do instrumento por examinadores experientes e competentes na área específica que se pretende testar é essencial e deve ser considerada no processo de validação do conteúdo(24-26).

Neste estudo, portanto, para a validação do conteúdo, além de ser realizada a validação qualitativa descrita anteriormente, foi realizada a validação de conteúdo quantitativa, corroborando com outros estudiosos(29,30) que referem que a validade de conteúdo é fundamental no processo de desenvolvimento e adaptação de instrumento de medidas. No entanto, apresenta limitações por ser um processo subjetivo. Dessa forma, sua utilização não elimina a necessidade de aplicar outras medidas psicométricas adicionais.

Nesta pesquisa, foi utilizado o IVC para medir a porcentagem de concordância entre os examinadores que analisaram a primeira e a segunda e última versão. O IVC compreende um método muito utilizado na área de saúde. Mede a proporção ou porcentagem de juízes que estão em concordância sobre determinados aspectos do instrumento e de seus itens. Permite, inicialmente, analisar cada item individualmente e, depois, o instrumento como um todo. Esse método emprega uma escala tipo Likert com pontuação de um a quatro para avaliar a relevância/representatividade. Considerou-se um índice mínimo de concordância do IVC-I e IVC-T de 0,75. Na primeira análise dos juízes, dois subitens obtiveram concordância abaixo de 0,75, portanto o protocolo foi aperfeiçoado de acordo com as sugestões e reencaminhado aos especialistas. Em sua segunda e última versão, obteve índices acima do mínimo aceitável. Desta forma, o protocolo mostrou-se válido em seu conteúdo, com percentual de concordância acima daquele estabelecido na literatura(17,24,26). Portanto, o conteúdo do instrumento proposto neste estudo foi considerado uma medida válida e precisa para os 32 itens avaliados.

A confiabialidade entre-examinador compara os resultados obtidos pelos avaliadores diante de um mesmo indivíduo e pode ser verificada por meio do coeficente de kappa (k), o qual tem sido recomendado para avaliar medidas de concordância entre avaliadores na área de saúde. A concordância do protocolo foi perfeita em todos os itens do protocolo, tanto para o valor de Kappa total (K) = 1,00 quanto para todos os seus subitens. O menor coeficiente de concordância ocorreu para o subitem de respiração (K) = 0,82 e prosódia (k) = 0,86. Pensamos que esses subitens foram o de menor valor, pois a avaliação da respiração pode envolver muitos itens, como questões morfológicas (tipo facial, regiões nasal, oral e intraoral) e funcionais (modo e tipo respiratórios), sendo necessário o entendimento de que o que importava era o resultado de todo esse conjunto, sendo necessária uma avaliação mais sucinta; quanto à prosódia, provavelmente por envolver vários fatores como o acento da sílaba, a variação da intensidade, a duração de ênfase da palavra, a variação do tempo de emissão das sílabas e a velocidade de fala, além da avaliações da prosódia emocional e da postura corporal, sendo também necessária uma avaliação precisa e menos extensa.

Em relação às limitações deste estudo, coloca-se que apenas uma parte de sua validação foi realizada, que foi a de conteúdo. Porém, os resultados desta pesquisa justificam sua continuidade, a qual já está sendo ampliada para validação de constructo do PADAF em indivíduos com DP e outras doenças neurológicas. O protocolo já está sendo aplicado em pesquisas que envolvem miastenia grave e paraparesia espástica hereditária, mostrando-se, em resultados preliminares, um protocolo útil, eficiente e importante nessas doenças, podendo, portanto, ser utilizado em outras populações, validando-o e adequando a pontuação de acordo com as diferentes manifestações clínicas de cada doença. Por esse motivo, é importante destacar que o protocolo foi elaborado com um maior número de itens nos subsistemas que são comumente mais alterados na DP, fonação e articulação, o que poderá influenciar na pontuação total do protocolo quanto à gravidade do distúrbio, quando aplicado em outras doenças.

A importância deste estudo concentra-se no fato de que são raros os protocolos validados e confiáveis que avaliam os distúrbios adquiridos de fala em indivíduos com DP. Comparando-o com outros protocolos, o PADAF apresenta itens mais completos, diretivos e funcionais em cada subsistema, assim como, além da soma total de todos os subsistemas, pontuação total em cada base motora, podendo, desta forma, ser identificadas quais dessas bases se encontram mais alteradas, favorecendo o diagnóstico diferencial e direcionando a reabilitação. No Brasil, não existem instrumentos validados nem confiáveis nessa área. Essas avaliações são importantes tanto para um diagnóstico mais preciso quanto para uma intervenção terapêutica mais efetiva, contribuindo na melhora da comunicação, de forma geral, e interferindo positivamente na qualidade de vida desses pacientes.

CONCLUSÃO

O PADAF para indivíduos com DP foi desenvolvido e teve seu conteúdo validado e sua confiabilidade obteve perfeita concordância. Compreender esses procedimentos é essencial para pesquisadores e profissionais da área preocupados em utilizar cada vez mais medidas e instrumentos válidos e confiáveis apropriados a determinada população.

REFERÊNCIAS

1 Pals P, Van Everbroeck B, Grubben B, Viaene MK, Dom R, van der Linden C, et al. Case-control study of environmental risk factors for Parkinson’s disease in Belgium. Eur J Epidemiol. 2003;18(12):1133-42. . PMid:14758870.
2 Rodriguez-Oroz MC, Jahanshahi M, Krack P, Litvan I, Macias R, Bezard E, et al. Initial clinical manifestations of Parkinson’s disease: features and pathophysiological mechanisms. Lancet Neurol. 2009;8(12):1128-39. . PMid:19909911.
3 Jankovic J. Parkinson’s disease: clinical features and diagnosis. J Neurol Neurosurg Psychiatry. 2008;79(4):368-76. . PMid:18344392.
4 Ciucci MR, Ma ST, Fox C, Kane JR, Ramig LO, Schallert T. Qualitative changes in ultrasonic vocalization in rats after unilateral dopamine depletion or haloperidol: a preliminary study. Behav Brain Res. 2007;182(2):284-9. . PMid:17397940.
5 Wildgruber D, Riecker A, Hertrich I, Erb M, Grodd W, Ethofer T, et al. Identification of emotional intonation evaluated by fMRI. Neuroimage. 2005;24(4):1233-41. . PMid:15670701.
6 Schulz GM, Grant MK. Effects of speech therapy and pharmacologic and surgical treatments on voice and speech in Parkinson’s disease: a review of the literature. J Commun Disord. 2000;33(1):59-88. . PMid:10665513.
7 Le Dorze G, Dionne L, Ryalls J, Julien M, Ouellet L. The effects of speech and language therapy for a case of dysarthria associated with Parkinson’s disease. Eur J Disord Commun. 1992;27(4):313-24. . PMid:1308695.
8 André ES. Moléstia de Parkinson. Fisioter Mov. 2004;17(1):11-24.
9 Goede CJ, Keus SH, Kwakkel G, Wagenaar RC. The effects of physical therapy in Parkinson’s Disease: a research synthesis. Arch Phys Med Rehabil. 2001;82(4):509-15. . PMid:11295012.
10 Barros ALS, Silveira EGC, Souza RCM, Freitas LC. Uma análise do comprometimento da fala em portadores de doença de Parkinson. Neuroci. 2004;12(3):123-9.
11 Gurgel LG, Kaiser V, Reppold CT. A busca de evidências de validade no desenvolvimento de instrumentos em Fonoaudiologia: revisão sistemática. Audiol Commun Res. 2015;20(4):371-83. .
12 Presotto M, Olchik MR, Kalf JG, Rieder CRM. Translation, linguistic and cultural adaptation, reliability and validity of the Radboud Oral Motor Inventory for Parkinson’s Disease – ROMP questionnaire. Arq Neuropsiquiatr. 2018;76(5):316-23. . PMid:29898078.
13 Kalf JG, Borm GF, Swart BJM, Bloem BR, Zwarts MJ, Munneke M. Reproducibility and validity of patient-rated assessment of speech, swallowing, and saliva control in Parkinson’s disease. Arch Phys Med Rehabil. 2011;92(7):1152-8. . PMid:21704797.
14 Fracassi AS, Gatto AR, Weber S, Spadotto AA, Ribeiro PW, Shelp AO. Adaptação para a língua portuguesa e aplicação de protocolo de avaliação das disartrias de origem central em pacientes com doença de Parkinson. Rev CEFAC. 2011;13(6):10056-65. .
15 Duffy JR. Motor Speech disorders. Substrates, differential diagnosis, and management. St Louis: Mosby; 1995.
16 Ortiz KZ. Apraxia de fala. Distúrbios Neurológicos Adquiridos: Fala e Deglutição. Barueri: Manole; 2010.
17 .  17 17 Alexandre NMC, Coluci MZO. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciênc. saúde coletiva. 2011; 16(7):3061-68. .
18 Hughes AJ, Daniel SE, Kilford L, Lees AJ. Accuracy of clinical diagnosis of idiopathic Parkinson’s disease: a clinic-pathological study of 100 cases. J Neurol Neurosurg Psychiatry. 1992;55(3):181-4. . PMid:1564476.
19 Hoehn MM, Yahr MD. Parkinsonism: onset, progression and mortality. Neurology. 1967;17(5):427-42. . PMid:6067254.
20 Hair F Jr, Anderson RE, Tatham RL, Black WC. Análise multivariada de dados. Porto Alegre: Bookman; 2005.
21 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-75. . PMid:843571.
22 Raymundo VP. Construção e validação de instrumentos: um desafio para a psicolinguística. Let Hoje. 2009;44(3):86-93.
23 Wynd CA, Schmidt B, Schaefer MA. Two quantitative approaches for estimating content validity. West J Nurs Res. 2003;25(5):508-18. . PMid:12955968.
24 Hermida PMV, Araújo IEM. Elaboração e validação do instrumento de entrevista de enfermagem. Rev Bras Enferm. 2006;59(3):314-20. . PMid:17175720.
25 Fujinaga CI, Scochi CGS, Santos CB, Zamberlan NE, Leite AM. Validação do conteúdo de um instrumento para a avaliação da prontidão do prematuro para início da alimentação oral. Rev Bras Saúde Mater Infant. 2008;8(4):391-9. .
26 Siqueira MMM. Construção e validação da escala de percepção de suporte social. Psicol Estud. 2008;13(2):381-8. .
27 Lynn MR. Determination and quantification of content validity. Nurs Res. 1986;35(6):382-5. . PMid:3640358.
28 Grant JS, Davis LL. Selection and use of content experts for instrument development. Res Nurs Health. 1997;20(3):269-74. . PMid:9179180.
29 Haynes SN, Richard DCS, Kubany ES. Content validity in psychological assessment: a functional approach to concepts and methods. Psychol Assess. 1995;7(3):238-47. .
30 Rubio DM, Berg-Weger M, Tebb SS, Lee S, Rauch S. Objectifying content validity: conducting a content validity study in social work research. Soc Work Res. 2003;27(2):94-105. .