Compartilhar

Influência da amostra de fala na classificação perceptiva da hipernasalidade

Influência da amostra de fala na classificação perceptiva da hipernasalidade

Autores:

Maria Natália Leite de Medeiros,
Ana Paula Fukushiro,
Renata Paciello Yamashita

ARTIGO ORIGINAL

CoDAS

versão On-line ISSN 2317-1782

CoDAS vol.28 no.3 São Paulo mai./un. 2016 Epub 07-Jul-2016

http://dx.doi.org/10.1590/2317-1782/20162015202

INTRODUÇÃO

Indivíduos com fissura palatina apresentam alto risco de desenvolver alterações de fala, tais como hipernasalidade, emissão de ar nasal, fraca pressão intraoral e articulações compensatórias decorrentes da disfunção do mecanismo velofaríngeo (DVF). Clinicamente, a hipernasalidade é o sinal mais evidente da presença da DVF nesses indivíduos(1,2).

Avaliar o mecanismo velofaríngeo é um processo difícil devido à sua natureza complexa e dinâmica. Por isso, muitos autores têm proposto diferentes formas para categorizar a fala de indivíduos com fissura palatina na tentativa de se estabelecer um padrão universal que possibilite, inclusive, estudos intercentros(2-5). Embora as avaliações instrumentais, como a videofluoroscopia, a nasofaringoscopia, a nasometria e a técnica fluxo-pressão, sejam fundamentais no processo de diagnóstico da DVF e na definição da conduta de tratamento, a identificação dos sintomas de fala e das alterações da função velofaríngea é feita, principalmente, pela avaliação perceptivo-auditiva da fala, método considerado “padrão-ouro” na avaliação da fala de indivíduos com fissura palatina e principal indicador da significância clínica destes sintomas(1,6,7). Contudo, em função de seu caráter subjetivo, este tipo de avaliação está sujeito a erros e variações, mesmo quando feito por profissionais experientes. Por isso, a literatura recomenda que a avaliação perceptiva seja documentada em áudio e/ou vídeo a fim de que o julgamento quanto à presença e à gravidade dos sintomas de fala de um indivíduo seja resultado da concordância entre mais de um avaliador(2,5,6,8-10). Entre os fatores que podem influenciar o julgamento perceptivo da hipernasalidade, está o tipo de amostra de fala analisada. Há autores que acreditam que a hipernasalidade é identificada somente durante a conversa espontânea ou, ainda, é julgada como sendo mais grave nesse tipo de amostra(11,12). Com o aumento da fala espontânea, em função de exigências adicionais, tais como a fadiga muscular das estruturas do mecanismo velofaríngeo e do sistema motor oral, a ressonância hipernasal torna-se mais perceptível(12). Isto significa que um mesmo indivíduo pode apresentar diferentes graus de hipernasalidade na dependência da amostra de fala que está sendo analisada, sugerindo que o julgamento de diferentes avaliadores só é comparável quando utilizada a mesma amostra de fala. Este fato tem levado diversos pesquisadores da área a propor a padronização dos vários aspectos de fala que devem fazer parte da avaliação perceptivo-auditiva de indivíduos com fissura palatina, incluindo a amostra de fala a ser analisada a fim de minimizar a influência dos diversos fatores sobre o julgamento da hipernasalidade e melhorar a fidedignidade deste método(4,9,13,14).

Pretendeu-se, no presente estudo, investigar a influência do tipo de amostra de fala - conversa espontânea ou repetição de sentenças - sobre o julgamento perceptivo da hipernasalidade de indivíduos com fissura de palato reparada. Em última análise, a proposta do estudo foi investigar qual amostra de fala torna o julgamento da hipernasalidade mais confiável no que se refere aos coeficientes de concordância intra e interavaliadores.

MÉTODOS

Casuística

Este estudo foi aprovado pelo Comitê de Ética em Pesquisa em Seres Humanos da Instituição com o parecer número 1.008.414. A casuística foi composta por 120 amostras de fala gravadas em áudio (60 amostras contendo trechos de conversa espontânea e 60 contendo repetição de sentenças), pertencentes a 60 pacientes com fissura palatina reparada, associada ou não à fissura de lábio, de ambos os sexos, com idade entre 6 e 52 anos (média de 21±10 anos, com ou sem disfunção velofaríngea. Desse modo, foram analisadas, duas amostras de fala de cada indivíduo.

As amostras contendo trechos de conversa espontânea foram obtidas a partir de respostas pessoais a questões gerais adaptadas à idade de cada indivíduo, visando à obtenção de uma amostra de fala com duração suficiente para permitir a análise perceptiva da hipernasalidade. As amostras com repetição de sentenças foram compostas de 11 sentenças padronizadas contendo sons exclusivamente orais. Todas as amostras foram selecionadas a partir das gravações digitais em áudio realizadas em sala acusticamente tratada. Essas gravações são realizadas de rotina e ficam armazenadas na base de dados do Serviço de Informática Hospitalar da Instituição. O consentimento para uso desses dados foi obtido de todos os pacientes ou seus responsáveis, no ato da matrícula no Hospital. Foram incluídas no estudo somente as amostras de boa qualidade de áudio que não apresentavam ruídos que pudessem comprometer a análise da hipernasalidade. Não foram excluídas, contudo, as amostras contendo outros sintomas de fala, tais como emissão de ar nasal audível, articulações compensatórias, ronco nasal e disfonias.

Procedimentos

As gravações foram recuperadas da base de dados, salvas no formato MP3 e editadas excluindo-se a participação do profissional interlocutor do registro da fala e padronizando-se o tempo de gravação em, no mínimo, 15 segundos e, no máximo, 34 segundos. Depois da edição, as amostras de fala foram numeradas e copiadas aleatoriamente em 2 compact disc (CD), sendo um contendo as amostras de conversa espontânea e outro contendo as amostras de repetição de sentenças. A fim de se analisar o índice de concordância intra-avaliadores, 30% das amostras foram duplicadas, randomizadas e incluídas nos CDs, tomando-se o cuidado para que as amostras repetidas não fossem incluídas no mesmo CD a fim de evitar que fossem identificadas.

Análise perceptivo-auditiva da hipernasalidade

A hipernasalidade foi julgada por três fonoaudiólogas experientes na avaliação de indivíduos com fissura palatina em duas etapas. Na primeira, as avaliadoras analisaram as amostras contendo trechos de conversa espontânea e, após um mês, analisaram as amostras dos mesmos pacientes contendo as sentenças. Apesar de tratar-se de amostras de fala diferentes, estabeleceu-se este intervalo de tempo entre as duas etapas a fim de evitar possíveis interferências nos resultados, causadas pela identificação da fala do indivíduo analisado previamente. Nas duas etapas, as avaliadoras classificaram a hipernasalidade, de acordo com o seu critério próprio (padrão interno), utilizando a seguinte escala de 4 pontos: 1= hipernasalidade ausente (ressonância oronasal equilibrada), 2=hipernasalidade leve, 3=hipernasalidade moderada e 4=hipernasalidade grave. Conforme recomendado, as análises foram feitas individualmente, utilizando fones de ouvido estéreo disponibilizados pela pesquisadora, sendo permitido ouvir as gravações quantas vezes fossem necessárias.

Forma de análise dos resultados

A hipernasalidade foi expressa em escores, de acordo com a escala de 4 pontos. O índice de concordância inter e intra-avaliadores foi estabelecido para os dois tipos de amostras de fala: conversa espontânea e repetição de sentenças utilizando-se o coeficiente Kappa e considerando-se a seguinte interpretação: abaixo de 0=sem concordância; de 0 a 0,19=concordância pobre; de 0,20 a 0,39=concordância regular; de 0,40 a 0,59=concordância moderada; de 0,60 a 0,79=concordância substancial; de 0,80 a 1,00=concordância quase perfeita(15). O índice de concordância intra-avaliadores foi estabelecido a partir da análise repetida de 30% do total das amostras (36 amostras, sendo 18 contendo trechos de conversa espontânea e 18 contendo repetição de sentenças). A comparação entre os índices de concordância inter e intra-avaliadores obtidos em cada uma das etapas foi feita por meio do teste Z. Foram aceitos como significantes os valores de p<0,05.

RESULTADOS

Concordância intra-avaliadores

O coeficiente de concordância intra-avaliadores quanto ao grau de hipernasalidade obtido na análise das amostras de fala contendo a repetição de sentenças foi significativamente maior que aquele observado nas amostras contendo trechos de conversa espontânea na maioria das comparações, conforme demonstrado na Tabela 1. Para a avaliadora 1, houve aumento do índice Kappa de 0,45 (moderado) para 1,00 (quase perfeito), para conversa espontânea e repetição de sentenças, respectivamente, sendo esta diferença estatisticamente significante (p<0,001). Para a avaliadora 2, verificou-se, também, aumento do coeficiente Kappa de 0,60 para 0,74 para conversa espontânea e repetição de sentenças, respectivamente, ambos interpretados como substancial, porém, neste caso, não houve diferença estatisticamente significante (p=0,590). Já para a avaliadora 3, verificou-se aumento significante do coeficiente Kappa de 0,44 (moderado) para 0,92 (quase perfeito) para conversa espontânea e repetição de sentenças, respectivamente (p=0,006).

Tabela 1 Comparação estatística entre os coeficientes de concordância intra-avaliadores na análise perceptiva da hipernasalidade de ambas as amostras de fala (conversa espontânea e repetição de sentenças): porcentagem de concordância (%), coeficiente Kappa e sua interpretação 

Concordância Intra-avaliadores
Conversa Espontânea Repetição de Sentenças
Avaliadora % de Concordância Coeficiente Kappa Interpretação % de Concordância Coeficiente Kappa Interpretação
1 61 0,45 Moderada 100 1,00* Quase Perfeita p<0,001
2 72 0,60 Substancial 83 0,74 Substancial p=0,590
3 61 0,44 Moderada 94 0,92* Quase Perfeita p=0,006

Legenda: *Conversa espontânea vs Repetição de sentenças – Teste Z

Concordância interavaliadores

Os coeficientes de concordância para ambos os tipos de amostra de fala analisados, conforme demonstrado na Tabela 2, foram de 0,40 para a amostra de conversa espontânea e de 0,38 para a repetição de sentenças, interpretados como concordância moderada e regular, respectivamente. A análise dos dados mostrou que não houve diferença estatisticamente significante entre os coeficientes de concordância das duas etapas (p=0,970).

Tabela 2 Comparação estatística entre os coeficientes de concordância obtidos entre as avaliadoras na análise perceptiva da hipernasalidade de ambas as amostras de fala (conversa espontânea e repetição de sentenças): porcentagem de concordância (%), coeficiente Kappa e sua interpretação 

Concordância Interavaliadores
Avaliadoras Conversa Espontânea Repetição de Sentenças
% de Concordância Coeficiente Kappa Interpretação % de Concordância Coeficiente Kappa Interpretação
1 e 2 53 0,37 Regular 60 0,43 Moderada p=0,628
1 e 3 62 0,48 Moderada 58 0,42 Moderada p=0,633
2 e 3 52 0,34 Regular 50 0,31 Regular p=0,876
1,2 e 3 37 0,40 Moderada 37 0,38 Regular p=0,970

Analisando-se separadamente o coeficiente de concordância entre os pares de avaliadoras, verificou-se que, entre as avaliadoras 1 e 2, houve aumento do índice Kappa de 0,37 (conversa espontânea) interpretado como regular para 0,43 (repetição de sentenças) interpretado como moderado, porém esta diferença não foi estatisticamente significante (p=0,628). Para as avaliadoras 1 e 3, observou-se ligeira redução do índice Kappa, de 0,48 na conversa espontânea para 0,42 na repetição de sentenças, ambos interpretados como moderado. Não houve diferença estatisticamente significante entre estes coeficientes de concordância (p=0,633). A comparação entre as avaliadoras 2 e 3 mostrou, também, ligeira redução do índice Kappa, com coeficientes de concordância de 0,34 para conversa espontânea e de 0,31 para repetição de sentenças, ambos interpretados como regular, sendo esta diferença não significante (p=0,876).

DISCUSSÃO

No presente estudo, a comparação estatística dos índices de concordância intra-avaliadores entre as duas etapas mostrou melhores índices de concordância nas amostras de fala contendo repetição de sentenças em relação às amostras de conversa espontânea para as três avaliadoras, com diferença estatisticamente significante para duas delas. Especula-se que o julgamento perceptivo da hipernasalidade em conversa espontânea seja mais difícil devido à influência de diversos fatores, tais como contexto e ritmo de fala, entonação e outros sintomas de fala coexistentes como a articulação compensatória. Segundo a literatura, na presença de outros sintomas de fala, torna-se difícil para o ouvinte isolar a hipernasalidade, levando, muitas vezes, à sua classificação como mais grave(4,5,10-12). Além disso, alguns autores acreditam que nem sempre existe uma clara distinção entre os sintomas de fala caracterizados como obrigatórios como a hipernasalidade, por exemplo, e as articulações compensatórias(2). Com base na análise prévia das amostras de fala deste estudo, verificou-se que cerca de 50% (30/60) das amostras de conversa espontânea do presente estudo apresentavam outros distúrbios obrigatórios de fala, tais como emissão de ar nasal e fraca pressão aérea intraoral, 35% (21/60) apresentavam articulação compensatória e 7% (4/60), sintomas vocais. Já nas amostras com repetição de sentenças, essa porcentagem se manteve para os sintomas vocais e foi reduzida para 30% (18/60) no que diz respeito à presença de outros distúrbios obrigatórios e de articulação compensatória. O fato de as amostras com repetição de sentenças apresentarem menor proporção de sintomas de fala coexistentes pode ter facilitado e, assim, tornado mais confiável, a análise e o julgamento da hipernasalidade nesse tipo de amostra de fala.

Expressivos índices de concordância intra-avaliadores, utilizando-se repetição de sentenças e vocábulos padronizados já foram verificados em estudos anteriores realizados na Instituição, os quais variaram de substancial a quase perfeito(16,17), de moderado a quase perfeito(18,19) e de regular a quase perfeito(20). Outros apresentaram porcentagem de concordância intra-avaliadores relevantes com índices de concordância acima de 80%(21-23). Resultado semelhante foi encontrado por um grupo de autores que compararam os escores de nasalância com os resultados da avaliação perceptiva da fala (conversa espontânea e repetição de sentenças). Os autores encontraram, na análise intra-avaliadores de ouvintes experientes, porcentagens de concordância exata que variaram de 62,5% a 100% para conversa espontânea e de 75% a 100% para a repetição de sentenças(24).

Sabe-se, ainda, que o tipo de material de fala e a técnica de elicitação são fatores que podem influenciar na determinação do escore de inteligibilidade de fala obtido em uma avaliação perceptiva e que diferenças articulatórias significativas podem existir entre a produção de determinada palavra a partir da repetição de uma lista de sentenças e da mesma palavra a partir da conversa espontânea(14). Pode-se especular, então, que a elicitação da amostra de fala por meio de repetição de sentenças tenha facilitado a percepção da hipernasalidade. No caso da repetição de sentenças, o indivíduo que está sendo avaliado tende a reproduzir a fala de forma semelhante a de seu avaliador exercendo maior controle do ritmo de fala e da articulação, na tentativa da produção correta dos sons, o que não ocorre na conversa espontânea(8).

Ainda que alguns autores(11) ressaltem que a conversa espontânea é um importante instrumento para a avaliação perceptiva pelo fato de refletir o cotidiano do indivíduo, o uso da repetição de sentenças facilita a análise perceptiva da fala por constituir um tipo de amostra de fala mais preciso. Ao propor os parâmetros universais para a documentação dos resultados de fala de indivíduos com fissura palatina, estudiosos recomendam o uso da repetição de sentenças e de palavras isoladas para o julgamento perceptivo da hipernasalidade por serem amostras comparáveis inclusive entre diferentes línguas com contexto fonético similar(4). Estes mesmos autores sugerem, ainda, que a conversa espontânea seja utilizada para a classificação de outros aspectos que não o grau de hipernasalidade, por exemplo, as desordens de voz e a aceitabilidade e inteligibilidade de fala.

O presente estudo mostrou, também, que não houve diferença significativa entre as amostras de repetição de sentenças e de conversa espontânea. Este resultado sugere que a repetição de sentenças favorece de alguma forma, a consistência dos julgamentos de um mesmo avaliador, mas este efeito não é suficiente para aumentar a concordância entre os diferentes avaliadores. Estes resultados confirmam o que já está bem estabelecido na literatura, que a obtenção de um alto índice de concordância entre diferentes avaliadores no julgamento da hipernasalidade, utilizando seus padrões internos, é difícil pelo fato de se tratar de um sintoma perceptivo caracterizado como uma sensação e considerado o mais difícil de obter alta confiabilidade(10,25). Isto porque os padrões internos diferem entre diferentes ouvintes. Estudiosos no assunto referem que os julgamentos dos sintomas de fala feitos por diferentes avaliadores não são comparáveis e que a experiência na avaliação de indivíduos com fissura palatina não garante uma alta concordância(25). Índices de concordância interavaliadores semelhantes aos encontrados no presente estudo já foram verificados por outros autores para ambos os tipos de amostra de fala, os quais variaram de moderado a substancial(13,26), índice moderado(3,9,17,24), regular a moderado(18) e índice de concordância regular(20). Ressalte-se que nenhum outro estudo da literatura, até o momento, comparou a classificação do grau de hipernasalidade em diferentes tipos de amostra de fala de um mesmo indivíduo. O que torna inédito o resultado do presente estudo é a constatação de que, independentemente da amostra de fala produzida por um mesmo indivíduo (conversa espontânea ou repetição de sentenças), os índices de concordância interavaliadores permanecem modestos, ou seja, o tipo de amostra de fala não melhora a confiabilidade do julgamento entre diferentes avaliadores. Um dos fatores que pode explicar tal resultado é o tipo de escala utilizada para a classificação da hipernasalidade. Assim como na maioria dos artigos da literatura, utilizou-se no presente estudo a escala ordinal de intervalos iguais, a qual tem sido a mais utilizada tanto em pesquisas quanto na prática clínica(27,28). No entanto, devido à natureza psicofísica da nasalidade, alta concordância entre diferentes avaliadores tem sido difícil de ser alcançada, utilizando este método(29). Isto porque esta escala divide as diferentes categorias de classificação do sintoma sem quantificar a magnitude das diferenças entre cada categoria e os ouvintes tendem a subdividir, especialmente a extremidade inferior da escala, em intervalos menores(30). Assim, é possível que este tipo de escala não represente um método eficaz de classificação da hipernasalidade, até mesmo para avaliadores experientes.

Finalmente, os resultados deste estudo reforçam a necessidade da adoção da prática constante do treinamento auditivo dos ouvintes nos centros de pesquisa e de atendimento a indivíduos com fissura palatina a fim de padronizar os critérios de avaliação e calibrar os profissionais na tentativa de se obter resultados mais confiáveis e comparáveis no que se refere à avaliação perceptiva dos sintomas de fala.

CONCLUSÃO

A repetição de sentenças favoreceu a confiabilidade do julgamento perceptivo da hipernasalidade de um mesmo avaliador, visto que a concordância intra-avaliadores na análise desta amostra de fala foi maior. No entanto, o tipo de amostra de fala não influenciou a concordância entre diferentes avaliadores.

REFERÊNCIAS

1 Trindade IEK, Genaro KF, Yamashita RP, Miguel HC, Fukushiro AP. Proposta de classificação da função velofaríngea na avaliação perceptivo-auditiva da fala. Pro Fono. 2005;17(2):259-62. . PMid:16909536.
2 Britton L, Albery L, Bowden M, Harding-Bell A, Phippen G, Sell D. A cross-sectional cohort study of speech in five-years-olds with cleft palate ± lip to support development of national audit standards. Cleft Palate Craniofac J. 2014;51(4):431-51. . PMid:24635034.
3 John A, Sell D, Sweeney T, Harding-Bell A, Williams A. The cleft audit protocol for speech-augmented: a validated and reliable measure for auditing. Cleft Palate Craniofac J. 2006;43(3):272-88. . PMid:16681400.
4 Henningsson G, Kuehn DP, Sell D, Sweeney T, Trost-Cardamone JE, Whitehill TL, et al. Universal Parameters for reporting speech outcomes in individuals with cleft palate. Cleft Palate Craniofac J. 2008;45(1):1-17. . PMid:18215095.
5 Lohmander A, Willadsen E, Persson C, Henningsson G, Bowden M, Hutters B. Methodology for speech assessment in the scandcleft project – An international randomized clinical trial on palatal surgery: experiences from a pilot study. Cleft Palate Craniofac J. 2009;46(4):347-62. . PMid:19642772.
6 Lohmander A, Olsson M. Methodology for perceptual assessment of speech in patients with cleft palate: A critical review of literature. Cleft Palate Craniofac J. 2004;41(1):64-70. . PMid:14697067.
7 Genaro KF, Yamashita RP, Trindade IEK. Avaliação clínica e instrumental na fissura labiopalatina. In: Fernandes FDM, Mendes BCA, Navas ALPGP, organizadores. Tratado de fonoaudiologia. São Paulo: Roca; 2010. p. 488-503.
8 Sell D. Issues in a perceptual speech analysis in cleft palate and related disorders: a review. Int J Lang Commun Disord. 2005;40(2):103-21. . PMid:16101269.
9 Brunnegård K, Lohmander A. A cross-sectional study in 10-year-old children with cleft palate: results and issues of rater reliability. Cleft Palate Craniofac J. 2007;44(1):33-44. . PMid:17214536.
10 Lee A, Whitehill TL, Ciocca V. Effect of listener training on the perceptual judgement of hypernasality. Clin Linguist Phon. 2009;23(5):319-34. . PMid:19399664.
11 Kuehn D, Moller KT. Speech and language issues in the cleft palate population: the state of the art. Cleft Palate Craniofac J. 2000;37(4):348-1-348-35.
12 Kummer AW. Speech evaluation for patients with cleft palate. Clin Plast Surg. 2014;41(2):241-51. . PMid:24607192.
13 Sweeney T, Sell D. Relationship between perceptual ratings of nasality and nasometry in children/adolescents with cleft palate and/or velopharyngeal dysfunction. Int J Lang Commun Disord. 2008;43(3):265-82. . PMid:17852526.
14 Johannisson TB, Lohmander A, Persson C. Assessing intelligibility by single words, sentences and spontaneous speech: a methodological study of the speech production of 10-year-olds. Logoped Phoniatr Vocol. 2014;39(4):159-68. . PMid:23906041.
15 Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74. . PMid:843571.
16 Brandão GR, Souza Freitas JA, Genaro KF, Yamashita RP, Fukushiro AP, Lauris JR. Speech outcomes and velopharyngeal function after surgical treatment of velopharyngeal insufficiency in individuals with signs of velocardiofacial syndrome. J Craniofac Surg. 2011;22(5):1736-42. . PMid:21959422.
17 Scarmagnani RH, Barbosa DA, Fukushiro AP, Salgado MH, Trindade IET, Yamashita RP. Relationship between velopharyngeal closure, hypernasality, nasal air emission and nasal rustle in subjects with repaires cleft palate. CoDAS. 2015;27(3):267-72. PMID: 26222944.
18 Barbosa DA. Resultados de fala e de função velofaríngea do retalho faríngeo e da veloplastia intravelar na correção da insuficiência velofaríngea: estudo comparativo [dissertação]. Bauru (SP): Universidade de São Paulo; 2011. 129 p.
19 Oliveira ACASF, Scarmagnani RH, Fukushiro AP, Yamashita RP. The influence of listener training on the perceptual assessment of hypernasality. CoDAS. 2016;28(2):141-148. [Portuguese]. .
20 Ferlin F. Influência das consoantes de alta e baixa pressão intraoral sobre a nasalidade e nasalância da fala [dissertação]. Bauru (SP): Universidade de São Paulo; 2014. 82 p.
21 Persson C, Elander A, Lohmander-Agerskov A, Söderpalm E. Speech outcomes in isolated cleft palate: impact of cleft extent and additional malformations. Cleft Palate Craniofac J. 2002;39(4):397-408. . PMid:12071788.
22 Persson C, Lohmander A, Elander A. Speech in children with an islated cleft palate: a longitudinal perspective. Cleft Palate Craniofac J. 2006;43(3):295-309. . PMid:16681402.
23 Lohmander A, Friede H, Lilja J. Long-term, longitudinal follow-up of individuals with unilateral cleft lip and palate after the Gothenburg primary early veloplasty and delayed hard palate closure protocol: speech outcome. Cleft Palate Craniofac J. 2012;49(6):657-71. . PMid:22364610.
24 Brunnegård K, Lohmander A, van Doorn J. Comparison between perceptual assessments of nasality and nasalance scores. Int J Lang Commun Disord. 2012;47(5):556-66. . PMid:22938066.
25 Keuning KH, Wieneke GH, Dejonckere PH. The intrajudge reliability of the perceptual rating of cleft palate speech before and after pharyngeal flap surgery: the effect of judges and speech samples. Cleft Palate Craniofac J. 1999;36(4):328-33. . PMid:10426599.
26 Brunnegård K. Evaluation of nasal speech: a study of assessments by speech-language pathologists, untrained listeners and nasometry [tese]. Umeå: Umeå University; 2008. 55 p
27 Brancamp TU, Lewis KE, Watterson T. The relationship between nasalance scores and nasality ratings obtained with equal appearing interval and direct magnitude estimation scaling methods. Cleft Palate Craniofac J. 2010;47(6):631-7. . PMid:20500059.
28 Bressmann T, Sell D. Plus Ça Change: selected papers on speech research from 1964 issue of the Cleft Palate Journal. Cleft Palate Craniofac J. 2014;51(2):124-8. . PMid:24446923.
29 Zraick RI, Liss JM. A comparison of equal-appearing interval scaling and direct magnitude estimation of nasal voice quality. J Speech Lang Hear Res. 2000;43(4):979-88. . PMid:11386483.
30 Stevens SS. Psychophysics: introduction to its perceptual, neural and social prospects. New York: Wiley; 1975.