Tradução e adaptação transcultural do protocolo de avaliação miofuncional orofacial com escores para a Língua Italiana

Tradução e adaptação transcultural do protocolo de avaliação miofuncional orofacial com escores para a Língua Italiana

Autores:

Cláudia M. de Felício,
Gislaine A. Folha,
Claudia Lucia Pimenta Ferreira,
Licia Coceani Paskay,
Chiarella Sforza

ARTIGO ORIGINAL

CoDAS

versão On-line ISSN 2317-1782

CoDAS vol.27 no.6 São Paulo nov./dez. 2015

http://dx.doi.org/10.1590/2317-1782/20152015045

INTRODUÇÃO

O sistema estomatognático é responsável por complexas funções como falar, mastigar, deglutir, respirar, sugar, sorrir e beijar. Vários fatores podem prejudicar estas funções que possuem relevância biopsicossocial1 2 3. Um termo coletivo para as alterações dos músculos orofaciais e funções estomatognáticas é distúrbio miofuncional orofacial (DMO)4, que engloba "qualquer padrão envolvendo a musculatura oral e/ou orofacial que interfere no crescimento, desenvolvimento, ou funções das estruturas, ou chama a atenção para si"5.

Os DMOs são comuns em casos de má oclusão6, hipertrofia adenoideana e tonsilar7, respiração oral8, desordem temporomandibular3, apneia obstrutiva do sono9 e podem ocorrer em qualquer idade como consequência de doenças adquiridas ou degenerativas3.

Ultimamente, medidas objetivas como força de lábios, língua ou mordida, eficiência mastigatória, eletromiografia e ultrassonografia têm auxiliado para a melhor compreensão dos problemas que afetam o sistema estomatognático10 11. No entanto, a avaliação clínica é considerada essencial para o diagnóstico dos DMOs3 11 12 13.

Uma pesquisa cuidadosa na literatura revelou a não existência de um instrumento em língua italiana para avaliação das estruturas e funções orofaciais, que permitisse ao examinador expressar sua percepção das características físicas e comportamentos orofaciais por meio de escalas numéricas que fossem pelo menos em nível ordinal de medida. Esse fato motivou a realização da tradução e adaptação transcultural do Protocolo de Avaliação Miofuncional Orofacial com Escores (AMIOFE) para a língua italiana.

O protocolo AMIOFE foi previamente desenvolvido para ser um instrumento clínico de baixo custo e de fácil aplicação durante a avaliação das estruturas e funções do sistema estomatognático14. Ele foi validado para crianças de 6 a 12 anos14 e para adultos3, com boas qualidades psicométricas.

Esse protocolo permite a determinação de valores de normalidade, para sujeitos adultos saudáveis4 15 16, das características miofuncionais orofaciais de pacientes17, das diferenças entre pacientes e sujeitos saudáveis3 11 ou de pacientes com diferentes resultados de tratamentos e de efeitos de intervenção3 18. Adicionalmente, relações entre os escores do protocolo AMIOFE e índices eletromiográficos foram previamente apresentados4.

O termo "adaptação transcultural" é usado para um processo abrangente que analisa tanto a linguagem (tradução), quanto as questões de adaptação cultural de um instrumento para uso em outro contexto, como em outro país, cultura e/ou linguagem, favorecendo uma possível utilização num idioma diferente do original19.

Para atingir essas metas é necessária uma metodologia adequada, com os seguintes passos: tradução inicial para a língua alvo, reconciliação (versão de consenso), retrotradução e testes-piloto (teste do instrumento)20 21.

Quando pessoas de diferentes contextos percebem um aspecto de modo similar, é possível assumir que, em termos de conteúdo, a medida é transculturalmente válida22. A adaptação transcultural de instrumentos existentes para novas culturas apresenta várias vantagens em relação ao desenvolvimento de um novo instrumento com a mesma finalidade. Por exemplo, ela permite a comparação de diferentes populações e a troca de informações sem o viés das barreiras culturais e linguísticas23. No momento, há um crescente interesse na validação de escalas para a língua/população italiana em relação às desordens da comunicação e das funções que envolvem o sistema estomatognático24 25.

Assim, o objetivo deste estudo foi traduzir e adaptar transculturalmente o protocolo AMIOFE para a língua italiana, incluindo o teste piloto do instrumento e a descrição dos valores de normalidade para sujeitos Italianos jovens e adultos.

MÉTODOS

Antes da participação, todos os sujeitos e pacientes assinaram o termo de consentimento livre e esclarecido. Os dados do presente estudo foram coletados de acordo com a Declaração de Helsinki e de acordo com a norma da universidade italiana onde a pesquisa foi conduzida.

Uma vez que os autores do protocolo AMIOFE participaram do presente estudo, a autorização prévia para a tradução e adaptação não foi necessária.

Protocolo AMIOFE - Tradução e adaptação transcultural

Versão Inicial

A versão publicada em língua inglesa do protocolo AMIOFE14 foi traduzida para a língua italiana. Três indivíduos bilíngues, falantes nativos da língua italiana, realizaram as traduções independentemente. Dois eram tradutores informados (i.e. fonoaudiólogos) e um era leigo para o problema de saúde investigado.

Versão de consenso

Todas as versões traduzidas foram avaliadas por um comitê de pesquisa, composto por três fonoaudiólogos e um médico especialista em anatomia, com experiência em avaliação do sistema estomatognático. Eles verificaram se depois da tradução do instrumento cada item havia sido mantido para a cultura de interesse, considerando as características e discrepâncias que podem refletir ambiguidades26. A versão de consenso foi então criada objetivando similaridade semântica.

Revisão pelo comitê de especialistas

A versão de consenso foi apreciada por oito fonoaudiólogos italianos, de forma independente, experientes em avaliação miofuncional orofacial, mas sem experiência prévia com o protocolo AMIOFE. Opiniões e sugestões foram solicitadas ao comitê de especialistas e implementadas quando apresentadas.

Retrotradução

A versão de consenso do protocolo em língua italiana, acrescida das sugestões do comitê de especialistas, foi então retrotraduzida para a língua inglesa por dois avaliadores bilíngues. Posteriormente, o comitê de pesquisa (composto por três fonoaudiólogos e um médico, como descrito anteriormente) comparou essa versão com o instrumento original para análise metodológica e gramatical e, assim, a versão final para a língua italiana foi então obtida.

Aprovação dos autores

A versão final do protocolo AMIOFE em língua italiana foi submetida aos autores do protocolo, que conheciam todos os passos prévios realizados. Além disso, eles são nativos da língua portuguesa falada no Brasil, a primeira língua (original) do instrumento, e falantes fluentes da língua italiana. Assim, o protocolo foi aprovado para uso.

Teste do instrumento

Sujeitos: participaram do teste do instrumento 40 sujeitos consecutivos (16 homens e 24 mulheres, faixa etária entre 18 e 56 anos de idade, média de idade=23,40, DP=7,93) que se dispuseram a colaborar com o estudo. Os voluntários, todos falantes nativos da língua italiana, eram da comunidade local, bem como estudantes e funcionários de uma universidade italiana, que concordaram em participar do estudo depois de uma explicação detalhada dos métodos e possíveis riscos envolvidos. Foram incluídos indivíduos com ou sem DMO, pois diversos graus de alteração, bem como padrões normais, são necessários para construção de escalas de avaliação14.

Critérios de exclusão: indivíduos com perda auditiva; ausências dentárias significantes; retardo mental, desordens neurológicas ou emocionais que impedissem a realização das tarefas solicitadas; com histórico de traumas ou tumores na região de cabeça e pescoço, tratamento ortodôntico, terapia miofuncional orofacial e/ou tratamento para desordem temporomandibular foram excluídos.

O tamanho amostral foi previamente calculado para rejeitar a hipótese nula (one-tailed test ). Estatísticas descritivas previamente obtidas foram usadas para estimar o número mínimo de sujeitos requeridos para a análise estatística com poder estatístico de 80% (erro tipo II, beta ) e com alpha (erro tipo I) de 5%. Os números variaram entre 5 a 18, dependendo da variável analisada. Especificamente para o escore total do protocolo AMIOFE, o número mínimo de sujeitos necessários foi de 133.

Avaliações:os sujeitos foram avaliados por inspeção visual complementada com a coleta de registros fotográficos e imagens em vídeo. Durante as sessões de avaliações, os sujeitos permaneciam sentados em uma cadeira com encosto, com os pés apoiados no chão, numa distância padronizada (1 m) das lentes da câmera (Sony Handycam videocamera, Hi8/ ccd-TRV 138), fixada sobre um tripé com a altura ajustada para cada indivíduo, de modo que pudessem ser observados face, pescoço e colo do sujeito.

A metodologia para a avaliação foi a mesma do protocolo AMIOFE original, de acordo com artigos publicados anteriormente3 14: a aparência/postura e mobilidade de lábios, língua, face, bochechas, palato e mandíbula, bem como as funções de respiração, deglutição e mastigação foram avaliadas. Os examinadores expressaram suas percepções sobre os componentes e funções seguindo as descrições do protocolo e utilizando os escores predeterminados. De acordo com o protocolo, os escores máximos foram atribuídos aos padrões normais sem desvios. O escore total do protocolo AMIOFE foi determinado pela soma dos escores parciais (de cada item); o escore máximo total é de 103 (Anexo I).

Examinadores: dois fonoaudiólogos (E1 e E2), ambos previamente treinados pelo primeiro autor e calibrados em avaliação miofuncional orofacial, avaliaram todos os 40 sujeitos. Para estabelecer a concordância de aplicação do protocolo e/ou de interpretação, os examinadores reavaliaram oito sujeitos selecionados de maneira randomizada (20% da amostra). Para estas reavaliações foram utilizados registros em vídeo de cada sujeito, que continham imagens realizadas durante 10 segundos em repouso, empregadas para a avaliação da aparência e postura dos componentes do sistema estomatognático, e imagens das tarefas de mobilidade de lábios, língua, bochechas e mandíbula, bem como das funções de respiração habitual, deglutição e mastigação14, respectivamente, empregadas para avaliação do desempenho nas tarefas.

Determinação dos valores de normalidade: para determinar os valores de normalidade da presente amostra, foi considerado o valor do escore total do AMIOFE (soma dos escores obtidos em todos os itens do protocolo) de cada sujeito (n=40) e aplicado como ponto de corte o valor de 884. Os sujeitos foram, então, alocados em dois grupos, usando da seguinte maneira: Grupo com DMO, sujeitos com escore <88, e Grupo sem DMO sujeitos com escore ≥88.

O ponto de corte adotado no presente estudo foi definido com base em resultados prévios de sujeitos com distúrbio miofuncional orofacial avaliados com o AMIOFE (Escore total: Média±Desvio Padrão=87,2±5,3; Mediana=87,5)4.

Os escores totais do protocolo AMIOFE dos grupos com e sem DMO foram comparados por meio do teste não paramétrico Mann-Withney. A análise foi realizada usando o programa MedCalc (Mariakerke, Belgium, Version 11.0.1). O nível de significância adotado foi de 0,05.

RESULTADOS

Processo de tradução e adaptação transcultural

As versões realizadas pelos dois tradutores, tanto a dos fonoaudiólogos como aquela realizada pelo tradutor leigo (não fonoaudiólogo), foram muito similares.

Dificuldades foram encontradas para traduções dos termos originais da língua inglesa como "free way space ", "overjet " e "overbite". De acordo com informações oriundas do comitê de especialistas, estes termos são frequentemente usados na língua inglesa por profissionais da saúde italianos, por isso eles não foram traduzidos. Uma vez que o "dental free-way space " é o espaço vertical natural no repouso entre os arcos dentários mandibulares e maxilares, essa descrição foi incluída.

Em alguns itens do protocolo, além das descrições que constavam da versão original, devidamente traduzidas e adaptadas, foram introduzidos por sugestão do comitê de especialistas a descrição do modo de avaliação das provas de mobilidade, da avaliação do overjet e overbite, bem como os próprios termos em língua inglesa, por serem usados dessa maneira pelos profissionais italianos da área, visando reduzir erros devido a más interpretações dos novos usuários.

Os autores do protocolo original14seguiram de perto todos os estágios do trabalho, dando suas sugestões quando necessário. Cuidados foram tomados pelos autores para a manutenção do objetivo inicial do protocolo.

Teste do instrumento

As características demográficas da amostra são listadas na Tabela 1, incluindo as médias e desvios padrão das idades dos sujeitos avaliados com o protocolo AMIOFE em língua italiana, bem como a proporção dos gêneros. As médias dos escores dos sujeitos com e sem DMO para cada item e para a soma total do protocolo AMIOFE estão na Tabela 2.

Tabela 1: Distribuição dos sujeitos avaliados com o protocolo de Avaliação Miofuncional Orofacial com Escores por sexo e idade (média e desvio padrão) 

Legenda: DP = desvio padrão; Min = mínimo; Max = máximo.

Tabela 2: Avaliação Miofuncional Orofacial com Escores. Idade, escores máximos do protocolo e média ( ± desvio padrão) dos escores dos grupos 

Legenda: Escore máximo = máximo escore possível no protocol AMIOFE; DP = desvio padrão; M = Mulheres; H = Homens; DMO = distúrbio miofuncional orofacial.

A habilidade do protocolo AMIOFE em língua italiana para refletir a condição miofuncional orofacial normal e alterada foi demonstrada pela diferença significante observada entre os grupos com e sem DMO para os escores totais do protocolo (p<0,0001).

Confiabilidade e concordância dos avaliadores: O coeficiente Kappa (Kw ') mostrou uma forte concordância intra e entre examinadores, a confiabilidade entre E1 e E2 foi de 0,91 e o coeficiente de confiabilidade teste-reteste (intra-examinador) foram de 0,92 e 0,89 para E1 e E2, respectivamente.

DISCUSSÃO

Este estudo foi desenvolvido considerando a necessidade de um instrumento válido para a avaliação dos DMOs em língua italiana, cujas escalas numéricas fossem em nível ordinal de mensuração. Os resultados mostraram que a versão italiana do protocolo AMIOFE é adequada e apropriada para a avaliação das características morfológicas e funcionais de sujeitos jovens e adultos italianos. Adicionalmente, durante a avaliação, os sujeitos italianos apresentaram um bom entendimento das tarefas solicitadas.

Para suprir a necessidade de um instrumento com certas características e propriedades numa determinada língua, vários autores sugerem a tradução de instrumentos disponíveis em outras línguas ao invés de criar novos instrumentos. Uma vez que nenhum protocolo clínico deveria ser aplicado diretamente em idioma diferente do seu original, o processo de tradução e validação transcultural é necessário, porque uma simples tradução não leva em conta características linguísticas e culturais19 26.

Para produzir uma versão traduzida equivalente à versão original do instrumento são necessários profissionais especializados que sigam rigorosamente a metodologia21 26 27 28. Neste estudo, uma metodologia rigorosa de adaptação transcultural foi adotada, compreendendo o processo de tradução, retrotradução e versão final20 21. Assim, a equivalência semântica e descrições dos termos foram almejados, pois uma simples tradução literal de palavras pode resultar em interpretações erradas26. Foi tomado cuidado para que o instrumento fosse compreensível e não gerasse distorção ou equívocos22.

Assim, o comitê de especialistas formado por fonoaudiólogos italianos, com experiência em avaliação miofuncional orofacial, apreciaram e relataram suas preocupações, críticas e sugestões ao instrumento. Ademais, sugeriram as descrições de certos termos afim de prover aos novos usuários mais informações sobre o protocolo. Foi consenso entre os membros do comitê que o nome do instrumento (AMIOFE) deveria ser mantido em língua portuguesa.

De fato, o processo de tradução e de adaptação transcultural promove e enriquece o trabalho colaborativo entre pesquisadores de diferentes lugares/contextos sobre um problema particular comum28. Atualmente, vários estudos incluem pesquisadores e populações ao redor do mundo com o objetivo de investigar problemas de saúde.

Semelhanças nos escores totais obtidos com o protocolo AMIOFE em italianos saudáveis e os obtidos com amostras anteriores indicam que nossos objetivos foram alcançados. A pontuação total média obtida em nossos sujeitos italianos (90,53±6,53) é muito próxima da média encontrada na amostra de referência de validação do protocolo para adultos brasileiros (94,62±4,07)4. Portanto, esses valores preliminares podem ser usados como referência para futuros estudos com sujeitos jovens e adultos italianos. A diferença estatística significante quanto ao escore total obtido nos grupos com e sem DMO reflete a validade de construto do protocolo AMIOFE para a língua italiana, ou seja, a sua capacidade para discriminar os sujeitos quanto à presença de DMO3 29.

Um estudo de validação também requer a estimativa da confiabilidade, que pode ser definida como a extensão pela qual a medida reflete o verdadeiro resultado29. Em nosso estudo, a versão italiana do protocolo AMIOFE foi confiável quando avaliações tanto inter quanto intra-avaliadores foram comparadas.

Apesar da aparente facilidade de uso do protocolo AMIOFE, é essencial que o examinador conheça a anatomia e fisiologia do sistema estomatognático, os padrões de normalidade das funções, bem como as alterações e possíveis desordens3. Além disso, antes de sua aplicação, um treinamento uniforme para todos os profissionais que utilizarão o instrumento deve ser realizado13. Quando o examinador é treinado e o estudo é conduzido com metodologia controlada e adequada, sem dúvida aumenta os níveis de correlação entre as avaliações e a concordância destas13.

O presente estudo consistiu da primeira fase de validação do protocolo AMIOFE como um instrumento de medida das funções e comportamentos orofaciais em sujeitos italianos. Estudos futuros são necessários para garantir que características psicométricas, como a sensibilidade e a especificidade, e a validade de critério e de construto do instrumento tenham sido mantidas3 14 e, ademais, para determinar a consistência interna e valores normativos para a população italiana com um público mais amplo. Contudo, as novas etapas não seriam possíveis sem a etapa apresentada no estudo atual. Os mesmos procedimentos deveriam ser adotados para outras escalas e instrumentos na área da Fonoaudiologia24 25.

O protocolo AMIOFE em língua italiana permite ao examinador expressar numericamente sua percepção das características e comportamentos orofaciais observados e pode ser administrado sem o uso de equipamentos especiais e de maneira breve4, como nas outras versões do protocolo original13. O instrumento possui aplicabilidade clínica e em pesquisas; portanto, é potencialmente útil para os fonoaudiólogos que realizam avaliação miofuncional orofacial.

CONCLUSÃO

A versão italiana do protocolo AMIOFE foi traduzida e adaptada transculturalmente. Os escores totais do protocolo AMIOFE apresentados pelos indivíduos italianos jovens e adultos sem DMO foram próximos aos descritos anteriormente com as mesmas características. O instrumento se mostrou útil e confiável para avaliação do sistema estomatognático nessa população.

REFERÊNCIAS

1. Mason RM. A retrospective and prospective view of orofacial myology. Int J Orofacial Myology. 2005;31:5-14.
2. Ohrbach R, Larsson P, List T. The jaw functional limitation scale: development, reliability, and validity of 8-item and 20-item versions. J Orofac Pain. 2008;22(3):219-30.
3. De Felício CM, Medeiros APM, de Oliveira Melchior M. Validity of the 'protocol of oro-facial myofunctional evaluation with scores' for young and adult subjects. J Oral Rehabil. 2012;39(10):744-53.
4. De Felício CM, Ferreira CL, Medeiros APM, Rodrigues da Silva MA, Tartaglia GM, Sforza C. Electromyographic indices, orofacial myofunctional status and temporomandibular disorders severity: A correlation study. J Electromyogr Kinesiol. 2012;22:266-72.
5. American Speech and Hearing Association (ASHA) (2004) [Internet]. Rockville MD. Evidence-based practice in communication disorders: an introduction. Technical Report 2004. [cited 2004 Aug] Available from: Available from: .
6. Stahl F, Grabowski R, Gaebel M, Kundt G. Relationship between occlusal findings and orofacial myofunctional status in primary and mixed dentition. Part II: Prevalence of orofacial dysfunctions. J Orofac Orthop. 2007;68(2):74-90.
7. Valera FC, Trawitzki LV, Anselmo-Lima WT. Myofunctional evaluation after surgery for tonsils hypertrophy and its correlation to breathing pattern: a 2-year-follow up. Int J Pediatr Otorhinolaryngol. 2006;70(2):221-5.
8. Marchesan IQ. Protocol of orofacial myofunctional evaluation. In: Krakauer LH, Di Francesco RC, Marchesan IQ. Oral Breathing. São José dos Campos: Pulso; 2003; p. 155-179.
9. Folha GA, Valera FC, de Felício CM. Validity and reliability of a protocol of orofacial myofunctional evaluation for patients with obstructive sleep apnea. Eur J Oral Sci. 2015;123(3):165-72.
10. Bennett J, van Lieshout P, Steele C. Tongue control for speech and swallowing in healthy younger and older subjects. Int J Orofacial Myology. 2007;33:5-18.
11. Ercolin B, Sassi FC, Mangilli LD, Mendonça LI, Limogi SC, de Andrade CR. Oral motor movements and swallowing in patients with myotonic dystrophy type 1. Dysphagia. 2013;28(3):446-54.
12. Paskay LC. Instrumentation and measurement procedures in orofacial myology. Int J Orofacial Myology. 2006;32:37-57.
13. Felício CM, Folha GA, Ferreira CL, Medeiros APM. Expanded protocol of orofacial myofunctional evaluation with scores: Validity and reliability. Int J Pediatr Otorhinolaryngol. 2010;74(11):1230-9.
14. Felício CM, Ferreira CL Protocol of orofacial myofunctional evaluation with scores. Int J Pediatr Otorhinolaryngol. 2008;72(3):367-75.
15. De Felício CM, Sidequersky FV, Tartaglia GM, Sforza C. Electromyographic standardized indices in healthy Brazilian young adults and data reproducibility. J Oral Rehabil. 2009;36(8):577-83.
16. Mangilli LD, Sassi FC, Sernik RA, Tanaka C, Andrade CR. Electromyographic and ultrasonographic characterization of masticatory function in individuals with normal occlusion. J Soc Bras Fonoaudiol. 2012;24(3):211-7.
17. Berlese DB, Copetti F, Weimmann ARM, Ferreira PF, Haefffner LSB. Myofunctional characteristics and electromyographic of obese children and adolescents. Rev CEFAC. 2013;15(4):913-21.
18. Maffei C, Garcia P, de Biase NG, de Souza Camargo E, Vianna-Lara MS, Grégio AM, et al. Orthodontic intervention combined with myofunctional therapy increases electromyographic activity of masticatory muscles in patients with skeletal unilateral posterior crossbite. Acta Odontol Scand. 2014;72(4):298-303.
19. Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine. 2000;25(24):3186-91.
20. Wild D, Grove A, Martin M, Eremeco S, McElroy S, McElroy S, et al. Principles of Good Practice for the Translation and Cultural Adaptation Process for Patient-Reported Outcomes (PRO) Measures: report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health. 2005;8(2):94-104.
21. Magalhães Junior HV, Pernambuco LA, de Souza LBR; Ferreira MAF; de Lima KC. Tradução e adaptação transcultural do Northwestern Dysphagia Patient Check Sheet para o português brasileiro. CoDAS. 2013;25(4):369-74.
22. Segù M, Collesano V, Lobbia S, Rezzani C. Cross-cultural validation of a short form of the Oral Health Impact Profile for temporomandibular disorders. Community Dent Oral Epidemiol. 2005;33(2):125-30.
23. Pereira LM, Dias JM, Mazuquin BF, Castanhas LG, Menacho MO, Cardoso JR. Translation, cross-cultural adaptation and analysis of the psychometric properties of the lower extremity functional scale (LEFS): LEFS- BRAZIL. Braz J Phys Ther. 2013;17(3):272-80.
24. Mozzanica F, Urbani E, Atac M, Scottà G, Luciano K, Bulgheroni C, et al. Reliability and validity of the Italian nose obstruction symptom evaluation (I-NOSE) scale. Eur Arch Otorhinolaringol. 2013;270(12):3087-94.
25. Schindler A, Mozzanica F, Monzani A, Ceriani E, Atac M, Jukic-Peladic N, et al. Reliability and validity of the Italian Eating Assessment Tool. Ann Otol Rhinol Laryngol. 2013;122(11):717-24.
26. Beck CT, Bernal H, Froman RD. Methods to document semantic equivalence of a translated scale. Res Nurs Health. 2003;26(1):64-73.
27. Giusti E, Befi-Lopes DM. Translation and cross-cultural adaptation of instruments to the Brazilian Portuguese language. Pró-Fono R Atual Cient. 2008;20(3):207-10.
28. Bolaños-Medina A. The key role of the translation of clinical trial protocols in the university training of medical translators. Journal S Trans. 2012;17:17-36.
29. Menezes PR, Nascimento AF. Validity and reliability of rating scales in psychiatry. In: Gorenstein C, Andrade LHS, Zuardi AW. Rating scales in psychiatry and clinical psychopharmacology. São Paulo: Lemos; 2000. p. 23-28.
Política de Privacidade. © Copyright, Todos os direitos reservados.