Compartilhar

Confiabilidade do Teste dos Cinco Dígitos em adultos brasileiros

Confiabilidade do Teste dos Cinco Dígitos em adultos brasileiros

Autores:

Maene Cristina Campos,
Mariane Lacerda da Silva,
Natália Costa Florêncio,
Jonas Jardim de Paula

ARTIGO ORIGINAL

Jornal Brasileiro de Psiquiatria

versão impressa ISSN 0047-2085versão On-line ISSN 1982-0208

J. bras. psiquiatr. vol.65 no.2 Rio de Janeiro abr./jun. 2016

http://dx.doi.org/10.1590/0047-2085000000114

ABSTRACT

Objective

This study examined the reliability test of the Five Digits (FDT), an assessment tool of attentional processes based on Stroop paradigm. The test uses numbers and quantities for the assessment of attentional interference effect.

Methods

We assessed 49 Brazilian adults through FDT. Participants performed the test on two occasions, about two weeks apart. The test reliability was estimated by internal consistency (split-half method) and the evaluation of test-retest stability (intraclass correlation coefficient and Wilcoxon test for repeated measures).

Results

The mean response time of the participants showed a slight improvement in the simpler test measures and more pronounced in the more complex ones. The internal consistency of the test was 0.9. The test-retest stability varied depending on the test stage, where all correlations were significant (p < 0.01) and explained between 60% and 90% of the explained variance.

Conclusion

FDT provides robust evidence of reliability of the sample investigated. This was the first Brazilian study to evaluate this property by test-retest method. The results provide a better applicability of FDT in clinical and research settings.

Key words: Attention; executive functions; Stroop test; neuropsychological assessment; psychological assessment

INTRODUÇÃO

A avaliação neuropsicológica tem se mostrado uma ferramenta importante na clínica em saúde mental. Esse procedimento por vezes envolve o uso de testes padronizados para a avaliação de funções mentais específicas e suas relações com o sistema nervoso central. De forma a garantir sua adequação ao contexto clínico, os testes neuropsicológicos devem apresentar propriedades psicométricas adequadas ao seu uso1.

Um dos aspectos a serem avaliados com respeito às propriedades psicométricas dos testes neuropsicológicos é a precisão, ou confiabilidade. Essa propriedade indica o quanto determinada medida permanece estável entre diferentes mensurações1. Um tipo de análise dessa propriedade é o método teste-reteste, que consiste em calcular a correlação entre os escores obtidos, pelo mesmo sujeito, em duas ou mais ocasiões diferentes. Alguns testes acarretam efeito de aprendizagem decorrente do uso de um mesmo instrumento em mais de uma ocasião, o que pode atenuar diferenças reais entre os dois momentos da avaliação1. A estimativa dessa propriedade é relevante nos contextos clínico e de pesquisa, visto que em delineamentos de natureza longitudinal um mesmo sujeito é avaliado mais de uma vez pelo mesmo instrumento.

O Teste dos Cinco Dígitos (Five Digits Test – FDT)2 é um instrumento utilizado para avaliar o efeito de interferência atencional (efeito Stroop), utilizando informações conflitantes sobre números e quantidades. O cérebro humano seleciona preferencialmente alguns estímulos ambientais com base em sua história filogenética (alguns estímulos são naturalmente mais atrativos que outros, como as faces, as cores, diferenças entre tonalidades, movimentos, animais ou outros seres humanos) e ontogenética (a exposição repetida a um estímulo e sua valência pessoal ou emocional para o sujeito o torna prioritário no sistema atencional), conforme detalhado em outros estudos3,4. O efeito de interferência ocorre quando duas informações conflitantes sobre o mesmo estímulo devem ser processadas e a menos automática ou intuitiva, selecionada5.

A avaliação do efeito de interferência atencional é de particular relevância no contexto da psiquiatria e psicologia clínica. O controle de interferência é um processo do sistema de controle inibitório6, um aspecto central das funções executivas. Déficits nesses processos são comuns em diferentes transtornos mentais, incluindo transtorno do déficit de atenção e hiperatividade7, transtorno bipolar8 e esquizofrenia9. O comprometimento dessa função é relacionado a piores desfechos funcionais no dia a dia, e o sujeito encontra-se mais propenso a cometer falhas ou erros atencionais10 e tem pior qualidade de vida11 e maior probabilidade de comportamentos impulsivos12.

Dada a relevância do controle de interferência para a clínica em psiquiatria e psicologia, o objetivo deste estudo é avaliar a estabilidade teste-reteste do FDT, um instrumento simples e de fácil acesso a profissionais brasileiros, em uma amostra de participantes adultos.

MÉTODOS

Participantes

Participaram do estudo 49 adultos residentes no estado de Minas Gerais. Todos possuíam o português brasileiro como idioma primário, não relataram transtornos psiquiátricos ou doenças neurológicas em uma entrevista não estruturada, não estavam em uso de substâncias psicoativas que poderiam afetar seu funcionamento cognitivo e não possuíam limitações motoras ou sensoriais que poderiam afetar diretamente o estudo.

Os participantes foram convidados ao estudo por meio da rede de contatos pessoais dos pesquisadores, sendo, portanto, uma amostra de conveniência. Eles apresentavam em média 29,8 (±9,5) anos de idade e educação média ou universitária, e eram predominantemente mulheres (82%). Todos assinaram um termo de consentimento quanto à participação na pesquisa, que foi previamente aprovado pelo Comitê de Ética em Pesquisa do Hospital Universitário São José (CAAE 30452214.2.0000.5134). O estudo está em acordo com a Declaração de Helsinki e foi parte do trabalho de conclusão de curso das três primeiras autoras do manuscrito.

Avaliação com o Teste dos Cinco Dígitos

O FDT foi desenvolvido por Manuel Sedó2, com a intenção de avaliar em qualquer idioma a velocidade de processamento, as funções executivas e o funcionamento atencional de pacientes com diferentes condições clínicas. Ele usa as rotinas de leitura e contagem de números. É um teste multilíngue de funções cognitivas, que se baseia em conhecimentos linguísticos mínimos: a leitura dos dígitos de 1 a 5, a contagem de quantidades de 1 a 5, a capacidade em ignorar uma rotina de processamento automática (leitura) para uma controlada (contagem) em estímulos incongruentes e a capacidade de alternar dinamicamente entre processos de leitura e contagem.

O FDT possui quatro etapas: leitura, contagem, escolha e alternância. As duas primeiras são medidas de atenção automática, velocidade de processamento e as duas últimas, de atenção controlada, atenção executiva. A figura 1, adaptada com autorização de Magalhães13, expõe a estrutura do teste. Estudos com populações clínicas sugerem que a desregulação do controle de interferência característica dos transtornos mentais e de algumas doenças neurológicas pode ser documentada com o FDT. Até o momento encontramos estudos com pacientes diagnosticados com transtorno bipolar8, depressão14, transtorno neurocognitivo14,15, abuso de substâncias16, acidente vascular encefálico17 e obesidade18.

Figura 1 Estrutura do Teste dos Cinco Dígitos (adaptada com autorização de Magalhães13). 

A fase da Leitura é a mais simples e apresenta dígitos em quantidades que correspondem exatamente a seus valores (ou seja, um 1, dois 2, três 3...), e nela o indivíduo deve reconhecer e nomear um dos números. A fase de Contagem apresenta grupos de um a cinco asteriscos, e o indivíduo deve reconhecer o “conjunto” e contar o número de asteriscos existentes. Na Leitura e Contagem, portanto, as respostas representam ações automáticas e são determinadas pelos estímulos que se apresentam ao indivíduo. Nenhuma das duas operações básicas requer um grande esforço intencional por parte do indivíduo, sendo estimativas do funcionamento dos processos atencionais automáticos do sujeito e da sua velocidade de processamento2.

Na fase de Escolha o indivíduo deve executar ações controladas e conscientes que o obrigam a mobilizar um nível superior de recursos mentais3,4,8. Na fase de Escolha o sujeito deve inibir a leitura dos números apresentados e dizer quantos números existem em cada estímulo, apresentados dessa vez de forma incongruente (quando o sujeito encontra 2-2-2, deve dizer “três”, ou quando encontra 1-1-1-1, deve dizer “quatro”).

Por fim, na fase de Alternância, um de cada cinco grupos de dígitos é delimitado por uma borda mais grossa. Nesses estímulos, é ordenado ao indivíduo que alterne entre duas operações, contando 80% dos itens (como em Escolha), mas quebrando essa rotina nos estímulos com a borda mais grossa, devendo ele apenas ler um dos números (como em Leitura). A adição desse processo reduz a automatização das rotinas atencionais controladas e aumenta a demanda executiva do teste, sobretudo para o mecanismo de flexibilidade cognitiva.

Os participantes realizaram o FDT conforme a aplicação recomendada pelo manual do teste2,19. As avaliações ocorreram na residência dos participantes ou em outros locais sem interferência sonora ou de outra natureza que pudesse afetar a aplicação do teste. Como medidas, foram adotadas as quatro variáveis principais do teste (tempos de leitura, contagem, escolha e alternância), além de dois índices executivos (inibição e flexibilidade). Nas quatro situações do teste, esses dois últimos índices fornecem informações sobre alguns processos mentais. Algumas delas podem ser particularmente relevantes para os diagnósticos neuropsicológicos:

  1. Velocidade de Processamento (tempos de leitura e contagem);

  2. Controle Inibitório/Atenção Seletiva (tempos de escolha e inibição);

  3. Flexibilidade Cognitiva/Atenção Alternada (tempos alternância e flexibilidade).

Os participantes do estudo realizaram o FDT em duas ocasiões, com intervalo de 10 a 35 dias entre elas. O procedimento foi realizado sempre pelo mesmo aplicador e em condições de testagem semelhantes.

Análise dos dados

A distribuição dos dados foi analisada pelo teste de Kolmogorov-Smirnov. A maior parte dos dados apresentou distribuição não paramétrica e, sendo assim, foram adotados procedimentos de análise paramétrica tradicional. As características da amostra e os resultados obtidos pelos participantes no FDT foram analisados por meio de estatística descritiva (percentis 25, 50 e 75) de cada variável. Como o teste é expresso pelo tempo em segundos necessário a completar cada etapa da tarefa, invertemos os valores de cada percentil para melhor interpretação.

A análise da confiabilidade do FDT foi realizada primeiro pelo cálculo da consistência interna. Essa propriedade representa o grau de associação apresentado pelos diferentes componentes do FDT. Calculou-se sua consistência interna pelo método das metades (Split-Half). O delineamento proposto tem por objetivo equilibrar as duas metades a serem analisadas em termos do tipo de processo atencional associado. O procedimento foi estruturado da seguinte forma:

Metade 1: Tempo de Leitura, Tempo de Escolha, Tempo de Flexibilidade.

Metade 2: Tempo de Contagem, Tempo de Alternância, Tempo de Inibição.

Para a avaliação da confiabilidade teste-reteste, realizamos o teste de Wilcoxon, que compara a distribuição dos dados de uma mesma amostra avaliada mais de uma vez, e utilizamos coeficiente de correlação intraclasse. O nível de significância das análises foi estabelecido em 0,05.

RESULTADOS

As primeiras análises estão relacionadas à consistência interna do FDT. Os dados relativos ao coeficiente das metades sugerem consistência interna elevada para o FDT (0,92). Considerando o reteste da tarefa, os resultados são muito semelhantes, e o coeficiente de consistência interna mantém-se elevado (0,94).

As comparações entre a primeira e a segunda aplicação do FDT são expostas na tabela 1 e na figura 2. Nota-se efeito de aprendizagem discreto nas etapas de leitura e contagem, mas mais expressivo nas etapas de escolha e alternância. Um perfil intermediário foi encontrado nos tempos de inibição e flexibilidade.

Tabela 1 Descrição do desempenho dos participantes nas etapas de teste e reteste do FDT, correlações e comparações entre as médias dos dois momentos 

Etapa Teste Reteste Z1 CCI


pc.25 pc.50 pc.75 pc.25 pc.50 pc.75
Leitura 20 21 24 17 21 23 -2,99** 0,87**
Contagem 23 25 28 20 23 26 -4,08** 0,90**
Escolha 32 36 40 29 32 37 -4,24** 0,87**
Alternância 39 44 50 35 38 50 -2,62** 0,70**
Inibição 11 13 17 9 12 16 -2,64* 0,84**
Flexibilidade 17 23 27 15 19 27 -1,54 0,60**

1 Teste de Wilcoxon. * p < 0,05, ** p < 0,01. pc.: percentil; CCI: coeficiente de correlação intraclasse.

Figura 2 Mudanças na mediana do tempo (em segundos) de cada medida do FDT entre as etapas de teste e reteste. 

De forma a aproximar esses resultados do contexto clínico, desenvolvemos uma plataforma online em que os leitores e pesquisadores interessados podem usar os resultados de confiabilidade apresentados neste estudo como base para o cálculo do índice de mudança clínica confiável. Ela pode ser acessada na guia serviços/testes neuropsicológicos do site www.labepneuro.com.

DISCUSSÃO

A análise de consistência interna do FDT, realizada por meio do método das metades, resultou em alta consistência interna, sugerindo que as variáveis do teste são fortemente interacionadas nessa população, uma evidência de confiabilidade. Para a avaliação de outro aspecto dessa propriedade psicométrica, foi analisada a estabilidade do teste-reteste, sendo encontrado efeito de aprendizagem em parte das medidas do teste. O efeito, contudo, foi relativamente discreto, sugerindo certa estabilidade do teste-reteste.

No estudo de Oliveira et al.20, os pesquisadores computaram a consistência interna do teste usando o mesmo método acima, em 540 adultos saudáveis. Eles organizaram o modelo da seguinte forma: primeira metade – Tempo e Erros de Leitura, Tempo e Erros de Escolha, Escore de Interferência Inibição; segunda metade – Tempo e Erros de Contagem, Tempo e Erros de Alternância, Escore de Interferência Flexibilidade. Seus resultados indicaram boa consistência interna, com coeficiente final de 0,88. O manual espanhol do FDT reporta coeficientes semelhantes, entre 0,89 e 0,95, em uma amostra mista de adultos hígidos na Espanha e em pacientes norte- -americanos com acidente vascular encefálico. Em síntese, os coeficientes de consistência interna reportados no presente estudo encontram correlato em outros estudos brasileiros e internacionais, com adultos saudáveis e grupos clínicos nos quais o FDT apresenta consistência interna elevada.

Verificamos, por meio deste estudo preliminar, que o FDT apresenta boa confiabilidade, mediante análise realizada por dois métodos independentes. Nossos resultados são muito semelhantes ao único estudo disponível sobre o tema de nosso conhecimento, proposto por Chiu et al.21. Esses autores avaliaram a confiabilidade do teste-reteste do FDT em pacientes com acidente vascular encefálico, sendo quatro aplicações com intervalos de duas semanas entre cada uma. A confiabilidade reportada pelos autores variou entre 0,59 e 0,97, muito próxima à de nosso estudo, que variou entre 0,60 e 0,90. Os resultados se igualam ainda aos de outros estudos que avaliaram a confiabilidade de paradigmas de interferência utilizando outras interfaces22-24. Estudos reportam maior efeito de aprendizagem nos componentes controlados do teste, sugerindo que eles são mais suscetíveis ao aprendizado e que as medidas de velocidade de processamento simples tendem a ser mais estáveis1,23,24.

Os resultados, contudo, apresentam limitações importantes. Primeiramente, embora o tamanho amostral seja adequado para as análises propostas, ele não é representativo da população brasileira como um todo. Os participantes também não foram divididos de forma proporcional às expectativas etárias, de escolaridade ou de proporção entre homens e mulheres da população brasileira, o que pode enviesar as análises realizadas, sobretudo as relativas à interferência dos fatores demográficos no desempenho do teste. Dessa forma, os resultados apresentados aqui podem não ser generalizáveis para participantes mais velhos ou mais novos e de diferentes níveis escolares.

CONCLUSÃO

Os resultados do presente estudo sugerem que o FDT apresenta evidências de confiabilidade para uso em adultos brasileiros. Encontramos redução no tempo de execução na segunda aplicação, sugerindo discreto efeito de aprendizagem. Novos estudos devem investigar outras propriedades psicométricas e, sobretudo, testar sua adequação na perspectiva neuropsicológica, trabalhando com amostras clínicas e testando seus correlatos anatomoclínicos.

REFERÊNCIAS

1. Strauss E, Sherman EMS, Spreen O. A compendium of neuropsychological tests: administration, norms, and commentary 3rd ed. New York: Oxford University Press; 2006.
2. Sedó M. Test de Los Cinco Dígitos. Madrid: TEA Ediciones; 2007.
3. Posner MI, Rothbart MK. Research on attention networks as a model for the integration of psychological science. Annu Rev Psychol. 2007;58:1-23.
4. MacLeod CM. Half a century of research on the Stroop effect: an integrative review. Psychol Bull. 1991;109(2):163-203.
5. Stroop JR. Studies of interference in serial verbal reactions. J Exp Psychol. 1935;18:643-62.
6. Diamond A. Executive functions. Annu Rev Psychol. 2013;64:135-68.
7. Lansbergen MM, Kenemans JL, van Engeland H. Stroop interference and attention-deficit/hyperactivity disorder: a review and meta-analysis. Neuropsychology. 2007;21(2):251-62.
8. de Paula JJ, Abrantes S, Neves FS, Malloy-Diniz LF. The five digits test on the assessment of psychiatric patients with heterogeneous educational backgrounds: Evidences of validity on the assessment of bipolar disorder. Clin Neuropsychiatry. 2014;11(3):103-7.
9. Westerhausen R, Kompus K, Hugdahl K. Impaired cognitive inhibition in schizophrenia: a meta-analysis of the Stroop interference effect. Schizophr Res. 2011;133(1-3):172-81.
10. Paiva GC, Fialho MB, Costa DS, Paula JJ. Ecological validity of the five digit test and the oral trails test. Arq Neuropsiquiatr. 2016;74(1):29-34.
11. Cotrena C, Branco LD, Shansis FM, Fonseca RP. Executive function impairments in depression and bipolar disorder: association with functional impairment and quality of life. J Affect Disord. 2016;190:744-53
12. Malloy-Diniz L, Fuentes D, Leite WB, Correa H, Bechara A. Impulsive behavior in adults with attention deficit/hyperactivity disorder: characterization of attentional, motor and cognitive impulsiveness. J Int Neuropsychol Soc. 2007;13(4):693-8.
13. Magalhães SS. Estrutura fatorial do controle inibitório no envelhecimento: comparação entre amostras de adultos e idosos [dissertação]. Curitiba: Universidade Federal do Paraná; 2013.
14. Paula JJ, Ávila RT, Costa DS, Moraes EN, Bicalho MA, Nicolatto R, et al. Assessing processing speed and executive functions in low educated older adults: the use of the Five Digit Test in patients with Alzheimer’s disease, mild cognitive impairment and major depressive disorder. Clin Neuropsychiatry. 2011;8(6):339-46.
15. Paula JJ, Querino EH, Oliveira TD, Sedó M, Malloy-Diniz LF. Transcultural issues on the assessment of executive functions and processing speed in older adults with low formal education: Usefulness of the Five Digits Test in the assessment of dementia. Geriatr Gerontol Int. 2015;15(3):388-9.
16. Verdejo-García A, Pérez-García M. Profile of executive deficits in cocaine and heroin polysubstance users: common and differential effects on separate executive components. Psychopharmacology (Berl). 2007;190(4):517-30.
17. Lin GH, Lu Y, Wu CT, Chiu EC, Huang SL, Hsueh IP, et al. Psychometric properties of the Five-Digit Test in patients with stroke. Disabil Rehabil. 2016;38(1):97-102.
18. Blanco-Gómez A, Ferré N, Luque V, Cardona M, Gispert-Llauradó M, Escribano J, et al. Being overweight or obese is associated with inhibition control in children from six to ten years of age. Acta Paediatr. 2015;104(6):619-25.
19. Sedó M, de Paula JJ, Malloy-Diniz LF. O Teste dos Cinco Dígitos. São Paulo: Hogrefe; 2015.
20. Oliveira TDO, Malloy-Diniz LF, Magalhães S, Costa DS, Lacerda SR, Querino EHG, et al. Propriedades psicométricas do Teste dos Cinco Dígitos para o contexto brasileiro: estudo preliminar com a população adulta. In: I Congresso da Sociedade Brasileira de Neuropsicologia Jovem. Disponível em: <.
21. Chiu EC, Koh CL, Tsai CY, Lu WS, Sheu CF, Hsueh IP, et al. Practice effects and test-re-test reliability of the Five Digit Test in patients with stroke over four serial assessments. Brain Inj. 2014;28(13-14):1726-33.
22. Delis DC, Kaplan E, Kramer JH. Delis-Kaplan executive function system. San Antonio: The Psychological Corporation; 2001.
23. Franzen MD, Tishelman AC, Sharp BH, Friedman AG. An investigation of the test-retest reliability of the Stroop Color-Word Test across two intervals. Arch Clin Neuropsychol. 1987;2(3):265-72.
24. Franzen MD. Reliability and validity in neuropsychological assessment. 2nd ed. New York: Kluwer Academic/Plenum Publishers; 2000.