O uso do Mini-Exame do Estado Mental em pesquisas com idosos no Brasil: uma revisão sistemática

O uso do Mini-Exame do Estado Mental em pesquisas com idosos no Brasil: uma revisão sistemática

Autores:

Denise Mendonça de Melo,
Altemir José Gonçalves Barbosa

ARTIGO ORIGINAL

Ciência & Saúde Coletiva

versão impressa ISSN 1413-8123versão On-line ISSN 1678-4561

Ciênc. saúde coletiva vol.20 no.12 Rio de Janeiro dez. 2015

http://dx.doi.org/10.1590/1413-812320152012.06032015

Abstract

The Mini-Mental State Examination (MMSE) is the most widely used cognitive screening test around the world. In Brazil, different MMSE versions and many cut-off points have been used. A systematic review of papers indexed in Scielo was conducted in order to analyze use of the MMSE in Brazilian empirical studies with elderly people. To search for these texts, the complete name of the instrument and its abbreviation were used. A growth trend in the scientific production during the 1998 to 2013 period was observed. Eleven versions of the MMSE were identified and the Bertolucci et al. version was the most cited. Over half of the studies used schooling as the criteria to establish cut-off points. The studies were predominantly conducted using samples recruited from large cities in the Southeastern region and in the community. Despite the growing trend of research with the elderly using the MMSE, the psychometric properties of this scale of measurement have been the subject of little investigation. Despite the widespread use of the MMSE in Brazil, there is a lack of standardization and evidence of validity for this this scale of measurement.

Key words: Evaluation; Cognition; Elderly people; Systematic review

Introdução

O Mini Exame do Estado Mental (MEEM) foi desenvolvido nos Estados Unidos da América e publicado em 19751. O objetivo do instrumento era o de avaliar o estado mental, mais especificamente sintomas de demência. Sua criação derivou da necessidade de uma avaliação padronizada, simplificada, reduzida e rápida no contexto clínico.

A aplicação piloto foi efetuada em pacientes psiquiátricos hospitalizados e naqueles atendidos em ambulatório neurogeriátrico. Após um estudo de caso-controle (N = 132) com pacientes psiquiátricos (n = 69), ou seja, casos [com demência (n = 29), com depressão e perdas cognitivas (n = 10) e com depressão sem perdas cognitivas (n = 30)], e idosos “normais”, isto é, não casos ou controles (n = 63), e uma investigação clínica (N = 137), também realizada com pacientes psiquiátricos, os autores chegaram a um instrumento abreviado, com evidências de validade e fidedignidade, de aplicação simples e rápida e passível de ser aplicado após um treinamento também simples e rápido.

As evidências de validade iniciais foram baseadas na relação com variáveis externas. Na derivação de evidências de validade de critério, o MEEM discriminou o estado mental dos quatro grupos que compuseram o estudo de caso-controle. Como evidências de validade convergente, foram obtidas correlações positivas com a WAIS (Wechsler Adult Intelligence Scale). A fidedignidade foi aferida a partir da estabilidade dos resultados em situação de teste-reteste, com um intervalo de 24 horas e de 28 dias entre as aplicações do instrumento.

O MEEM original é composto por duas seções que medem funções cognitivas. A primeira seção contem itens que avaliam orientação, memória e atenção, totalizando 21 pontos; a segunda mede a capacidade de nomeação, de obediência a um comando verbal e a um escrito, de redação livre de uma sentença e de cópia de um desenho complexo (polígonos), perfazendo nove pontos. O escore total é de 30 pontos baseados em itens dicotômicos. Os pontos de corte 23/24 são usados por recomendação de Folstein et al.1, como sugestivos de déficit cognitivo. Estes autores não apresentam pontos de corte baseados na idade, escolaridade e nem no diagnóstico, discrepando do que é corrente em vários países, inclusive no Brasil.

O MEEM alcançou grande popularidade devido ao seu uso em um importante estudo epidemiológico sobre saúde mental do início da década de 19802National Institute of Mental Health Epidemiologic Catchment Area Program Surveys – que permitiu propor escores de corte, sugestivos de déficit cognitivo, relacionados à idade e à escolaridade: 29 para pessoas com 18 a 24 anos, e 25 para indivíduos com 80 anos e mais; 29 para pessoas com pelo menos nove anos de escolaridade, 26 para aqueles com cinco a oito anos de escolaridade, e 22 para os com zero a quatro anos de escolaridade3,4. A ampla aceitação do instrumento pelas comunidades científica e clínica deveu-se à sua praticidade e à amplitude da avaliação que realiza5.

Atualmente, o MEEM é o teste de rastreio cognitivo para pessoas adultas e idosas mais utilizado no mundo. Existem versões traduzidas e autorizadas para mais de 35 países6,7. É considerado um “teste de cabeceira” para psiquiatras, neurologistas, geriatras e psicólogos do envelhecimento6. Sua publicação original é o trabalho mais citado em revistas neurocientíficas e, provavelmente, o artigo mais citado na história das ciências da saúde7. No âmbito da pesquisa tem sido usado individualmente ou como parte integrante de baterias de avaliação neuropsicológica8.

Além da versão padrão, que foi aprimorada, dando origem ao Mini Mental State Examination-2 (MMSE-2), há, atualmente, mais duas versões dessa medida: uma abreviada – Micro Mental – com 16 itens, e outra expandida para 90 itens, todas desenvolvidas pelos autores originais9. Não foi identificado o uso dessas três versões no Brasil, mas em seu primeiro formato, o instrumento continua habilitado10. Existe, ademais, uma versão do MMSE para aplicação por telefone11, incluindo uma versão brasileira12. Desde o final da década de 198013, têm sido usadas versões traduzidas do MMSE original e adaptadas para as peculiaridades da população idosa brasileira, nos contextos clínicos e de pesquisa13-18.

Até o momento, não há consenso quanto aos pontos de corte para declínio cognitivo no Brasil. A escolaridade tem recebido atenção especial, sendo alvo de análises efetuadas com diferentes amostras, visando-se principalmente a adequação dos pontos de corte.

No final da década de 198013, uma versão do MEEM em língua portuguesa foi proposta como instrumento de avaliação das funções cognitivas, destinada a pessoas idosas com mais de oito anos de escolaridade adquirida nos primeiros anos de vida. Foi estabelecido, como indicativo de declínio cognitivo, um escore igual ou inferior a 23 pontos. Pontuações entre 24 e 26 foram denominadas como “possibilidade de dúvidas”. A inclusão nos limites de normalidade ocorreria quando a pessoa atingisse 27 ou mais pontos. Salienta-se que alguns itens do MEEM original foram modificados a partir da tradução.

Seabra et al.18 também traduziram o MEEM para a língua portuguesa e consideraram que alguns itens não eram adequados para a cultura brasileira, propondo modificações. Aplicaram o instrumento em 20 pessoas sem escolaridade, 20 pessoas com ensino superior e 33 pacientes psiquiátricos. Obtiveram índice de concordância de 85% na reprodutibilidade entre duas aplicações nos grupos e observaram alterações dos escores do exame em pessoas menos escolarizadas, suscitando atenção para possibilidades de falsos positivo para demência.

Após estudo com 530 indivíduos oriundos de ambiente hospitalar, ambulatorial e sem patologias diagnosticadas, com 15 ou mais anos de idade, Bertolucci et al.14 analisaram o impacto da escolaridade no escore total do MEEM. Para tanto, utilizaram uma versão traduzida e adaptada desse instrumento, a fim de que os itens se tornassem mais apropriados para a população brasileira. Esta é a primeira versão do MEEM no Brasil a propor análises de base populacional. Ajustaram-se os pontos de corte sugestivos de déficit cognitivo para intervalos determinados com base na educação formal: para analfabetos, 13 pontos; para indivíduos com baixa ou média escolaridade, 18 pontos; e, para aqueles com alto nível de escolarização, 26 pontos. Os autores concluíram que o nível educacional é o principal preditor do desempenho do MEEM e, por isso, não recomendam a adoção de um único escore para sugestão de déficit cognitivo, sendo, portanto, imperativa a estratificação por níveis ou anos de escolaridade, para que se evitem falsos positivos e falsos negativos.

Almeida19 avaliou 211 pacientes atendidos em ambulatório de saúde mental, com 60 ou mais anos, por meio do MEEM. Seus resultados permitiram que se reiterasse que a medida sofre influência da escolaridade e da idade. Os pontos de corte 19/20 foram indicados como adequados para sugestão de demência para idosos sem escolaridade. Para idosos com histórico escolar prévio, o recomendado seria 23/24 pontos.

Em estudo epidemiológico para identificar suspeita de demência por meio da versão do MEEM, adaptada por Bertolucci et al.14, Caramelli e Nitrini20 preocuparam-se em ajustar as notas de corte em função da escolaridade. A partir de suas análises, propuseram, como ponto de corte, o escore 18 para analfabetos, 21 para aqueles com escolaridade entre um e três anos, 24 para indivíduos entre quatro e sete anos de educação formal, e 26 para pessoas com mais de sete anos de escolaridade.

Com base em uma pesquisa com 433 indivíduos saudáveis sem queixas de memória, com idade entre 16 e 92 anos, Brucki et al.16apresentaram sugestões para aplicação uniforme do MEEM no Brasil, bem como para uso homogêneo com vistas à comparação de resultados entre estudos. Os pesquisadores utilizaram a adaptação do MEEM de Bertolucci et al.14, alterando alguns itens para que o teste fosse usado em ambiente hospitalar, no consultório ou em estudos populacionais. Brucki et al.16 também destacaram a grande influência da escolaridade no escore total do instrumento. Os pesquisadores optaram por não delimitar pontos de corte sob o argumento de que estes podem ser diferentes, dependendo da doença de base da pessoa. No entanto, tanto os escores medianos dos agrupamentos, efetuados pelos autores com base na escolaridade, quanto a versão proposta por Brucki et al.16, foram recomendados pelo Departamento Científico de Neurologia Cognitiva e do Envelhecimento da Academia Brasileira de Neurologia, para rastreio da doença de Alzheimer21. Assim, os escores 20 para analfabetos, 25 para pessoas com um a quatro anos de escolaridade, 26,5 para aquelas com cinco a oito anos de escolaridade, 28 para indivíduos que estudaram de nove a 11 anos e 29 para aqueles com escolaridade superior a 11 anos16, passaram a ser utilizados como pontos de corte.

Em atenção às peculiaridades da população de idosos do nordeste do Brasil, Brito-Marques e Cabral-Filho15propuseram uma versão modificada do MEEM (MEEM-mo), a partir da adaptação de Bertolucci et al.14, para avaliar idosos analfabetos e com baixa escolaridade. Os participantes do estudo obtiveram escores mais altos no MEEM-mo do que no exame original. Concluíram que pessoas com maior escolaridade apresentaram melhor desempenho em ambas as versões e que características culturais podem alterar o desempenho no teste.

Posteriormente, em estudo com 303 idosos ambulatoriais, Lourenço e Veras17 recomendaram modificações de itens do MEEM, sob a justificativa de adaptá-los à realidade brasileira, sem prejudicar ou alterar as intenções dos propositores originais do instrumento. Sugeriram notas de corte para déficit cognitivo segundo a escolaridade dos participantes de seu estudo, sendo 18/19 para pessoas analfabetas e 24/25 para os escolarizados.

Analisando a correlação entre dois instrumentos de avaliação cognitiva em pacientes com demência em estágios moderados a severos, Wajman e Bertolucci22 utilizaram uma versão que denominaram de Mini Exame do Estado Mental-grave (MEEM-g) e a Severe Impairment Battery (SIB). O MEEM-g inclui questões de autobiografia, orientação, comandos simples, práxis de construção, alça fonológica, fluência verbal e memória. Consideraram essa versão mais adequada para avaliação em caso de suspeita de demência avançada e encontraram significativa correlação positiva entre as duas medidas pesquisadas.

Estudos brasileiros de base populacional, como o Projeto Bambuí23 e o Estudo Sabe24, ambos envolvendo idosos, valeram-se de versões e notas de corte distintas no MEEM. No Bambuí, a adaptação de Seabra et al.18 foi utilizada e concluiu-se que os pontos de corte sugeridos pela literatura nacional conduziram a variações na prevalência de déficit cognitivo da amostra estudada. Considerando que as notas de corte não são comparáveis entre populações, propuseram que, em estudos populacionais, a distribuição dos escores de corte seja baseada em percentis. No Estudo Sabe24 foi utilizada uma versão chilena reduzida do MEEM25. Pretendeu-se minimizar os efeitos da escolaridade sobre os resultados do instrumento e adotaram a pontuação de corte única e independente da escolarização. Consideraram o escore 12 ou inferior como sugestivo de déficit cognitivo.

Como observado, vários pesquisadores têm se dedicado a investigar e adaptar os itens do MEEM para o Brasil e a propor pontos de corte, entretanto são escassos os estudos brasileiros que analisaram suas propriedades psicométricas. As pesquisas brasileiras sobre instrumentos de avaliação cognitiva na área de demência, incluindo o MEEM, não têm realizado todas as etapas necessárias para adaptação transcultural, validação e normatização dessas medidas26. No entanto, Lourenço e Veras17 e Lourenço et al.27 apresentam, respectivamente, evidências de validade de critério e de fidedignidade para a versão brasileira do MEEM. Os dois estudos utilizaram a adaptação de Bertolucci et al.14, mas com algumas alterações. O primeiro comparou idosos com e sem demência e o segundo fez uso do procedimento de teste-reteste.

Chaves et al.28, em uma revisão sistemática sobre a avaliação cognitiva, funcional e comportamental da Doença de Alzheimer, argumentaram que o MEEM apresenta confiabilidade teste-reteste e acurácia diagnóstica. Analisaram artigos que apresentaram resultados sobre sensibilidade e especificidade da medida para detectar demência.

Além desses estudos, Castro-Costa et al.29 investigaram evidências de validade de construto do MEEM adaptado por Seabra et al.18, analisando a amostra de linha de base do Projeto Bambuí, e sugeriram que a maioria dos itens e construtos subjacentes permaneceram significativos após alteração e tradução. Mais recentemente, pesquisa longitudinal de 10 anos de seguimento da coorte Bambuí30 investigou novamente evidências de validade de construto do MEEM e concluiu que sua estrutura permaneceu relativamente inalterada ao longo do tempo.

Portanto, há um número limitado de evidências de validade do MEEM para o contexto brasileiro. Nas ciências biomédicas, essa medida é caracterizada como nível IV de evidência no Brasil e nível I em âmbito internacional21. De acordo com o Projeto Diretrizes da Associação Médica Brasileira31, o nível IV de evidência inclui medidas que têm como base estudos de caso controle ou que têm padrão de referência pobre ou não independente. Salienta-se que esse projeto foi elaborado levando em consideração o desenho da pesquisa, a consistência das medidas e a validade dos resultados dos trabalhos levantados, contemplando os desfechos clínicos de natureza diagnóstica, terapêutica, preventiva e prognóstica no contexto da medicina baseada em evidência31.

Uma medida que avalia um construto psicológico, como o MEEM, precisa apresentar evidências de validade32. De acordo com o Standard for Educational and Psychological Test32, tais evidências podem ser baseadas no conteúdo do teste, no processo de resposta, na estrutura interna do teste, nas consequências do teste, na relação com outras variáveis, incluindo evidência convergente, discriminante e de critério e validade de generalização.

Além da escassez de evidências de validade, o MEEM, no Brasil, não tem sua aplicação padronizada, ou seja, não possui uniformidade no processo de aplicação e na avaliação do teste33, pois tem uma variedade de versões, adaptações e pontos de corte, que adicionada à heterogeneidade da população brasileira, especialmente no que diz respeito à escolaridade, podem produzir resultados duvidosos, falsos positivos e falsos negativos para declínio cognitivo. Mesmo que façam uso de instrumentos com evidências de validade e padronizados, os países em desenvolvimento enfrentam desafios para detectar disfunções cognitivas, especialmente quando há itens nos instrumentos que demandam educação formal34, já que parcela expressiva de sua população não é alfabetizada ou possui pouca escolarização35,36.

O modo como o MEEM avalia algumas funções cognitivas também tem sido criticado. Pesquisadores alertam, por exemplo, quando às limitações da avaliação da memória de trabalho, que é feita com base em uma única questão, sendo solicitada a recordação de apenas três palavras37.

A existência de diversas versões brasileiras para o MEEM, as limitações das evidências de validade e a não padronização da aplicação restringem a comparação entre os resultados obtidos em estudos nacionais. A condução de investigações transnacionais é ainda mais difícil devido às diferenças culturais. Apesar das dificuldades enfrentadas para uso do MEEM no Brasil, há indícios de que ele tem sido bastante utilizado tanto na clínica quanto na pesquisa, sendo, portanto, relevante no meio científico e profissional para o rastreio do declínio cognitivo entre idosos.

Objetivo

O objetivo geral deste estudo foi efetuar uma revisão sistemática de investigações brasileiras que utilizaram o MEEM com idosos. Especificamente, almejou-se investigar as características amostrais dessas pesquisas, caracterizar as versões do MEEM utilizadas no Brasil e analisar o uso da escolaridade na adoção de pontos de corte.

Materiais e métodos

Foi realizada uma busca por artigos que relatam pesquisas que utilizaram o MEEM com idosos de 60 ou mais anos. A recuperação dos textos não teve delimitação temporal e foi feita na base de dados Scientific Electronic Library Online38, em 17 de setembro de 2013, utilizando, como termos de busca, a abreviação MEEM ou a expressão Mini Exame do Estado Mental. Considerou-se, como critério inicial de inclusão de publicações, o aparecimento de pelo menos um dos descritores em um dos campos de busca, tais como título, resumo ou assunto.

A escolha da base de dados SciELO Brasil38 foi decorrente de sua relevância no meio acadêmico nacional. Ela é uma biblioteca eletrônica de livre e amplo acesso e atualização constante, que abriga uma coleção selecionada de publicações científicas brasileiras. A revisão sistemática incluiu somente artigos. Optou-se por este procedimento devido à importância desse meio de comunicação científica, além de ser um tipo de publicação habitualmente submetida a um processo rigoroso de avaliação duplo-cega.

Uma vez composto o primeiro conjunto de artigos, os textos completos foram lidos. Durante o processo de leitura, excluíram-se estudos de caso (n = 2) e as investigações com amostras de pessoas não idosas (n = 22).

Análise de dados

Para atingir os objetivos específicos propostos, os artigos selecionados foram alvo de uma análise de conteúdo. Para tornar essa análise qualitativa mais “confiável”, um pesquisador com experiência em análise de conteúdo e psicometria atuou como juiz. Apesar de a concordância entre avaliadores ser superior a 80%, adotou-se o expediente de, nos casos de discordância, chegar a um consenso dialogado.

Salienta-se que, no caso das doenças dos participantes, foi feito uso da Classificação Estatística Internacional de Doenças e Problemas Relacionados à Saúde (CID-10)39, para gerar as categorias dessa análise. Além da análise qualitativa, empregou-se tratamento com estatística descritiva.

Resultado

Foram encontrados 74 artigos que utilizaram o MEEM em pesquisas com idosos. Observou-se um aumento do número de publicações de estudos que usaram o MEEM no Brasil com amostras de idosos no decorrer dos anos. O volume maior de publicações concentrou-se nos anos de 2011 (n = 11; 14,86%) e 2012 (n = 13; 17,57%). Nos anos de 1999 e 2002 não foram encontradas pesquisas que se valeram do instrumento. A linha de tendência com regressão linear (Gráfico1) evidencia claramente o aumento do número de publicações com o passar dos anos.

A média de participantes dos estudos ( X = 283,27; DP = 476,19) ultrapassa duas centenas, sendo que o mínimo de participantes foi 16 e o máximo 2143. A idade mínima da amostra de parte expressiva dos estudos analisados foi 60 anos (n = 46; 62,16%). Do total de artigos pesquisados, 51 (68,92%) adotaram o critério etário para países em desenvolvimento para definir o que é idoso, ou seja, 60 anos. Os demais (n = 18; 24,32%) empregaram o critério utilizado em países desenvolvidos: 65 anos40 (Tabela 1). A média de idade em anos de todos os idosos pesquisados nos artigos foi de 72,74 (DP = 3,79). A velhice avançada não teve grande representatividade nas investigações (n = 1; 1,35%). A escolaridade média dos participantes em anos foi de 5,37 (DP = 2,17).

Tabela 1 Características demográficas das pesquisas brasileiras que utilizaram o MEEM em idosos. Estudos realizados entre 1998 e 2013. 

a Cidades com 500 mil ou mais habitantes. bCidades com menos de 500 mil habitantes.

A maior parte das pesquisas analisadas incluiu em suas amostras tanto idosos do sexo feminino quanto do masculino (n = 68; 91,89%). Nenhum estudo contou com amostras exclusivamente masculinas. Logo, 8,11% (n = 6) pesquisaram somente o sexo feminino.

É possível perceber (Tabela 1) que as investigações se concentraram na região sudeste com destaque para o estado de São Paulo (n = 22; 31,88%). A maior parte das pesquisas foi realizada em capitais e em cidades com mais de 500 mil habitantes (n = 40; 54,05%). Os locais mais utilizados para recrutamento e coleta de dados foram a comunidade (n = 37; 50,00%) e os ambulatórios (n = 25; 33,78%).

Dos estudos analisados, 41 (55,41%) foram realizados com amostras de idosos saudáveis. Os demais tiveram participantes com doenças (n = 27; 36,49%) ou foram do tipo caso-controle (n = 6; 8,11%). Ao classificar as enfermidades dos integrantes dos dois últimos tipos de estudo com base na CID-1039 (Tabela 2), as mais frequentes foram Doença de Alzheimer – G30 – (n = 12; 36,36%), demências não especificadas – F03 (n = 9; 27,27%) e hipertensão – I10 (n = 4; 12,12%).

Tabela 2 Caracterização das doenças, segundo a CID-1039, e dos sintomas que acometiam as amostras de idosos pesquisados com o MEEM. 

Dentre as pesquisas investigadas, 31,08% (n = 23) não citam a versão do MEEM empregada. Em contrapartida, constatou-se que alguns estudos15,17,27,41(n = 4; 5,40%) mencionam mais de uma versão do instrumento. Identificou-se que a versão brasileira adaptada por Bertolucci et al.14 (n = 22; 29,73%) foi a mais utilizada, seguida pelas propostas de Brucki et al.16 (n = 12; 16,22%) e Seabra et al.18 (n = 5; 6,76%) (Tabela 3).

Tabela 3 Versões do MEEM citadas nos artigos da revisão sistemática da literatura realizada. Estudos realizados entre 1998 e 2013. 

Quando se considerou o uso da escolaridade para definir pontos de corte para o MEEM, observou-se que cerca de 1/5 (n=14; 18,92%) das pesquisas analisadas não fizeram uso dessa estratégia de análise, associando, por exemplo, o escore dessa medida à presença de doenças específicas42. No caso das demais investigações, 56,76% (n = 42) fizeram uso da escolaridade como critério para estabelecer pontos de corte para o instrumento e 24,32% (n = 18) estabeleceram o escore de corte com base em outros parâmetros43.

Dentre os estudos que adotam ponto de corte baseado na escolaridade, 90,48% (n = 38) determinaram escore de corte específico para pessoas analfabetas. Para considerar a escolaridade na pontuação de corte do MEEM, 69,05% (n = 29) dos artigos analisaram os anos de escolaridade, 2,38% (n = 1) valeram-se dos níveis de escolarização, 23,81% (n = 10) utilizaram, como critério, o fato de os integrantes serem escolarizados ou não escolarizados, e 4,76% (n = 2) basearam-se em anos e níveis de escolaridade.

Considerando os pontos de corte sugeridos nas duas versões do MEEM mais utilizadas no Brasil14,16, identificou-se que 17,57% (n = 13) das pesquisas utilizaram a pontuação da primeira proposta, e 13,51% (n = 10) da segunda. Além disso, 9,46% (n = 7) fizeram uso do escore único de 24 pontos ou menos para sugestão de declínio cognitivo, como proposto por Folstein et al1.

Discussão

Nesta revisão sistemática da literatura nacional sobre o MEEM e sua aplicação em idosos, menos de uma centena de artigos foi recuperada e analisada, sendo que o mais antigo é de 1998. Não obstante, foi percebida uma tendência de aumento do número de estudos com o instrumento desde essa data, sendo que, em anos recentes (2011 e 2012), as publicações atingiram maior volume. Isso é decorrente, possivelmente, do despertar da comunidade científica para o fenômeno do envelhecimento populacional a partir dos anos 1990 e suas consequências, como o declínio cognitivo, além da disponibilidade para uso gratuito de uma versão adaptada do MEEM, tanto no âmbito clínico quanto para estudos de base populacional14.

A maior parte dos artigos valeu-se do parâmetro definido para países em desenvolvimento, para estabelecer a partir de quando se considera uma pessoa como idosa. Porém, muitas modificações no perfil social brasileiro e internacional foram operadas desde 1982, quando a Organização das Nações Unidas, na I Assembleia Mundial sobre Envelhecimento em Viena40, propôs a idade limite para a entrada na velhice. Nesta época a expectativa de vida por ocasião do nascimento era de 63,5 anos46, bem distante dos atuais 73,4 anos identificados pelo último censo demográfico47. Essa diferença é decorrente de melhorias das condições físicas e cognitivas dos idosos, bem como do aumento de sua participação social, gerando uma mudança de perfil, o que justificaria um acréscimo etário na categorização de entrada na velhice48.

Adotar 60 anos como critério etário para velhice pode gerar viés nos resultados de avaliações cognitivas, pois certos participantes que são considerados idosos podem não o ser de fato se consideradas suas condições de vida que se assemelham atualmente às de países desenvolvidos. Acrescenta-se que a adoção do critério de velhice para países em desenvolvimento compromete, por exemplo, a comparação entre estudos nacionais e internacionais, já que analisam amostras de idades distintas. Assim, apesar das desigualdades econômicas, regionais etc. que caracterizam o Brasil, parece ser necessário que os pesquisadores analisem se não é o momento de adotar, em certos estudos, especialmente naqueles realizados em capitais e grandes cidades da região Sudeste – região de investigação predominante nesta análise sistemática de literatura –, o critério etário de velhice adotado em países desenvolvidos.

Apesar de baixa (5,37 anos), a escolaridade média das amostras dos estudos aqui analisados é superior à nacional. A educação formal média dos idosos brasileiros é de 4,1 anos de escolaridade49, sendo 5,5 milhões de analfabetos50. Esse resultado pode ser decorrente do fato de as amostras terem sido obtidas, em sua maioria, nas regiões mais ricas e desenvolvidas do país.

A literatura indica que a baixa escolaridade está associada à diminuição nostatus cognitivo medido por instrumentos como o MEEM35,36. O baixo nível educacional está relacionado à pobreza ou à diminuição do status socioeconômico, à pior saúde, ao menor acesso aos serviços de saúde e a um robusto fator de risco para demência34.

Se a escolaridade das amostras dos estudos analisados é, de modo geral, baixa, é possível perceber, também, uma discrepância entre estudos, pois há um caso em que a média de anos de estudo foi 10,70. Isso denota o quão heterogênea é a população de idosos brasileira51; se há uma massa de analfabetos e semianalfabetos, há, também, um grupo – menor – muito parecido com o de idosos de países desenvolvidos. Essa peculiaridade faz com que padronizar e normatizar ferramentas como o MEEM, para o país, não seja uma tarefa fácil e, talvez por isso, o número de estudos sobre a acurácia dos instrumentos de rastreio do status cognitivo ainda seja limitado34. As ferramentas de avaliação das funções cognitivas nos países em desenvolvimento são, em sua maioria, adaptadas de países desenvolvidos, e mesmo que tenham sido devidamente traduzidas, enfrentam os desafios culturais impostos à cognição52.

No que se refere ao uso da escolaridade para estabelecer pontos de corte para o MEEM, observou-se que níveis educacionais, presença ou ausência de escolarização, anos estudados e intervalos de anos têm sido adotados. Esses critérios podem não ser adequados por causa da heterogeneidade educacional no Brasil, sendo necessário, portanto, considerar outros fatores, como se a escolarização ocorreu em escola pública ou privada, em que região geográfica do país ela se deu e a quantidade de horas despendidas nos bancos escolares35. Ademais, além da escolarização, outras variáveis relacionadas às demandas ambientais e socioculturais, como a educação não formal, devem ser consideradas ao analisar resultados obtidos com esse tipo de instrumento36. Porém, considerar toda essa variação educacional parece não ser adequada quando se tratam de medidas de rastreio cognitivo já que elas buscam justamente ser de fácil e rápida aplicação.

Não obstante as críticas, esta revisão sistemática da literatura revelou que os pontos de corte utilizados para sugerir déficit do status cognitivo com base no MEEM permanecem sendo amplamente determinados pela escolaridade. Salienta-se, contudo, que isso não ocorre só com essa medida, já que educação formal é variável chave na avaliação cognitiva de idosos14,16,35,53.

Os resultados desta revisão sistemática revelam, entretanto, que não existe consenso quanto a pontuações para anos ou níveis de escolarização ou para pessoas escolarizadas, não escolarizadas e analfabetas. As investigações de Paula et al.54, Souza et al.55 e mais recentemente Santos et al.56 constituem exemplos que corroboram a afirmação anterior, pois cada uma delas adota critérios distintos para interpretar os resultados do MEEM em função da escolaridade.

Neste contexto controvertido, a escolha de ponto de corte pode gerar insegurança e preocupação entre aqueles que pretendem utilizar o MEEM, uma vez que podem incorrer no erro de incluir falsos positivos ou falsos negativos para déficit cognitivo. Uma alternativa diante da diversidade de possibilidades de pontuações é a observação de possíveis similaridades entre as amostras de pesquisas que sugerem um dado escore e o grupo populacional que se pretende medir. Outra possibilidade é seguir as recomendações de escores de corte para o MEEM do Departamento Científico de Neurologia Cognitiva e do Envelhecimento da Academia Brasileira de Neurologia para rastreio da doença de Alzheimer21.

Atentos a não padronização dos pontos de corte, pesquisadores do estudo Bambuí, investigação que compôs a amostra de pesquisas analisadas nessa revisão sistemática, decidiram utilizar a estratégia de distribuir os escores de corte do MEEM em percentis23. Embora pareça ser uma boa opção, ela é mais adequada para pesquisas de base populacional, não sendo viável na prática clínica e pouco recomendada para investigações mais modestas. Além disso, algumas pesquisas desta revisão sistemática utilizaram pontuação única para sugestão de declínio cognitivo45,57. Isso foi sugerido nos estudos iniciais de Folstein et al.1 para uso nos Estados Unidos da América, que é um país bastante homogêneo quanto à escolarização. Não obstante, posteriormente, mesmo em países desenvolvidos, ocorreu a adoção de pontos de corte estratificados por escolaridade3. Há que se reiterar que as pessoas idosas com baixa escolaridade, principalmente as analfabetas, constituem um grupo heterogêneo, por sofrerem influências externas à escolarização formal, gerando desempenho diverso em atividades cognitivas, o que parece explicar a variação das notas de corte para ferramentas de rastreio cognitivo34.

A maioria dos estudos recuperados nesta revisão sistemática da literatura teve amostras recrutadas nas comunidades, local onde predominam idosos saudáveis. Como o MEEM destina-se à sondagem do declínio cognitivo e não ao diagnóstico de demência4, é justificada essa preferência dos pesquisadores. Entretanto, esse instrumento, em conjunto com outros tipos de medidas, também pode ser utilizado para acompanhar a evolução de doenças e no monitoramento de intervenções farmacológicas e não farmacológicas16. Isso constitui uma possível explicação para a presença, em menor número, de pesquisas brasileiras que utilizaram versões do MEEM para investigar idosos ambulatoriais, com doença de Alzheimer55, com demências não específicas57e outras patologias58.

A diversidade de versões do MEEM empregada nas pesquisas brasileiras, mais precisamente 11, destaca-se nesta revisão. O fato de alguns estudos não apresentarem citação e nem referência de qual versão foi utilizada também chama a atenção. Possivelmente, por se tratar de um instrumento muito conhecido no meio científico ou por desconhecimento da oferta das várias versões do MEEM, muitos autores se eximiram da obrigação de sinalizar a origem do exame. Dentre os que mencionam a versão utilizada, vários lançaram mão de adaptações mais convenientes para suas investigações, buscando adequações, inclusive regionais15. Apesar disso, uma das primeiras versões brasileiras, aquela adaptada por Bertolucci et al.14, permanece sendo a mais utilizada.

O uso de várias versões modificadas do MEEM, não somente no Brasil, mas no mundo todo, é alvo de crítica de seus propositores originais. Essa tem sido uma limitação do uso do exame4. Os diferentes formatos têm modificado, substituído e/ou suprimido itens, desrespeitando a padronização. Cita-se, como exemplo, a troca feita em algumas versões do item chamado sete seriado pela soletração da palavra “mundo” ao contrário (o-d-n-u-m) que reduz a sensibilidade do teste para rastrear comprometimento frontal e subcortical4. Além disso, pesquisadores27,59 ponderam sobre a não padronização do tamanho e estilo da letra da frase “feche os olhos” no item de execução de comando e do desenho dos pentágonos a serem copiados. As questões que propõem a repetição de palavras e sua recordação não são uniformizadas, podendo gerar diferenças nos resultados entre populações, uma vez que palavras como bola, usada em algumas versões, são mais familiares em certos contextos do que em outros. Por fim, a ausência de unanimidade nas consignas para a aplicação compromete a padronização do teste, uma vez que os avaliadores poderiam desenvolver estilos e técnicas próprias, gerando variabilidade interexaminadores59.

Considerações finais

Próximo a completar 40 anos de existência1 e com mais de 20 anos de adaptação para o contexto brasileiro13,14,18, o MEEM permanece sendo o instrumento de rastreio do status cognitivo mais utilizado. Desde então, sobrevive entre críticas37 e defesas de seu uso53. Ainda que seja alvo de controvérsias, é fato que o MEEM é, geralmente, o primeiro dos exames clínicos a ser aplicado em idosos com suspeita de declínio cognitivo e está presente em grande parte das pesquisas em geriatria e gerontologia59.

No que diz respeito às limitações deste estudo, assinala-se que esta revisão sistemática, apesar de ter feito uso de fontes bastante confiáveis e recuperadas na mais importante base de dados nacional, não foi capaz de cobrir toda a literatura nacional que relata pesquisas empíricas sobre o MEEM com idosos. Isso se deu por não incluir teses, dissertações e outras publicações, bem como por ter adotado um procedimento que excluiu pesquisas realizadas no Brasil, mas que foram publicadas em periódicos internacionais, como o estudo de Castro-Costa et al.29, que analisou a amostra de linha de base do Projeto Bambuí, mas que foi publicado em inglês em uma revista estrangeira.

Ainda assim, este estudo foi capaz de traçar um perfil do emprego do MEEM para avaliar déficit cognitivo entre idosos no Brasil. Em síntese, foi revelado um aumento do uso do instrumento com o passar dos anos, sendo a maioria das investigações realizada com amostras da região Sudeste e em cidades de grande porte. Foi evidenciada, também, a escassez de publicações sobre as propriedades psicométricas do MEEM e a existência e o uso de diferentes versões, sendo a de Bertolucci et al.14 a mais citada. A escolaridade tem sido amplamente utilizada para determinar escores de corte desse instrumento, sendo essa uma questão controversa devido à utilização de diferentes critérios para delimitar a pontuação sugestiva de alteração nostatus cognitivo.

De modo geral, o estado da arte do uso do MEEM em pesquisas com idosos é caracterizado por limitações quanto à padronização e às evidências de validade desta medida no contexto brasileiro. Este cenário é preocupante se se considerar o quanto ela é relevante tanto para a pesquisa quanto para a clínica, bem como o fato de se tratar de um instrumento que é utilizado há mais de 20 anos no país sem que haja uma produção científica expressiva sobre suas propriedades psicométricas.

Não obstante as limitações, salienta-se a utilidade desta investigação como instrumento de reflexão e alerta para o uso criterioso do MEEM e de seus pontos de corte na prática clínica de geriatras, psiquiatras, neurologistas e psicólogos do envelhecimento no contexto brasileiro. Finalmente, recomenda-se a realização de mais pesquisas sobre esse importante exame do status cognitivo.

Gráfico 1 Distribuição temporal (1998 e 2013) e linha de tendência linear da produção científica brasileira sobre o uso do MEEM em amostras de idosos. 

REFERÊNCIAS

1. Folstein M, Folstein S, McHugh P. “Mini-mental state”. A practical method for grading the cognitive state of patients for the clinician. J Psychiatr Res 1975; 12(3):189-198.
2. Hughes V. The Mini Exam with Maximal Staying Power: The most-cited paper in neuropsychiatry grew out of a husband/wife exchange. Hopkins Medicine [an online version of the magazine] 2007. [acessado 2014 maio 29]. Disponível em: http://www.hopkinsmedicine.org/psychiatry/about/media/docs/Mini-Exam.pdf
3. Crum RM, Anthony JC, Bassett SS, Folstein MF. Population-based norms for the Mini-Mental State Examination by age and educational level.Jama 1993; 269(18):2386-2391.
4. Folstein MF, Folstein SE, McHugh PR. Reply. Acta Psychiatr Scand 2007; 116(2):157.
5. Molloy DW, Standish TI. Mental status and neuropsychological assessment: a guide to the standardized Mini-Mental State Examination.Int Psychogeriatr 1997; 9(S1):87-94.
6. MacKinnon D. Marshall and Susan Folstein. Psych and Behavioral Sciences [periódico na Internet] 2014. [acessado 2014 abr 6]. Disponível em: http://www.hopkinsmedicine.org/psychiatry/about/anniversary/stars/folsteins.html
7. Nilsson FM. Mini mental state examination (MMSE)–probably one of the most cited papers in health science [Letter to the editor]. Acta Psychiatr Scand 2007; 116(2):156-157.
8. Roth MTYME, Tym E, Mountjoy CQ, Huppert FA, Hendrie H, Verma S, Goddard R. CAMDEX. A standardised instrument for the diagnosis of mental disorder in the elderly with special reference to the early detection of dementia. Br J Psychiatry 1986; 149(6):698-709.
9. PAR.iconnect. MMSE2: Mini Mental State Examination 2nd Edition 2014. Disponível em: http://www4.parinc.com/Products/Product.aspx?ProductID=MMSE-2
10. Folstein MF, Folstein SE. Meet the MMSE & MMSE-2 Authors: Marshal F. Folstein, MD & Susan E. Folstein, MD 2010 [acessado 2014 abr 6]. Disponível em: http://parincblog.wordpress.com/2010/06/08/meet-the-mmse-mmse-2-authors-marshal-f-folstein-md-susan-e-folstein-md/
11. Roccaforte WH, Burke WJ, Bayer BL, Wengel SP. Validation of a telephone version of the Mini-Mental State Examination. JAGS1992; 40(7):697-702.
12. Camozzato AL, Kochhann R, Godinho C, Costa A, Chaves ML. Validation of a telephone screening test for Alzheimer’s disease. Aging Neuropsychol Cogn 2011; 18(2):180-194.
13. Tavares A. Sinais e sintomas em psicogeriatria. In: Guimarães RM, Cunha UGV, organizadores. Sinais e sintomas em geriatria. Rio de Janeiro: Revinter; 1989. p. 59-105.
14. Bertolucci PHF, Brucki SMD, Campacci SR, Juliano Y. O miniexame do estado mental em uma população geral. Impacto da escolaridade. Arq Neuropsiquiatr 1994; 52(1):1-7.
15. Brito-Marques PRD, Cabral-Filho JE. The role of education in mini-mental state examination: a study in Northeast Brazil. Arq Neuropsiquiatr 2004; 62(2A):206-211.
16. Brucki SMD, Nitrini R, Caramelli P, Bertolucci PHF, Okamoto IH. Suggestions for utilization of the mini-mental state examination in Brazil.Arq Neuropsiquiatr 2003; 61(3B):777-781.
17. Lourenço RA, Veras RP. Mini-Exame do Estado Mental: características psicométricas em idosos ambulatoriais. Rev Saude Publica 2006; 40(4):712-719.
18. Seabra MLV, Concilio G, Villares JB, Carlini EA. Avaliação do teste “Mini-mental state” em voluntários e pacientes brasileiros. Rev Bras Psiquiatr 1990; 12(1/4):1-29.
19. Almeida O. Mini exame do estado mental e o diagnóstico de demência no Brasil. Arq Neuropsiquiatr 1998; 56(3B):605-612.
20. Caramelli P, Nitrini R. Como avaliar de forma breve e objetiva o estado mental de um paciente? Rev Assoc Med Bras 2000; 46(4):301.
21. Nitrini R, Caramelli P, Bottino CMC, Damasceno BP, Brucki SMD, Anghinah R. Diagnóstico de doença de Alzheimer no Brasil: avaliação cognitiva e funcional. Recomendações do Departamento Científico de Neurologia Cognitiva e do Envelhecimento da Academia Brasileira de Neurologia Arq neuropsiquiatr2005; 63(3):720-727.
22. Wajman JR, Bertolucci PHF. Comparison between neuropsychological evaluation instruments for severe dementia. Arq Neuropsiquiatr2006; 64(3B):736-740.
23. Castro-Costa E, Fuzikawa C, Uchoa E, Firmo JOA, Lima-Costa MF. Norms for the mini-mental state examination: adjustment of the cut-off point in population-based studies (evidences from the Bambuí health aging study).Arq Neuropsiquiatr 2008; 66(3A):524-528.
24. Oliveira SDFD, Duarte YADO, Lebrão ML, Laurenti R. Demanda referida e auxílio recebido por idosos com declínio cognitivo no município de São Paulo.Saúde Soc 2007; 16(1):81-89.
25. Icaza MC, Albala C. Projeto SABE. Minimental State Examination (MMSE) del estudio de demência en Chile: análisis estatístico. Washington: OPAS; 1999.
26. Vasconcelos LG, Brucki SMD, Bueno OFA. Cognitive and functional dementia assessment tools: Review of Brazilian literature. Dement Neuropsychol 2007; 1:18-23.
27. Lourenço RA, Veras RP, Ribeiro PCC. Confiabilidade teste-reteste do Mini-Exame do Estado Mental em uma população idosa assistida em uma unidade ambulatorial de saúde. Rev Bras Geriatr Gerontol 2008; 11(1):7-16.
28. Chaves ML, Godinho CC, Porto CS, Mansur L, Carthery-Goulart MT, Yassuda MS, Beato R. Doença de Alzheimer: avaliação cognitiva, comportamental e funcional. Dement. Neuropsychol 2011; 5(Supl. 1):21-33.
29. Castro-Costa E, Cintia F, Ferri C, Uchoa E, Firmo J, Lima-Costa MF, Dewey ME, Stewart R. Dimensions underlying the Mini-Mental State Examination in a sample with low-education levels: the Bambui Health and Aging Study.Am J Geriatr Psychiatry 2009; 17(10):863-872.
30. Castro Costa E, Dewey ME, Uchôa E, Firmo JO, Lima Costa MF, Stewart R. Construct validity of the mini mental state examination across time in a sample with low education levels: 10 year follow up of the Bambuí Cohort Study of Ageing. Int J Geriatr Psychiatry 2014; 29(12):1294-1303.
31. Baracat EC, Fabio BJ, Bernardo, WM. Projeto Diretrizes da Associação Médica Brasileira 2001. [acessado 2014 out 21]. Disponível em http://www.projetodiretrizes.org.br/diretrizes11/abertura_internet.pdf
32. American Educational Research Association, American Psychological Association, National Council on Measurement in Education. Standards for educational and psychological testing 2004; 194.
33. Anastasi A. Testes Psicológicos. 2ª ed. São Paulo: EPU; 1977.
34. Aprahamian I, Martinelli JE, Cecato J, Yassuda MS. Screening for Alzheimer’s disease among illiterate elderly: accuracy analysis for multiple instruments. J Alzheimers Dis 2011; 26(2):221-229.
35. Brucki SMD, Mansur LL, Carthery-Goulart MT, Nitrini R. Formal education, health literacy and mini-mental state examination. Dement Neuropsychol 2011; 5(1):26-30.
36. Brucki SMD, Nitrini R. Mini-Mental State Examination among lower educational levels and illiterates: transcultural evaluation. Dement Neuropsychol 2010; 4(2):120-125.
37. Mota MMPE, Banhato EFC, Silva KCA, Cupertino APFB. Triagem cognitiva: comparações entre o mini-mental e o teste de trilhas. Estud psicol (Campinas) 2008; 25(3):353-359.
38. Scientific Electronic Library Online - SciELO Brasil 2013. Disponível em: http://www.scielo.br/
39. Organização Mundial da Saúde. Classificação Estatística Internacional de Doenças e Problemas Relacionados à Saúde - CID-10. São Paulo: Universidade de São Paulo; 1997.
40. Organização das Nações Unidas. I Assembleia Mundial sobre Envelhecimento em Viena 1982 [acessado 2014 mai 29]. Disponível em: http://www.onu.org.br/a-onu-em-acao/a-onu-em-acao/a-onu-e-as-pessoas-idosas/
41. Brito-Marques PRD, Cabral-Filho JE. Influence of age and schooling on the performance in a modified Mini-Mental State Examination version: a study in Brazil Northeast. Arq Neuropsiquiatr 2005; 63(3A):583-587.
42. Pimenta FAP, Bicalho MAC, Romano-Silva MA, Moraes EN, Rezende NA. Doenças crônicas, cognição, declínio funcional e Índice de Charlson em idosos com demência. Rev Assoc Med Bras 2013; 59(4):326-334.
43. Leite MT, Hildebrandt LM, Kirchner RM, Winck MT, Silva LAA, Franco GP. Estado cognitivo e condições de saúde de idosos que participam de grupos de convivência. Rev Gaucha Enferm 2012; 33(4):64-71.
44. Bottino CMC, Almeida OP, Tamai S, Forlenza OV, Scalco MZ, Carvalho IAM. Entrevista estruturada para diagnóstico de transtornos mentais em idosos-CAMDEX The Cambridge examination for mental disorders of the elderly.São Paulo: Cambridge University Press; 1999.
45. Farmer A, Helzer JA. Improving the Sensitivity of the Mini-Mental State Examination. A test in a large sample of alcoholics1990; (não publicado).
46. Instituto Brasileiro de Geografia e Estatística (IBGE). Projeção da população do Brasil por sexo e idade 1980-2050. Estudos e pesquisas: Informação demográfica e socioeconômica, 24 2008. [acessado 2014 maio 29]. Disponível em: http://www.ibge.gov.br/home/estatistica/populacao/projecao_da_populacao/2008/projecao.pdf
47. Instituto Brasileiro de Geografia e Estatística (IBGE).Censo 2010. 2010. [acessado 2014 maio 29]. Disponível em: http://censo2010.ibge.gov.br/en/sobre-censo
48. Camarano AA. Estatuto do Idoso: avanços com contradições. Rio de Janeiro: Instituto de Pesquisa Econômica Aplicada (IPEA); 2013.
49. Wajman JR, Bertolucci PHF. Intellectual demand and formal education as cognitive protection factors in Alzheimer’s disease. Dement Neuropsychol 2010; 4(4):320-324.
50. Instituto Brasileiro de Geografia e Estatística (IBGE). Síntese de indicadores sociais: uma análise das condições de vida da população brasileira. Estudos e pesquisas: Informação demográfica e socioeconômica,27. 2010. [acessado 2014 maio 29]. Disponível em: http://www.ibge.gov.br/home/estatistica/populacao/condicaodevida/indicadoresminimos/sinteseindicsociais2010/SIS_2010.pdf
51. Doimo LA, Derntl AM, Lago OC. O uso do tempo no cotidiano de mulheres idosas: um método indicador do estilo de vida de grupos populacionais.Cien Saude Colet 2008; 13(4):1133-1142.
52. Parra MA. Overcoming barriers in cognitive assessment of Alzheimer’s disease. Dement. Neuropsychol 2014; 8(2):95-98.
53. Moraes EM, Cintra MTG. Avaliação geriátrica. In: Malloy-Diniz LF, Fuentes D, Cosenza RM, organizadores. Neuropsicologia do envelhecimento: uma abordagem multidimensional. Porto Alegre: Artmed; 2013. p. 297-322.
54. Paula JJ, Melo LPC, Nicolato R, Moraes EN, Bicalho MA, Hamdan AC, Malloy-Diniz LF. Fidedignidade e validade de construto do Teste de Aprendizagem Auditivo-Verbal de Rey em idosos brasileiros. Rev Psiq Clín2012; 39(1):19-23.
55. Sousa MFB, Santos RL, Arcoverde C, Dourado M, Laks J. Consciência da doença na doença de Alzheimer: resultados preliminares de um estudo longitudinal. Rev Psiq Clín 2011; 38(2):57-60.
56. Santos CA, Ribeiro AQ, Rosa CDOB, Ribeiro RDCL. Depressão, déficit cognitivo e fatores associados à desnutrição em idosos com câncer. Cien Saude Colet 2015; 20(3):751-760.
57. Pimentel I, Scheicher ME. Comparação da mobilidade, força muscular e medo de cair em idosas caidoras e não caidoras. Rev Bras Geriatr Gerontol 2013; 16(2):251-257.
58. Santos CCCD, Pedrosa R, Costa FAD, Mendonça KMPPD, Holanda GM. Análise da função cognitiva e capacidade funcional em idosos hipertensos.Rev Bras Geriatr Gerontol 2011; 14(2):241-250.
59. Malloy-Diniz LF, Abreu N, Bertola L, Fuentes D, Antunes AM, Paula JJ, Haase VGO. Exame neuropsicológico do idoso. In: Malloy-Diniz LF, Fuentes D, Cosenza RM, organizadores. Neuropsicologia do envelhecimento: uma abordagem multidimensional. Porto Alegre: Artmed; 2013. p. 243-264.
Política de Privacidade © Copyright, Todos os direitos reservados.