Compartilhar

Validation for the Portuguese language of the Educational Practices Questionnaire (Student Version)

Validation for the Portuguese language of the Educational Practices Questionnaire (Student Version)

Autores:

Rodrigo Guimarães dos Santos Almeida,
Alessandra Mazzo,
José Carlos Amado Martins,
Valtuir Duarte de Souza-Junior,
Isabel Amélia Costa Mendes

ARTIGO ORIGINAL

Acta Paulista de Enfermagem

On-line version ISSN 1982-0194

Acta paul. enferm. vol.29 no.4 São Paulo July/Aug. 2016

http://dx.doi.org/10.1590/1982-0194201600054

Introdução

As práticas educacionais permeiam toda e qualquer metodologia e estratégia de ensino. Em 1987 definiu-se(1) um conjunto de sete princípios para as boas práticas educacionais que contribuem de forma expressiva para o processo de aprendizagem. Tal definição foi apoiada pela American Association of Higher Education (AAHE) e pela American Association of Colleges of Universities (AACU) e compõe-se dos seguintes princípios: 1) Incentivo do contato aluno-professor: A relação estabelecida entre aprendiz e preceptor dentro e fora do ambiente escolar deve ser vista como um fator motivacional, que encoraje o aluno a pensar sobre seus próprios valores e planos futuros; 2) Estímulo a cooperação entre os estudantes: A boa aprendizagem acontece de forma colaborativa e social, não competitiva e isolada. O envolvimento entre alunos permite o compartilhamento de ideias e melhorias na construção do conhecimento; 3) Incentivo à aprendizagem ativa: A forma de ensinar do professor deve fazer significado ao estudante e para isso é preciso que se leve em consideração as experiências passadas e a realidade do cotidiano do aluno, de forma que este possa relacionar a teoria com a prática. O processo de formação não pode ser apenas a distribuição de conteúdos do professor para o aluno, na expectativa de que ele apenas ouça e memorize; 4) Oferta de feedback imediato: o estudante precisa estar ciente do seu processo de formação. O professor deve fornecer informações apropriadas a respeito do desempenho do aluno em tempo apropriado para que ele possa refletir sobre suas ações e utilizar dos recursos necessários para a construção do seu saber; 5) Ênfase no tempo para estudo: cabe ao professor orientar o aluno quanto à gestão do tempo para prática de estudo e a importância do desenvolvimento do hábito de estudar, dentre as outras atividades cotidianas; 6) Estabelecimento de altas expectativas: tanto professor, quanto aluno devem ser motivados a ensinar e a aprender. Ambos devem possuir altas expectativas em suas ações para que o processo de ensino-aprendizagem aconteça em um ambiente favorável para a troca de conhecimento; 7) Respeito aos diversos talentos e formas de aprendizagem: existem muitos caminhos para se aprender. Cada indivíduo possui características próprias de construção do conhecimento, por isso essas particularidades devem ser valorizadas e incentivadas dentro do ambiente escolar.(1)

À luz do referencial teórico sobre simulação na educação em enfermagem(2,3) o ensino simulado é constituído por cinco elementos: Professor, Estudante, Práticas Educacionais, Características da Simulação e Resultados. Todos esses fatores estão interligados no processo de aprendizagem através da simulação clínica, que incentiva a relação professor-aluno, encoraja o trabalho em equipe, resgata conteúdos teóricos e experiências vivenciadas, motiva a aprendizagem, fornece um feedback imediato através do debriefing, respeita e valoriza as aprendizagens do aluno. Esse feedback fornecido de forma positiva a aprendizes na fase precoce de sua via profissional contribui para a valorização da formação clínica do individuo, consequentemente uma maior satisfação com a aprendizagem.(4)

O ensino de enfermagem através da simulação clínica possibilita ao indivíduo vivenciar os mais diversos contextos do exercício da profissão, desde os mais estressantes como a morte, até os mais felizes como a vida.(5)

Na profissão de enfermagem a integralidade do cuidado é um dos eixos norteadores da formação, e exige uma proposta pedagógica que estimule o aluno a refletir sobre as questões da prática em saúde, sobre seu processo de avaliação como uma ferramenta que auxilia no reconhecimento de seus déficits, de forma a interiorizá-los e corrigi-los posteriormente. A compreensão do processo de aprendizagem deve ser percebida como algo que envolve tanto conhecimentos, habilidades e atitudes, como espaços de reflexão sobre a realidade dos sujeitos.(6) A simulação clínica, nessa concepção, exige do aprendiz um raciocínio clínico, um pensamento reflexivo que o leva a um processo de tomada de decisão, uma das habilidades centrais para os profissionais de saúde e principalmente entre os enfermeiros. Possuir um raciocínio clínico rápido e ágil contribui de forma expressiva para o sucesso da intervenção profissional, para a qualidade do atendimento prestado, o que pode impactar de forma direta positiva ou negativa na vida do paciente. Neste sentido a simulação permite o desenvolvimento de competências para a prática do cuidado em enfermagem, através da junção de saberes (conhecimento), fazeres (habilidades) e querer-agir, saber-agir e poderagir (atitudes).(7,8)

Com propósito de compreender como as práticas educativas são percebidas pelos indivíduos que participam da estratégia de simulação de alta fidelidade, a National League for Nursing (NLN) - organização dedicada a excelência no ensino de enfermagem - desenvolveu a Educational Practices Questionnaire (Student Version), instrumento composto por 16 itens, com duas subescalas (uma relacionada às praticas educativas e outra à importância atribuída ao item). O instrumento é dividido em quatro fatores: 1) Aprendizagem ativa, 2) Colaboração, 3) Maneiras diferentes de aprendizagem e 4) Altas expectativas. O padrão de resposta é do tipo Likert de 5 pontos, havendo a opção de “não aplicável” quando a declaração não diz respeito à atividade simulada realizada. O estudo de validação do mencionado instrumento foi realizado com 395 estudantes, sendo 350 mulheres e 45 homens com a média de idade de 29 anos. A confiabilidade constatada através do alpha de Cronbach foi de 0,86 para a escala de características das práticas educacionais e 0,91 para a importância dos itens.(9)

Pesquisas recentes têm apontado a necessidade de maiores investigações quanto à experiência de indivíduos que utilizam a simulação como estratégia de ensino no sentido de melhor explorar seu potencial,(10) bem como otimizar sua utilização na aprendizagem.(11)

Assim o objetivo deste trabalho foi de traduzir e validar para língua portuguesa esse instrumento americano, capaz de mensurar características das práticas educativas em simulação clínica, e posteriormente disponibilizá-lo de forma a contribuir para o avanço de pesquisas que envolvem a simulação como estratégia de ensino.

Métodos

A primeira fase deste estudo constituiu-se na tradução do instrumento, onde o critério adotado seguiu o proposto por Ferrer et al.(12) Realizada a tradução do instrumento para a língua portuguesa por dois professores peritos nos idiomas, obteve-se um consenso da primeira versão em português. Esta versão foi submetida a um comitê de juízes convidado a participar: sete enfermeiros especialistas da área de enfermagem fundamental, todos conhecedores da simulação como estratégia de ensino, dos quais apenas quatro compareceram à reunião para análise do instrumento. Esclarecido o objetivo da pesquisa, os juízes formalizaram seu consentimento através da anuência no termo de consentimento livre e esclarecido. Os itens do instrumento foram classificados como válidos ou não válidos, através do cálculo do Content Validity Índex (CVI);(13) itens com CVI entre 100% e 80% tiveram sua tradução mantida no instrumento definitivo; itens com CVI menores que 80% sofreram modificações na linguagem. Ao cabo deste processo, o instrumento sofreu a back-translation, realizada por dois professores, um perito e outro nativo de língua inglesa. Mediante consenso dessa versão, a mesma foi comparada à versão original para constatação de que não houve mudanças quanto ao sentido dos itens. Posteriormente foi realizada a validação semântica e pré-teste com dez alunos de graduação que já haviam experimentado a simulação como estratégia de ensino. Os alunos foram convidados a manifestar suas dúvidas e considerações. Esse processo aconteceu de forma regular, chegando à versão final do instrumento.

A segunda fase do estudo consistiu no processo de validação do instrumento. Para esta fase criou-se o evento: III Workshop Brasil - Portugal: o atendimento ao paciente crítico, promovido por uma instituição de ensino do Brasil em parceria com uma instituição de ensino de Portugal. Foram convidados a participar desse evento enfermeiros, inseridos ou não no mercado de trabalho, sem ou com qualquer título de pós-graduação, que houvessem ou não experimentado a simulação como estratégia de ensino. O evento foi gratuito e divulgado nas formas impressa e eletrônica disponibilizando180 vagas para inscrição na página da instituição. Ofereceu-se aos inscritos três opções de dias para participação no evento; sendo assim, cada data do workshop foi reservada a 60 participantes. Todas as vagas foram preenchidas previamente. Aos inscritos foi enviado, por via eletrônica, materiais para estudo prévio. Dos 180 inscritos, 103 compareceram ao evento. O workshop contou com um momento teórico a respeito do atendimento ao paciente crítico e simulação, ministrado por docentes do Brasil e de Portugal com expertise na área. Os integrantes desse evento foram convidados a participar da pesquisa e manifestaram seu aceite através da assinatura do termo de consentimento livre e esclarecido. Para caracterização dos participantes foi desenvolvido um instrumento com as seguintes variáveis: idade, sexo, ano de conclusão da graduação, anos de atuação, dados referentes à formação, ao vínculo empregatício e experiência com o ensino simulado. Após o conteúdo teórico, ainda no período da manhã, os participantes foram divididos em três grupos, cada qual frequentando três oficinas de treino de habilidades. Foi utilizada como estratégia de ensino em todo o evento a simulação de baixa, média, alta fidelidade e role play. No período da tarde cada grupo passou por três simulações clínicas diferentes, em que cada cenário envolvia o atendimento ao paciente crítico em determinada situação e abrangia o material de estudo prévio, o conteúdo teórico e o treino de habilidades. Após percorrer todas etapas, os participantes foram novamente reunidos em um auditório e preencheram o Questionário de Práticas Educativas. Posteriormente os dados foram codificados em planilhas do Excel, analisados através software Statistical Package for Social Sciences-SPSS (versão 22 para Windows). Para todos os testes foi assumido o valor de p<0,05 como valor crítico de significância.

O estudo foi registrado na Plataforma Brasil sob o número do Certificado de Apresentação para Apreciação Ética (CAAE): 10551512.1.0000.5393.

Resultados

Na primeira fase do estudo alguns itens tiveram CVI menor que 80% e sofreram modificações na linguagem. Nos itens 4 e 13 foi acrescentada a palavra “didático” para especificar o material ao qual o instrumento faz referência. Nos itens 8 e 16 a palavra “instrutor” foi substituída por “professor”, uma vez que os papéis assumidos dentro do ambiente simulado nos Estados Unidos são diferentes dos papéis desenvolvidos no ambiente simulado do Brasil e de Portugal. Nestes países as funções de professor, instrutor e facilitador geralmente são desempenhadas por um único indivíduo que é o professor. Realizada esta adaptação, todo o processo transcorreu regularmente.

A versão final da escala está descrita no quadro 1.

Quadro 1 Descrição dos itens do Questionário de Práticas Educacionais 

Item
Fator 1) Aprendizagem ativa
1. Durante a atividade de simulação eu tive a oportunidade de discutir as ideias e os conceitos ensinados no curso com o professor e outros alunos.
2. Eu participei ativamente da sessão de debriefing após a simulação.
3. Eu tive a oportunidade de refletir mais sobre meus comentários durante a sessão de debriefing.
4. Houve oportunidade suficiente na simulação para descobrir se eu compreendi claramente o material didático.
5. Eu aprendi com os comentários feitos pelo professor antes, durante ou após a simulação.
6. Eu recebi pistas durante a simulação, em tempo oportuno.
7. Eu tive a oportunidade de discutir os objetivos da simulação com o meu professor.
8. Eu tive a oportunidade de discutir ideias e conceitos ensinados na simulação com o meu professor.
9. O professor foi capaz de responder às necessidades individuais dos alunos durante a simulação.
10. O uso de atividades de simulação tornaram meu tempo de aprendizagem mais produtivo.
Fator 2) Colaboração
11. Eu tive a oportunidade de trabalhar com meus colegas durante a simulação.
12. Durante a simulação, eu e meus colegas tivemos de trabalhar na situação clínica juntos.
Fator 3) Maneiras diferentes de aprendizagem
13. A simulação ofereceu várias maneiras para aprender o material didático.
14. Esta simulação ofereceu uma variedade de formas para avaliar a minha aprendizagem.
Fator 4) Altas expectativas
15. Os objetivos para a experiência simulada foram claros e de fácil compreensão.
16. O meu professor comunicou os objetivos e expectativas a serem alcançados durante a simulação.

Na segunda fase, participaram do workshop 103 (100%) sujeitos que concordaram em participar da pesquisa, compondo a amostra em estudo. A maioria dos participantes, 90 (87,4%), era do sexo feminino, com média de idade de 32,1 anos. Quanto à escolaridade, a média do ano de conclusão da graduação foi o ano de 2005, sendo que 20 (19,4%) não haviam cursado nenhum tipo de especialização e os demais encontravam-se em curso ou haviam concluído as seguintes modalidades: 64 (62,1%) especialização Latu Senso, 47 (45,7%) mestrado e 20 (19,4%) doutorado. Referente à atividade laboral, 77 (74,8%) possuíam vínculo empregatício, dos quais 48 (46,6%) com área de atuação na enfermagem assistencial, 23 (22,3%) na docência e 6 (5,8%) na gerência de serviços. Quanto à experiência com ensino simulado 52 (50,5%) relataram que não conheciam a simulação como estratégia de ensino e 51 (49,5%) disseram que já conheciam esta ferramenta.

Quanto à validade e fidelidade da escala, o padrão de correlação entre as variáveis apresentou 36,3% (96) de correlações superiores a 0,30. O teste de adequação amostral, verificado através da medida de Kaiser Meyer Olkin, apresentou resultado de 0,81 com teste de esfericidade de Bartlett <0,001 e os valores na sua matriz antimagem permaneceram entre 0,67 e 0,91.

Na análise da extração de fatores, a variância total explicada apresentou nos 5 autovalores superiores a 1,00 com uma porcentagem cumulativa que explica mais de 72% do total da variância, sugerindo que a escala poderia ser dividida em cinco fatores.

Na rotação dos fatores, o teste de comunalidades demonstrou que todos possuíam valores acima de 0,54, reforçando a possibilidade de extração dos fatores; tais procedimentos seguiram o modelo de análise utilizado pelos autores originais: análise fatorial exploratória com rotação varimax. Os resultados da análise deste estudo apresentaram-se muito diferentes dos achados da versão original, não havendo nexo entre os agrupamentos. Mediante este fato optou-se em seguir a divisão estabelecida pela versão original.

A consistência interna foi verificada através do alpha de Cronbach e está descrita os seguintes valores: aprendizagem ativa 0,86, colaboração 0,87, maneiras diferentes de aprendizagem 0,77, altas expectativas 0,70 e para escala geral 0,90.

A tabela 1 traz valores estatísticos descritivos relativos ao Questionário de Práticas Educativas e a Escala de Importância do Item.

Tabela 1 Estatísticas descritivas dos fatores do Questionário de Práticas Educacionais e da Escala de Importância do Item (n = 103) 

Questionário de Práticas Educacionais
Variáveis M* M** Média DP
Aprendizagem ativa 3,60 5,00 4,56 0,41
Colaboração 2,50 5,00 4,66 0,52
Maneiras diferentes de aprendizagem 3,50 5,00 4,64 0,47
Altas expectativas 2,00 5,00 4,58 0,59
Geral 3,56 5,00 4,59 0,39

Escala de Importância do Item
Variáveis M* M** Média DP

Aprendizagem ativa 3,80 5,00 4,80 0,31
Colaboração 3,50 5,00 4,86 0,35
Maneiras diferentes de aprendizagem 3,50 5,00 4,85 0,33
Altas expectativas 3,00 5,00 4,84 0,36
Geral 3,75 5,00 4,82 0,29

*Mínimo; **Máximo; DP-Desvio padrão

O coeficiente de correlação de Pearson do Questionário de Práticas Educativas e escala de Importância do item estão descritas na tabela 2.

Tabela 2 Coeficiente de correlação de Pearson do Questionário de Práticas Educacionais e da Escala de Importância do Item (n = 103) 

Questionário de Práticas Educacionais
Variáveis Fator 1 Fator 2 Fator 3 Fator 4 Escala Geral
Aprendizagem ativa 0,48 0,59 0,64 0,96
Colaboração 0,48 0,47 0,42 0,65
Maneiras diferentes de aprendizagem 0,59 0,47 0,42 0,71
Altas expectativas 0,64 0,42 0,42 0,75
Escala Geral 0,96 0,65 0,71 0,75

Escala de Importância do Item
Variáveis Fator 1 Fator 2 Fator 3 Fator 4 Escala Geral

Aprendizagem ativa 0,67 0,73 0,73 0,97
Colaboração 0,67 0,72 0,53 0,78
Maneiras diferentes de aprendizagem 0,73 0,72 0,56 0,82
Altas expectativas 0,73 0,53 0,56 0,79
Escala Geral 0,97 0,78 0,82 0,79

Correlação significativa no nível 0,01

Discussão

Dentre as práticas educativas, a simulação de alta fidelidade enriquece o processo de ensino-aprendizagem, sendo uma estratégia relevante e que pode ser implementada na grade curricular das instituições formadoras, por consolidar esse processo e ampliar as competências e habilidades do aprendiz.(14) É importante ressaltar também seu potencial de utilização perante as instituições de assistência a saúde, no processo de educação permanente dos seus recursos humanos, uma vez que o aperfeiçoamento profissional é de suma importância para uma assistência à saúde eficaz e com qualidade.

A versão portuguesa do Educational Practices Questionnaire (Student Version) ficou denominada: Questionário de Práticas Educativas. Optou-se por retirar a denominação versão estudante, uma vez que o instrumento pode ser aplicado a todo e qualquer indivíduo que se submeta a um processo de aprendizagem.

As realizações dos testes psicométricos apontaram uma alta correlação entre as variáveis e uma adequação amostral apropriada para a realização do estudo. A variância total explicada sinalizou que a escala poderia ser divida em cinco fatores, divergente da escala original. Ao se realizar a análise fatorial exploratória com rotação varimax os itens se agruparam de forma bastante inesperada; não havendo uma explicação lógica, optou-se por seguir os achados da versão original. Uma justificativa para este agrupamento inesperado pode estar relacionado às características da amostra estudada. O estudo de validação da versão original foi realizado com estudantes de graduação em enfermagem, enquanto este foi realizado com profissionais. A análise fatorial sofre influência da composição do grupo estudado: quanto mais heterogênea uma amostra, mais altas correlações entre os escores do teste.(15) Diante da grande heterogeneidade da amostra deste estudo, e considerando as altas correlações que o teste apresentou, os fatores desta escala devem ser melhor avaliados em estudos subsequentes, seja com estudantes, seja com profissionais.

Outra influência que este estudo pode ter sofrido é quanto ao tamanho amostral: existe sugestão na literatura(16) de que para realização de análise fatorial a amostra deve conter pelo menos 5 participantes por variável e um total de pelo menos 200 sujeitos. Outros(17) recomendam o uso de 10 sujeitos por variável, com um mínimo de 100 sujeitos no total, ou ainda aludem(18) que o tamanho desejado de uma amostra depende do tamanho das cargas fatoriais obtidas, em torno de 0,80. Por outro lado, há quem classifique(19) amostras de 50 indivíduos como muito pequenas, de 100 como pequenas, de 200 como razoáveis, de 300 como boas, de 500 como muito boas e de 1.000 ou mais como excelentes. E ainda encontra-se a recomendação,(20) como regra geral, de um mínimo de 100 sujeitos por fator medido. Não havendo consenso quanto ao tamanho amostral, outros estudos que utilizarem o Questionário de Práticas Educativas na versão de língua portuguesa poderão futuramente esclarecer melhor a divisão de fatores da escala, seja com alunos de graduação ou profissionais da área de enfermagem.

Em relação à consistência interna, os resultados encontrados são superiores aos achados da versão original, tanto para o Questionário de Práticas Educativas, quanto para Escala de Importância do Item, reafirmando a coerência das escalas. A consistência interna dos quatro fatores também se apresentou boa em ambas às escalas, exceto o fator quatro com menor consistência nas duas escalas.

Em termos da estatística descritiva, os participantes apresentaram melhores médias no fator 2 do Questionário de Práticas Educativas, seguidas pelos fatores 3, 4 e 1. Resultado idêntico foi obtido na avaliação do grau de importância do item. Tais resultados, porém, devem ser explorados em outros estudos específicos. O teste de correlação de Pearson demonstrou uma correlação positiva forte entre a maioria dos fatores do Questionário de Práticas Educativas, apontando que existe uma convergência entre os fatores e a escala geral, e uma correlação positiva forte entre os fatores e a Escala de Importância do Item. Considera-se como limitações deste estudo o tamanho amostral e sua especificidade, porém esperamos que posteriores investigações possam fornecer sustentabilidade para consolidar a validade do questionário e reforçar o seu potencial de utilização.

Conclusão

As práticas educativas abarcam princípios importantes para o processo de aprendizagem nas diversas estratégias de ensino, inclusive na simulação clínica. Tentar enxergar o ensino simulado através dessa ótica nos permite compreender melhor como a simulação tem sido experimentada pelos indivíduos que a utilizam em sua formação. Neste trabalho foi realizada a tradução e validação para a língua portuguesa do Educational Practices Questionnaire (Student Version), denominada em português Questionário de Práticas Educativas podendo ser aplicada a todo indivíduo que utiliza a simulação de alta fidelidade em sua formação. Os resultados psicométricos encontrados nessa amostra apresentaram-se bons, exceto quanto à análise fatorial, a qual demanda maior investigação em estudos subsequentes.

REFERÊNCIAS

1. Chickering AW, Gamson ZF. Seven principles for good practice in undergraduate education. AAHE Bulletin. 1987; 39(7):3-7.
2. Jeffries PR. Simulation in nursing education: From conceptualization to evaluation. New York (EUA): National League for Nursing; 2007.
3. Jeffries PR. A framework for designing, implementing, and evaluating simulations used as teaching strategies in nursing. Nurs Educ Perspect. 2005; 26(2):96-103.
4. Parikh PP, White M, Markert RJ, Eustace R, Tchorz K. Simulation-based end-of-life care training during surgical clerkship: assessment of skills and perceptions. J Surg Res. 2015; 196(2):258-63.
5. Gillan PC, Arora S, Sanderson H, Turner L. Palliative Care Simulation: Nurturing Interprofessional Collegiality. Health Interprof Pract. 2013; 2(1):eP1051.
6. Kloh D, Reibnitz KS, Boehs AE, Wosny AM, Lima MM. The principle of integrality of care in the political-pedagogical projects of nursing programs. Rev Lat Am Enfermagem. 2014; 22(4):693-700.
7. Thidemann IJ, Söderhamn O. High-fidelity simulation among bachelor students in simulation groups and use of different roles. Nurse Educ Today. 2013; 33(12):1599-604.
8. Moura EC, Caliri MH. Simulação para desenvolvimento da competência clínica de avaliação de risco para úlcera por pressão. Acta Paul Enferm. 2013; 26(4):369-75.
9. Jeffries PR, Rizzolo MA. National League for Nursing/Leardal project summary report: Designing and implementing models for the innovative use of simulation to teach nursing care of ill adults and children: A national, multi-site, multi-method study. New York: National League for Nursing; 2006.
10. Ramm D, Thomson A, Jackson A. Learning clinical skills in the simulation suite: the lived experiences of student nurses involved in peer teaching and peer assessment. Nurse Educ Today. 2015; 35(6):823-7.
11. Najjar RH, Lyman B, Miehl N. Nursing students’ experiences with high-fidelity simulation. Int J Nurs Educ Scholarsh. 2015;12. pii: /j/ijnes.2015.12.issue-1/ijnes-2015-0010/ijnes-2015-0010.xml. doi: 10.1515/ijnes-2015-0010.
12. Ferrer M, Alonso J, Prieto L, Plaza V, Monsó E, Marrades R, et al. Validity and reliability of the St George´s Respiratory Questionnaire after adaptation to a different language and culture: the Spanish example. Eur Respir J. 1996; 9(6):1160-6.
13. Polit DF, Beck CT. The content validity index: are you sure you know what’s being reported? critique and recommendations. Res Nurs Health. 2006; 29(5):489-97.
14. Valadares AFM, Magro MCS. Opinião dos estudantes de enfermagem sobre a simulação realística e o estágio curricular em cenário hospitalar. Acta Paul Enferm. 2014; 27(2):138-43.
15. Laros JA. O uso de análise fatorial: algumas diretrizes para pesquisadores. In: Pasquali L, organizador. Análise fatorial para pesquisadores. Brasília (DF): LabPAM; 2005. p.163-84.
16. Gorsuch RL. Factor analysis. 2a ed. Hillsdale (EUA): Lawrence Erlbaum Associates; 1983.
17. Crocker L, Algina J. Introduction to classical and modern test theory. New York (EUA): Holt, Rinehartand Winston; 1986.
18. Guadagnoli E, Velicer WF. Relation of sample size to the stability of component patterns. Psychol Bull. 1988; 103(1):265-75.
19. Comrey AL, Lee HB. A first course in factor analysis. Hillsdale (EUA): Erlbaum; 1992.
20. Pasquali L. Instrumentos psicológicos: Manual prático de elaboração. Brasília (DF): LabPAM; 1999.