Caminhos para a avaliação da formação em Odontologia: construção de modelo lógico e validação de critérios

Caminhos para a avaliação da formação em Odontologia: construção de modelo lógico e validação de critérios

Autores:

Talitha Rodrigues Ribeiro Fernandes Pessoa,
Luiz Roberto Augusto Noro

ARTIGO ORIGINAL

Ciência & Saúde Coletiva

versão impressa ISSN 1413-8123versão On-line ISSN 1678-4561

Ciênc. saúde coletiva vol.20 no.7 Rio de Janeiro jul. 2015

http://dx.doi.org/10.1590/1413-81232015207.13182014

Introdução

Vários aspectos contribuem para a constatação atual, embora incipiente, de que há mudanças na formação de profissionais de saúde. Dentre eles podem ser citados o descrédito em um modelo puramente assistencialista e focado em procedimentos, a necessidade da universalização do acesso à saúde, assim como a constatação da falência do modelo pedagógico centrado na mera transmissão de conhecimentos.

Ao se discutir na atualidade as diferenças entre recursos humanos e trabalhadores na saúde, vários são os questionamentos relacionados a como a formação de profissionais em saúde tem superado as tensões em sua estrutura, envolvendo trabalho, trabalhador e sociedade a favor das evoluções no sistema de saúde, da flexibilização das relações de trabalho e do desenvolvimento das políticas sociais1. Frente a estas mudanças de paradigma, consequentes demandas por investigações têm sido propostas, com a perspectiva de elucidar fenômenos do emprego/trabalho e educação1. Em pesquisa com estudantes dos cursos de Odontologia, Medicina e Psicologia fica evidenciado um imaginário de atuação liberal-privatista, articulada à atuação na esfera pública simplesmente para maior experiência profissional2.

O referencial que diverge deste movimento e incorpora uma dimensão ampliada na área da saúde vem traduzido nas Diretrizes Curriculares Nacionais (DCN), instituídas nos cursos de graduação a partir de 20013. Ao analisar as dificuldades de cirurgiões-dentistas de serviços públicos de saúde, Costa e Araújo4 sugerem a necessidade de mudanças nos currículos, que formem profissionais de saúde que reflitam sobre sua prática e desenvolvam as competências de saber, saber fazer e saber ser.

As DCN reforçam a aproximação entre a Educação e a Saúde, com ênfase na promoção, prevenção, recuperação e reabilitação da saúde e na formação de profissionais capazes de atuar com qualidade, eficiência e resolutividade, coerentemente com o previsto na construção do SUS, a qual prevê este sistema como ordenador da formação de recursos humanos em saúde5. Para tanto, apontam para o desafio de promover no estudante o desenvolvimento intelectual e profissional autônomo e permanente, competência essa que não se encerra com a conclusão do curso4.

Com o estabelecimento das DCN e com as mudanças curriculares em curso nas instituições de ensino superior, fez-se necessário o desenvolvimento de processos avaliativos os quais propõem uma análise do quanto as diretrizes foram atendidas, no que se refere à qualidade, à relevância e à adequação dos cursos às necessidades de desenvolvimento do país6. Esta avaliação é referencial básico na orientação dos processos de autorização e reconhecimento de cursos. Entretanto, além dos aspectos relacionados ao processo de regulação, são necessários estudos que aprofundem elementos essenciais no desenvolvimento cotidiano destas instituições.

Em 2006, o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP) publicou estudo sobre a trajetória dos cursos de graduação na área da saúde, o qual buscou estimular a reflexão e discussão sobre a avaliação da formação dos cursos de nível superior em saúde a partir do Censo da Educação Superior, do Cadastro de Docentes, do Cadastro de Instituições e Cursos, do Exame Nacional de Desempenho dos Estudantes (ENADE) e Relatórios das Comissões Próprias de Avaliação (CPA)6. Constatou-se um aumento significativo da disponibilidade de cursos de Odontologia em todo país, principalmente no setor privado.

Ainda em 2006, o Ministério da Saúde e o da Educação investigaram, com base nos relatórios dos processos avaliativos dos Projetos Pedagógicos dos Cursos (PPC), conduzidos pelo INEP, no período de 2002 a 2006, a adoção das Diretrizes Curriculares Nacionais no contexto dos PPC desses cursos7. Segundo esse estudo, as DCN para os cursos de Odontologia significaram um importante avanço por estabelecerem os princípios e fundamentos para a formação do cirurgião dentista.

Entretanto, mesmo com mais de dez anos da instituição das DCN e do início das mudanças curriculares nos cursos de graduação de Odontologia, mantêm-se diversos questionamentos sobre a verdadeira efetivação das diretrizes na formação de cirurgiões-dentistas.

Emerge, pois, a necessidade de se pensar critérios que possam verificar como a formação de profissionais de saúde tem respondido ao que foi preconizado nas DCN, mesmo frente às subjetividades e abrangência de fatores para uma formação adequada às necessidades de saúde da população brasileira. Coerente com esta necessidade, o objetivo deste estudo foi propor a construção de um modelo lógico da formação de cirurgiões-dentistas com base nas diretrizes curriculares nacionais e, a partir deste, a construção de uma matriz de critérios de avaliação e sua validação, proporcionando uma nova alternativa para avaliação de cursos de graduação em Odontologia.

Metodologia

Em estudos avaliativos, frente à complexidade do objeto, é necessário, sem prejuízo do rigor metodológico, usar de maleabilidade, triangulação de abordagens investigativas e complementaridade de técnicas quantitativas e qualitativas8.

Este estudo consistiu em uma pré-avaliação ou estudo de avaliabilidade, os quais surgem como uma possibilidade de se verificar em que medida uma intervenção pode ser avaliada9. Proporciona um ambiente favorável na medida em que constrói entendimentos entre os envolvidos sobre a natureza e os objetivos do objeto da avaliação, busca concordância entre os interesses da avaliação e os possíveis usuários do estudo, aumentando as possibilidades do uso dos resultados10. Para este estudo, a pré-avaliação consistiu nas seguintes etapas: construção do modelo lógico, elaboração da matriz de critérios de avaliação e validação da matriz de critérios.

Construção do Modelo Lógico

A representação do objeto de investigação, que no caso deste estudo é a formação de cirurgiões-dentistas baseada nas DCN, seus movimentos e suas relações, é passível de ser modelizada, tendo por referência uma construção teórica11.

A construção do modelo teve início com a pesquisa e leitura de documentos relacionados ao objeto, a partir das DCN3,4,12, de publicações dos Ministérios da Saúde e da Educação6,7,13,14, da Associação Brasileira de Ensino Odontológico15 e de outros estudos e publicações sobre avaliação de cursos de graduação e educação odontológica1622.

A construção de um modelo teórico/lógico deve ser convincente e apresentar plausibilidade das associações estabelecidas11. Nesta perspectiva, com base na literatura e objetivos da pesquisa, foram levantados vários possíveis elementos constituintes do modelo, a fim de que este pudesse se tornar uma “representação conceitual esquemática de uma coisa ou situação real ou suposta como tal”23. Neste caso, que ele pudesse representar, de forma mais próxima possível, a formação de cirurgiões-dentistas de acordo com o que é preconizado nas DCN.

O modelo lógico apresentou, pois, como elemento estruturante, a necessidade da formação vinculada à mudança de paradigma de saúde, voltado para as necessidades de saúde da população (Figura 1).

Figura 1 Modelo lógico da formação de cirurgiões dentistas com base nas DCN. 

Elaboração da Matriz de Critérios

Com base no modelo lógico construído, foi elaborada uma matriz de critérios de avaliação contemplando, a partir dos referenciais teóricos, os principais aspectos a serem abordados, os quais foram considerados relevantes para a formação de uma “imagem-objetivo” da avaliação dos cursos de Odontologia com base nas DCN. Para a construção da matriz, cada elemento estruturante destacado no modelo lógico foi transformado em uma dimensão de avaliação. A matriz foi então construída em quatro dimensões: Perfil do Egresso, Orientação do Cuidado em Saúde, Integração Ensino-Serviço e Abordagem Pedagógica. Ainda com base no modelo lógico, para cada uma dessas dimensões, foram propostas subdimensões descritas em critérios de avaliação que expressam o padrão esperado na imagem-objetivo.

A matriz elaborada a partir do modelo lógico, com dimensões, subdimensões, critérios e respectivas pontuações propostas preliminarmente pelos pesquisadores está expressa no Quadro 1.

Quadro 1 Matriz de critérios e pontuação proposta para avaliação dos cursos de odontologia do nordeste brasileiro, a partir das dimensões e subdimensões, com base nas DCN, encaminhada aos “experts”. 

Dimensão Subdimensão Critérios Pontuação proposta
Perfil do egresso Generalista No campo coletivo, desenvolve ações de promoção de saúde e de gestão dos serviços, ao mesmo tempo em que, no campo individual, realiza a prevenção, o diagnóstico, o planejamento e o tratamento odontológico dos principais problemas bucais. 10
Humanista Oferta atendimento de qualidade articulando os avanços tecnológicos com acolhimento, melhoria dos ambientes de cuidado e das condições de trabalho, construindo trocas solidárias e comprometidas com a produção de saúde na relação com usuários e outros profssionais. 10
Autônomo Toma decisões tanto em procedimentos clínicos como em situações de gestão e trabalho coletivo, com segurança e habilidade. 10
Crítico/refexivo Problematiza e avalia situações de natureza individual ou coletiva e propõe alternativas para solução a partir do conhecimento científco e da refexão 8
Compreensão da realidade social Identifca o contexto social no qual desenvolve sua prática profissional, respeitando as caraterísticas da população e procurando soluções adequadas a esta realidade. 8
Orientação do cuidado à saúde Enfoque epidemiológico Estrutura curricular organizada a partir da realidade epidemiológica da região. 10
Promoção de saúde Compreensão da determinação social do processo saúde-doença e desenvolvimento de estratégias abrangentes para a ampliação de escolhas saudáveis com base nas condições de vida de indivíduos e da população. 10
Prevenção de doenças Utilização de tecnologias individuais e coletivas visando à prevenção das principais doenças bucais. 6
Diagnóstico precoce Sensibilidade no uso de tecnologias que permitam uma visão integral do indivíduo e subsidie o diagnóstico precoce para todas as manifestações bucais. 8
Tratamento odontológico Atividades clínicas voltadas para a solução dos problemas bucais mais prevalentes da população. 6
Equipe de saúde bucal Desenvolvimento de atividades com pessoal auxiliar (auxiliar em saúde bucal ou técnico em saúde bucal) possibilitando o trabalho em equipe. 8
Interdisciplinaridade Desenvolvimento de atividades didáticas com alunos ou profssionais de outros cursos da área da saúde prevendo a integralidade das ações de saúde. 8
Integração ensino-serviço Inserção dos alunos no SUS Alunos envolvidos com os serviços de saúde desde os primeiros semestres do curso. 5
Atividades de estágio Desenvolvido em atividades clínicas individuais e ações coletivas em espaços fora do âmbito da IES, articuladas com o SUS, formalizada por convênio e supervisionada por professores de todas as áreas. 10
Referencial teórico dos marcos conceituais do SUS Compreensão da amplitude e complexidade do SUS, seus princípios e diretrizes. 5
Vivências no SUS Atuação em todos os níveis de atenção do sistema de saúde, compreendendo o fluxo da rede de serviços e as competências profissionais em cada nível. 10
Referência e contrarreferência Clínicas do curso interligadas ao SUS, com desenvolvimento de mecanismos institucionais de referência e contrarreferência. 5
Planejamento e avaliação dos serviços Participação efetiva no planejamento e avaliação dos serviços de saúde, permitindo ações conjuntas e parcerias. 5
Abordagem pedagógica Metodologias ativas Processo educativo baseado na solução de problemas em pequenos grupos com participação ativa dos alunos. 10
Papel do professor Facilitador da aprendizagem, gestor do conhecimento e articulador de atividades que promovam o aprendizado do aluno. 10
Desenvolvimento docente Promoção constante de atividades de formação do corpo docente na área pedagógica e na integração dos conteúdos da várias áreas de conhecimento. 10
Cenários de aprendizagem Aprendizado baseado em múltiplas fontes de conhecimento como bibliotecas, comunidade, órgãos de processamento de dados, instituições de saneamento e meio ambiente, escolas, creches, espaços sociais. 10
Currículo integrado Competências e habilidades organizadas em módulos com complexidade crescente ao longo do processo de formação, articulando ciências biológicas, da saúde, humanas e sociais com as ciências odontológicas. 10
Avaliação processual Baseada nas competências e habilidades previstas, realizada com a finalidade de acompanhar sistematicamente e contribuir para o aprendizado do aluno. 10
Flexibilização curricular Mecanismos capazes de conferir flexibilidade no cumprimento do currículo de acordo com o desenvolvimento de vocações, interesses e potenciais específcos do estudante. 10
Articulação ensinopesquisa-extensão Envolvimento da pesquisa e da extensão como estratégias curriculares que proporcionam formação integral do estudante. 10

Validação da matriz de critérios por consenso entre “experts” (Método Delfos Modificado)

Para a validação da matriz de critérios de avaliação de cursos de odontologia proposta pelos autores, foi utilizada uma adaptação da técnica de consenso entre “experts” (Método Delfos).

O método Delfos é uma técnica formal, para consenso entre “experts” em um tema específico, que utiliza o conhecimento teórico, a experiência e a criatividade destes, convertidos em informação científica por meio de uma aplicação metodologicamente estruturada24,25. Na área da saúde, esta técnica vem sendo utilizada para a obtenção de consenso com diversas finalidades, como avaliação de tecnologias, seleção de indicadores de qualidade de serviços, e no desenvolvimento de planos de estudos para a educação médica25.

O consenso Delfos consiste num processo estruturado em rodadas de consultas aos especialistas, no intuito de obter uma opinião coletiva e qualificada sobre determinadas questões até que um consenso seja alcançado26,27.

Para este estudo, optou-se por uma a adaptação denominada “Delfos modificado”, o qual consiste na inclusão de pelo menos uma rodada de discussão presencial entre especialistas25,27, por meio da associação com a técnica de conferência de consenso preconizada por Souza et al.28. Em síntese, realizou-se no estudo uma primeira rodada com a aplicação da técnica Delfos tradicional, enquanto a segunda e a terceira corresponderam à realização da conferência de consenso.

Para a primeira rodada, foram convidados sessenta especialistas, sendo trinta professores doutores com inserção ativa nas discussões em educação em Odontologia junto à Associação Brasileira de Ensino Odontológico (ABENO), e trinta professores-doutores com inserção no Grupo de Trabalho de Saúde Bucal da Associação Brasileira de Saúde Coletiva (ABRASCO). Para a identificação destes participantes, partiuse da compreensão de que “experts” são pessoas ligadas a organizações, capazes de oferecer, com o máximo de competência, valores conclusivos sobre um determinado problema, fazer prognósticos objetivos sobre o efeito, aplicabilidade, viabilidade e relevância, que possam contribuir para a solução desse problema, sugerindo recomendações sobre o que fazer para aperfeiçoá-lo29.

O número ideal de participantes para realização de consenso Delfos é variável. Enquanto Okoli e Pawlowski30 sinalizam que entre 10 e 18 “experts” são suficientes para o desenvolvimento do método, Valdés e Marín25 sugerem um mínimo de 7 “experts”, observando que o erro de consenso é diminuído notavelmente a cada especialista adicionado. Todavia, estudos recomendam a prudência de se convidar mais membros do que os que estão previstos para o painel de “experts”, pois usualmente ocorrem desistências25,27. Bloor et al.31 afirmaram que num grupo Delfos, mais importante do que o tamanho é o equilíbrio das participações, representado pela gama de pontos de vista, conhecimentos e interesses colocados.

Foram enviados aos “experts” em mensagem individual, via correio eletrônico, o Termo de Consentimento Livre e Esclarecido (TCLE), texto explicativo contendo os objetivos do estudo e método de construção do consenso pelo método Delfos, além de instruções de preenchimento dos instrumentos de pesquisa. O modelo lógico e a matriz de critérios foram apresentados acompanhados da seguinte pergunta: Quais os critérios relevantes para a formação de cirurgiões-dentistas, com base no que preconizam as diretrizes curriculares nacionais para o curso de Odontologia? Em cada critério da matriz, assim como em outros estudos32,33, constava uma nota de 0 a 10, onde 0 significava exclusão do critério e 10 significava importância máxima do mesmo para a avaliação dos cursos com base nas DCN. Foi solicitado aos “experts” que julgassem cada critério e atribuíssem uma nota de 0 a 10 seguindo a mesma lógica, como também que descrevessem as justificativas para a permanência ou alteração da pontuação do critério. Na matriz, os critérios com média igual ou superior a 7 (sete) e com valor de desvio-padrão menor ou igual a 3 (três) foram mantidos28.

A partir dos resultados sinalizados na primeira rodada do Delfos, foi desenvolvida na segunda rodada a conferência de consenso, para a qual foram convidados quatro especialistas não participantes da primeira rodada, professores-doutores com inserção ativa nas discussões em educação em Odontologia junto ABENO, com vasta atuação acadêmica em saúde coletiva e com publicações na área de formação profissional de cirurgiões-dentistas, os quais receberam previamente a matriz com os critérios e suas respectivas pontuações dimensionadas no consenso Delfos.

Assim, como ocorre no Delfos tradicional, não há consenso na literatura sobre o número ideal de participantes em conferências de consenso. Observa-se em estudos recentes32,3437 uma variação de 3 até 15 especialistas, os quais concluem que a representatividade deve ser avaliada mais pela qualidade do painel de especialistas do que pelo número de participantes38, como ocorreu no presente estudo.

A conferência de consenso foi desenvolvida em reunião presencial na qual os especialistas analisaram e discutiram acerca das dimensões, subdimensões e critérios de avaliação propostos na matriz. A partir do debate, foi realizado o registro do consenso deste grupo.

Os especialistas presentes na conferência de consenso foram convidados a analisar individualmente a matriz resultante do trabalho presencial, o que consistiu na terceira rodada do Delfos Modificado.

Aspectos Éticos

O projeto foi submetido ao Comitê de Ética em Pesquisa do Hospital Onofre Lopes e cadastrado na Plataforma Brasil, seguindo todas as orientações da Resolução 466/1239 do Conselho Nacional de Saúde. O projeto foi aprovado.

Resultados

O modelo lógico apresentado na Figura 1 é resultante da construção preliminar dos pesquisadores, acrescidos das sugestões encaminhadas pelos “experts” na primeira rodada do consenso Delfos. Para garantir a configuração da imagem-objetivo preconizada, foram inseridos no modelo, em aspectos relacionados à formação, os seguintes componentes: abordagem pedagógica, perfil do egresso, integração ensino-serviço e orientação do cuidado à saúde, organizados de forma a estabelecerem relações e rotas que fossem pertinentes ao objeto. O modelo lógico obtido permitiu uma melhor compreensão e estruturação dos elementos de avaliação, dos aspectos envolvidos e das possíveis relações entre esses, orientando a construção de uma proposta de matriz de critérios de avaliação para cursos de Odontologia.

Esta matriz foi encaminhada aos “experts”, os quais puderam julgar a coerência do critério com a dimensão a qual está vinculado e também indicar suas sugestões para melhoria da matriz, seja pela exclusão de critérios, indicação de novos critérios, novas dimensões, com respectivas pontuações, ou quaisquer outras reformulações que julgassem necessárias.

A consulta aos “experts” foi realizada pela técnica Delfos entre os meses de julho a agosto de 2013. Dos sessenta especialistas convidados, responderam à matriz o total de trinta e três professores, número considerado satisfatório por outros estudos da mesma característica25,30.

As notas atribuídas pelos “experts” a cada critério da matriz foram inseridas em uma planilha e analisadas descritivamente por meio da média e desvio-padrão. Quanto maior a média, maior foi a importância dada ao critério. Já o desvio-padrão permitiu verificar a estimativa do grau de consenso, sendo inversamente proporcional a este, independente da importância conferida ao critério28.

Os resultados encontram-se na Tabela 1, a qual sinaliza as dimensões e subdimensões propostas na matriz, a média e o respectivo desvio-padrão, e a pontuação final a ser considerada após a avaliação dos “experts”.

Tabela 1 Média, desvio-padrão e pontuação final das subdimensões, segundo “experts” participantes na primeira rodada do Método Delfos, por dimensão. 

Dimensão/Subdimensão Média DP Pontuação Final
Perfil do egresso
Generalista 9,9 0,4 10
Humanista 9,6 1,1 10
Autônomo 9,3 2,0 9
Crítico/refexivo 8,4 2,0 8
Compreensão da realidade social 8,9 1,0 9
Orientação do cuidado à saúde
Enfoque epidemiológico 9,1 2,0 9
Promoção de saúde 9,9 0,4 10
Prevenção de doenças 6,9* 1,8 -
Diagnóstico precoce 8,1 1,1 8
Tratamento odontológico 7,5 1,4 8
Equipe de saúde bucal 8,1 1,3 8
Interdisciplinaridade 8,0 1,1 8
Integração ensino-serviço
Inserção dos alunos SUS 6,6* 2,4 -
Atividades de estágio 9,8 0,7 10
Referencial teórico do SUS 6,6* 2,0 -
Vivências no SUS 9,1 2,4 9
Referência e contrarreferência 6,2* 1,7 -
Planejamento e avaliação de serviços 6,0* 2,1 -
Abordagem pedagógica
Metodologias ativas 9,8 0,9 10
Papel do professor 9,6 1,3 10
Desenvolvimento docente 9,6 1,3 10
Cenários de aprendizagem 9,8 0,9 10
Currículo integrado 9,6 1,3 10
Avaliação processual 9,8 0,9 10
Flexibilização curricular 9,7 1,0 10
Articulação ensino-pesquisa-extensão 9,7 1,0 10

*Média < 7,0

Dentre os vinte e cinco critérios iniciais propostos, cinco critérios foram considerados não essenciais para a avaliação da formação de cirurgiões-dentistas e excluídos da matriz: prevenção de doenças (Dimensão orientação do cuidado à saúde); inserção de alunos no SUS, referencial teórico do SUS, referência e contrarreferência e planejamento e avaliação de serviços (Dimensão integração ensino-serviço).

Da segunda rodada, correspondente à conferência de consenso, participaram os quatro especialistas convidados, os quais confirmaram as dimensões e subdimensões validadas na etapa anterior e reconsideraram parte dos critérios definidores das subdimensões. As análises obtidas a partir dos mesmos na terceira rodada confirmaram os critérios discutidos ao longo da reunião presencial, definindo a matriz final de critérios de avaliação de cursos de Odontologia segundo as DCN, apresentada no Quadro 2.

Quadro 2 Subdimensões e critérios validados a partir da terceira rodada do Delfos Modificado, por dimensão. 

Subdimensão Critérios
Perfil do egresso
Generalista No campo coletivo, desenvolve ações de promoção de saúde e de gestão dos serviços, ao mesmo tempo em que, no campo individual, realiza a prevenção, diagnóstico, planejamento e tratamento odontológico dos principais problemas bucais.
Humanista Oferta atendimento de qualidade com acolhimento, escuta qualificada, visão ampliada do sujeito e de suas necessidades de cuidado, articulando os avanços tecnológicos com melhoria dos ambientes de cuidado e das condições de trabalho, construindo trocas solidárias e comprometidas com a produção de saúde na relação com usuários e outros profissionais, baseado em princípios éticos.
Autônomo Toma decisões tanto em procedimentos clínicos como em situações de gestão e trabalho coletivo, com segurança e habilidade.
Crítico/reflexivo Problematiza e avalia situações de natureza individual e/ou coletiva e propõe alternativas para solução a partir do conhecimento científico e da reflexão
Capaz de compreender realidade social Identifica o contexto social no qual desenvolve sua prática profissional, respeitando as caraterísticas da população e procurando soluções adequadas a esta realidade.
Orientação do cuidado à saúde
Enfoque epidemiológico Estrutura curricular organizada a partir da realidade epidemiológica da região e do país, com base nas necessidades de saúde da população.
Promoção de saúde Compreensão da determinação social do processo saúde-doença e desenvolvimento de estratégias abrangentes para a ampliação de escolhas saudáveis com base nas condições de vida de indivíduos e da população.
Diagnóstico Uso de tecnologias e visão integral do indivíduo para subsidiar o diagnóstico de todas as doenças bucais.
Assistência Solução dos problemas bucais mais prevalentes e das necessidades do sujeito, com enfoque integral.
Equipe de saúde bucal Desenvolvimento de atividades com pessoal auxiliar (auxiliar em saúde bucal ou técnico em saúde bucal) possibilitando o trabalho em equipe.
Multiprofissionalidade Desenvolvimento de atividades de orientação ao cuidado multiprofissional e interdisciplinar com alunos, técnicos ou profssionais da mesma área (técnicos de prótese dentária) e/ou de outras áreas da saúde (técnicos de enfermagem, agentes comunitários, etc.), prevendo a integralidade das ações de saúde.
Integração ensino-serviço
Atividades de estágio Desenvolvido em atividades clínicas individuais e ações coletivas em espaços fora do âmbito da IES, articuladas com o SUS, formalizada por convênio e supervisionada por professores de todas as áreas, desde os primeiros semestres do curso.
Vivências no SUS Atividades desenvolvidas em todos os níveis de atenção do sistema de saúde, compreendendo o fluxo da rede, o planejamento e a avaliação de serviços e as competências profissionais em cada nível, possibilitando a compreensão da amplitude e complexidade do SUS, seus princípios e diretrizes.
Abordagem pedagógica
Metodologias ativas Processo educativo baseado em novas estratégias de ensino que possibilitem a refexão e estimulem a criatividade na resolução de problemas, bem como o trabalho em equipe.
Papel do professor Facilitador da aprendizagem, gestor do conhecimento e articulador de atividades que promovam o aprendizado do aluno.
Desenvolvimento docente Promoção constante de atividades de formação do corpo docente na área pedagógica e na integração dos conteúdos da várias áreas de conhecimento.
Cenários de aprendizagem Aprendizado baseado em múltiplas fontes de conhecimento como bibliotecas, ambientes virtuais, comunidade, órgãos de planejamento, gestão e vigilância, escolas, creches, espaços sociais, além das unidades de saúde.
Currículo integrado Competências e habilidades organizadas em unidades de aprendizagem com complexidade crescente ao longo da formação, articulando ciências biológicas, da saúde, humanas e sociais com a Odontologia.
Avaliação processual do aprendizado do aluno Baseada nas competências e habilidades previstas, de caráter formativo e participativo (incluindo a autoavaliação), realizada com a finalidade de acompanhar sistematicamente e contribuir para o aprendizado do aluno.
Flexibilização curricular Flexibilidade, inclusive de carga horária, no cumprimento do currículo para que os estudantes possam criar caminhos próprios de desenvolvimento de vocações, interesses e potenciais específcos.
Articulação ensino-pesquisa-extensão Envolvimento da pesquisa e da extensão como estratégias curriculares que proporcionam formação integral do estudante.

Discussão

Em um estudo de pré-avaliação, as etapas desenvolvidas tais como a descrição detalhada da intervenção, a elaboração de perguntas avaliativas relevantes ao processo, a construção do modelo lógico e o consenso sobre os itens a serem avaliados proporcionam o esclarecimento e reflexão sobre limites e possibilidades da avaliação proposta10.

Dentre os três tipos de modelos classificados por Champagne et al.40, o modelo lógico operacional é o que mais se aproxima do modelo obtido no presente estudo, uma vez que representa a maneira como os objetivos da intervenção podem ser alcançados por meio de recursos e processos. No modelo construído, o detalhamento da imagem-objetivo possibilitou elencar os aspectos percebidos nas DCN que são prioritários para uma formação mais aproximada às necessidades de saúde da população. Nesta perspectiva, Lampert16 afirma que o “fio da meada” para quem vai em direção à avaliação de instituições que se propõem formar profissionais de saúde se inicia nas necessidades de saúde da sociedade.

O modelo lógico possibilitou a construção da matriz de critérios para avaliação da formação de cirurgiões-dentistas nas quatro dimensões propostas. Houve consenso e semelhança no julgamento de valor dos critérios, sendo a maior parte destes considerados importantes para a avaliação na visão dos “experts” pela técnica de consenso Delfos. Um dos maiores desafios para a aplicação desta técnica foi contar com atores envolvidos com o fortalecimento dos princípios das DCN, especialmente focados no SUS como cenário privilegiado de aprendizagem e em abordagens pedagógicas centradas no estudante.

O consenso Delfos facilita o acesso a um grupo amplo e a uma população geograficamente dispersa de forma simultânea e permite o intercâmbio de informações entre um número importante de pessoas24. Por não haver requisitos padronizados e aceitos universalmente para a técnica Delfos, pode ser encontrada uma grande variabilidade nas investigações que se valem do método. Autores25 defendem que tal variabilidade não consiste em falha do desenvolvimento do método, podendo ser considerada uma potencialidade devido à sua adaptabilidade às condições em que o estudo se insere. Em revisão sistemática da literatura para a seleção de indicadores de qualidade em saúde utilizando a técnica Delfos27, a maioria dos 80 estudos analisados descreve modificações do método original, nos quais foi incluída pelo menos uma reunião física entre os participantes, conforme ocorreu no presente estudo para validação dos critérios que descrevem as subdimensões.

A opção pela associação das técnicas de consenso se deu, frente à obtenção de consenso em todos os critérios na primeira rodada, pela possibilidade de acrescentar os benefícios relacionados à discussão presencial dos critérios já submetidos ao consenso individual inicial28, o que permitiu a clarificação de possíveis desentendimentos, respeitando ainda as opiniões individuais na terceira rodada27.

As dimensões “perfil do egresso” e “abordagem pedagógica” tiveram todos os seus critérios considerados relevantes para a avaliação da formação de cirurgiões-dentistas, sendo esta última dimensão a que obteve pela média dos especialistas em todos os critérios pontuações máximas de relevância. Apesar de coexistirem na atualidade, as tendências pedagógicas vêm se transformando ao longo do tempo e apontam como o melhor caminho para a educação, inclusive de profissionais de saúde, as pedagogias da problematização ou críticas, pois valorizam o saber do educando e o instrumentalizam para a transformação da realidade e de si mesmo no desenvolvimento de habilidades humanas e técnicas41.

Na dimensão “orientação do cuidado à saúde”, o único critério excluído foi “prevenção de doenças”. A prevenção de doenças, principalmente da cárie dentária, já é uma prática extensivamente trabalhada na formação em Odontologia, o que pode ter influenciado a não associação deste critério às mudanças requeridas nos currículos alinhadas às exigências atuais das DCN. Além disso, a presença do critério “promoção de saúde” pode ter levado à compreensão de que as práticas preventivas devem ser incorporadas a partir do fortalecimento da capacidade das pessoas em se apropriar dos diversos fatores que condicionam à saúde.

A maioria dos critérios considerados não essenciais pertencia à dimensão “integração ensino-serviço”. Ao contrário do que possa parecer inicialmente, acredita-se que não houve uma desvalorização desta dimensão por parte dos “experts” quanto à sua relevância para a avaliação da formação de profissionais de saúde. Tal constatação pode ser justificada pelo fato de ser observada uma sobreposição de interpretações entre os critérios propostos na matriz inicial para esta dimensão. Percebe-se que os quatro critérios excluídos (inserção de alunos no SUS, referencial teórico do SUS, referência e contrarreferência, e planejamento e avaliação de serviços) são contemplados na avaliação dos critérios “vivências no SUS” e “atividades de estágio”.

A necessidade de sistemas avaliativos com indicadores quantitativos e qualitativos, que permitam identificar fortalezas e fragilidades e orientar o redirecionamento do planejamento institucional, está estritamente relacionada à missão da instituição formadora com ações de ensino, pesquisa e extensão, baseadas na relação entre Estado e sociedade e nas políticas instituídas17. Políticas públicas no campo da avaliação são potenciais indutores de transformação, alinhadas ao cumprimento das DCN e das diretrizes constitucionais do SUS na formação profissional em saúde, reforçando a responsabilidade social e a resposta às demandas contemporâneas de saúde da população42.

A Constituição Federal de 1988 traz a noção do Estado como avaliador, colocando o poder público como responsável pelo aval para fins de ingresso e permanência de cursos no sistema de educação, tomando por base o processo avaliativo por ele conduzido5,43. Atualmente, esta regulação é realizada pelo Sistema Nacional de Avaliação Superior (SINAES), proposto em 2002 e estabelecido como política de Estado em 2004, o qual resulta das várias iniciativas instituídas para avaliação de cursos superiores desde a década de 7043.

No instrumento para avaliação de cursos de graduação utilizado pelo SINAES, as dimensões avaliativas são: Organização didático-pedagógica, Corpo docente e Infraestrutura. Ainda neste instrumento, o cumprimento das DCN é caracterizado como um requisito legal e normativo de cumprimento obrigatório, entretanto, por ser um item essencialmente regulatório, não faz parte do cálculo do conceito de avaliação do curso13.

Os indicadores e critérios preconizados no instrumento de avaliação de cursos de graduação do INEP permitem afirmar valores que garantam a aderência do PPC às DCN43, como também fazer julgamentos válidos nas dimensões propostas. Entretanto, apesar dos esforços da ação conjunta entre os ministérios da saúde e educação, para incluir as DCN e os princípios do SUS na avaliação da educação superior na área da saúde, com base no SINAES7, para avaliação específica de cursos da área da saúde, e neste caso de cursos de Odontologia, um olhar atento aos aspectos inerentes às peculiaridades da formação nesta área de atuação é necessário. A matriz de critérios proposta neste estudo traz, portanto, as questões relativas à orientação do cuidado à saúde em sua perspectiva atual e à dimensão de integração ensino-serviço voltada para o SUS, condições estipuladas nas próprias DCN e indispensáveis para o perfil profissional requerido nestas.

Pinheiro et al.18 discutiram a produção acadêmica de artigos científicos sobre a formação do cirurgião-dentista no Brasil entre os anos de 1992 a 2005. Os estudos encontrados pelos autores versavam sobre o perfil, a atuação social do cirurgião-dentista, a característica do trabalho relacionado à formação e à avaliação de estágio curricular, estrutura curricular, análise, tendências e contradições, todos relacionados às DCN. Já Casotti et al.19 apresentam resultados da produção de conhecimento sobre educação em odontologia entre os anos de 1995 e 2006, com base em 52 dissertações e 20 teses do banco de dados da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Concluíram que a produção neste campo ainda é incipiente, mas com múltiplas temáticas, tais como experiências disciplinares inovadoras, formação docente, currículo e perfil do egresso.

Entre os poucos estudos que se propõem a trabalhar com critérios validados para a avaliação de cursos de Odontologia, Zilbovicius et al.20 objetivaram analisar a tendência de mudanças na educação odontológica brasileira em face da necessidade de implantação das DCN. Utilizaram dados quantitativos do instrumento de avaliação aplicado nas oficinas da ABENO nos anos de 2005 e 2006. Os indicadores do referido instrumento são baseados na análise radial44 composta por três eixos: Orientação teórica, Abordagem pedagógica e Cenários de prática. Ao final da avaliação radial, a maioria dos cursos mostrou um incipiente grau de inovação curricular20.

No estudo intitulado “A aderência dos cursos de graduação em enfermagem, medicina e odontologia às diretrizes curriculares nacionais”7, foram criados índices quantitativos seguindo as dimensões e critérios dos relatórios do INEP, que estivessem mais associados ao que preconizam as DCN, e também avaliados qualitativamente os relatórios de avaliação e PPC dos cursos que obtiveram menor e maior aderência às DCN. Para os cursos de Odontologia, os resultados apontam que as barreiras para a implantação das DCN estão relacionadas, principalmente, à integração ensino-serviço no SUS, à dificuldade de integração e modificação curricular e à dificuldade em desenvolver projetos pedagógicos inovadores, diferentes do modelo tradicional de ensino. Concluíram, com base nos projetos pedagógicos analisados, que a formação profissional de cirurgiões-dentistas ainda está majoritariamente concentrada no diagnóstico e tratamento de doenças7.

Nos dois estudos citados7,20, importantes resultados puderam ser obtidos sobre a tendência de transformação da formação de cirurgiões-dentistas desde a implantação das DCN. Entretanto, permanecem muitas lacunas sobre como as diretrizes podem ser efetivadas nos currículos e práticas educativas, que possam ser avaliadas por um maior número de aspectos, por meio de indicadores válidos, mais sensíveis e específicos45 e verificados por fontes acessíveis, legítimas e mais próximas do cotidiano dos espaços formadores. É fundamental, ainda, compreender os serviços públicos de saúde e o mundo do trabalho como elementos centrais de uma nova abordagem pedagógica, capaz de contribuir para que o novo profissional de saúde atue com capacidade de compreender a realidade e intervenha sobre ela46.

A matriz final proposta neste estudo traz dimensões, subdimensões e critérios passíveis de serem utilizados para a condução de estudos avaliativos de cursos de odontologia com base nas proposições das DCN. Para tanto, tais critérios podem ser compreendidos como categorias cognitivas24, construídas a partir das orientações das DCN, para a formação de profissionais de saúde e que poderão ser utilizadas na avaliação desta.

As dimensões apresentadas na presente proposta avaliativa tiveram uma finalidade diferenciada, uma vez que aprofundaram elementos estruturantes pouco explorados na literatura científica. Ainda, vislumbra-se a possibilidade da matriz ser utilizada, com as devidas adequações, para outros cursos da área da saúde. Há também possibilidade de utilizar diferentes abordagens metodológicas em estudos que se propuserem a utilizar os critérios validados neste instrumento.

Os critérios aqui apresentados possuem as pontuações devidamente validadas para fins de avaliação em estudos quantitativos, apresentando a sensibilidade proporcionada por uma escala de 1 a 10. Ainda, o aprimoramento destes critérios pôde ser realizado por meio da conferência de consenso, onde foram possibilitadas as reflexões subjetivas sobre os aspectos apontados como inerentes à avaliação do objeto em questão, uma vez que a tentativa de inserção de elementos subjetivos dos diferentes atores na construção de critérios possibilita o aumento da validade dos parâmetros de análise47.

Frente à necessidade da implantação da cultura avaliativa da formação em saúde, com base nos novos paradigmas de formação e necessidades do sistema de saúde e da população, consistindo em um processo que resulte em reconduções para melhoria das ações formativas, limitações ficam explícitas quanto a aplicabilidade dos critérios aqui construídos. Um exemplo é a própria compreensão da finalidade avaliativa e a definição das instâncias competentes para essas ações nas instituições de ensino superior (IES). Pondera-se a autoavaliação como importante estratégia, uma vez que permite à IES um autoconhecimento que favorece a construção de uma cultura participativa e inclusiva de avaliação, de gestão com base neste processo autoavaliativo, enriquecendo o planejamento e subsidiando a construção de políticas internas de desenvolvimento e oferta de um ensino superior de qualidade e de políticas públicas educativas48.

Encaminha-se à reflexão sobre a importância do cuidado e planejamento metodológico de pesquisas avaliativas em saúde de uma forma geral, inclusive no campo educacional. Dificuldades são encontradas na atualidade quanto à disponibilidade na literatura científica de orientação teórica para construção metodológica de estudos avaliativos em saúde que não se restrinjam aos programas e serviços.

O instrumento final proposto neste estudo, legitimado pelos diversos atores que compuseram as etapas de construção e validação, representa uma alternativa diferenciada de avaliação da formação de cirurgiões-dentistas e de outros profissionais de saúde, ao possibilitar uma avaliação por um maior número de aspectos, por meio de indicadores válidos, mais sensíveis e específicos, e passíveis de serem verificados por fontes acessíveis, legítimas e mais próximas do cotidiano dos espaços formadores, permitindo maior aproximação entre métodos avaliativos da formação em saúde e realidade da efetivação das DCN.

REFERÊNCIAS

1.  Assunção AA, Belisário SA, Campos FE, D’Ávila LS. Recursos humanos e trabalho em saúde: os desafios de uma agenda de pesquisa. Cad Saude Publica 2007; 23(Supl. 2):S193-S201.
2.  Ceccim RB, Armani TB, Oliveira DLLC, Bilibio LF, Moraes M, Santos ND. Imaginários da formação em saúde no Brasil e os horizontes da regulação em saúde suplementar. Cien Saude Colet 2008; 13(5):1567-1578.
3.  Brasil. Ministério da Educação (MS). Conselho Nacional de Educação. Câmara de Educação Superior. Parecer nº 583 de 04 de abril de 2001. Aprova a orientação para as diretrizes curriculares dos cursos de graduação. Diário Oficial União 2001; 29 out.
4.  Costa ICC, Araújo MNT. Definição do perfil de competências em saúde coletiva a partir da experiência de cirurgiões-dentistas atuantes no serviço público. Cien Saude Colet 2011; 16(Supl. 1):1181-1189.
5.  Brasil. Constituição da República Federativa do Brasil de 1988. Diário Oficial da União 1988; 5 out.
6.  Haddad AE, Pierantoni CR, Ristoff D, Xavier IM, Giolo J, Silva LB, organizadores. A trajetória dos cursos de graduação na área da saúde: 1991-2004. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira; 2006.
7.  Brasil. Ministério da Saúde (MS). Ministério da Educação (ME). A aderência dos cursos de graduação em enfermagem, medicina e odontologia às diretrizes curriculares nacionais. Brasília: MS; 2006.
8.  Januzzi PM. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e políticas públicas 2011; (36):251-275.
9.  Bezerra LCA, Alves CKA, Reis YAC, Samico I, Felisberto E, Carvalho ALB, Silva GS. Identificação e caracterização dos elementos constituintes de uma intervenção: pré-avaliação da política Participa SUS. Cien Saude Colet 2012; 17(4):883-900.
10.  Mendes MFM, Cazarin G, Bezerra LCA, Dubeux LS. Avaliabilidade ou pré-avaliação de um programa. In: Samico A, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p. 57-64.
11.  Medina MG, Silva GAP, Aquino R, Hartz ZMA. Uso de modelos teóricos na avaliação em saúde: aspectos conceituais e operacionais. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p. 65-102.
12.  Brasil. Ministério da Educação. Conselho Nacional de Educação. Câmara de Educação Superior. Resolução 3, de 19 de fevereiro de 2002. Institui Diretrizes Curriculares Nacionais do Curso de Graduação em Odontologia. Diário Oficial União 2002; 4 mar.
Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep. Diretoria de Avaliação da Educação Superior – Daes. Sistema Nacional de Avaliação da Educação Superior – Sinaes. Instrumento de Avaliação de Cursos de Graduação presencial e a distância. Brasília: maio 2012. [acessado 2013 jun 13]. Disponível em: http://download.inep.gov.br/educacao_superior/avaliacao_cursos_graduacao/instrumentos/2012/instrumento_com_ alteracoes_maio_12.pdf
14.  Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. SINAES – Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 5ª ed. revista e ampliada. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira; 2009.
15.  Morita MC, Kriger L, Carvalho ACP, Haddad AE. Implantação das diretrizes curriculares nacionais em odontologia. Maringá: Dental Press, Abeno, Opas, MS; 2007.
16.  Lampert JB. Avaliação institucional nos cursos de graduação da área da saúde: avaliar o quê e para quê? Cadernos ABEM 2009; 5:45-55.
17.  Braid LMC, Machado, MFAS, Aranha AC. Estado da arte das pesquisas sobre currículo em cursos de formação de profissionais da área da saúde: um levantamento a partir de artigos publicados entre 2005 e 2011. Interface (Botucatu) 2012; 16(42):679-692.
18.  Pinheiro FMC, Nobrega-Therrien SM, Almeida MEL, Almeida MI. A formação do cirurgião-dentista no Brasil: contribuições de estudos para a prática da profissão. RGO 2009; 57(1):99-106.
19.  Casotti E, Ribeiro VMB, Gouvêa MV. Educação em odontologia no Brasil: produção do conhecimento no período 1995-2006. Hist Cien. saude-Manguinhos 2009; 16(4):999-1010.
20.  Zilbovicius C, Araujo ME, Botazzo C, Frias AC, Junqueira SR, Junqueira CR. A paradigma shift in predoctoral dental curricula in Brazil: evaluating the process of change. J Dent Educ 2011; 75(4):557-564.
21.  Araujo ME. Palavras e silêncios na educação superior em odontologia. Cien Saude Colet 2006; 11(1):179-182.
22.  Carvalho ACP, Kriger L. Educação Odontológica. São Paulo: Artes Médicas; 2006.
23.  Bunge M. Os conceitos de modelo. In: Bunge M. Teoria e realidade. São Paulo: Perspectiva; 1974. p. 11-40.
24.  Esher A, Santos EM, Magarinos-Torres R, AzeredoTB. Construindo critérios de julgamento em avaliação: especialistas e satisfação dos usuários com a dispensação do tratamento do HIV/AIDS. Cien Saude Colet 2012; 17(1):203-214.
25.  Valdés MG, Marín MS. Empleo del método Delphi en investigaciones sobre salud publicadas en revistas científicas cubanas. Rev Cubana de Información en Ciencias de la Salud 2013; 24(2):133-144.
26.  Fonsêca GS, Junqueira SR. Programa de Educação pelo Trabalho para a Saúde da Universidade de São Paulo (Campus Capital): o olhar dos tutores. Cien Saude Colet 2014; 19(4):1151-1162.
27.  Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and Reporting the Delphi Method for Selecting Healthcare Quality Indicators: A Systematic Review. Plos One 2011; 6:e20476
28.  Souza LEPF, Silva LMV, Hartz ZMA. Conferência de consenso sobre a imagem-objetivo da descentralização da atenção à saúde no Brasil. In: Hartz ZMA, Silva LMV, organizadores. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador, Rio de Janeiro: EDUFBA, Fiocruz; 2005. p. 65-102.
29.  Crespo T. Respuestas a 16 preguntas sobre el empleo de “expertos” en investigación pedagógica. Lima: San Marcos; 2007.
30.  Okoli C, Pawlowski S. The Delphi method as a research tool: an example, design considerations and applications. Information & Management 2004; 42:15-29.
31.  Bloor M, Sampson H, Baker S, Dahlgren K. Useful but no Oracle: Reflections on the use of a Delphi Group in a multi-methods policy research study. Qualitative Research 2014; DOI: 10.1177/1468794113504103.
32.  Higa EFR, Hafner MLMB, Tonhom SFR, Taipeiro EF, Moreira HM, Guimarães APC, Pinheiro OL. Indicadores de avaliação em gestão e saúde coletiva na formação médica. Rev Bras Educ Médica 2013; 37(1):52-59.
33.  Gontijo ED, Alvim C, Megale L, Melo JRC, Lima MECC. Matriz de competências essenciais para a formação e avaliação de desempenho de estudantes de Medicina. Rev Bras Educ Médica 2013; 37(4):526-539.
34.  Costa EAM, Costa EA, Graziano KU, Padoveze MC. Reprocessamento de produtos médicos: uma proposta de modelo regulatório para hospitais brasileiros. Rev Esc Enferm USP 2011; 45(6):1459-1465.
35.  Silva GS, Samico I, Dubeux LS, Felisberto E. Redes de atenção às urgências e emergências: pré-avaliação das Unidades de Pronto Atendimento (UPAs) em uma região metropolitana do Brasil. Rev. Bras. Saúde Matern. Infant. 2012; 12(4):445-458.
36.  Tonhom SFR, Higa EFR, Pinheiro OL, Hafner MLMB, Moreira HM, Taipeiro EF, Amaral APCG. Indicadores de Avaliação do Cuidado Individual: Subsídios para a Formação Médica Orientada por Competência. Rev Bras Educ Médica 2014; 38(3):331-336.
37.  Reis YAC, Cesse EAP, Carvalho EF. Consensos sobre o papel do gestor estadual na regionalização da assistência à saúde no Sistema Único de Saúde (SUS). Rev. Bras. Saúde Matern. Infant. 2010; 10(Supl. 1):S157-S172.
38.  Powell C. The Delphi technique: myths and realities. J Adv Nurs 2003; 41(4):376-382.
39.  Brasil. Ministério da Saúde (MS). Conselho Nacional de Saúde. Resolução n° 466, de 12 de dezembro de 2012. Diário Oficial da União 2013; 13 jun.
40.  Champagne F, Brousselle A, Hartz Z, Contandriopoulos AP. Modelizar as intervenções. In: Brousselle A, Champagne F, Contandriopoulos AP, Hartz Z, organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz; 2011. p.61-74.
41.  Pereira ALF. As tendências pedagógicas e a prática educativa nas ciências da saúde. Cad Saude Publica 2003; 19(5):1527-1534.
42.  Ceccim RB, Feuerwerker LCM. Mudança na graduação das profissões de saúde sob o eixo da integralidade. Cad Saude Publica 2004; 20(5):1400-1410.
43.  Ristoff D, Giolo J. O Sinaes como sistema. Rev Bras Pós-Grad 2006; 3(6):193-213.
44.  Campos FE, Ferreira JR, Feuerwerker LCM, Sena RR, Campos JJB, Cordeiro H, Cordoni Júnior L. Caminhos para aproximar a formação de profissionais de saúde das necessidades da atenção básica. Rev Bras Educ Médica 2001; 25(2):53-59.
45.  Alves CKA, Natal S, Felisberto E, Samico I. Interpretação e análise das informações: o uso de matrizes, critérios, indicadores e padrões. In: Samico A, Felisberto E, Figueiró AC, Frias PG, organizadores. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook; 2010. p.89-107.
46.  Werneck MAF, Senna MIB, Drumond MM, Lucas SD. Nem tudo é estágio: contribuições para o debate. Cien Saude Colet 2010; 15(1):221-231.
47.  Minayo MCS. Construção de indicadores qualitativos para avaliação de mudanças. Rev Bras Educ Médica 2009; 33(Supl. 1):83-91.
48.  Polidori MM, Marinho-Araújo CM, Barreyro GB. Sinaes: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: aval pol pub educ 2006; 14(53):425-436.
Política de Privacidade © Copyright, Todos os direitos reservados.