Pular para o conteúdo principal

Roteiro de Avaliação de uma Tese

INTRODUÇÃO
O processo de avaliação de uma tese é uma atividade comum no meio acadêmico. A utilização de um roteiro estruturado tem a função de auxiliar ao examinador e permitir uma discussão objetiva sobre algo palpável. Dentro deste espírito fui convidado pelo Prof. Emil Burihan para proferir uma aula sobre o tema no módulo de metodologia da pesquisa no Curso de Pós-graduação em Cirurgia Vascular, Cardíaca, Torácica e Anestesiologia da Universidade de São Paulo/Escola Paulista de Medicina, área de concentração: cirurgia vascular. O conteúdo deste manuscrito é o resultado impresso desta aula que ocorreu no dia 09 de março de 2000. Os diapositivos utilizados nesta aula estão disponíveis sítio: http://www.evidencias.com/acl_tes1.pdf
A expressão “avaliação de uma tese” esconde uma palavra que é decisiva para o entendimento de como fazer a avaliação. A palavra é qualidade, assim reescrevendo a expressão, o título mais preciso é “avaliação da qualidade de uma tese”. O acréscimo desta palavra cria um problema, determinar o que é qualidade. Lançando mão de publicações que avaliam a qualidade de artigos originais a definição de qualidade é discordante. A idéia é a mesma, porém as palavras utilizadas são diferentes. Esta situação causa alguma dificuldade no entendimento deste termo. Abaixo apresento a três definições utilizadas na literatura.
É a probabilidade de um ensaio clínico planejado gerar resultados verdadeiros. Jadad et al. Control Clin Trials 1996 Feb;17(1):1-12.
Qualidade é um conjunto de itens no planejamento e condução de uma pesquisa relacionada com o tamanho do efeito encontrado. Verhagen et al. J Clin Epidemiol 1998;51(12):1235-41.
Qualidade é um conjunto de itens no planejamento e condução de uma pesquisa que reflete a validade da variável analisada, relacionada com a validade interna e externa e o modelo estatístico utilizada. Verhagen et al. J Clin Epidemiol 1998;51(12):1235-41.
Definido o que é qualidade, uma série de termos adicionais necessitam ser definidos para que o entendimento seja explícito. No entanto, intuitivamente, cada um de nós possuímos um conceito de qualidade, alguns mais afastados e outros mais próximos a realidade. Como deve ter sido percebido, a dificuldade para definir qualidade de uma publicação em palavras é enorme, e quando é realizada pode ser vaga ou difícil de entender.
De modo semelhante ao que ocorre na avaliação dos artigos originais, ter um instrumento validado para avaliar a qualidade de teses seria o ideal. No entanto, não encontrei nenhuma publicação sobre este tema na literatura consultada. Para construir um instrumento como este, utilizei as escalas de validade para avaliação da qualidade de artigos publicados (User’s guide, 1992), publicações que orientam o conteúdo de um manuscrito (ICMJE, 1997), artigos com recomendações para a aprimoramento de ensaios clínicos randomizados (Begg, 1996) e de revisões sistemáticas (Moher, 1999) e recomendações de agências de fomento a pesquisa (TDR, 1999; Fapesp, 1999; MRC proforma, 2000). Sendo assim, o instrumento que apresento deve ser visto como uma primeira tentativa de padronizar a avaliação da qualidade de uma tese que deve ser validado em momento oportuno de forma adequada.
São identificados, ao menos, 13 itens que devem ser avaliados numa tese em que a unidade de análise são seres humanos; no entanto, sem perda da essência estes podem ser adaptados para pesquisas em animais. A ordem dos itens seguem a seqüência de aparecimento na tese.

Itens a serem avaliados
1. Título
2. Lombada
3. Ficha catalográfica
4. Dados gerais
5. Resumo
6. Introdução
7. Revisão da literatura
8. Métodos
9. Resultados
10. Discussão
11. Conclusão
12. Referências
13. Anexos

O ROTEIRO
1 Título: Ótimo; Bom; Regular; Ruim; Péssimo.
1.1. Reflete o conteúdo?
1.2. As palavras utilizadas são apropriadas?
2 Lombada: Ótimo; Bom; Regular; Ruim; Péssimo.
2.1. Existem com as informações mínimas?
3 Ficha catalográfica: Ótimo; Bom; Regular; Ruim; Péssimo.
3.1. Qual o estilo utilizado?
3.2. O conteúdo está correto?
4 Dados gerais: Ótimo; Bom; Regular; Ruim; Péssimo.
4.1. Qual o endereço do autor?
4.2. Foi explicitado algum conflito de interesse existente? (CFM, 2000)
4.3. Foram indicadas as fontes de financiamento para a pesquisa?
4.4. Qual a data da última modificação?
5 Resumo: Ótimo; Bom; Regular; Ruim; Péssimo.
5.1. O resumo é estruturado, semi-estruturado ou não-estruturado?
5.2. O resumo contém todos os itens necessários e de forma adequada?
6 Introdução:
Ótimo;
Bom;
Regular;
Ruim;
Péssimo.
6.1. Qual é o problema que está sendo respondido?
6.2. Por que foi necessário a realização da pesquisa?
6.3. Existe uma ou mais revisões sistemáticas do assunto? Foi discutido a necessidade da pesquisa baseada nos resultados desta revisão?
6.4. Como serão utilizados os resultados desta pesquisa?
6.5. Quais são as principais perguntas que serão respondidas?
6.6. Existiam hipóteses a serem testadas? As hipóteses foram explicitadas?
7. Revisão da literatura: Ótimo; Bom; Regular; Ruim; Péssimo.
7.1. Foram esquecidos artigos históricos ou clássicos?
7.2. Foi obedecida uma cronologia?
7.3. Qual o estilo adotado?
8. Métodos:
Ótimo;
Bom;
Regular;
Ruim;
Péssimo.
8.1. A pesquisa foi aprovada pela comissão de ética?
8.1.1. A pesquisa contém a aprovação do comitê de ética (número do processo ou cópia do parecer)?
8.1.2. Foi citada a Declaração de Helsinki 1975, revisada em 1983?
8.2. Qual foi o tipo de estudo utilizado?
8.3. Qual foi o local onde foi realizada a pesquisa (Quais os centros envolvidos)?
8.4. Qual a amostra utilizada no estudo?
8.4.1. Quais foram os critérios de inclusão adotados?
8.4.2. Quais foram os critérios de exclusão adotados?
8.4.3. Como foi realizado o recrutamento dos doentes?
8.4.4. Como foi realizado o consentimento informado?
8.5. Quais foram os procedimentos utilizados?
8.5.1. Qual principal procedimento utilizado no estudo (Intervenção, teste diagnóstico ou exposição) ?
8.5.2. Quais foram os métodos utilizados para proteger a pesquisa de viéses?
8.6. Quais as variáveis estudadas?
8.6.1. Quais são as variáveis primárias e as secundárias?
8.6.2. Qual a definição de cada variável?
8.6.3. Como foram mensuradas?
8.6.4. Quem as mensurou?
8.6.5. Quando foram mensuradas?
8.7. Como foi descrito o método estatístico?
8.7.1. Foi calculado o tamanho da amostra?
8.7.2. Foram apresentados os detalhes de como foi realizada a análise estatística?
8.7.2.1. Quais são as variáveis analisadas?
8.7.2.2. Quais são as hipóteses estatísticas?
8.7.2.3. Quais os testes estatísticos utilizados?
8.7.2.4. Qual o valor de P adotado?
8.7.2.5. Foi planejada alguma análise de subgrupo?
8.7.2.6. Qual a freqüência das análises?
8.7.2.7. Qual o programa de computador utilizado?
8.7.2.8. Foi realizada análise econômica dos resultados?
9. Resultados: Ótimo; Bom; Regular; Ruim; Péssimo.
9.1. Primeira parte dos resultados
9.1.1. Quando foi iniciada e terminada a pesquisa?
9.1.2. Quando tempo demorou o recrutamento?
9.1.3. Foram apresentadas as condições basais da amostra?
9.1.4. Foram descritos desvios do projeto?
9.1.5. Foi apresentado um organograma da pesquisa?
9.2. As variáveis estudadas
9.2.1. As variáveis são apresentadas de forma apropriada?
9.2.2. As tabelas, gráficos, quadros e figuras são necessários e adequados?
10. Discussão:
Ótimo;
Bom;
Regular;
Ruim;
Péssimo.
10.1. Foram enfatizado os principais resultados?
10.2. Foram discutidas as limitações do estudo?
10.3. Foram discutidos as forças e fraquezas em relação a outros estudos, discutindo as diferenças entre os estudos?
10.4. Qual o significado do estudo? Possíveis mecanismos e implicações para os clínicos e os administradores?
10.5. Quais são as perguntas não respondidas e as pesquisas futuras?
11. Conclusões:
Ótimo;
Bom;
Regular;
Ruim;
Péssimo.
11.1. Estão adequadas e corretas? (Estão de acordo com os objetivos? Estão de acordo com os métodos? Estão de acordo com os resultados?)
12. Referências:
Ótimo;
Bom;
Regular;
Ruim;
Péssimo.
12.1. Qual o estilo adotado?
12.2. O mesmo estilo foi utilizado em toda a tese?
13. Anexos:
Ótimo;
Bom;
Regular;
Ruim;
Péssimo.
13.1. Foram apresentados os dados individuais?
13.2. Os anexos são relevantes?

Além dos itens acima apresentados existem ao menos seis itens que são fundamentais serem respondidos para determinar a qualidade da tese. Este itens devem ser avaliados em conjunto para a avaliação global da tese. Os itens são;
a) Os erros ortográficos e de concordância são acidentais?
b) O estilo de redação é direto, claro e objetivo?
c) A seqüência de raciocínio utilizado é lógica e faz sentido?
d) Com que profundidade o tema é abordado?
e) O que dizem as entrelinhas?
f) A impressão e o encadernamento são de boa qualidade?

CONSIDERAÇÕES FINAIS
Um item que necessita de perguntas adicionais é o item 8.5 (Quais foram os procedimentos utilizados?), De acordo com a resposta, uma série de perguntas necessitam ser respondidas, e um ponto de apoio é a série publicada no JAMA desde 1992 ( User’s guide, 1992).
Além da avaliação do texto, dois outros itens poderão auxiliar na avaliação: o primeiro, durante a aula de apresentação da tese, em 30 minutos o autor poderá responder com sua apresentação algumas perguntas que apenas no texto não conseguiu responder. O segundo momento, durante os comentários da banca examinadora, no qual as perguntas podem ser respondidas diretamente pelo autor. Por tudo isso, qualquer roteiro de avaliação de uma tese é um instrumento de auxílio na avaliação que deve ser utilizado com bom senso.

REFERÊNCIAS
Begg, 1996.
Begg et al. Improving the quality of reporting of randomized controlled trials. The CONSORT statement. JAMA 1996 Aug 28;276(8):637-9. (Comment in: JAMA 1996 Aug 28;276(8):649. Comment in: JAMA 1996 Dec 18;276(23):1876-7; discussion 1877. Comment in: JAMA 1996 Dec 18;276(23):1877; discussion 1877)
Disponível em: URL: http://www.consort-statement.org
Fapesp, 1999.
Fundação de Amparo à Pesquisa do Estado de São Paulo. Disponível em: URL: http://www.fapesp.br
ICMJE, 1997.
International Committee of Medical Journal Editors. Uniform Requirements for Manuscripts Submitted to Biomedical Journals. Ann Intern Med. 1997;126:36-47.
Disponível em: URL: http://www.icmje.org
Moher, 1999.
Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, Stroup DF. Improving the quality of reports of meta-analyses of randomised controlled trials: the QUOROM statement. Quality of Reporting of Meta-analyses. Lancet 1999 Nov 27;354(9193):1896-900. Disponível em: URL: http://www.consort-statement.org/QUOROM.pdf
TDR, 1999.
UNDP/World Bank/WHO. Special Programme for Research and Training in Tropical Diseases. Disponível em: URL: http://www.who.int/tdr/
User’s Guide, 1992.
Read the "Users' Guides to Evidence-Based Practice" which are the working documents behind the "Users' Guides to the Medical Literature" series from JAMA on how to use research articles in caring for patients. Disponível em: URL: http://www.cche.net/principles/content_all.asp
CFM, 2000.
Resolução Normativa 1.595/20000 do CFM - Declaração de Conflito de Interesse. Disponível em: URL: http://www.cfm.org.br/ResolNormat/Numerico/1595_2000.htm


REFERÊNCIAS COMPLEMENTARES
Docherty, 1999.
Docherty M, Smith R. The case for structuring the discussion of scientific papers [Editorial] BMJ 1999 May 8;318:1224-1225.
Ética, 1988.
Código de Ética Médica (CAPÍTULO XII - Pesquisa Médica; CAPÍTULO XIII - Publicidade e Trabalhos Científicos) . Disponível em: URL: http://www.cremesp.com.br/cem.htm
Haynes, 1990.
Haynes et al. More informative abstracts revisited. Ann Intern Med 1990 Jul 1;113(1):69-76. Disponível em: URL: http://www.acponline.org/journals/resource/90aim.htm
Helsinque, 1983.
Declaração de Helsinque - Declaração para orientação de médicos quando a pesquisa biomédica envolvendo seres humanos. Disponível em: URL: http://www.epm.br/reitoria/comite/resolucao3.htm
MRC Guidelines, 1999.
MRC Guidelines for Good Clinical Practice in Clinical Trials. Disponível em: URL: http://www.mrc.ac.uk/Clinical_trials/ctg.html
Clarke, 2001.
Clarke M, Oxman AD, editors. Cochrane Collaboration Handbook [updated March 2001]. in: The Cochrane Library [database on disk and CDROM]. The Cochrane Collaboration. Oxford: Update Software; 2001.
Disponível em: URL: http://www.cochrane.org/cochrane/hbook.htm
Portaria 911/98
Portaria nº 911 de 12 de novembro de 1998 - Aprova relação de documentos necessários à instrução de pedidos de autorização para realização de Pesquisa Clínica com Fármacos, Medicamentos, Vacinas e Testes Diagnósticos Novos. Disponível em: URL: http://anvs1.saude.gov.br/Procuradoria/Pesquisa/911-1998.htm
Resolução 196/96
Resolução 196/96 do CNS / MS. Dispõe sobre Diretrizes e Normas Regulamentadoras da Pesquisa envolvendo seres humanos.
CNS website: http://www.datasus.gov.br/conselho/resol96/res19696.htm
EPM website: http://www.epm.br/reitoria/comite/resolucao.htm
Resolução 251/97
Resolução 251/97 do CNS / MS. Aprova normas de pesquisa envolvendo seres humanos para a área temática de pesquisa com novos fármacos, medicamentos, vacinas e testes diagnósticos.
CNS website: http://www.datasus.gov.br/conselho/resol97/res25197.htm
EPM website: http://www.epm.br/reitoria/comite/resolucao1.htm
Resolução 292/99
Resolução nº 292, de 8 de julho de 1999 do CNS / MS- Dispõe sobre pesquisas coordenadas do exterior ou com participação estrangeira e pesquisas que envolvem remessa de material biológico para o exterior. Disponível em: URL: http://www.epm.br/reitoria/comite/resolucao6.htm

Comentários

Postagens Mais Lidas

literatura Canadense

Em seus primórdios, a literatura canadense, em inglês e em francês, buscou narrar a luta dos colonizadores em uma região inóspita. Ao longo do século XX, a industrialização do país e a evolução da sociedade canadense levaram ao aparecimento de uma literatura mais ligada às grandes correntes internacionais. Literatura em língua inglesa. As primeiras obras literárias produzidas no Canadá foram os relatos de exploradores, viajantes e oficiais britânicos, que registravam em cartas, diários e documentos suas impressões sobre as terras da região da Nova Escócia. Frances Brooke, esposa de um capelão, escreveu o primeiro romance em inglês cuja ação transcorre no Canadá, History of Emily Montague (1769). As difíceis condições de vida e a decepção dos colonizadores com um ambiente inóspito, frio e selvagem foram descritas por Susanna Strickland Moodie em Roughing It in the Bush (1852; Dura vida no mato). John Richardson combinou história e romance de aventura em Wacousta (1832), inspirada na re

Papel de Parede 4K

Chave de Ativação do Nero 8

1K22-0867-0795-66M4-5754-6929-64KM 4C01-K0A2-98M1-25M9-KC67-E276-63K5 EC06-206A-99K5-2527-940M-3227-K7XK 9C00-E0A2-98K1-294K-06XC-MX2C-X988 4C04-5032-9953-2A16-09E3-KC8M-5C80 EC05-E087-9964-2703-05E2-88XA-51EE Elas devem ser inseridas da seguinte maneira: 1 Abra o control center (Inicial/Programas/Nero 8/Nero Toolkit/Nero controlcenter) nunca deixe ele atualizar nada!  2 Clic em: Licença  3 Clica na licença que já esta lá dentro e em remover  4 Clica em adcionar  5 Copie e cole a primeira licença que postei acima e repita com as outras 5

Como funciona o pensamento conceitual

O pensamento conceitual ou lógico opera de maneira diferente e mesmo oposta à do pensamento mítico. A primeira e fundamental diferença está no fato de que enquanto o pensamento mítico opera por bricolage (associação dos fragmentos heterogêneos), o pensamento conceitual opera por método (procedimento lógico para a articulação racional entre elementos homogêneos). Dessa diferença resultam outras: • um conceito ou uma idéia não é uma imagem nem um símbolo, mas uma descrição e uma explicação da essência ou natureza própria de um ser, referindo-se a esse ser e somente a ele; • um conceito ou uma idéia não são substitutos para as coisas, mas a compreensão intelectual delas; • um conceito ou uma idéia não são formas de participação ou de relação de nosso espírito em outra realidade, mas são resultado de uma análise ou de uma síntese dos dados da realidade ou do próprio pensamento; • um juízo e um raciocínio não permanecem no nível da experiência, nem organizam a experiência nela mesma, mas, p

Wallpaper 4K (3000x2000)

Inteligência & Linguagem

Não somos dotados apenas de inteligência prática ou instrumental, mas também de inteligência teórica e abstrata. Pensamos. O exercício da inteligência como pensamento é inseparável da linguagem, como já vimos, pois a linguagem é o que nos permite estabelecer relações, concebê-las e compreendê-las. Graças às significações escada e rede, a criança pode pensar nesses objetos e fabricá-los. A linguagem articula percepções e memórias, percepções e imaginações, oferecendo ao pensamento um fluxo temporal que conserva e interliga as idéias. O psicólogo Piaget, estudando a gênese da inteligência nas crianças, mostrou como a aquisição da linguagem e a do pensamento caminham juntas. Assim, por exemplo, uma criança de quatro anos ainda não é capaz de pensar relações reversíveis ou recíprocas porque não domina a linguagem desse tipo de relações. Se se perguntar a ela: "Você tem um irmão?", ela responderá: "Sim". Se continuarmos a perguntar: "Quem é o seu irmão?", ela r