Abstract
Fundo
As indústrias farmacêuticas e de biotecnologia depender de resultados de investigadores académicos antes de iniciar programas de desenvolvimento de novos agentes de diagnóstico e terapêuticos para beneficiar pacientes com câncer. O sucesso destes programas depende da validade das conclusões publicadas. Esta validade, representada pela reprodutibilidade dos resultados publicados, tem entrado em questão recentemente, os investigadores de empresas têm levantado a questão da fraca reprodutibilidade dos resultados publicados de laboratórios acadêmicos. Além disso, as taxas de retração em periódicos de alto impacto estão subindo.
métodos e resultados
Para examinar um microcosmo da experiência acadêmica com a reprodutibilidade dos dados, que examinou o corpo docente e os formandos no MD Anderson Cancer Center usando um questionário informatizado anónima; buscou-se determinar a frequência e as causas potenciais de dados não reproduzíveis. Descobrimos que ~ 50% dos entrevistados tinham experimentado pelo menos um episódio da incapacidade para reproduzir dados publicados; muitos que perseguiu esta questão com os autores originais nunca foram capazes de identificar a razão para a falta de reprodutibilidade; alguns até foram satisfeitas com um a menos de interação “colegial”.
Conclusões
Estes resultados sugerem que o problema da reprodutibilidade dos dados é real. ciência biomédica precisa estabelecer processos para diminuir o problema e julgar discrepâncias nos resultados quando são descobertos
Citation:. Mobley A, Linder SK, Braeuer R, Ellis LM, Zwelling L (2013) A Pesquisa sobre reprodutibilidade dos dados no Cancer Research fornece insights sobre nossa capacidade limitada para traduzir os resultados do laboratório para a clínica. PLoS ONE 8 (5): e63221. doi: 10.1371 /journal.pone.0063221
editor: Hirofumi Arakawa, Instituto de Pesquisa Centro Nacional do Câncer, Japão
Recebido: 25 de fevereiro de 2013; Aceito: 29 de março de 2013; Publicado em: 15 de maio de 2013
Direitos de autor: © 2013 Mobley et al. Este é um artigo de acesso aberto distribuído sob os termos da Licença Creative Commons Attribution, que permite uso irrestrito, distribuição e reprodução em qualquer meio, desde que o autor original ea fonte sejam creditados
Financiamento:. Os autores não têm apoio ou financiamento para relatar
Conflito de interesses:.. Os autores declararam que não existem interesses conflitantes
Introdução
O avanço da pesquisa básica e translacional é dependente a validade e reprodutibilidade dos resultados, tal como publicado na literatura científica. As indústrias farmacêuticas e de biotecnologia dependem desses resultados básicos da ciência da academia como base para a elaboração de programas de novas terapêuticas e /ou biomarcadores de câncer. Além disso, os cientistas básicos e os seus formandos usar essas observações iniciais como base para seus futuros projetos de pesquisa.
Várias publicações recentes sugerem que as descobertas seminais de laboratórios acadêmicos só poderia ser reproduzido 11-50% do tempo [ ,,,0],1], [2]. A falta de reprodutibilidade dos dados provavelmente contribui para a dificuldade em desenvolver rapidamente novos medicamentos e biomarcadores que impactam significativamente a vida dos pacientes com câncer e outras doenças.
Recentemente, o New York Times publicou um artigo sobre a ascensão do retraída papéis nos últimos anos em comparação com décadas anteriores [3]. O artigo afirma que este número maior pode ser simplesmente um resultado do aumento da disponibilidade e, assim, o controlo de artigos de periódicos, devido ao acesso web. Em alternativa, o artigo realçado que o aumento da retracções poderia ser devido a algo muito pior; má conduta por investigadores lutando para sobreviver como cientistas durante uma época de recursos escassos. Esta última explicação é apoiada por outro estudo, que sugeriu que a razão mais comum para a retração é má conduta. Em sua revisão de todos os artigos retraídos indexados no Pubmed (mais de 2.000 artigos) estes autores descobriram que 67,4% dos artigos retraídos tinha sido retraído devido à má conduta [4]. Independentemente das razões para os dados irreproduzíveis, estes resultados imprecisos podem ser custando a comunidade científica e os pacientes que contam com o seu trabalho, tempo, dinheiro, e mais importante, uma oportunidade para identificar terapias e biomarcadores com base no trabalho pré-clínico de som eficazes.
Esta preocupação com a reprodutibilidade dos dados baseia-se tanto amostras relativamente pequenas, onde o não-reprodutibilidade foi documentada visões gerais (1) ou em grande escala da literatura biomédica. Não foram realizados inquéritos directos de um grande grupo de trabalho investigadores académicos como para as suas experiências reproduzindo resultados publicados.
Eu inventei uma pesquisa simples para testar se as tendências relatados nos manuscritos acima referenciados representam as opiniões e experiências de professores e estagiários em uma única instituição, da Universidade do Texas MD Anderson Cancer Center. Havia três objectivos principais para este estudo: 1) para estimar a frequência com que os professores e formandos encontrar dificuldades em repetir os resultados seminais (pontos-chave do papel) a partir dos resultados publicados na literatura científica, 2) para determinar a resposta do professores e estagiários quando eles não podem reproduzir os resultados publicados em um manuscrito peer-reviewed, e 3) para determinar quais os factores que estão na base das tendências identificadas em nossa pesquisa.
Métodos
Foi desenvolvido um 20- item de pesquisa on-line anônima que perguntas relacionadas a experiências com reproduzindo descobertas de manuscritos publicados e revistos por pares entre MD Anderson professores e formandos. Depois de questões gerais para todos os entrevistados foram respondidas, estagiários (estudantes de graduação e pós-bolseiros) foram convidados um adicional de 8 questões relativas à sua pressão ambiental percebida publicar resultados un validados ou suspeitos de seus próprios estudos de laboratório. Em setembro de 2012, professores e formandos foram enviado um convite para participar. Um email de lembrete foi enviada uma semana antes do inquérito online foi fechada. Para garantir a inclusão, convidamos todos os docentes da Universidade do Texas MD Anderson Cancer Center e formandos para participar. O convite de e-mail fornecido um link para o estudo, que incluiu um termo de consentimento, descrição do estudo, e os itens da pesquisa. Este estudo e questionário foram aprovados pela Universidade de Institutional Review Board Texas MD Anderson Cancer Center.
Resultados
Em nossa pesquisa de professores e formandos do Centro de Câncer MD Anderson, encontramos vários significativa achados que forneceram uma visão sobre a reprodutibilidade de dados, mesmo que a taxa de resposta, representava menos de 20% dos inquiridos (taxa de resposta global de 14,75% (171/1159) para estagiários e 17,16% (263/1533) para professores). Quando perguntado se os investigadores já tentou reproduzir um achado de um artigo publicado e não foi capaz de fazê-lo, 54,6% (237/434) de todos os entrevistados disseram que eles tinham, com 58,5% (154/263) dos docentes tendo experimentado a incapacidade para reproduzir dados, e 48,5% (83/171) dos formandos tendo a mesma experiência (Tabela 1). De nota, alguns dos dados não-repetíveis foram publicados em revistas bem conhecidas e respeitadas, incluindo várias revistas de alto impacto (fator de impacto 20).
Ao encontrar resultados de um papel que não podia ser repetido surge a pergunta; “O que fazer com que os dados contraditórios?” Quando os entrevistados foram perguntados se em contato com os autores do trabalho de pesquisa, 78% (71/91), disse que eles tinham, mas os resultados finais do que o contato foram muito misto (Tabela 1 ). 38,5% (25/65) dos que responderam a esta questão afirmaram que recebeu uma resposta positiva ou útil dos autores, enquanto que 43% (28/65) recebeu uma resposta negativa ou indiferente; 18,5% (12/65) não recebeu nenhuma resposta em tudo (Tabela S4). No total, apenas 33,3% dos entrevistados nunca foram capazes de explicar ou resolver seus resultados discrepantes. Isto implica que 66,7% dos resultados conflitantes entre grupos de investigação não foram resolvidas através de comunicação com os autores da publicação original (Tabela 1). Quando os investigadores tentaram publicar resultados que contradizem os encontrados na literatura publicada, 43,8% (28/64) responderam que encontrou dificuldade, e apenas 33,3% (66/198) disse que eles nunca foram capazes de ter os seus resultados publicados. No entanto, apenas 17,6% (12/68) dos formandos e 28,9% (13/45) do corpo docente júnior publicaram seus dados conflitantes. A maior percentagem de professores seniores, 48,2% (41/85), afirmou que eles foram capazes de publicar as suas conclusões contraditórias.
Os fatores subjacentes que estão impulsionando esta tendência dos dados não reproduzíveis pode estar dentro do próprio sistema . Quando estagiários na instituição foram questionados se já senti pressão para provar a hipótese dos mentores, mesmo quando os dados que o estagiário gerado não apoiá-lo, 31,4% relataram que tinham sentiu a pressão (Tabela 2). Além disso, 18,6% dos formandos disseram que tinham sido pressionados a publicar conclusões sobre as quais tinham dúvidas. Além disso, quando perguntado se eles tinham conhecimento de mentores que necessitaram de uma publicação revista de alto impacto antes de um estagiário pode completar a sua formação no laboratório de seu mentor, 48,9% (68/139) relataram que eles estavam cientes deste requisito.
Discussão
reprodutibilidade dos dados é fundamental nos esforços para fazer avançar a investigação biomédica, que acabará por influenciar a vida dos pacientes. Se os resultados pré-clínicos iniciais não são confiáveis ou reprodutíveis, os ensaios clínicos com base nestas descobertas estão destinados ao fracasso. Nós projetamos este estudo a fim de determinar o quanto de uma reprodutibilidade dos dados problema é que, com um foco em investigadores em uma única instituição. Os principais objectivos da nossa pesquisa foram avaliar a frequência, a resposta a, e as consequências da falta de reprodutibilidade dos dados. Enviamos a pesquisa a todos os professores e estagiários identificados em um banco de dados no MDACC. O fato de que 20% do pessoal respondeu é provavelmente devido a questões relacionadas com a 1) muitos consultado não eram investigadores de laboratório, e 2) a falta de crença de que as respostas seriam anônimas, apesar de ser esta informação incluída na consulta de e-mail
Identificamos que mais de metade dos investigadores tiveram pelo menos uma experiência de não ser capaz de validar os dados reportados anteriormente. Esta descoberta é muito alarmante como conhecimento científico e avanço são baseadas em publicações revisadas por pares, a pedra angular do acesso ao conhecimento “presumida”. Se as descobertas seminais de um manuscrito de pesquisa não são reproduzíveis, as consequências são inúmeras. Alguns achados suspeitos podem levar ao desenvolvimento de programas de desenvolvimento de drogas ou biomarcadores inteiras que estão condenadas ao fracasso. Como afirmado em nossa pesquisa, alguns mentores vai continuar a exercer as suas hipóteses baseadas em dados não fiáveis, pressionando os formandos para publicar seus próprios dados suspeito, e propagar “mitos” científicos. Infelizmente, quando os autores foram contatados, quase metade respondeu de forma negativa ou indiferente. Quando os dados são publicados, os autores devem ser totalmente responsável pela sua integridade e, portanto, deve estar preparado para discutir suas descobertas e ajudar os investigadores a solucionar experimentos quando os outros são incapazes de reproduzir o seu trabalho. Nossa pesquisa também fornece insights sobre a pressão para publicar, a fim de manter uma posição atual ou para promover os carreira científica. Quase um terço de todos os formandos sentiu a pressão para provar hipótese de um mentor, mesmo quando os dados não apoiá-lo. Este é um dilema lamentável, como não provar uma hipótese poderia ser mal interpretada por o mentor como não saber como realizar experimentos científicos. Além disso, muitos desses formandos estão visitando cientistas de fora os EUA, que contam com as suas posições de trainee para manter o status do visto que eles e suas famílias em nosso país afetam. Esta declaração foi observada em nossa seção “Comentários” da pesquisa, e foi uma descoberta que forneceram uma visão sobre as consequências de longo alcance da pressão para publicar. Outros comentários trazer à luz uma série de preocupações de indivíduos diferentes que poderiam levar a irreproducibility (Tabela S11).
Nossa pesquisa aborda as experiências e pontos de vista (Tabelas S1, S2, S3, S4, S5, S6, S7 , S8, S9, S10, S11) de investigadores em um centro de câncer. No entanto, o nosso estudo apoia firmemente as preocupações anteriores sobre a reprodutibilidade dos dados e o impacto sobre o campo em geral, bem como o número de pessoal sobre os indivíduos. A incapacidade de validar os dados publicados é real e nossa pesquisa e os comentários de acompanhamento mostram que o problema da reprodutibilidade dos dados decorre de várias causas, a maioria sendo expectativa académico de investigadores em todos os níveis. Na verdade, uma publicação recente demonstrou que retrações são mais comuns em revistas de grande impacto em comparação com revistas menos citados [5]. No entanto, as razões para essa observação é provável multifactorial.
Um método para corrigir o problema foi o tema de um artigo perspectiva recente, onde os autores sugeriram padrões mais rígidos sobre as descrições dos métodos e a inclusão de um padrão de relato universal, que deve incluir randomização e cegueira dos investigadores [6]. Outro comentário recente sobre integridade na pesquisa de laboratório destaca o problema da falsificação de dados e fornece insights sobre como os líderes de laboratório pode evitar má conduta daqueles que trabalham sob sua supervisão [5]. Além disso, para reduzir o viés de editores de revistas ou revisores, um processo de revisão mais rigorosa e padrões mais elevados para a publicação poderia ajudar a resolver o problema. Embora essas sugestões podem ser um começo no sentido de identificar a solução adequada, a implementação dessas mudanças são um desafio. Alterações para o “sistema” vai exigir um esforço concertado de editores de jornal, pesquisadores principais, estagiários, instituições, agências de financiamento e ao público. Embora esta parece ser uma tarefa difícil, não temos escolha, mas para enfrentá-lo -. A vida de nossos pacientes dependem dele
Informações de Apoio
Tabela S1.
perguntas adicionais para todos os entrevistados
doi:. 10.1371 /journal.pone.0063221.s001
(DOCX)
Tabela S2. .
Estagiários adicionais únicas questões
doi: 10.1371 /journal.pone.0063221.s002
(DOCX)
Tabela S3.
Se você teve um problema reproduzindo um achado de um artigo publicado, em que revista foi a constatação relatada
doi: 10.1371 /journal.pone.0063221.s003
(DOCX)
Tabela S4.
Quando contactado o autor como sua pergunta foi recebida
doi: 10.1371 /journal.pone.0063221.s004
(DOCX)
Tabela S5.
Se você não entrar em contato com os autores da descoberta original, por que não
doi: 10.1371 /journal.pone.0063221.s005
(DOCX)
Tabela S6.
Como foram as diferenças entre os dados publicados e os seus dados resolvidos
doi: 10.1371 /journal.pone.0063221.s006
(DOCX)
Tabela S7.
Se você não tentar publicar, por que não
doi: 10.1371 /journal.pone.0063221.s007
(DOCX)
Tabela S8.
Se você já se sentiu pressionado a publicar os resultados das quais você teve dúvida, então por quem (mentor, chefe de laboratório, mais avançados de pós-doc, outros)
doi: 10.1371 /journal.pone.0063221.s008
(DOCX)
Tabela S9.
Comentários sobre onde a pressão para publicar os resultados questionáveis estava vindo de
doi:. 10.1371 /journal.pone.0063221.s009
(DOCX)
Tabela S10.
Se você executar um experimento 10 vezes, o que por cento do tempo devem resultado ser consistente para o seu laboratório para considerarem reprodutível
doi: 10.1371 /journal.pone.0063221.s010
(DOCX)
Tabela S11. Quais são há quaisquer comentários adicionais que nos querem considerar como analisamos os resultados desta pesquisa
doi: 10.1371 /journal.pone.0063221.s011
(DOCX)