?

Abstract

Contexto

Antes investigação criticado os EUA News and World Report rankings do hospital de especialidade para a dependência excessiva de reputação, uma medida subjetiva do desempenho de um hospital.

objectivo

para determinar se e em que medida a reputação se correlaciona com medidas objetivas de produtividade em pesquisa entre os hospitais de câncer.

design by

Um estudo retrospectivo observacional.

Definir

pesquisa

automatizada de NIH Reporter, BioEntrez, BioMedline e bancos de dados ClinicalTrials.gov.

participantes

Os 50 hospitais de câncer mais alto classificados, em 2013, de US News and World Rankings relatório.

exposição

Nós apurado o número de bolsas NCI financiados, e os fundos acumulados recebidos por cada centro de câncer. Além disso, identificamos o número de fase I, fase II e fase III de estudos publicados e indexados no MEDLINE e registradas na clinicaltrials.gov. Todas as contagens foram durante os últimos 5 anos. Para artigos publicados, que resumiu o fator de impacto das revistas em que apareceram. Os ensaios foram atribuídos aos centros com base a filiação do autor ou de estudo investigador principal.

principal resultado

Os coeficientes de correlação de regressão linear simples e múltipla de medidas de produtividade de pesquisa e um centro de reputação.

resultados

Todas as medidas de produtividade em pesquisa demonstrou forte correlação com a reputação (média de R-quadrado = 0,65, r-quadrado mediana = 0,68, mínimo de R-quadrado = 0,41, r máximo -squared = 0,80). Um modelo multivariável mostrou que 93% da variação na reputação é explicada por medidas objetivas.

Conclusão

Ao contrário da crítica antes, a maioria dos reputação, usado em US News and ranking mundial, pode ser explicada por medidas objetivas de produtividade em pesquisa entre os hospitais de câncer

Citation:. Prasad V, Goldstein JA (2014) US News and World Report Hospital do Câncer Rankings: Não Eles refletem medidas de produtividade em pesquisa? PLoS ONE 9 (9): e107803. doi: 10.1371 /journal.pone.0107803

editor: K. Brad Wray, Universidade Estadual de Nova York, Oswego, Estados Unidos da América

Recebido: 19 de maio de 2014; Aceito: 20 de agosto de 2014; Publicação: 23 de setembro de 2014

Este é um artigo de acesso aberto, livre de todos os direitos autorais e pode ser livremente reproduzido, distribuído, transmitido, modificado, construído em cima, ou de outra maneira usado por qualquer pessoa para qualquer finalidade lícita. O trabalho é feito disponível sob a dedicação de domínio público da Creative Commons CC0

Data Availability:. Os autores confirmam que todos os dados subjacentes às conclusões estão totalmente disponíveis sem restrições. Todos os dados neste documento estão disponíveis ao público a partir de MEDLINE, clinicaltrials.gov e os sites Reporter NIH

Financiamento:. Os autores não têm apoio ou financiamento para relatar

Conflito de interesses:. Os autores têm declarou que não existem interesses conflitantes

Fundo e Significado

a cada ano, os EUA News and World Report (US N WR). classifica as 50 maiores centros de câncer de pontuação dos Estados Unidos como parte de sua rankings anuais do hospital de especialidade. Estes rankings gerar atenção e críticas do público, pesquisadores de políticas, e os médicos [1] – [3]. Embora os rankings para 12 de 16 especialidades (incluindo câncer) são baseados em uma combinação de fatores: reputação entre os especialistas, as estatísticas de sobrevivência, os dados de segurança do paciente, a informação pessoal de enfermagem, estado ímã de enfermagem, e volume de pacientes, os resultados finais foram acusados ​​de excessivamente depender de reputação, um elemento subjetivo [4] – [6]. Pesquisas anteriores descobriram que a reputação marcar sozinho, baseado em uma pesquisa de especialistas, mais fortemente correlacionada com a pontuação geral para o adulto [4] e pediátricos [5] rankings. Além disso, entre as especialidades adultos, ficando na reputação sozinho acordado com classificação final de 100% do tempo [4]. Porque a reputação é determinada através de uma pesquisa de opinião [7], os EUA N rankings WR tem sido criticado por não fornecer uma medida objetiva. [4]

Buscou-se avaliar em que medida a reputação se correlaciona com medidas objetivas de produtividade acadêmica ou de pesquisa entre os hospitais de câncer. Especificamente, nós montados dados pertinentes para 3 medidas de excelência da investigação de um centro: (1) Grant Data-o número e os fundos cumulativos cumulativa para o National Cancer Institute (NCI) subvenções financiadas durante o período de cinco anos anteriores (2) a publicação de teste de dados do número de Fase I, II e III de ensaios com a correspondência dirigida a um centro de câncer ao longo dos últimos 5 anos; e, o fator de impacto cumulativo das revistas em que estes ensaios apareceu, e (3) preenchido e ensaios-o em andamento número de Fase I, II e III de ensaios listados para cada centro em clinicaltrials.gov. Ensaios de Fase I são aqueles que testar a tolerabilidade de um novo agente romance ou combinação de fármacos em doses variadas. ensaios de Fase II medir a atividade de um romance droga ou combinação, e pode usar um braço de controle em potencial ou referência histórica, e os ensaios de Fase III são aqueles projetados para avaliar formalmente a eficácia de um medicamento contra um padrão alternativo de cuidados aceitável. Buscou-se avaliar qual a proporção da variabilidade em termos de reputação pode ser explicado por estas 3 medidas objetivas de desempenho de pesquisa. Foram considerados os últimos 5 anos para fornecer uma amostra contemporânea do desempenho de cada centro em essas métricas. A Figura 1 mostra a nossa hipótese graficamente.

Métodos

rankings Notícias US

Foram coletadas informações a partir da US News and World Report anual Hospital Rankings no último ano publicado no momento da nossa investigação (2013). Os dados usados ​​para gerar a classificação e pontuação final foram extraídos. Especificamente, isso inclui informações sobre a reputação centro de câncer, sobrevivência, segurança do paciente, pessoal de enfermagem e estado de ímã de enfermagem. Uma descrição completa da metodologia de US News and World Report está disponível aqui: https://health.usnews.com/health-news/best-hospitals/articles/2013/07/16/how-we-ranked-the-best-hospitals-2013-14-an-faq.

National Cancer Institute Grants Patrocinados

Os dados de subvenção NCI foram obtidos da seguinte maneira. Uma cópia do banco de dados do NIH exportador foi baixado (Data: 2013/12/02). Subsídios financiados pelo National Cancer Institute (NCI) com datas de início entre 2008 e 2013 foram considerados. A instituição dada para cada concessão foi combinado com uma instituição classificados em forma automatizada usando Python. Geramos nomes simplificados instituição, a remoção de pontuação, artigos, preposições, e tipos de instituição, de tal forma que “Cleveland Clinic, Lerner College of Medicine” foi simplificada para “Cleveland Lerner”. Para as instituições conhecidas por vários nomes, por exemplo, A Universidade de Washington Cancer Center e /ou do Fred Hutchinson Cancer Center, correspondente separada foi realizada para cada nome e o número e as quantidades de subvenção resultantes foram combinadas. Todas as concessões foram verificados manualmente (JAG) para garantir a atribuição exacta a um centro de câncer. Havia um pequeno número de bolsas com pagamentos totais de 0 ou 1 dólar. Consideramos estes subsídios como trivial e os removeu de totais finais

ensaios clínicos publicados e fator de impacto cumulativo

pesquisas automatizadas foram realizadas utilizando BioEntrez e BioMedline em (data: 2014/04/28). usando pacotes Python ea sintaxe Pubmed. Pesquisas foram realizadas para publicações datados entre 2008 e 2013, usando o título principal MeSH assunto: câncer. Tipo de publicação [PT] foi especificado como Fase I, Fase II ou Fase III, e várias permutações foram utilizados para nomes de centros, como “Dana-Farber” ou “Brigham and Women de”, etc. Para aumentar o retorno, nós também procurou todos publicações, omitindo o tipo de publicação e em vez de usar as palavras-chave Fase I, Fase II ou Fase III adicionados. fatores de impacto para cada publicação foram calculados consultando os fatores de impacto de 2012 fornecidos pelo https://www.citefactor.org/impact-factor-list-2012.html. Por causa das diferenças nos sistemas de abreviatura utilizada, nem todos os documentos foram emparelhados com um fator de impacto revista. Para publicações de fase I, 4866/5973 (81%) ensaios foram emparelhados. Para publicações de fase II, 1343/1580 (85%) foram emparelhados e, entre os ensaios de fase III, 411/437 (94%) foram pareados.

Os ensaios clínicos listados no Clinicaltrial.gov

temos procurado por todos os julgamentos clinicaltrials.gov com o termo de pesquisa “cancro”, produzindo, em 39,422 estudos. Estes ensaios baixado em formato XML (2014/04/28), e forneceu dados sobre o julgamento, data de início, id estudo, a fase de desenvolvimento de medicamentos, fontes de financiamento e instituição líder. Foram considerados ensaios com datas de início entre 2008-2013. Os ensaios foram compilados com base na instituição de origem e fundiu-se com nomes instituição. Porque as instituições individuais podem ser conhecidos sob vários nomes, a lista mesclada de 2702 instituições foi revistada manualmente usando fragmentos do nome da instituição, por exemplo, ‘Cleveland’ e ‘Lerner’ para o Cleveland Clinic Lerner College of Medicine.

Análise Estatística

A análise estatística foi realizada utilizando Stata versão 13 (Stata Corp, College Station, TX). A estatística descritiva para os dados são fornecidos. foram utilizados regressão linear múltipla linear simples e.

Resultados de

Foram analisados ​​dados para os 50 mais bem classificado US News and World Report hospitais de câncer. Além das 6 variáveis ​​utilizados para obter pontuação final de cada centro, reunimos dados sobre o número de e o total de pagamentos de subvenções NCI financiados, o número de fase I, II e III publicações, o fator de impacto cumulativo das revistas em que essas publicações apareceu, eo número de ensaios clínicos listados pelo centro e fase em clinicaltrials.gov, todos ao longo dos últimos 5 anos. Um resumo das variáveis ​​utilizadas pelo USN WR e as medidas de produtividade em pesquisa aparecem na Tabela 1.

Em primeiro lugar, procurou verificar os resultados dos relatórios anteriores. Pedimos: qual a percentagem de variabilidade na pontuação é explicada por cada um dos 6 variáveis ​​utilizadas por os EUA News and World Report para construir a sua pontuação final. Os resultados de uma regressão linear múltipla testar esta questão são mostrados na Tabela 2. Todos os 6 preditores atingiu significância estatística, e, a de R-quadrado global foi de 0,94. Assim, 94% da variação de pontuação final poderia ser explicada por estes preditores. As regressões lineares simples para cada uma das 6 variáveis ​​contra a pontuação final estão apresentados na Tabela 3. Apenas reputação (r-quadrado = 0,86) e o volume de pacientes (R∧2 = 0,48) tinha coeficientes de correlação superiores a 0,1, quando testados individualmente. A Figura 2 representa graficamente a relação entre a pontuação final e reputação, a variável com correlação mais forte

Nós, então, explorada nossa hipótese:. Se e em que medida as medidas de saída de pesquisa objetiva correlacionam com reputação. Nossa hipótese é representado graficamente na Figura 1. A Tabela 4 mostra os coeficientes de correlação e beta entre as medidas de produtividade em pesquisa que desenvolvemos e do Hospital do Câncer pontuação de reputação US News and World Report. Todas as medidas de produtividade em pesquisa demonstrou correlação com a reputação (média de R-quadrado = 0,65, mediana r-quadrado = 0,68, mínimo de R-quadrado = 0,41, máximo de r-quadrado = 0,80). Além disso, houve uma forte co-linearidade entre as variáveis, demonstrado por fortes coeficientes de correlação de pares entre todas as variáveis ​​(Tabela S1). A regressão linear múltipla usando todos os nossos preditores contra reputação rendeu um total-r ao quadrado de 0,93 (detalhes modelo completo na Tabela S2).

Discussão

A US News and World Report rankings do hospital de especialidade são influente e controverso [1], [4]. Trabalhos anteriores mostraram que a pontuação final é em grande parte impulsionado por rankings de reputação, uma medida subjetiva da qualidade hospitalar [4] – [6]. De fato, nossa análise confirmou este fato. Descobrimos que 85% da variação na pontuação final foi explicada pela reputação entre os hospitais de câncer. Além disso única reputação eo volume demonstrada correlação paciente coeficientes superiores a 0,10 (Tabela 2).

Em seguida, procurou avaliar se e em que medida a reputação se correlaciona com medidas objetivas de produtividade em pesquisa. Especificamente, se NCI subsídios financiados, publicações de ensaios clínicos e seus fatores de impacto, e os ensaios clínicos em curso reflectida reputação (Tabela 1). Na verdade, descobrimos que cada medida individual de produtividade em pesquisa exibiu uma correlação positiva e robusta com a reputação (Tabela 4).

Além disso, descobrimos que quase toda a variação em termos de reputação pode ser explicada por uma combinação de nosso objetivo medidas (r-quadrado = 0,93). Enquanto a interpretação de cada um dos coeficientes de regressão linear múltipla esta é limitada devido a colinearidade entre as variáveis ​​(Tabela S1), colinearidade não afecta o coeficiente de correlação.

Nossas descobertas parecem diferir a partir de uma investigação prévia, que mediu saída de publicação no campo da urologia, e encontrou pouca correlação entre USN rankings WR e os autores ‘escalão [8]. Esse estudo entanto focada exclusivamente em correlações entre as classificações finais, ao contrário de correlações entre a pontuação de um centro de publicação e USN WR pontuação final. Como tal, as correlações podem ter sido perdidas devido a um foco singular na classificação.

Em suma, confirmou que US News and World Report rankings hospitalares câncer são, em grande parte com base na reputação. No entanto, enquanto a pesquisa de reputação administrado pelo relatório de US News and World é subjetiva, as impressões subjetivas de especialistas em cada campo parecem estar correlacionados fortemente com a taxa de financiamento da concessão e do número de ensaios clínicos conduzidos por cada centro. impressões subjetivas parecem aproximar diferenças objectivas.

Limitações

Existem várias limitações para a nossa análise. Nós escolhemos para avaliar a correlação entre uma medida subjetiva de um câncer hospital sua reputação percebida de acordo com os EUA News and report-contra Mundial medidas objetivas de produtividade em pesquisa. Deve-se reconhecer que a pesquisa é apenas uma parte do que hospitais câncer de fazer, e não fomos capazes de considerar a qualidade dos cuidados prestados pelos hospitais de câncer, nem fomos capazes de considerar a pesquisa científica básica que possam identificar novos alvos terapêuticos no câncer. Por exemplo, nós não considerar o número de alto impacto publicações de ciência básica, o que pode um dia levar a novos medicamentos ou alvos produzidos pelo centro. No entanto, a Fase I, II e III de ensaios clínicos são amplamente considerados uma importante medida de produtividade em pesquisa em oncologia, e os caminhos para o desenvolvimento de drogas ao longo desta trilha é maduro e robusto. Como tal, reconhecemos que nossas próprias variáveis ​​podem apenas medidas aproximadas de sucesso centro de câncer, que são difíceis de capturar totalmente.

Para qualquer centro de câncer em particular, poderemos ter cometido erros, tanto na inclusão e exclusão de subvenções , artigos ou ensaios. Embora acreditemos que tais erros de medição não são susceptíveis de resultar em um desvio sistemático, temos de reconhecer isso como um limite. Além disso, contamos com o fator de impacto do periódico no qual uma publicação julgamento apareceu. Este, porém, é uma aproximação imperfeita do impacto de qualquer papel e qualquer julgamento pode ser mais ou menos importante do que o fator de impacto da revista em que foi publicado. Finalmente, embora os nossos resultados sugerem que grande parte da variação da reputação pode ser explicado por meio de medidas objetivas (93%), não encontramos que toda a variação pode ser explicada. Assim, ainda pode haver um componente subjetivo para rankings de reputação. Até que ponto isso existe e se é ou não é prejudicial pode ainda ser debatido. No entanto, em geral, sentimos que nossa análise foi realizada com base em uma avaliação justa dos índices objetivos de produtividade em pesquisa do centro de câncer.

Finalmente, os nossos resultados não devem ser mal interpretada para implicar que o câncer US News and World Report rankings hospitalares são válidas ou que eles são úteis. Nós não avaliar se os centros que obtiveram classificações mais elevadas proporcionar um melhor atendimento, nem realizamos uma revisão sistemática para avaliar se os rankings fornecer informações úteis para os consumidores e especialistas em política. Em vez disso, foi selecionada uma pergunta muito específica: se um componente-chave de uma hospitais marcar: a sua reputação, desenvolvido através de uma pesquisa, correlaciona-se com medidas objetivas de produtividade em pesquisa. Para esta questão muito focado, nós fornecemos uma resposta favorável.

Conclusão

Ao contrário da crítica antes, descobrimos que a maioria de variação na pontuação de reputação US News and World Report pode ser explicado pelo medidas objetivas de produtividade em pesquisa entre os 50 melhores classificados hospitais de câncer. Estes resultados não implicam a USN rankings WR são válidas ou úteis

Informações de Apoio

Tabela S1..

Todos os coeficientes de correlação de pares (R2) entre US News and World Report Reputation Score, e medidas de produtividade em pesquisa

doi: 10.1371. /journal.pone.0107803.s001

(DOCX)

Tabela S2 .

de regressão linear múltipla para todos os fatores contra reputação

doi:. 10.1371 /journal.pone.0107803.s002

(DOCX)

Reconhecimentos

Os pontos de vista e opiniões dos Dr. Prasad não refletem as dos Institutos Nacionais de Saúde.