Группа исследователей под руководством Киль Сайлер (Kyle Siler) из университета Торонто, проследив судьбу более тысячи статей, поданных для публикации в ведущие медицинские журналы, пришла к выводу, что редакции, по-видимому, хорошо умеют отсекать плохие статьи, но когда им встречается по-настоящему новаторская работа, идущая вразрез с привычными методами, они предпочитают ее отвергнуть.

Из 1008 рукописей, поданных в три ведущих медицинских журнала — Annals of Internal Medicine, British Medical Journal и The Lancet — только 62 были приняты для публикации. Изо всех остальных минимум еще 757 работ были после этого опубликованы в других изданиях. Для каждой из опубликованных работ ученые установили, сколько раз она была процитирована, что было использовано как показатель успешности работы.

В процессе отбора каждой рукописи требовалось пройти следующие этапы: сначала ее оценивала редколлегия и большинство статей были отвергнуты еще на этом этапе, после этого оставшиеся статьи оценивались рецензентами. Среднее количество цитирований у статей, отвергнутых на самом первом этапе, 69,8, что ниже, чем у статей, которые прошли через рецензирование — 94,65. У принятых статей, которые не получили отрицательных отзывов, а таких было всего 30, среднее количество цитирований оказалось 162,8, а у тех, у которых отрицательный отзыв был, но редколлегия решила их принять — 115,24.

Но это средние значения, однако вот что важно — из 14 наиболее цитируемых впоследствии статей 12 не дошли даже до стадии рецензирования. Большинство из них были отвергнуты по причине отсутствия новизны и методических проблем, а в 3 случаях не было дано никакого объяснения.

Все это говорит о том, что система отбора работает неравномерно — отсеивая менее качественные, она вместе с ними часто отвергает и наиболее новаторские. В последнее время предлагалось несколько вариантов решения этой проблемы, и один из них — вообще исключить стадию рецензирования. Благодаря всемирной сети расцветают онлайн-журналы, серверы предварительной публикации и сети для академических работников, вроде ResearchGate, поэтому пространство на странице журнала перестало быть таким ограничением, каким было в доцифровую эпоху. «Думаю, будет лучше, если мы просто будет печатать все, и мне кажется, именно направлении мир и движется», — сказал Билл Старбак (Bill Starbuck), специалист по проблемам поведения из университета Орегона в Юджине.

Наконец, следует задуматься о том, какие искажения вносит в картину сам критерий цитируемости как мерила качества статьи. Скажем, материалы на узкоспециализированные темы будут, естественно, цитировать реже, независимо от их качества, и, наоборот, более доступные работы, посвященные более практическим вопросам, будут цитировать чаще.

О том, что не все измеряется количеством цитирований и публикациями в научных журналах, говорил нобелевский лауреат по медицине Рэнди Шекман.