同行评审只有在审稿人署名且有评分时才有效

兰迪·罗伯森(Randy Robertson)说,我们需要一个机制,为学者建立其同行评审的声誉并且获得职业好处

八月 14, 2024
Measuring fruit and vegetables
Source: iStock

点击阅读英文原文


去年,《今日美国》(USA Today)上一个引人注目的标题引起了我的注意:“近几十年来,阴茎长度增长了24%。这或许不是什么好消息。”科学新闻本来就是这样。这篇文章没有链接到得出这些结论的学术分析,而是斯坦福大学医学院的广告。尽管如此,原文“全球阴茎长度的时间趋势:系统回顾和荟萃分析”确实认为“在过去 29 年里,勃起的阴茎长度增加了24%”。

嗯。如果你对此持怀疑态度,我也持怀疑态度——而且,果然,在查看荟萃分析并检查原始研究时,我发现了一些问题。首先,虽然作者声称只纳入了调查人员进行测量的研究,但他们引用的最大研究中至少有3项是基于自我报告——由于显而易见的原因,这些研究往往被证明是不可靠的。其次,这些研究并没有一致的测量方法,大多数研究甚至没有注明所使用的方法,导致无法进行比较。最后,作者夸大了测量的成员总数。

以防读者有任何顾虑,我并不是Data Colada数据调查团队的成员。我是一所文理学院的英语教授。

我将我的担忧发送给通讯作者,然后发送给相关期刊编辑。他们的回应措辞得当:作者承认了这些问题,甚至感谢我指出这些问题,这一定很困难。尽管如此,虽然他们立志要修改这篇文章,但作者和期刊编辑在8个月后仍然没有发出更正声明。

这个例子与近年来批评家们揭露的大量有缺陷的研究有别之处在于,这项研究是一项荟萃分析,被认为是科学的黄金标准。如果旨在剔除实施不当的实验的荟萃分析本身就充满了低级错误,那么科学陷入的麻烦会比我们想象的还要严重。

人文学科的情况自然更差。历史学家和文学学者从上下文中随意摘取引文,却不受限制。释义经常被证明是不准确的。文本证据是经过精心挑选的,引用的段落在最方便的连接处被截断。

当然,值得吸取的一个教训是对读者的警告:读者应该保持警惕,不要相信任何东西。但如果我们每次阅读学术期刊时都需要进行严格的同行评审,那么原来的同行评审过程就变得多余了。审稿人至少应该做的是检查作者是否正确使用了他们的资料来源。如果一位教授英语的教授能够看到阴茎论文的严重错误,那么同行评审员究竟为什么没发现它们呢?

一些人建议放弃出版前审查,转而由在线群体进行公开的出版后“策展”。但即使在数字环境中,这似乎也太过分了,可能会让我们淹没在人工智能生成的伪学术中。

最好是能在发表之前重新建立可靠的过滤器。优秀的审稿并不是快速浏览稿件然后继续自己的工作。它也不意味着因为您不喜欢研究结果而拒绝通过,而是要发挥导师的作用,仔细检查工作并提出大量修改建议,既慷慨又持批判性。从本质上讲,它是一种教学形式。

问题是这在终身教职轨道上很少受到重视。进行严格的同行评审是一项乏味且不受欢迎的工作。一位学者可以通过发表令人瞠目结舌的文章而获得更多积分,尽管健康的审查过程对于个人成就的意义来说是必要的。

我们需要坚持公布审稿人的名字,最好也公布他们的评审报告,以提高审稿人的风险,正如一些期刊已经在做的那样。匿名审稿人的劳动得不到认可,但相反,当他们认可低劣的研究时,他们的声誉也不会受到玷污。二者都不鼓励仔细审查。对于担心在话题特别有争议时受到第三方骚扰的审稿人以及担心前辈报复的初级学者来说,应该允许特别匿名。

乐观地讲,公开评审的两个自然后果是彻底性和文明性。更重要的是,同行评审人将进入一种利用网络公共领域力量的声誉经济。期刊应该为读者提供对已发表的作品发表评论的空间,包括对审稿人报告的评论,帮助区分强审稿人和弱审稿人。

编辑们还可以使用来自各自学科领域大量的署名审稿人报告,在决定由谁负责审查新提交的文章时可以参考这些报告。就目前情况而言,除了利用个人和专业熟人的网络之外,编辑往往依赖学术声誉,让一些“明星”学者对出版内容拥有不成比例的控制权——尽管这些人物不一定是其他人作品的优秀编辑,正如他们不一定是好老师一样。生产和批评学术需要不同的技能组合。

编辑不应向反复向那些忽视、认可公然错误的同行评审员发出邀请。从积极的一面来看,高质量的评审应该被视为学术成果,而不仅仅是对专业的服务,因为它们构成了学术成果的一个组成部分。如果书评值得有一个独特的简历部分,那么同行评审也应该如此。

毫无疑问,许多学者在持续提供有价值的同行评审,但也有很多学者没有这样做。很明显,在这种情况下,也需要比自我报告更多的内容来确定谁真正属于哪一类。

兰迪·罗伯森(Randy Robertson)系宾夕法尼亚州萨斯奎哈纳大学英语和创意写作系的副教授。

请先注册再继续

为何要注册?

  • 注册是免费的,而且十分便捷
  • 注册成功后,您每月可免费阅读3篇文章
  • 订阅我们的邮件
注册
Please 登录 or 注册 to read this article.

相关文章

Reader's comments (2)

Fully blinded review has always been a myth, as research has established. Competent reviewers generally know or are able to suss out who authored a paper, and editors who assign reviewers always know the full story. Single blind review is even more subject to bias and manipulation. Unblinded review would seem to be the fairest, and, as this article argues, might help expand the pool of qualified reviewers. However, it is not without its risks, the most important being that, in the always highly competitive worlds of academia where technical disagreements all too often degenerate into personal battles, non-anonymous reviewing opens up a whole new jousting field for enacting personal vendettas and professional revenge.
Great article. I agree with most of the claims. Two reactions: 1. The publish-review-curate model has promise. See eLife and the soon to be up and running MetaROR platform for meta-research. 2. We have platforms for post-publication review. Pubpeer I might be the best one. They offer a browser plug-in that highlights papers with posted comments. It’s a must-have for empiricists and those who rely on empirical studies. Kathy Zeiler, Boston University School of Law