点击阅读英文原文
一项新研究发现，即使基于相同的问题和数据集，学者们也可能得出截然不同的研究结论，这要求学者们仔细记录下他们在工作中做出的决定和判断。
在这项研究中，29个分析团队基于有关在线学术讨论的相同数据集验证了两个假设。
第一个假设是“女性积极参与对话的倾向与参加讨论的女性人数呈正相关”。
第二个假设是“地位较高的参与者比地位较低参与者的对话信息更冗长”。
通过使用一种名为DataExplained的新工具来跟踪研究人员所做出的决定，该研究发现了这些问题对不同解释的开放程度。
例如，一些分析师将“高地位”定义为学者的职位等级，而其他分析师则使用诸如引文等方式来定义。至于“冗长”，这可能是指学者的评论字数或他们在一年内发表的评论数。不同团队还使用了不同的统计技术和样本量。
这项研究的共同作者、柏林ESMT商学院的组织行为学助理教授马丁·施魏因斯伯格（Martin Schweinsberg）说：“在你做出判断的地方就会有噪音，而且比我们想象的要更多。”
根据发表在《组织行为和人类决策过程》（Organizational Behavior and Human Decision Processes）杂志上的这篇论文，结果是“研究人员报告了完全不同的分析和分散的实证结果”。
对于第二个测试学者地位和信息冗长程度之间联系的假设，29%的分析人员找到了支持的证据，但21%的结论恰恰相反。
至于“当其他女性在场时女性发言更多”的观点，研究者们有了更多共识，近2/3的人认为这一假设得到了支持。尽管如此，超过1/5的人发现了相反的效果。
施魏因斯伯格教授称，这些发现“非常生动地揭示了”有多少种方式来解决一个看似简单的问题。
这项工作是一系列众包实验中的最新一项，在其中多个研究团队使用相同数据独立解决相同问题。于2018年进行的一项实验探讨了种族偏见，研究足球裁判是否给了深色皮肤球员更多红牌。
大多数人发现了种族偏见的证据，但这些发现的范围很大。根据施魏因斯伯格教授的这篇论文，“令人不安的暗示是，如果只有一个团队获得了数据集并提出了他们倾向的分析，那么研究得出的科学结论可能是红牌数量的重要种族差异，或者平等的结果”。
这个最新实验的不同之处在于它通过DataExplained密切跟踪了参与者的决策过程。 “我们提供了一个步步相扣的链条来了解这是如何发生的。”施魏因斯伯格教授说：“每隔几行代码，我们就会问他们一组关于所采用路径的标准问题。”
该研究解释说，该平台于今年早些时候公开，“记录了所有执行的源代码，并提示分析师评论他们的代码和分析思维步骤”。
施魏因斯伯格教授说，这种系统监测是否有意义取决于提出的问题。他说：“如果有人是死是活，就没有太大的歧义。”尽管他的论文指出即使在医学领域也存在矛盾的发现。
他建议道：“如果问题足够大并且具有足够重要的影响，那么（做）这样的事情可能是明智的。”
david.matthews@timeshighereducation.com
本文由Liu Jing为泰晤士高等教育翻译。
