1. 网站地图
  2. 设为首页
  3. 关于我们


论文发表了就万事大吉了?

发布时间:2019-12-23 11:49

 论文债

 The Gradient 提出了一个有趣的新概念:「论文债」,对,就是「债 debt」。他们给出的简单的核心定义是:论文作者撰写论文时的可用知识,和论文读者能从论文中获得的知识之间的差异,就是「论文债」。一般来说,作者所做的所有试验、作者的直觉判断、作者意识到的局限性这些可以写进论文中,但作者最后并没有写的东西,就成了论文债。在 distill.pub 在线期刊亮相时,Chris Olah 和 Shan Carter 就曾提出一个「科研债 research debt」的概念,用来形容一个门外汉和一个领域专家之间的知识区别。论文债也就是一种特定形式的科研债。

 有很多原因都会让论文债越积越多。有时候由于投稿的篇幅限制,研究者不得不省略掉一些直觉的解释和实验;也有时候,研究者会写下模棱两可或者给人误导的话。在《Troubling Trends in Machine Learning Scholarship》(arxiv.org/abs/1807.03341)中,Lipton & Steinhardt 就描写了其中一些状况:许多论文都没能把猜测和解释区分开,对经验积累、模型调节带来的提高避而不谈,以及为了让方法看起来更复杂、更有数学性而增加不必要的方程。

 更明目张胆的省略行为也很常见。比如,如果论文作者在其他一些额外的数据集上也做了实验的话,经常发生的事是,只有得到很好的结果的时候他们才会把这个实验写进论文里,即便失败的结果对于其他研究者来说极富价值。类似地,论文作者们给基准线模型选择的超参数很多时候都并不是最优的,但是作者们又并不总会把选择的参数全部详细列出来,所以即便读者们有所质疑也往往找不到直接的证据。

论文的作者们喜爱累积论文负债的主观因素多是以便让将来论文的审查者开心。这也是合乎情理的,评价研究者水平的最重要因素就是他们发表在顶级会议和期刊上的论文数量。因而,根据在写毕业论文时遮盖方式的缺点,省去欠佳結果,选用符合规定的文章内容书写,在审查者眼里毕业论文更为漂亮,更非常容易根据朋友的评定。

 除此之外,论文债堆积还有一个致命的原因是时间。如果论文作者们花时间做更多的实验,或者和领域内的其它的研究者聊一聊的话,肯定会对自己的成果有更深的理解。如果新证据新想法比较多,作者们有时候会在 arXiv 上修订更新自己的论文,但更多时候这些新证据新想法就只是烂在作者们自己的肚子里了。最后,要把这种新的內容适度地结合到原先的毕业论文中必须许多的人力资本,但与其说是这以后有几个留意不上,还比不上写新的毕业论文或是花時间追上新的经销商。

只是,毕业论文的债早已变成全行业科学研究工作人员最奢侈浪费的劳动者。如今,读一篇论文的过程中就需要仔细辨别作者的哪些语句是技术上站得住脚的。一边读深度学习毕业论文一边说:“看一下她们想瞒报哪些。 以便合理地展现这一方式,大家密秘应用的方法是啥”。针对许多学术研究而言,这类警惕性在亲身经历了许多痛楚后迫不得已学习培训——在行业中出現了许多好的念头,但在基本上进一步挖掘、基本建设的那时候,却沒有毕业论文中引以为傲的实际效果。如今大家都已经习惯了要带着戒心,领域内有也有那么多的论文欠下论文债而没有要改观的样子,不得不说令人遗憾。

 直面回顾与反思

 除了「明知故犯」的论文债之外,论文作者们犯下的一些无心之失也会带来不好的影响。浅显点的比如没有对数据集和结果做足够的检验,模型能产出好的指标数字,但是实际的结果表现出固定的偏倚;隐蔽点的比如在这篇文章中谈到的,大家虽然都会认真做误差分析,但是不好的开头导致后来者沿袭的误差分析方式其实有很多疏漏。作者们当时写这些论文的时候自然是好心的、不需要有任何愧疚的,后来有了更多了解、经过别人提醒之后,自己的水平提高了,能发现以前的做法存在问题了,还是应该主动去更正,以及影响更多的人避免犯同样的错误。

 对于这些状况,肯定也有别的研究者意识到了,但单个人能做的不多。The Gradient 团队就联合多方力量制定了一个小有野心的计划,他们编写发布了 ML Retrospectives(机器学习回顾反思,http://ml-retrospectives.github.io/),一个专门供研究者们对自己以往的研究工作进行反思、补充的平台。在今年的 NeurIPS 2019 中他们也会举办一个 Retrospectives workshop,高质量的论文回顾反思可以在 workshop 中发表。

 ML Retrospectives 是一个实验:The Gradient 其实自己也不确定研究者们有多大的动力来给自己的以往的论文写回顾反思,以及最终产出的内容能如何对整个领域起到帮助。对于这些问题,他们也会在刚刚提到的 NeurIPS 2019 的 Retrospectives workshop 中进行讨论。当然,真正重要的是倡导、鼓励研究者们更开放诚实地思考、讨论自己以往的成果,以及和别人分享他们的对于以往论文的新想法。

 科学研究很重要,我们通过科学研究了解了越来越多关于这个世界的知识,了解了更多如何做事和思考的方法论。但我们也需要关注科学进展本身,如果具体的研究者们的动机和作为并不能助力领域的科研进步的话,这个领域肯定会出问题。ML Retrospectives 是其中的一个改进状况的尝试,大家都更希望看到的是所有研究者们都可以用更科学、面向发展的态度做更多对整个领域有益的事情。

【本文地址:https://www.xueshulunwenwang.com//xinwenzixun/1274.html

上一篇:研究生硕士论文检测有哪些标准呢?

下一篇:手把手教你如何发表论文?