共计 3717 个字符，预计需要花费 10 分钟才能阅读完成。
深度学习中翻新点比拟小，但有成果，能够发（水）论文吗?
起源：https://www.zhihu.com/question/528654768
作者：王晋东不在家
首先，当然能够发。不过即便你不提点，也能够发。
而后，重点是如何发？给出一些探讨以供参考：
- 刨根问底法：此种办法最为间接，即知其然也要知其所以然。如果你提的小改良使得后果变好了，那后果变好的起因是什么？什么条件下后果能变好、什么条件下不能？提出的改良是否对畛域内同类办法是通用的？这一系列问题均能够进行进一步的试验和论证。你看，这样你的文章不就丰盛了嘛。这也是对畛域很重要的奉献。
- 移情别恋法：不在支流工作 / 会议期刊 / 数据集上做，而是换一个工作 / 数据集 / 利用，因而投到相应的会议或期刊上。这么一来，相当于你是做利用、而不是做算法的，只有写的好，就很有可能被承受。当然，前提是该畛域的确存在此问题。无中生有是不可取的，反而会画蛇添足。写作时肯定要联合利用背景来写，突出对畛域的奉献。
- 暗渡陈仓法：尽管实际上你就做了一点点晋升和小翻新，但你千万不能这么诚实地说呀。而是说，你对这个 A + B 的两个模块背地所代表的两大思维进行了深刻的剖析，而后各种画图、做试验、提供后果，阐明他们各自的局限，而后你再提本人的改良。这样的益处是你的视角就不是简略地发一篇 paper，而是站在整个畛域方法论的角度来说你的担心。这种货色大家往往比拟喜爱看、而且往往看题目和摘要就感觉十分厉害了。这类文章如果剖析的好，其价值便不再是所提出的某个改良点，而是对畛域全面而粗浅的剖析。
- 偷梁换柱法：不说你提点，甚至你不提点都是能够的。怎么做呢？很简略，你就针对你做的改良点，再发散一下，设计更大量的试验来对所有办法进行验证。所以这篇 paper 通篇没有提出任何办法，全是试验。而后你来一通剖析（剖析后果也大多是大家晓得的货色）。但这不重要啊，重要的是你做了试验验证了这些论断。典型代表：Google 家的各种财大气粗做几千个试验得出大家都晓得的论断的 paper，比方最近 ICLR’22 这篇：Exploring the Limits of Large Scale Pre-training
以上介绍了几种罕用的方法。更多的方法，当前再更新。
最初说一句，不论上述哪种办法、甚至即便你有特地大的翻新时，写作永远都是重要的。
作者：HeptaAI
当然能够，然而你本人要明确，本人的工作的意义是什么。就算性能降落了，如果你能找出性能降落的理由，并且提出前人疏忽的中央，也是十分好的文章。发文章首先要思考本人的工作对于学界的奉献，当初大部分文章都在刷点，可能静下心来想想为什么本人的点数下来的反而不多。比方一个 benchmark，你套一个图论下来，性能就下来了。然而为什么呢？是因为图论引入的拓扑关系能够晋升网络的 structure 性吗？是因为图论减少了常识间的关联度吗？反之，如果点数反而降落了，是因为图论和工作不兼容吗？是因为图论带来了冗余的常识吗？如果是，那又是什么冗余常识呢？能够通过融化试验来佐证你的观点吗？如果不行，能够用前人做过的试验阐明图论可能会带来冗余常识吗？这些都须要静下心来认真思考，能力晋升本人的思维品质。
钻研工作在很大水平上是对整体思维的晋升，而非对某种技术的把握。钻研人员与程序员最大的区别就在于没有具体的工作界定，很多货色基本不是良定义的，很多货色基本没法建模，很多货色无奈用劳动力去掂量。程序员团队做出的产品，是有肉眼可见的理论价值的，而且有比较完善的工作体系，实现的是一个业务性能；钻研团队个别由一两名科学家带头，做出的次要产品是在学界业界都有参考价值的钻研报告，而代码和性能只是主要产品。不难发现，钻研代码个别都比拟散乱，很多程序员为此不齿，其实如果本人去写，写进去的代码基本好不到哪里去；最次要起因是钻研的方向和工作都不是确定的，批改代码是十分失常的事件，改着改着又肯定会出问题，例如想要退出某一些观测，这个时候代码又要改。钻研在很大水平上在意的是你是如何失去这个货色的，而不是你失去的这个货色有多好。如果这个货色通过一些小聪明比原来好了一点点，你却不晓得是怎么做进去的，那么你的奉献是渺小的。
所谓的水论文，就是指这一类。胡乱改一通，调了一下参数，甚至罗唆换了一个种子，好了，性能晋升了 2 个点，开始写文章。文章丝毫不提相干工作，只介绍本人的架构，做起来如同跟本人模拟的工作没有任何关系，以此覆盖是非，平心而论，骗过审稿人的眼睛，发上顶会。相比之下，那些发到个别的期刊和会议的一些文章，尽管并没有晋升多少性能，然而提出了看问题的另一个角度，通过这个角度从新剖析某一个模型的性能为什么好，反而给社区带来了很大的启发，诞生了诸如 Mask RCNN 这样的工作。
因而，只有你不弄虚作假，秉着谨严的态度写论文，通过考察先前的钻研，思考本人的翻新点到底在哪里，为什么会晋升性能，你用了哪些办法来证实你的性能晋升是因为这个起因，之前工作为什么没有思考到这个翻新点，你又是怎么想到的，这些全副用奢侈的文字表达出来，用有深度的思考出现给编辑看，这基本不是水论文，这种文章的含金量甚至比单纯的提点更高。
作者：知行
深度学习属于人工智能的连贯学派。如果你认真看看或者感觉神经网络和集成电路比拟类似。这外面暗含了一个根本思维：模块化。所以深度学习艰深一点就是“积木游戏”。所以深度学习翻新能够类比积木游戏翻新就次要来源于三个方面：（1）发明新的积木类型。（2）发明新的沉积木的形式，堆出不同形态。（3）沉积办法用于不同的游戏场景。
以下从这三个方面开展来讲：
（1）发明新的积木类型
拿激活函数举例：relu、leakly relu、parameter relu… sigmoid、tanh。按网络根底形成算子举例：全连贯 fc，卷积 conv，循环算子 lstm，gru。
尝试着从数学库外面找一个实践，将它算子化，兴许这就是一篇不错的论文。以前专家总是手工来寻找这样的算子，当初 google 的大神们借助算力应用 automl，autodl 来主动寻找算子，如果你也有功能强大的算力你也能够尝试着用算力主动寻找新的“积木算子”，如果这个算子恰好又是神奇的进步了神经网络的性能，那么人工智能深度学习畛域又将多一个大神一样的人，而这个人恰好就是你。
（2）发明新的沉积木形式
resnet 很大水平受害于 highway network 的启发，将 X 直连到下一层这个概念在论文收回来之后其实看看感觉蛮直观的，但为什么其他人都想不到呢？这个问题我也在问本人，O(∩\_∩)O 哈哈 \~。再举个例子：Conv 层如何堆，是同型 Conv 沉积还是不同 kernel size 的 conv 进行沉积，兴许这就是 alexnet，googlenet 等不同卷积网络的区别。
目前 google 也借助遗传算法等主动找到新的沉积木的形式，发了很多高水平的论文，如果我通知大拿科学家他们这仅仅是沉积木的办法不同“无他但手熟尔“，他们会不会怄气打我。
（3）堆出的积木形态用于不同的场景
Attention 注意力机制最先呈现在 NLP 畛域，起初进入了语音辨认和合成畛域还有 CV 计算机视觉畛域。仅仅是雷同的积木用在了不同的场景罢了，最先发现新的利用场景的人成了他所在畛域的大神，如果我说大神仅仅是搬运工置信大神也会打我的。
以上三种形式不肯定概括全面，但我认为能做到上述任意一条的都是一个不错的想法。当然 ” 积木游戏 ” 要玩的好，肯定须要“多玩”，所谓多玩意味着多看论文看看人家怎么玩，玩的好的人怎么玩，学着按他人的套路玩，最初本人找到一种新玩法，重复训练本人的新玩法达到熟练，干翻一堆老玩家，你就是终极玩家了。
综上所述：
深度学习不简略，但也不用想的过于简单。灵便的利用上述提到的三条，随便翻新、大胆实际做试验，置信很快你就能收回很多高水平的论文了。
两句话总结：
1. 实际是测验真谛的唯一标准
2. 无他但手熟尔
作者：李沐老师
如何判断（你本人的）钻研工作的价值 – 李沐的视频 – 知乎 https://www.zhihu.com/zvideo/1475716940051869696
【技术交换】
已建设深度学习公众号——FightingCV，关注于最新论文解读、基础知识坚固、学术科研交换，欢送大家关注！！！
举荐退出 FightingCV交换群 ，每日会发送论文解析、算法和代码的干货分享，进行学术交流，加群请增加小助手 wx：FightngCV666，备注： 地区 - 学校（公司）- 名称
面向小白的顶会论文外围代码库：https://github.com/xmu-xiaoma666/External-Attention-pytorch
面向科研小白的 YOLO 指标检测库：https://github.com/iscyy/yoloair
【赠书流动】
为感激各位老粉和新粉的反对，FightingCV 公众号 将在 9 月 10 日包邮送出 4 本 《深度学习与指标检测：工具、原理与算法》 来帮忙大家学习，赠书对象为当日浏览榜和分享榜前两名。想要参加赠书流动的敌人，请增加小助手微信FightngCV666（备注“城市 - 方向 -ID”），不便分割取得邮寄地址。
本文由 mdnice 多平台公布