多模态人工智能股票有哪些_人工智能与多模态认知智能「多模态人工智能」

选自Github.io

呆板之心编译

作者：AndrejKarpathy

参加：孙睿、吴攀、李亚洲、杜夏德

　　克日，OpenAI人工智能研究科学家AndrejKarpathy完成在斯坦福的博士学位，其博士论文和他在博客上写的读博引导发起都得到了极大关注。呆板之心编译了AndrejKarpathy就读斯坦福盘算机科学博士学位的发起，盼望对各人有所资助。在文后呆板之心也对他的博士论文举行了择要翻译，读者们可点击阅读原文下载。

如今，我即将完成本身的PhD学位，我想要写一篇文章回顾本身的履历，盼望这对你们有一些资助。不像本科引导，博士引导要更加难写，由于一个人怎样完成本身的博士生活相比本科有更多的变革。因此，很多事变大概是有争议的，我认识的一些部分（盘算机科学/呆板学习/盘算机视觉研究）会具体写一下。

预热

起首，你想要得到博士学位吗？在年轻的时间我就很荣幸的明知我真的想要一个PhD。不幸的是，我并没有颠末深图远虑：起首，我是真的喜好学校和学习，我想尽大概多学一些东西。其次，我真的想成为游戏《半条命》内里的GordonFreeman博士如许的人（从MIT得到理论物理博士学位）。我喜好这个游戏。但在做人生决定时你更加敏感又会怎样？还会想要读PhD吗？（这里作者引用了本身在Quora上的答复，当时他在大公司的offer与读博之间做出的决议。）我假设你正在思量是否参加一个中型公司（大部分人都是云云），你可以问本身该公司是否有如下吸引力：

自由。读博在你想要寻求和学习的主题上能提供很大的自由度。你在被别人管着。固然，读博也会有导师加以束缚，但很洪流平上要比其他更自由。

全部权。你做出的研究结果将会是你本身的，上面附属本身的名字。相反，在大公司内，「blendin」会很常见。常有的一个感觉是成为了「齿轮上的一个齿」。

排他性。很少有人单独乐成做到顶级的博士项目。你将是参加一个由数百精良个人构成的团队，相比于公司大概是数千人构成的团队。

职位。不管是不是如许，向进步并终极得到博士学位在文化上是值得崇拜的，也是一项了不得的成绩。你也将成为一个博士，这很棒。

个人自由。博士生是本身的老板。本日想睡觉？可以。本日想溜号休假？可以。全部的统统就是末了的博士结果，没人逼你要朝九晚五。固然，一些导师在这方面有很大的机动性，一些公司也会机动一些，但个人自由确实是低级声明。

最大化将来的选择。参加博士项目并不是关闭了一些出路或镌汰了将来职业/生存方式的选择。你可以选择走一条路（PhD→其他），但并不但是一条路可走（其他→PhD→学术/研究）。别的（只管应用呆板学习专业相称特别），博士毕业生乃至博士退门生更大概被雇佣，很多公司也乐意将你安排到更风趣的位置或给你更好的起始薪资。更广泛的说，最大化选择是你将来可以依照的一个很具开导性的方法。

最大化你的变化。你还年轻，没须要这么发急进公司。一旦你从博士毕业接下来有50年的时间耗费到公司。在你的人生履历中，选择有更多的变化。

个人发展。PhD是一段快速发展（学到很多）和个人自我发现（成为把握自我生理状态的大家）的浓厚履历。PhD项目（特别是假如你能乐成进入一个好的项目）也能频仍的为你提供机遇，来往一些格外阳光的朋侪。

专业性。PhD大概是你人生中唯一的机遇真的深入一个主题，并在某些事变上成为天下上处于领导职位的专家。在没有分心与束缚的压力下，探索人类知识的边沿。这是一件非常精美的事，假如你差别意这一点，这大概就是一个你不得当读PhD的信号。

放弃。我也想说一下大概存在的悲观面和失败模式。PhD是一段非常特别的履历，有大量的人会放弃。你将不可克制的发现本身做起来特别难（特别是该交论文之前）。你必要顺应这些痛楚，并有充足的生理耐力和刻意处理惩罚这些压力。有的时间你大概会过的不知道本日是周几，吃厨房的剩菜剩饭。在一个美好的、阳光妖冶的下战书，翻动Facebook照片你发现朋侪们拿着比本身多5到10倍的薪水享受着异国观光，你要一个人坐在实行室精疲力尽。偶然你会必要3个月的时间阔别本身的研究，才华调解好康健的心态。在朋侪们做着TechCrunch文章内里提到的创业时，大概在朋侪们将产物倾销给百万人时，你却挣扎着意识到几个月的研究耗费到了一篇只有几个引用的论文上。你会履历自我认知的危急，猜疑生存中的决议，想知道耗费本身人生中最宝贵的时间正在做什么。末了，你应该相称确信，本身在寻求科学研究与发现的路上，可以或许在无序的环境中发展、繁盛。假如你不确信，你会轻易因是被而悲观。在你决定读博之前，抱负上你可以先在一个夏季研究项目上作为本科生实行一下做研究。究竟上，在PhD雇用期间，研究履历云云被看重的重要缘故起因不是研究本身，而是博士生更知道本身正在做什么。

末了，我想到有人说假如你想进入学术圈就读PhD。基于上面提到的，我以为PhD有强大的固有代价，PhD本身就是一个目标（end），而不但是到达某个目标（比如，学术圈的工作）方式。

进入一个博士项目：保举、保举、保举。好，你决定积极图取一个项目，如今就是怎样进入一个好的PhD项目？第一品级的逼近方式相称简单，如今最紧张的就是强有力的保举信。抱负场景是一个着名传授如许为你写保举信，「xx是曾与我一起工作过的学而生中的前5名，她积极主动，有本身的想法，并付诸实践。」最差的保举信就是，「xx上了我的课，做的不错。」来自夏季研究项目标你本身的学术著作是一个强有力的加分，但并不如你有强有力的保举信。特别提示：分数并不强相干，但你一样平常不太想分数太低吧。本科时这在我身上并不显着，由于我耗费大量精力取得好结果。只有大概就直接与研究有关（大概最低限度就是与个人项目有关），尽大概的多，也尽大概的早，假如大概也要得到多人引导（你必要3个以上的保举信！）末了一点，忽然的胶葛将来大概成为你导师的人不会提供任何资助。他们总黑白常的忙，假如你想在回想上大概通过邮件强势的靠近他们，想要给他们深刻的印象，这大概反而会激愤他们。

选择学校。一旦你进入一些PhD项目，然后怎样选择学校？很简单，斯坦福啊！开顽笑啦。严厉的说，空想中的大学是首选（不是由于它看起来对你的履历/简历好，而是由于它的反馈环路。顶级学校也吸引其他顶尖人才，你可以跟此中的很多人相识、一起工作。）。第二就是有一些想要一起工作的导师。我说「一些」导师是很认真的，假如首选因各种缘故起因无法告竣，比如因抱负传授离职、搬走或天然殒命而离开了掌控，多一些导师选择对你而言很紧张，也是一种安全保障。第三，选择一个好的物理环境，我以为新生不敷注意这一点：你将耗费生掷中最好的5年时间生存在校园之中。信托我，这是相称长的时间，而且生掷中不但有研究。

导师

导师关系。导师是极其紧张的人，会对你的博士生活产生紧张影响。明白这个关系的本质是很紧张的：导师与门生之间是一种共生关系；你有本身的目标，想在博士阶段出些结果，但是导师也有他们的目标、束缚，他们也要思量本身的职业发展。因此，明白导师的鼓励机制是很有长处的，包罗任职期间怎样工作，这个职位的评估标准，他们怎样获取经费，他们大概扳连进了什么样的系内政治，他们怎样拿奖，学术界通常是怎么运作的，尚有尤其是他们怎样得到承认和同事的恭敬。这有助于克制或减轻与导师之间的摩擦并答应你举行得当的规划。我也不想让这种关系听上去更像是一种买卖业务。导师与门生之间的关系不应该只是奇迹发展，而每每是一种连续的、可猜测的关系。

re-tenure与post-tenure。每位导师都差别，以是明白tenure-track的变革和他们对你博士生活的影响也是很有资助的。奉上一条履历法则（记取也有很多例外），无论你的导师是处于pre-tenure还是post-tenure，紧跟他的职业轨迹非常紧张。通常环境下，年轻一些的教员常常比力多，级别也更低，但是他们也会对你的科研任务施加更猛烈的发起，和你一起工作，抛出具体的想法，乃至会帮你查抄代码（这是功德）。跟着如许的导师，更实际一些，课业也会更紧，由于他们必要发表很多质量不错的论文来得到tenure，他们有动力推动你一样积极工作。相比之下，级别更高的教员大概有更大的实行室，除研究之外会有其他方面的上风（比如，委员会，讨论会，游学），这意味着，他们在学校里只能处在更高级别的职位，无论是在他们的研究范畴，还是在监督门生上。讽刺的是，这就是「你在这个方程中遗漏了一个术语」和「你在这个范畴还要多读些资料，和这个或谁人人聊聊，如许或那样兜售你的结果」之间的区别。在后一种环境中，低程度的发起仍旧来自于实行室里高年级博士研究生大概博士后。

　　除了tenure之外的其他变革。尚有很多必要留意的变革。一些导师比力随意，另一些对待师生关系则比力专业审慎。有些人会试图影响你的工作细节，有些则会放开手让你本身去做。一些会专注研究特定的几个模子及其在差别任务上的应用，而另一些则专注于任务不在意建模方法。从管理上看，有些导师能一周（或天！）见上反复，有些几个月都见不到人。一些导师会快速复兴邮件，而另一些一周都不会回（乃至更长，哈哈）。一些导师会要求你给他一个时间表（比如，你最好能长时间工作大概周末工作）而另一些不会。一些导师慷慨地支持他们的门生，给门生配装备，尚有一些以为有台条记本或旧台式电脑就可以了。一些导师会资助你去参加集会会议，纵然你没有投论文，有些则不会。一些导师是企业家范例的大概方向应用，一些则更倾向于理论工作。一些会答应你暑期练习，另一些则以为练习会分心。

选导师。以是导师该怎么选呢？起首要和他们单独面谈。师生关系偶然可以比喻完婚姻，要确保你们合得来。固然，起首你得确定你能和他谈天和他相处，不外相对于前述的Tenure，要明白导师仍旧是传授，尤其是否能与你在你感爱好的题目上产生智力共鸣。这比他们采取哪种管理方法更加紧张。

网络资料。你也应该网络一下心仪导师的资料。和他们的门生聊聊。假如你想得到有效的消息，这件事在正式场合下肯定不能做，只能在轻松的场合（比如集会）下问问将来的学长学姐。很多环境下，门生一样平常不会直接说导师不好，但是假如你问他具体的题目，他通常会真实的答复你，比如，你可以问「你们多久见一次面？」，大概「他如今有什么职务」。另一个战略是看看他之前带出来的门生末了都怎么样了（你可以在网站上找到），如许你就大概知道本身以后的行止了。

给导师留下印象。导师门生互选过程偶然可以比喻完婚姻，你选他们，他们也选你。他们以为抱负的门生是有爱好有豪情的，自律本领强，不必要手把手教，主动性强，一周内不但能完成导师摆设的任务还能本身有所拓展；用不测的方法改进结果。

要思量整个实行室。另一个重点是要意识到你会一周见导师一次，但是同门每天都能在实行室里见到，他们会成为你最密切的朋侪。在大多数环境下，你末了会与一些高年级博士生或博士后相助，他们的脚色会非常雷同你的导师。尤其是博士后，他们大概是将来的传授，他们也渴望和你一起工作，如许能积聚带门生的履历。因此，你要确定整个团队中能有合得来的人，你恭敬的人，尚有你能密切地做研究项目标人。

研究主题

人类一小部分知识的t-SNE可视化。每一个圈圈都是一篇arxiv论文，巨细代表参考文献的数量。

以是，假如你进入博士阶段，并找到一名导师。怎样开展下去呢？

外围的锻炼。起首留意博士阶段的性子，一个博士学位读下来有苦有乐，由于你会不绝打仗到元题目（metaproblem）。你不但是在办理题目——这仅仅是你要做的分内事。你的大部分时间要花在外围上，找出什么题目是值得办理的，什么题目已经成熟到可以办理。你要连续想象本身在办理假设题目，问本身处在什么位置，这个题目能打开什么，大概是否有人关心你研究的题目。假如你像我一样，就会有点疯狂，由于你在花大量的时间在做你乃至无法确定是否精确，也不知道能不能办理的事变。

研究咀嚼。当你选择研究题目时，你会听到学术界讨一个秘密的概念「咀嚼（taste）」。它一个实着实在的东西。当你领导师提出一个潜伏的题目时，你大概会看到他们扭曲的脸，瞪大的眼睛，留意力飘忽的心情，大概当他们思考未知范畴亟待探索时，你能感受到他眼神里的高兴。在你抛出题目的刹时发生很多事变：评价题目的紧张性、难度、吸引力，它的汗青语境（大概也会思量是否能得到补贴）。换句话说，你的导师是外围题目大家，在判定题目上咀嚼很高。在博士阶段，你也会渐渐得到这方面的悟性。

我想已往我这方面的咀嚼不太好，从我早期的博士条记中就能看出来。当时令我高兴的很多题目如今追念起来在构思上都不敷精良，难以动手，相干性也不强。颠末实践和学习后，我的咀嚼才得到提拔。

我来试着总结一下关于怎样作育咀嚼的思考，以及怎么让题目风趣地研究下去。

一个丰饶的范畴。起首，要意识到在你的博士阶段你会深入某个范畴，你的论文很有大概进入研究链的顶端，自成体系（成为你的thesis）。因此，选择一个题目时，你应该多往前思考几步。猜测事变怎样盼望不太大概，但是你能感知到你尚有多大的研究空间。

共同导师的研究爱好和研究长处。你会想要直接进入导师研究爱好的范畴。一些导师大概会只答应你进入边沿地带，但是如许你就不能全部利用他们的知识，他们就不太大概想资助你的项目或促进你的工作。比方，（这是我从前的想法）每位导师在研究上都有一个通用的幻灯片模板，假如你的研究结果够前沿，能被添加到谁人幻灯片模板中，你就会发现导师对你的研究投入更多了，给你的资助也多了。别的，他们还能资助推广和公开你的结果。

要有点雄心：在积极这件事上要做到收放自若。人的生理都有个奇怪的bug：10倍的紧张或影响的题目在直观感觉办理起来就必要10倍的积极。这是个错觉——我的履历是10倍紧张的题目，至多必要2到3倍的积极就行了。究竟上，在一些环境下，一个10倍困难的题目办理起来大概更轻易。为什么？由于你会有10倍的动力走出本身的黑箱，看到方法真正的范围性。从重要原理（firstprinciples）开始思考，改变全部战略，继而创新。假如你渴望做出10%的改进而且很积极，你就会乐成。但是假如你渴望做出100%的改进，你仍旧很有大概乐成，但会以一种非常差别的方式。

雄心但也要能办理。在这一点上，必要指出的紧张一点是有很多紧张的题目无法做成大项目。我保举阅读RichardHamming写的一条博客：你与你的研究（YouandYourResearch），这内里探究了这个题目：

假如你研究的题目不紧张，你也就很有大概无法做出紧张的结果。这黑白常显着的。巨大的科学家会深图远虑他们范畴内的很多紧张的题目，而且他们会密切关注、细致琢磨怎样攻克它们。让我告诫你，「紧张的题目」必须警惕审慎。当我在贝尔实行室的时间，物理学的三大突出题目在肯定意义上都没有得到过研究。这里所说的「紧张」是指肯定能得到诺贝尔奖和任何数量你想要的资金。我们不研究1）时间观光，2）物质传输，3）反重力。它们并不是不紧张，而是由于我们无力办理。决定一个题目是否紧张并不是由于结果，而是你可以公道地办理。这才是使一个题目紧张的缘故起因。

做到X的人。末了，PhD的目标不但是成为某个范畴内的深度专家，而且还要在这个范畴打上你的烙印。要引导它，塑造它。抱负的环境是：当你的PhD阶段竣事时，你已经在一个紧张范畴赢得了本身的一席之地，最好是一个可以轻易和快速地形貌的范畴。你想听到人们说「她就是谁人做到X的人」如许的话。假如你能弥补一项空缺，你就是乐成的。

有代价的技能。认识在到读博期间你将成为所选择的范畴内的一名专家（撇开爱好不谈，5年×每年260个工作日×每天8个小时是10,400小时。假如你信托Gladwell，PhD正是必要大量的时间才华成为专家。）以是，想一下5年后你成为了这个范畴的天下级专家（岂论你的研究的学术影响，1万小时将包管这一点。）拥有这些技能是不是很奋发？大概对你将来的职业充足有代价？

负面例子。也有一些困难大概论文范例你抱负上想要克制。比方，偶然你听到学习界讨论「增量工作（incrementalwork）」（这简直是学术界最糟糕的形容）。增量工作是指一篇论文通过使其更复杂并在一些基准上得到2%的额外增分，从而加强了一些已有的事变。这些论文的可笑之处在于有很高的机遇会被吸取（评审员没有拒绝这些论文的来由；偶然它们也被称为cockroachpaper），以是你有如许的一系列论文被担当，你可以感觉本身非常高产，但究竟上这些论文不会有很高的引用，你也不会在该范畴有很高的影响力。雷同的，探求研究工程不能只抱负的思量「有如许一个下一步逻辑步调还没有人做，让我来做」，大概「这应该是一个非常简单的poster。」

案例学习：我的主题。为了更具体的讨论这个话题，我筹划利用本身怎样睁开PhD作为例子。起首，风趣的究竟：我的整个主题都基于PhD期间一年半的研究。也就是，它耗费了我相称长的时间在元题目空间（metaproblemspace）不绝摇摆，然后才找出了一个我感觉令我奋发的题目（其他两年我大部分是做3D，比如KinectFusion、3D网、点云特性（pointcloudfeatures）、尚有视频方面的工作）。然后在我读博第三年，在某个周六的下战书两点，我来到了RichardSocher的办公室。我们闲聊时我意识到他在图像和语音上研究的一些题目究竟上非常的风趣（固然，图像和语言交错的这个范畴在Richard之前就有了。）我难以看完全部必要查察的论文，但该范畴看起来相称有前程：该范畴相称的富饶（大量未办理的困难，在对图像举行底子形貌尚有大量的大概性。）我以为这相称的酷，也很紧张，也很简单去表明，看起来它处于成为大概的边沿（深度学习也只是刚开始有效），数据集也刚开始变得可用（Flickr8K也刚出现）。这刚好满意李飞飞的爱好，纵然我没有乐成，我至少得到了大量的时间，优化了我大概用于其他范畴的风趣的深度网络。当全部事在我脑海中出现的时间，我猛烈感觉到一股海啸。我把这个主题在第二天投给了导师李飞飞，感觉松了一口气。她热情汹涌地通过了，给予我鼓励。而且在接下来的工作中引导我，（比方，在我满意于排名的时间，飞飞对峙让我做图像语句天生。）后续的发展让我很高兴。简言之，我游荡了近两年才发现要深入的范畴。给予数个开导方法，一旦我发现我要做什么，我就深入地去做。

阻力。我还想提一下你的导师绝不大概是不停精确的。我已经见过或听说过很多实例了，如今追念起来，导师应该为错误负责。假如你在读博士时以为导师错了，偶然间你应该鼓起勇气忽略导师的见解。学术界广泛赞赏独立思考，但你特定导师的回应大概会随着环境发生变革。我就知道一些赌一把末了得到了很好结果的例子，而我个人也履历过一些结果并不好的例子。比如说，在我第一年的时间，我果断差别意吴恩达给我的一些发起。我末了开始研究一个他并不非常感爱好的题目，但让人惊奇的是，究竟证明他黑白常精确的，而我则浪费了几个月时间。吃一堑长一智嘛:)

不要耍滑头。末了，我要让你以为PhD不但是连续串的论文。你不是一个论文写手。你是科研界的意愿，你的目标是推动该范畴向前发展。论文是此中一种常见的做法，我发起你不要把眼光放在已有的学术范畴内。起首为本身想想，做一些其他人没有做但应该做的事，远告别人在你之前已经做出的结果。在我的整个PhD阶段我不停在实行这么做。这个博客就是一个例子——这让我可以评论一些通常不会发在论文内里的东西。ImageNet人类推理实行就是一个例子——我猛烈地以为，在ILSVRC上知道人类大抵的正确度对该范畴来说黑白常紧张的，以是我花了几周时间对其举行了评估。学术搜刮工具（如arxiv-sanity）也是一个例子——不停以来我都为论文文献搜刮的低效性感到沮丧，以是我发布并维护了这个站点以便对他人有所资助。两次参加CS231n讲授也是一个例子——我在上面花了大量的精力，高出了一个应该做研究的博士生的公道程度，但我以为假如人们不能有效地学习这个主题和进入这一范畴，这一范畴的发展就会受到拖累。我的很多博士阶段的工作都很有大概会捐躯一些标准的学术指标（如H指数或在顶级集会会议上发表的数量），但我还是做了那些事变，我还会同样地再做那些事，在这里我也鼓励其他人也这么做。这大概言过着实了一点，除却头脑观念上的一些东西，根据已往我与朋侪和同事一些讨论，我知道这个观点是存在争议的，而且很多人也并不认同。

写论文

在学术界，能写好论文是一项关键的生存技能（就像是生火技能对穴居人一样）。特别地，很紧张的一点是要意识到论文是一种特别的事物：它们看起来有肯定的情势、以肯定的方式活动、有肯定的布局、语言以及其他学者所盼望的统计数据。对我来说，查察我博士早期阶段的论文真是一种痛楚的历练，由于它们着实太糟糕了。在这方面有很多东西必要相识。

查阅论文。假如你正在学习写更好的论文，阅读很多好论文并提取出此中的模式好像是一个明智的选择。但究竟证明这并不是最好的战略；这就好像是对于一个二元分类题目只担当正面的样本一样。你真正必要的是查阅大量糟糕的论文，此中一种方法是评阅论文。大部分好的集会会议的论文吸取率约莫为25%，以是你查阅的大部分论文都很差，这让你可以构建一个强大的二元分类器。你可以阅读一篇糟糕的论文，看它的形貌有多么不清楚，大概它怎样没有界说本身的变量、择要先容有多含糊、大概它怎样过快地深入到了细节之中——你可以学习让你的论文不落入同样的陷阱。另一个相干的有代价的履历是参加（或构造）读书俱乐部——你将看到履历丰富的研究者品评论文，而且相识本身的论文将会被其他人怎样分析。

格式精确。我清楚地记得有一次和飞飞参加一次审视集会会议。我在前面的几个小时里只评阅了4篇论文，而她拿起这些论文，每篇只翻了10秒钟就说此中一篇很好，别的都很糟糕。确实云云，我也担当了这一篇并拒绝了别的三篇，但这项耗费我几个小时做成的事她只用几十秒就完成了。飞飞是将论文的格式作为强大的开导线索的。随着你变成越来越资深的研究者，你的论文将有一种特定风格的表面。一页弁言/先容。一页带有符合密度引用文献（不外于希罕也不外于麋集）的相干结果先容。一张计划精良的pullfigure（在第一页或第二页）和体系图（在第三页）——不要用MSPaint制作。形貌技能的章节在某个地方有些数学符号、带有大量数字的结果表（此中一些是粗体）、一个额外的聪明的分析实行、而且论文恰好有8页（页数限定）且一行不少。你将不得不学习如作甚你的论文赋予雷同的格式，由于很多研究者在评价你的结果时都将其作为认知的捷径。

确定核心贡献。在你开始写任何东西之前，起首很紧张的是要确定你的论文对该范畴的一个单一的核心贡献。我会特别夸大此中的单个词。一篇论文不是你运行的一些实行的随机聚集的陈诉。论文的目标是给出一个之前并不存在或并不显着的单个事物。你必须以为这个事物是紧张的，它之前从未被完成过，然后你通过实行的方式在有对照组的环境中证明它的长处。整篇论文都应该围绕这一核心贡献精准地睁开。尤其是不要有任何额外的无代价的扩展，也不要裹带任何别的东西。举一个具体的例子，在我早期的一篇关于视频分类的论文（Large-scaleVideoClassificationwithConvolutionalNeuralNetworks）中我就犯了这个错误，我实行一次打包两个贡献：1）一个用于视频卷积网络的架构布局聚集，2）一个不相干的带有很小改进的多分辨率架构。我把它加上去是由于我以为一是大概有人会对此感爱好然后跟进后续研究，二是由于我以为论文的贡献越多越好：两个贡献好于一个贡献。不幸的是，这是一个非常彻底的错误。第二个贡献是微不敷道的/可疑的，它稀释了这篇论文，分散了留意力，而且也没人关心。在我CVPR2014的一篇论文（DeepVisual-SemanticAlignmentsforGeneratingImageDeions）中我又犯了雷同的错误，我在该论文给出了两个没有关联的模子：一个排序模子和一个天生模子。我可以举出一些好的论据来证明我应该分开辟两篇论文；只些一个贡献的缘故起因更多是汗青上的，而非理智上的。

布局。一旦你确定了你的核心贡献，就有了一个写论文的默认配方。上层布局默认的是弁言/先容、相干工作、模子、实行、结论。当我写我的弁言时，我发现可以以相干批评的情势写下一些条理分明的顶层叙述，然后再填写下面的文本，这会很有资助。我喜好围绕单个明白的点来构造我的段落，而且这个观点在第一段就会给出，并用该段的剩下部分来支持这个观点。如许的布局可以让读者轻松地快速略览。然后我们必要一个好的头脑流程，可以按以下线索举行：1）X（假如不显着，还要加上对X的界说）是一个紧张的题目；2）核心的挑衅是什么，2）X上之前的结果已经用Y办理的题目，而这一次的题目是Z；3）在这项工作中，我们做了W(?)；4）这有以下有吸引力的特性，我们的实现表明白什么。你可以轻微调解这个布局，但这些核心的点必要得到明白。再重申一下：论文必要围绕你简直切贡献精准地举行构造。比如说，当你摆列挑衅的时间，你必要确切列出那些你将在背面办理的题目，而不要扳连到你做的与之无关的事变上（你可以在背面的结论中多做一点推测）。不但是在弁言中，保持论文团体的公道布局也是很紧张的。比如说，当你表明你的模子时，每一节应该：1）表明清楚在这一节做了什么，2）表明核心挑衅，3）表明根本方法或之前其他人做了哪些工作，4）表明你的动机和你所做的工作，5）形貌它。

冲破布局。你也应该机动应对这些格式，扩展你的论文，为之增长一点香料。比如说Razavianetal.的这篇论文（CNNFeaturesoff-the-shelf:anAstoundingBaselineforRecognition）惊人地将弁言做成了一位门生和传授的对话情势。这做得很聪明，我很喜好。另一个例子，AlyoshaEfros的很多论文都带着一种俏皮的语气，为风趣论文的誊写给出了绝佳的案例。比如说他与AntonioTorralba合著的这篇论文《Unbiasedlookatdatasetbias》。另一种我见过的结果不错论文是问答式的章节，大概用在附录中。

常见的错误：洗衣清单（laundrylist）。洗衣清单是应该克制的一种非常常见的错误，它看起来像如许：「这里有一个题目。如今为了办理这个题目，我们起首做X，然后我们做Y，再做Z，之后再是Y，就得到了我们的结果。」你应该勉力克制这种布局。每一个点都应该得到证明、给出动机息争释。为什么你要做X或Y？有没有更换选择？其他人做了什么？可以说如许的论文很常见（假如大概的话我倒乐意给出例子）。你的论文不是一份陈诉，不是你做过的事变的罗列，也不是你的按时间分列的条记和实行的某种格式化的翻译。论文是对于一个题目、你的方法和其配景的高度处理惩罚过的和高度聚焦的讨论。它应该能教给你的同事一些东西，它必须要能证明你的步调，而不但是形貌你做了什么。

语言。随着时间的推移，你会积聚一个写论文时的好词辞书和坏词辞书。具体可以呆板学习或盘算机视觉论文为例：在你的论文中永久不要出现「study」和「investigate」（这是无聊的、被动的、糟糕的词）；而你应该利用「develop」或乃至「propose」如许的词。你不要提出一个「system」或乃至更糟的「pipeline」；相反，你开辟了一个「model」。你不是在学习「features」，你是在学习「representations」。而且天主保佑，你千万不要利用「combine」、「modify」或「expand」。这些多余的、粗陋的术语肯定会让你的论文被拒:)

提前两周的内部克制时间。并没有很多实行室如许做，但荣幸的是飞飞对这个提前两周的内部克制时间限定非常刚强，在这个时间，你必须提交至少5页带有全部终极实行的草稿（纵然不是终极的数字）；这份草稿会进入一个与外部完全一样的内部评审过程（具有雷同的评审表等等）我发现这种做法非常有效，由于这会迫使你思考整篇论文的布局，从而总是能让你彰显出一些你必须为这篇论文的思绪而运行的关键实行，并让论据思绪条理清楚、连贯和有说服力。

关于这一主题的另一个好资源是JenniferWidom写的《TipsforWritingTechnicalPapers》（https://cs.stanford.edu/people/widom/paper-writing.html）。

写代码

固然，你仍旧会花很多时间在实现你的想法上，也就是说，你还会编写很多代码。由于这并不是学术上独有的工作，以是我不会在此详谈，但还是有几点我想提一下。

公开你的代码。固然你大概会感到惊奇，但是你确实可以不发表论文也不公开代码。同时，你有很多动机将本身的代码藏起来：写代码会耗费很多时间（研究项目标代码看起来像是意大利面，由于它的迭代非常快，以是你必要常常举行整理）；同时，光是想到别人大概会对你的代码说长道短，就已经充足吓人了，维护代码以及答复别人（永久会有）的题目黑白常痛楚的，你乃至会担心别人大概会发当代码中的错误，从而减弱了研究的可信度。然而，这正是你应该发表代码的缘故起因之一：为了克制尴尬的环境发生，你会不绝采取更好的编码风俗（而这终极会帮你节流时间！）；你会被迫使学习更好的工程实践；你会被迫使对本身的代码更加严格要求（比方，编写单位测试以最小化错误出现的大概性），这统统都将让你的研究受到更多关注（并由此带来更多的引用次数），而且很天然地，你的研究也将对之后的研究更加有效。当你真的预备发表代码的时间，我发起你好好利用dockercontainers（https://www.docker.com/）；它会镌汰人们发邮件来问你要附件（和它们的各种版本），从而减轻你的烦恼。

为将来的你着想。为了你本身的便捷，务必将本身的全部代码妥善记录，我包管几个月之后你会返来看你的代码（比方，为即将发表的论文再做几个实行），当时，你会一头雾水。我已经养成了为（本身的）每一个版本编写非常细致的readme.txt文件的风俗，以便将来的本身可以或许明白代码的原理和利用方法等等。

做演讲

如今，你的论文乐成发表了！你必要就这篇论文向很多观众举行几分钟的演讲——它应该是什么样的？

演讲的目标。起首，一个常有的误解是，演讲的目标是向听众先容你在论文中做了什么。这是错误的，这一目标最多也只能排在第二或第三位。你的演讲应应该：1）使听众对你研究的题目产生浓厚爱好（假如各人对题目本身没爱好，他们也不会在乎你的办理方法的！）2）教些东西给听众（抱负的环境是在让各人体验你的思考/办理方案的时间，不要畏惧在别人的相干工作上花时间）以及3）风趣（否则很多人会开始刷Facebook）。抱负环境下，在演讲竣事之后。你的听众中应该有人在想这几件事变：「哇，我要换个研究方向」，「我肯定要看看这篇论文」，以及「作者本人对整个范畴的明白非常出众。」

一些可以做的事变：有些特性会让演讲更上一层楼，比方，要：有很多图片。人们喜好图片。录像和动画应该更少一些，由于它们轻易让人分心。要让演讲内容高度可实行——将一些人们在听到之后可以立刻动手去做的东西。要：假如大概的话给一个demo，它会让你的演讲更轻易被记取。要发展一个你的研究涉及到更广泛的范畴。要讲成一个故事（人们喜好故事）。要引用，引用，引用——很多应用！参加引用不会占用你的幻灯片多大的空间，而你的偕行们会因此感到高兴，而且以为你是一个非常谦善的人，由于你意识到本身的贡献是创建在他人的很多结果之上的。你乃至可以引用在同一个集会会议发表的文章，并为之做简短的保举。要举行练习！先本身练习，然后向同事/朋侪展示。这常常会帮你发现很多叙述和流程中的紧张题目。

不要加很多笔墨。不要让笔墨挤满你的幻灯片。你应该少用乃至不消重点标识——演讲者们偶然会利用重点标识来提示本身要讲些什么，但是幻灯片不是给你本身看的，而是给观众看的。重点标识应该出如今你的演讲条记中。于此雷同地，尽大概地克制利用复杂的图表——你的听众是有固定带宽的，而且我包管那些在你看来非常认识且「简单」的图表，对于那些第一次看到的人来说，就不是这么好明白了。

留意，结果表：不要利用信息非常麋集的表格来展示你的方法有多么良好。既然你已经写了篇论文出来了，我信托你的结果至少是可靠的。我同等以为这一部分黑白常无聊和无用的，除非数字可以或许表明一些（与证明你的论文无关的）非常风趣的东西，大概数字所表明的差距确实非常巨大。假如你真的要展示结果或图表，请循规蹈矩地将它们展示出来，而不是把全部东西扔到页面上，然后在一页幻灯片上花上三分钟。

陷阱：无聊与狐疑之间的微小间隔。假如你听众中的很多人都抱着一种学习的心态而来，要计划出一个好的演讲不是那么轻易的。一个常见的失败案例是（作为一个听众），在演讲的前半段无聊至死，然后在后半段狐疑不已，末了啥都没学到。常常出现这一情况的演讲的特点是，择要非常概括性（过于概括了），然后紧接着技能（过于技能的）详解。实行在你的演讲中规避这一倾向。

陷阱：超时。很多演讲者会在开始的部分耗费过多的时间（一样平常来讲这也会使得演讲变得无聊），然后急迫火燎地相识末了的几张幻灯片，而那些每每是最风趣的结果、分析或demo。不要做如许的演讲者。

陷阱：情势化的演讲。我大概是个特例，但是我不停都喜好挑衅传统的、规避情势化的演讲。比方，我藐视在幻灯片中参加演讲大纲的举动。由于这使得整个演讲变得无聊，就像在说：「这部影戏报告的是一个有魔力的戒指，在第一章我们会看到一个霍比特人得到这个戒指，第二章我们会看到他去了Mordor，第三章里他将戒指扔到了MountDoom并将之粉碎了。我将从第一章开始讲起」——拜托别如许！我只在非常长的演讲中才利用大纲页面，以便于听众在走神之后重新规复影象（30分钟后他们每每会走反复神），但是这应该只管少用。

观察并学习。终极，成为一个良好演讲者的最好方法是（写论文也是如许），留意观察良好的（和不怎么良好的）演讲者的举动，然后在你的大脑里构建一个二元分类器。不要仅仅做演讲的听众；你要对它们举行分析、分解、然后从中学习。除此之外，留意现场反应。偶然，当演讲者展示出一个复杂的数字表格时，你会留意到，很多观众立马低头看起了手机。为大概导致这一场景的举动构建一个内部分类器，并在你本身的演讲中克制这些举动。

参加集会会议

对于集会会议：

参加。参加集会会议是很紧张的，特别是你地点的范畴的最顶尖的1-2场集会会议。假如你的导师缺乏资金，不肯意为你的盘费买单（比方，当你还没有论文的时间），那么你应当乐意本身买单。这是很紧张的，由于你必要成为学术圈的一员，并可以或许见到更多同寅，以及相识研究话题的八卦。科学界大概有一些少少数的单打独斗的人，但是原形是，做研究很洪流平上是一个高度交际性的奇迹——你是站在很多人的肩膀上的，且尚有很多人和你一起积极，而且这些人也是你的论文的阅读者。别的，我很遗憾这么说，但是每一个范畴都有一些没有出如今论文里、但是在整个圈子里广为传播的知识，包罗接下来的紧张话题有什么，哪些论文是最风趣的，论文的内线消息是什么，他们之前是怎样发展的，哪些方法管用了（不是在论文里，而是在实际中），等等等等。成为圈子里的一员，而且相识这个团体中的共识，是很有代价的（而且很风趣！）——起首从中学习，然后最好可以或许影响这个圈子。

讲座：根据演讲者举行选择，我利用的一个集会会议本领是，在选择讲座的时间要看演讲高朋，而不是讲座主题（这是一项技能，渐渐地你会发现有代价的人），而且，根据我的履历，我发现亲耳听这些人演讲会大有裨益，只管话题乃至和你的研究范畴没有直接接洽。

真正有代价的信息大概在走廊上。如今，创新的速率（尤其在呆板学习范畴）已经比集会会议的隔断时间要短了，以是你在集会会议看到的大部分论文实际上都算是旧消息了。因此，集会会议更多地是一项交际活动。与其参加一个讲座，我发起你把去走廊转转作为一项重要活动。你还可以去海报宣传去逛逛，说不定会发现一些错过的风趣论文和想法。

听说一个博士生有三个阶段。在第一个阶段，一篇相干论文的引用你大部分都没看过；在第二个阶段，你能认出这些论文；在第三个阶段，你已经与全部论文的第一作者喝过一圈了。

末了的一些想法

只管我如今找不到出处了，但是我曾听到YC的SamAltman说，创建一个创业公司没有捷径可走。你不能指望通过玩弄体制，大概通过伪装来得到长期的胜利。我想在学术范畴也是一样的。终极，你的目标是用良好的研究推动这一范畴的进步，假如你试图针对某些指标动手脚，从长远来看你无法乐成。在学术界尤其云云，由于学术界令人惊奇地小，而且高度关联，以是，任何你试图在学术履历上用点阴招（比方，常常本身引用本身、将同一想法稍作修改后重复发表、重复提交被退回的论文而没有丝毫修改、为了本身的便利而扬弃一些根本原则，等等）终极将让你尝尽苦果，而你也不会乐成。

以是，总而言之就一句话：好好工作、得当交换，人们会留意到你，功德也会发生。祝博士之旅舒畅！

论文：毗连图像与天然语言（CONNECTINGIMAGESANDNATURALLANGUAGE）

　　导师考核

择要：人工智能范畴的一个长期目标是开辟可以或许感知和明白我们四周丰富的视觉天下，并能利用天然语言与我们举行关于其的交换的署理。由于近些年来盘算底子办法、数据网络和算法的发展，人们在这一目标的实现上已经取得了明显的进步。这些进步在视觉辨认上尤为敏捷——如今盘算机已能以可与人类媲美的表现对图像举行分类，乃至在一些环境下逾越人类，比如辨认狗的品种。但是，只管有很多冲动民气的盼望，但大部分视觉辨认方面的进步仍旧是在给一张图像分配一个或多个离散的标签（如，人、船、键盘等等）方面。

在这篇学位论文中，我们开辟了让我们可以将视觉数据范畴和天然语言话语范畴毗连起来的模子和技能，从而让我们可以实现两个范畴中元素的互译。具体来说，起首我们引入了一个可以同时将图像和句子嵌入到一个共有的多模态嵌入空间（multi-modalembeddingspace）中的模子。然后这个空间让我们可以辨认刻画了一个恣意句子形貌的图像，而且反过来我们还可以找出形貌恣意图像的句子。其次，我们还开辟了一个图像形貌模子（imagecaptioningmodel），该模子可以根据输入其的图像直接天生一个句子形貌——该形貌并不范围于人工编写的有限选择聚集。末了，我们形貌了一个可以定位和形貌图像中全部明显部分的模子。我们的研究表明这个模子还可以反向利用：以恣意形貌（如：白色网球鞋）作为输入，然后有效地在一个大型的图像聚集中定位其所形貌的概念。我们以为这些模子、它们内部所利用的技能以及它们可以带来的交互是实现人工智能之路上的一块垫脚石，而且图像和天然语言之间的毗连也能带来很多实用的益处和立刻就有代价的应用。

从建模的角度来看，我们的贡献不在于计划和显现了能以复杂的处理惩罚流程处理惩罚图像和句子的明白算法，而在于卷积和循环神经网络架构的肴杂计划，这种计划可以在一个单个网络中将视觉数据和天然语言话语毗连起来。因此，图像、句子和关联它们的多模态嵌入布局的盘算处理惩罚会在优化丧失函数的过程中主动涌现，该优化思量网络在图像及其形貌的练习数据集上的参数。这种方法享有很多神经网络的长处，此中包罗简单的均质盘算的利用，这让其易于在硬件上实现并行；以及强大的性能——由于端到端练习（end-to-endtraining）可以将这个题目表现成单个优化题目，此中该模子的全部组件都具有一个雷同的终极目标。我们的研究表明我们的模子在必要图像和天然语言的连合处理惩罚的任务中推进了当前最佳的表现，而且我们可以一种能促进对该网络的猜测的可解读视觉查抄的方式来计划这一架构。

©本文由呆板之心编译，转载请接洽本公众号得到授权。

　　?------------------------------------------------

参加呆板之心（全职记者/练习生）：hr@almosthuman.cn

投稿或寻求报道：editor@almosthuman.cn

广告商务相助：bd@almosthuman.cn

　　点击「阅读原文」，下载论文↓↓↓