五八小说

手机浏览器扫描二维码访问

第14章 一不小心站在了技术发展的最前沿(第2页)

想象你在爬一个大山,山的坡度越来越平,最终你几乎感受不到自己在上升了,这时你很难再判断该怎么继续往上爬。

在神经网络里,梯度消失的问题就是这种感觉,网络不知道该如何继续改进。

而梯度爆炸又是另外的一个极端。

假设这次你站在一座非常陡的悬崖边,一不小心就滚下去了!

因为坡度太陡了,你的速度变得非常快,失控了。

在神经网络中,这种情况也被称为“梯度爆炸”

当梯度太大时,参数的调整会变得过于剧烈,网络的学习变得不稳定,甚至会导致训练失败。

这就像你在陡峭的悬崖边滑落,一下子失去了控制。

网络的参数变化过大,导致结果变得很不稳定,甚至完全错误。

概括地说:梯度消失就像在一座越来越平的山坡上,梯度变得很小,神经网络不知道该怎么调整,进而学习变得很慢,甚至无法进步。

梯度爆炸就像从悬崖边滚下去,梯度变得很大,网络的学习变得过于剧烈,结果会非常不稳定,训练过程变得不可控。

这两个问题经常会出现在深层神经网络中。

而这也是马库斯所要倾诉的困扰。

“说起来,最近的研究还卡在了‘梯度消失’的问题上。”

马库斯苦笑着说道,靠在沙发上,“我们在训练一些更深层次的神经网络时,发现模型一旦超过一定的深度,反向传播算法中的梯度会逐渐趋近于零,根本无法有效更新权重。

深度越大,梯度就越容易消失,整个网络的学习效率大幅下降。”

马库斯知道林枫硕士是麻省理工学院的计算机硕士,因此也就全都用专业术语表述了。

对于这些林枫当然能听明白,非但能听明白,而且作为一个资深的人工智能从业人员。

林枫也清楚知道马库斯面临的难题。

林枫对ai的发展也有所了解,涉及到梯度问题在2014年是深度学习研究中的一个巨大挑战。

甚至可以说解决不了梯度问题就很难有真正的深度学习,也就不会有后来的人工智能成果的一系列井喷。

林枫心说,自己这是一不小心站在了技术发展的最前沿了吗?不得不说,这种举手投足之间就能影响时代命运的感觉是真的无比美妙。

“梯度消失的问题一直存在,尤其是深层网络。

梯度爆炸倒是相对好解决,但梯度消失会直接导致学习过程停滞不前。”

林枫沉思片刻,补充道,“这不仅是你们实验室的问题,也是整个领域的瓶颈。

反向传播的基本原理决定了,当信号在网络中层层传递时,梯度的变化会以指数级缩小。”

马库斯脑海中泛起了大大的问号,梯度爆炸问题好解决吗?他怎么觉得梯度爆炸问题也挺麻烦的?不过聊天本来就是求同存异,既然林同样认为梯度消失难以解决就够了。

马库斯也没纠结为什么林说梯度爆炸容易解决,而是继续就梯度消失发表观点说道:“是啊,哪怕有了re(修正线性单元)激活函数的引入,虽然能在一定程度上减轻梯度消失,但对深层网络还是不够。”

林枫想了想,说道:“你们有考虑过改进网络结构吗?”

:()不朽从二零一四开始

热门小说推荐
永恒之门

永恒之门

关于永恒之门神魔混战,万界崩塌,只永恒仙域长存世间。尘世罹苦,妖祟邪乱,诸神明弃众生而不朽。万古后,一尊名为赵云的战神,凝练了天地玄黄,重铸了宇宙洪荒,自碧落凡尘,一路打上了永恒仙域,以神之名,君临万道。自此,他说的话,便是神话。...

误入官路

误入官路

周胜利大学毕业后,因接收单位人事处长的一次失误延误了时机,被分配到偏远乡镇农技站。他立志做一名助力农民群众致富的农业技术人员,却因为一系列的变故误打误撞进入了仕途,调岗离任,明升暗降,一路沉浮,直至权力巅峰...

直上青云

直上青云

性格嚣张的林飞扬走马上任镇委书记当天就得罪了顶头上司,让大领导颜面无存,差点被就地免职,且看这个嚣张到骨子里的家伙如何凭借孙子兵法和三十六计勇闯重重危机,智破层层陷阱,在官场上混得风生水起,扶摇直上…...

千里宦途

千里宦途

普通人只要有机会,也可以封侯拜相。看王子枫一个普通的小人物,如何抓住机会搅动风云。每个人都可能是千里马。...

官道征途:从跟老婆离婚开始

官道征途:从跟老婆离婚开始

妻子背叛,对方是县里如日中天的副县长!一个离奇的梦境,让李胜平拥有了扭转局势的手段!即将被发配往全县最穷的乡镇!李胜平奋起反击!当他将对手踩在脚下的时候,这才发现,这一切不过只是冰山一角!斗争才刚刚开始!...

绝品风流狂医

绝品风流狂医

林风因意外负伤从大学退学回村,当欺辱他的地痞从城里带回来一个漂亮女友羞辱他以后,林风竟在村里小河意外得到了古老传承,无相诀。自此以后,且看林风嬉戏花丛,逍遥都市!...

每日热搜小说推荐