五八小说

手机浏览器扫描二维码访问

第113章 李晓军和方麟(第2页)

李晓军不止一次想劝退这个学生,或转到别的老师名下。

不能给老师干活的博士生当然不是好博士生。

李晓军迟疑道:“这算是通用人工智能的范畴了,有点太超前了吧?”

方麟瘦瘦高高,顶着一脑袋的长头发,虽然还没长到尽显艺术家的风范,但也足以像鸡窝一样乱糟糟的。

方麟:“王栋不就是想要超前的东西么,越超前越好。”

余下的同学都点头赞同,表示深以为然。

李晓军也觉得有理:“大家现在都在做自监督预训练,有大模型大算力加持,出现了智能涌现。”

“这几年连续学习相关的研究工作的确进展缓慢,好像没有什么清晰的方向,不好做啊。”

“不过,好做的都被申请完了,做连续学习也不错,但咱们得弄出一个具有可行性的解决方案来。”

方麟:“连续学习面对的主要问题是灾难性遗忘。

如果让深度神经网分多次学习,学了后面的知识,就把前面的知识忘掉了,或者说覆盖掉了。”

“所以,这是个如何在深度模型中保留记忆的问题。”

“已有方法大概采用了如下三种技术路线:”

“一是保留以前学过的部分代表性样本作为记忆,这些样本要参与到后面的模型训练,从而把记忆转化为模型参数;”

“二是在模型学习新知识时限制参数在一个限定的范围内变化,而这个范围是由旧知识决定的,所以就达到了不会遗忘它们的效果;”

,!

“三是每次弄出不同的网络分支以对应不同的知识。”

“第三种方法性能最差,较少被关注到,但我反倒觉得最具合理性。”

“仿真人类的情况,我们的记忆难道不应该是神经网络形式的,不同的记忆难道不应该是不同的子网络么?。”

“以前遇到的困难是如何将这些分支融合以达到记忆选择的效果,然而不融合直接选择也是一种办法。”

“假设面对一种任务,其所要学习的知识有一万种子模式,每种模式我们都可以保留三个模型:一个用于生成已习得数据的模型,大模型形式的生成模型现在就很好用;另一个用于对新到达样本做数据增强,达到将一个样本变成上千个内容相同但表示不同的样本的目的;最后一个才是这个子模式对应的处理模型。”

“用这三个模型来代表对某种模式知识的记忆。”

“训练时,先将新到达样本在每个记忆模式里分别做数据增强,然后用对应的生成模型生产大量记忆样本。

把记忆样本与增强样本一起去重新训练处理模型”

“如果该处理模型对各种生成样本仍旧有较高的准确率,该子模式就被选中,把处理模型更新为重训模型,当然,生成模型和增强模型也需要一起被重新训练。”

“推理时,过程也是一样的,将待处理样本在每个知识子模式中都进行增强,然后与生成样本一起重训处理模型,根据重训模型对各种生成样本的准确率,决定是否接受其识别结果。”

李晓军已经听得眉头紧皱:“有点道理,这是用模型训练来解决模型选择问题,或者说记忆选择问题。”

“假如真有上万个知识子模式,每一个样本都要进行上万次模型训练才能完成对它的学习和推理。

学习时还行,慢就慢了。

但推理时必须经过上万次模型训练,这能忍受么?”

方麟:“我看王栋已经提供的那些计算平台,算力也都高得离谱。

我们可以大致估算出来,我们这个方案如果要达到实时的推理速度,大概需要什么样的算力,比现在最高算力还要高几千万倍。”

“不过这不是我们的问题,是王栋的问题,如果他能提供这样的算力,我们就可以按照这一思路进行研究。”

“现在这个世界已经很魔幻了,不妨更魔幻一些。

说不定王栋就:()神临地

热门小说推荐
永恒之门

永恒之门

关于永恒之门神魔混战,万界崩塌,只永恒仙域长存世间。尘世罹苦,妖祟邪乱,诸神明弃众生而不朽。万古后,一尊名为赵云的战神,凝练了天地玄黄,重铸了宇宙洪荒,自碧落凡尘,一路打上了永恒仙域,以神之名,君临万道。自此,他说的话,便是神话。...

当明星从跑龙套开始

当明星从跑龙套开始

精神发疯文学,没有原型,没有原型,没有原型(讲三遍),请不要在评论区提真人哦。金手指奇大,cp沈天青。日六,防盗八十,上午十一点更新江繁星八岁时候看见律政电视剧里的帅哥美女环游世界谈恋爱...

千里宦途

千里宦途

普通人只要有机会,也可以封侯拜相。看王子枫一个普通的小人物,如何抓住机会搅动风云。每个人都可能是千里马。...

官途:权力巅峰

官途:权力巅峰

官场如战场,尔虞我诈,勾心斗角,可陆浩时刻谨记,做官就要做个好官,要有两颗心,一颗善心,一颗责任心。且看陆浩一个最偏远乡镇的基层公务员,如何在没有硝烟的权利游戏里一路绿灯,两袖清风,不畏权贵,官运亨通。...

官路扶摇

官路扶摇

前世被当副镇长的老婆离婚后,崔向东愤怒下铸成了大错,悔恨终生!几十年后,他却莫名重回到了这个最重要的时刻!他再次面对要和他离婚的副镇长老婆,这次,他会怎么做?...

官梯险情

官梯险情

叶峰一踏上官梯就遇到两类险情一是多种危险的感情,二是各种惊险的官斗。叶峰三十六岁就被提拔为县教育局副局长,从报到那天起就被卷入这两种险情的惊涛骇浪中。他是草根出生,却有顽强的意志和搏击风浪的能力,他像一叶小舟在惊险莫测的宦海里沉浮出没,劈波斩浪,扬帆远航,步步高升。...

每日热搜小说推荐