深度学习方法推荐(一个数学博士的深度学习方法)

这次我们将讨论一下众所周知的神经网络架构,该架构对于处理对过去数据有一定依赖性的数据非常有用。这种架构被称为循环神经网络(简称RNN),它有一个内存,允许使用过去的数据来处理现在的数据。对于这种能力,RNN 可以处理时序数据,例如时间序列数据、算法交易、语言处理和音频处理。

之所以出现经常性的名称,是因为部分信息保存在网络中并被处理了几次。

普通 RNN

最简单的 RNN 架构如下所示。

一个数学博士的深度学习方法(第 6 部分)

对于每个时间步 t,激活 a(在时间 t)和输出 y(在时间 t)表示如下:

一个数学博士的深度学习方法(第 6 部分)

在第一个等式中,Wₐₐ 是在时间 t-1 中乘以 a 的权重矩阵,Wₐₓ 是在时间 t 内乘以输入 x 的权重矩阵,bₐ 是要添加的偏差,g₁ 是一个激活函数,所以第一个等式告诉我们如何将所有这些量组合起来以在时间 t 内产生 a。在第二个等式中,W 是在时间 t 与 a 相乘的权重矩阵,g₂ 是一个激活函数,该等式告诉我们如何在时间 t 产生输出 y。

我们可以从这些方程中看出,时间 t 中的输出 y 取决于时间 t 中的 a,而这个取决于时间 t-1 中的 a,依此类推。通过这种方式,我们可以看到过去数据的时间依赖性。

也就是说,在时间 t 的输入信息 x 用于在时间 t 产生输出 y,但也保持与在时间 t+1 的输入 x 一起使用以在时间 t+1 产生 y 输出。

我们可以看到上面的展开网络,或者我们可以考虑其中的一个循环,如下所示。

一个数学博士的深度学习方法(第 6 部分)

MLP 和 RNN 之间存在一些差异。循环就是其中之一;另一个区别是,在 MLP 中,哪一层的权重和偏差是不同的,但对于 RNN,这些参数在每个时间步都保持不变。因此,RNN 的计算量更大,并且必须比 MLP 训练更多时间。

参数在哪一步相同的原因是单独的参数无法泛化到训练期间没有遇到的序列长度。

在 MLP 中,我们在网络看到所有数据之后计算误差,然后将该信息向后传播以更新权重,但在 RNN 网络中,我们使用交叉熵计算误差。这种类型的RNN非常容易出现梯度消失或梯度爆炸等问题。

普通 RNN 使用来自过去数据的信息,但可以在称为双向 RNN 的架构中创建来自过去和未来数据的依赖关系。

一个数学博士的深度学习方法(第 6 部分)

数学部分与我们已经看到的类似,但现在有两个方程,一个向前传递信息,另一个类似的方程向后传递信息。

长短期记忆 (LSTM)

Vanilla RNN 的一项改进是 LSTM 架构,如下所示。

一个数学博士的深度学习方法(第 6 部分)

现在,隐藏单元格中发生了更多操作。这些操作允许长期依赖并尝试解决梯度消失问题。共有三个 σ 门,第一个 (fₜ) 代表遗忘门,第二个 (iₜ) 代表输入门,最后一个 (oₜ) 代表输出门。

门控循环单元 (GRU)

GRU 与 LSTM 的区别在于隐藏单元决定忘记或更新您的状态的方式,而在 GRU 中,这是以 GRU 具有更持久记忆的方式实现的。

一个数学博士的深度学习方法(第 6 部分)

其中,zₜ 是更新门,rₜ 是重置门,hₜ 是新内存。我们可以在下面写出这个隐藏单元的数学方程组。

一个数学博士的深度学习方法(第 6 部分)

除了在 MLP 或 CNN 上添加多个层来提高网络能力外,在 RNN 中也是如此。但我们必须小心,因为当我们在 RNN 中堆叠很多隐藏层时,我们必须决定如何连接这些层。我们可以让信息前进或后退,如果每一层都与后续层或远处的层相连,等等。这些差异将改变每个依赖项的考虑方式。

RNN 中使用了用于优化 MLP 和 CNN 的相同反向传播技术,但它被称为随时间反向传播 (BPTT)。

当然,有新的和更复杂的架构来处理具有时间依赖性的数据,这是一个活跃的研究领域。

本文链接:https://www.dzdvip.com/31361.html 版权声明:本文内容均来源于互联网。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 395045033@qq.com,一经查实,本站将立刻删除。
(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年4月13日 12:20
下一篇 2022年4月13日 22:27

相关推荐

  • 关于.NET微服务最热门的问题解答

    在我们最近让我们一起学习 .NET的微服务专场活动中,我们收到了一些很好的问题。我们在现场已经回答很多问题,但我们想继续回答一些在会议中出现的最热门的问题。如果你错过了现场直播,不要担心,因为你可以按需观看。 我们一起学习 .NET:https://letslearndotnet.splashthat.com/ 当我们扩展这些服务时,我们如何扩展与这些服务相关的数据库? 有一些定义良好的模式和最佳实践可以提高性能和扩展数据库。想要了解如何将数据划分为分区,以提高可伸缩性、减少和优化性能, 请参阅水平、垂直和功能性数据分区。想要深入研究微服务的伸缩性,分布式数据,为什么每个微服务都有数据库,在关系数据库和NoSQL数据库之间进行选择,请参考我们关于为Azure构建云原生.net应用程序的指导或下载免费的电子书。 水平、垂直和功能性数据分区:https://docs.microsoft.com/en-us/azure/architecture/best-practices/data-partitioning 为Azure构建云原生.net应用程序:https://docs.microsoft.com/en-us/dotnet/architecture/cloud-native/distributed-data 免费的电子书:https://dotnet.microsoft.com/learn/azure/architecture#ebook-cloud-native-azure-swimlane 我们是否需要为每个微服务使用一个新的数据库,或者微服务可以共享相同的数据库实例? 团队使用微服务的自主性是构建云原生应用的一个重要好处。为了能够使团队能够灵活地在生产中推出更新、安全补丁和bug修复,而不会破坏其他微服务, 最好使用独立的数据库实例。原生云应用架构的灵感来自于著名的12要素应用程序方法论。其中一个因素“支持服务”指出,数据存储、缓存、消息代理等辅助资源应该通过一个可寻址URL公开。云提供商提供了各种各样丰富的托管支持服务。我们建议检查云中可用的数据库选项,而不是自己拥有和维护数据库。 12要素应用程序方法论:https://12factor.net/ 可用的数据库选项:https://docs.microsoft.com/en-us/dotnet/archite…

    2021年5月31日
    8
  • 罗曼尼康帝红酒多少钱一瓶(罗曼尼康帝红酒为什么这么贵)

    对于好酒的男人们来说,周星驰的电影《美人鱼》第一个让人难忘的是价值100万元一瓶的罗曼尼·康帝葡萄酒,而不是咋咋呼呼的张雨绮。 罗曼尼·康帝位于第戎市南部的夜丘,前往夜丘的路上坐落着大片大片秋后的葡萄园,葡萄园多数位于平缓低矮且向阳的小山坡上。 “世界上最伟大的葡萄酒之一,也是最完美和最昂贵的勃艮第葡萄酒……带有强烈的紫罗兰香气,混合着樱桃的气味,生动而深邃的红宝石长袍,一种非凡的技巧。” 你知道82年拉菲,可你知道45年罗曼尼·康帝(Romanée Conti)吗?它曾55.8万美元天价成交并刷新葡萄酒拍卖纪录! 天价成交 当地时间2018/10/13,苏富比拍卖行发布消息表示,两瓶1945年的罗曼尼·康帝葡萄酒(Romanée Conti)在纽约分别以55.8万美元和49.6万美元被拍卖。据称,该拍卖价格打破了任何规格瓶装葡萄酒价格的纪录。 这瓶法国顶级美酒的最终售价,包括税金和佣金在内,是苏富比预估最高售价3.2万美元的17倍。先前的标准瓶葡萄酒拍卖纪录于2010年创下,当时一瓶1869年拉菲•罗斯柴尔德酒庄(Chateau Lafite Rothschild)葡萄酒,以23.3万美元售出。 罗曼尼·康帝是百万富翁喝的酒,但只有亿万富翁才喝得到。-罗伯特·帕克 拍卖市场的宠儿 罗曼尼·康帝向来是拍卖市场的宠儿,在伦敦、纽约各大葡萄酒拍卖会上,罗曼尼·康帝就像武林传奇中的“独孤求败”,其价格遥遥领先于其他名酒,它是葡萄酒收藏家和投资家争相抢夺的稀罕佳酿。 2011年,一瓶1945年份罗曼尼·康帝750毫升装葡萄酒,以123,889美元的价格成功拍出,另一场拍卖会上,12瓶1978年罗曼尼·康帝拍得367.5万港币。2014年,114瓶罗曼尼·康帝葡萄酒组成的拍卖品,单笔拍卖价高达160万美元。据统计,2008年-2013年间,罗曼尼·康帝的价值上涨幅度超过了50%。下图为罗曼尼·康帝干红葡萄酒从2007年1月到2014年5月份单瓶(750 ml)平均价格的变化曲线图。 罗曼尼·康帝酒庄葡萄酒的平均价格为22,628英镑/箱(12 x 750 ml),而波尔多一级庄葡萄酒仅为4,658英镑/箱,超级托斯卡纳(Super Tuscan)为1,807英镑/箱,香槟(Champagne)为1,560英镑/箱。更令人惊叹的是,现在一箱罗曼尼·康帝特…

    2022年8月3日
    24
  • 9521开头是什么电话(9521开头是哪个平台)

    你被骚扰了吗?9521打头的各种电话,挂掉一个,标记一个,没多久又来一个。不管你在开车、在开会、还是在约会……一个接一个,直接让你崩溃! 近期,很多市民被 95 开头的营销电话骚扰。 一个多月前,工信部、公安部、最高检等 13 部门联合发文,整治骚扰电话。一个多月过去了,此类电话并没有感觉减少,95 开头的号码更是猖狂起来。这类号码到底是什么来头?相关部门有整治的办法吗? △记者接到的 95 开头的骚扰电话 特征 号码很难屏蔽,并且无法回拨 最近,记者接到不少市民反映,称自己被营销电话骚扰,其中不少是 95 开头的 8 位号码,有的是推销房产,有的是推销教育培训。而且,这类电话一般都是录音播放。 据市民张先生称,接到这类号码是最近几个月的事,以前有接到过 400 开头的,后来是外地区号开头的号码,但 9 字头的号码似乎有点特殊,” 要屏蔽吧,好像没有用,因为我经常能接到。有些推销内容相同的,号码也会变,尤其是后面几位,似乎从来不重复。而且这些号码无法回拨。” 这不由让人联想起苹果手机的 “iMessage”。很多赌博广告、代开发票等垃圾信息通过苹果自带的 iMessage 渠道塞满用户的手机,删不胜删。而咨询运营商客服,也没有屏蔽办法,只能把 “iMessage” 功能关闭。 那么,9 字开头的骚扰电话到底是哪里的?由于这类号码无法回拨,记者咨询了一些业内人士,结果不少人也说不清楚。 随后,记者联系了上海一家通信技术公司,这家公司是为企业提供客服产品服务的。 当得知记者要办一家中介,需要开通客服电话,对方表示,一般不推荐这种 9 字开头的 8 位号码。因为这类号码一般是金融营销用得多,但是不显示归属地,一眼就能识别出是营销电话,所以接通率不高,另外一旦有客户真有意向,这类号码无法回拨,也是一大缺陷。 至于这类号码怎么来的?客服人员也说不清楚,称可能是通过一些软件显示出来的。不过客服表示,他们是运营商的正规代理,提供的服务都是经过运营商授权的。 来源 这些是多了两位的企业客服号码 记者最终从专业权威人士处得知,”9″ 字开头的号码不是网络虚拟号码,而是属于一些通信科技企业申请的客服号码。 据了解,这些客服号码一般是由企业申请,国家工信部或者各省、市通…

    2022年5月14日
    8
  • 新“网红”打卡地如何流量变现?

                  “走,到野岛打卡去!”自去年9月正式开业以来,由惠州老酒厂改造而成的野岛文化生活社区屡屡在小红书刷屏,不少年轻人前往拍照打卡。 和野岛文化生活社区如出一辙,33号青年公路街区、910文化创意园等网红打卡胜地,均由惠州昔日的工业旧厂房蝶变而来。 工业旧厂房华丽变身的背后,是惠州城市更新行动的有序推进,也是惠州青年创客在文化产业领域的初步探索,更是惠州文化创意园区的悄然崛起。 采写:南方日报记者 糜朝霞 摄影:南方日报记者 王昌辉 兴起 市区多个工业旧厂房蝶变升级 斑驳的墙体、硕大的水塔、巍然矗立的大烟囱,一个个保存尚好的酒缸无声地诉说着悠远的工业时光;修葺一新的书店酒吧,别致的文创产品以及其他种种,则昭示着惠州老酒厂的华丽转身。 创办于上世纪50年代的惠州老酒厂,在社会经济发展浪潮的席卷下,逐渐退出历史舞台。荒废十余年后,其错落有致的18栋建筑陆续迎来“重生”,锅炉房改造成上野书屋,餐饮、民宿、酒廊、咖啡店等现代文旅业态百花齐放,城市文化创意的活力在这里得到集中激活与释放。 见证惠州轻工业繁荣历程的水塔和烟囱,被保留了下来,如今成为野岛文化生活社区的标志性建筑。闲步其间,怀旧气息扑面而来,且文艺范十足,不经意间抬头,那高耸的红砖结构烟囱令人感慨万千。 这是惠州工业旧厂房变身文化创意园区的缩影。自2019年以来,大规模的城市更新行动在全国各地如火如荼地开展,由旧厂房改造的文创园区如雨后春笋般在惠州出现,靠着文化创意和文艺情怀,成为城市的文旅新地标和网红打卡胜地,备受年轻人瞩目。 惠州西湖边上,与祝屋巷仅一街之隔的原惠阳机械厂,同为上世纪50年代诞生的工业企业,曾为惠州三大厂之一,经过半个世纪的岁月蹉跎,2006年被悄然转卖。目前,该机械厂旧宿舍楼通过转型升级成为910文化创意园,引进了影视媒体、视觉设计、美术教育、婚纱摄影、教育培训、电竞俱乐部等多家文创企业。 “整个园区占地近10000平方米,由13栋大小不一的建筑组成。”惠州910文化创意园园区负责人周镇城介绍,园区升级后增添了不少创意元素,鲜艳搞怪的涂鸦、富有工艺感的楼梯,让这里成为年轻人拍照打卡的首选地。 近段时间,“非黑即白艺术展”正在910文化创意园展出。这是右图摄影艺术空间主办的首场展览,近百张黑白色调肖像照片给人一种时尚大片既视感,吸引了不少年轻人慕名前来打卡。 “我在小红书刷…

    2021年8月29日
    2
  • 不会写运营规划怎么办?4项原则分分钟教你快速提高

    所谓运营规划,就是领导想了解,给你款产品,你要怎样去推动它去增长,最终实现盈利目标。那么,运营规划要怎么写呢?本文作者分享了四项原则,希望对你有帮助。 运营人最难的一关,不是KPI,而是“运营规划”! 年初要全面统筹!交规划! 年中要复盘优化!交规划! 年底要总结分析、展望明年!交规划! 【表情包:难】 那真是流水的PPT,铁打的绝望!空荡荡的脑袋瓜子在歌唱! 【表情包:多么痛的领悟】 so,为了拯救运营人,喃瓜今天就放出干货,教你如何写出让领导交口称赞的运营规划! 【表情包:nice】 所谓运营规划,就是领导想了解,给你款产品,你要怎样去推动它去增长,最终实现盈利目标。 那么今天,就给大家带来一份干货,教你按照什么样的顺序、什么样的方法去组织你的运营规划,整合运营目标。 我给这个干货起了个好记的名字,叫做【18+1】准则。 18:就是18字箴言,共4项思维理念 以情动人 以利吸引 以激励促进 以服务承接 1:就是1条原则(即蓝图原则) 第一步【以情动人】目的:突破用户心理防线,降低防备心。 什么叫以情动人呢?举个例子,杜蕾斯是玩转这项原则的高手,中秋节文案是这样写的:“但愿人长久,千里共婵娟,团圆夜,争取把佳人变成家人”,这句话给用户营造了一个美妙的场景,让用户十分暖心且向往,且这个场景一定是有产品参与的,所以,以情打动来吸引用户购买的目的,就达到了。 运营人熟悉的各大节日热点,比如春节、元宵节、端午节等等,之所以为热点,就是因为用户最容易被触动,也是打破用户心理防线的最佳手段。 为什么传销组织要先把人圈在一起洗脑,先打动用户,再卖产品,而不是上来直接卖产品,作用就在于此。 所以,运营规划Part1: 已经做了哪些成绩:围绕情感触动的品牌活动、线上活动、场景化营销、用户体验提升等各项举措; 实现了怎样的效果:吸引并触达了多少用户、用户增长多少、用户好评及其他反馈等。 下一步计划:为了加强用户的好感度和接受度,下一步需要做哪些举措(针对老客户怎样,针对新客户怎样) (想知道这项原则的运营策略怎么设计,关注我,后续逐步更新哦~) 第二步【以利吸引】目的:抓住用户心理,加速用户行动。 第一步“以情动人”让用户降低心理防备后,第二步就是加速用户行动了,所以第二步原则,叫做“以利吸引”。 做过活动运营的同学们,肯定不陌生。 想让用户动起来,得先给点蝇头小利,优惠券、礼品、盲…

    2021年7月15日
    14
  • 南柱赫金智秀什么关系(南柱赫女友金智秀个人资料)

    YG旗下女团Blackpink成员金智秀展示了她的奢华礼服,过于耀眼的白色肌肤,吸引了网友们的目光。 据韩国媒体报道,5月1日,Blackpink成员金智秀在她的Instagram上公开了她的近况照片,51韩团小编获悉,这是金智秀昨日出席,在首尔西大门区梨花女子大学举行的,2022秋季成衣系列发布会时拍摄的照片。 南柱赫是韩国新生代小鲜肉,他的感情生活也备受大众的关注!那么南柱赫女友是金智秀吗?今天小编就来介绍一下! 1南柱赫女友金智秀 南柱赫因拍摄《学校2015》走红,传闻南柱赫女友是金智秀,南柱赫自爆理想中的对象和剧中的女主的性格很像,要有一颗善良的心。 此前,南柱赫在采访中首次谈到前女友,表示两人已经分手3年。 金智秀是YG旗下的练习生,现在金智秀已经是女团BLACKPINK的成员啦。对于南柱赫金智秀两人是否在恋爱,南柱赫和金智秀两人都没有做出回应,YG也没有提及。 不过根据两人目前的发展情况来看,南柱赫金智秀恋爱的可能性很小。 2南柱赫个人资料 南柱赫详细的个人资料: 1、南柱赫1994年出生于韩国釜山广域市。 2、2013年,通过设计师宋智武的时尚秀出道。 3、次年的8月参演电视剧《剩余公主》作为演员出道。 4、南柱赫参演的电视剧:《我去上学啦》、《Who Are You-学校2015》、《华丽的诱惑》、《奶酪陷阱》、《步步惊心:丽》、《举重妖精金福珠》、《河伯的新娘2017》和电影《安市城》 5、南柱赫凭借电影《安市城》获得39届青龙电影节最佳新人男演员。

    2022年6月12日
    33

发表评论

您的电子邮箱地址不会被公开。