好玩的人工智能
快乐的深度学习

深度学习之损失函数(Loss Function or Cost Function)

水含笑阅读(1497)

损失函数是用来计算模型预测值和真实值之间的偏差程度。

与分类问题不同,回归问题解决的是对具体数值的预测。比如房价预测,销量预测等都是回归问题。这些问题需要预测的不是一个事先定义好的类别,而是一个任意实数。解决回归问题的神经网络一般只有一个输出节点,这个节点的输出值就是预测值。对于回归问题,最常用的损失函数是均方误差(MSE: mean sequare error)。它的定义如下:

其中y是一个batch中第i个数据的真实值,而y’是神经网络给出的预测值。在TensorFlow中实现MSE:

mse = tf.reduce_mean(tf.square(y_ - y))

其中y代表了神经网络输出的预测值,y_是真实值

交叉熵损失函数

分类问题中,预测结果是(或可以转化成)输入样本属于n个不同分类的对应概率。比如对于一个4分类问题,期望输出应该为 g0=[0,1,0,0] ,实际输出为 g1=[0.2,0.4,0.4,0] ,计算g1与g0之间的差异所使用的方法,就是损失函数,分类问题中常用损失函数是交叉熵。

交叉熵(cross entropy)描述的是两个概率分布之间的距离,距离越小表示这两个概率越相近,越大表示两个概率差异越大。对于两个概率分布 p 和 q ,使用 q 来表示 p 的交叉熵为:

由公式可以看出来,p 与 q 之间的交叉熵 和 q 与 p 之间的交叉熵不是等价的。上式表示的物理意义是使用概率分布 q 来表示概率分布 p 的困难程序,q 是预测值,p 是期望值。

神经网络的输出,也就是前向传播的输出可以通过Softmax回归变成概率分布,之后就可以使用交叉熵函数计算损失了。

交叉熵一般会跟Softmax一起使用,在tf中对这两个函数做了封装,就是 tf.nn.softmax_cross_entropy_with_logits 函数,可以直接计算神经网络的交叉熵损失。

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(y, y_)

其中 y 是网络的输出,y_ 是期望输出。

针对分类任务中,正确答案往往只有一个的情况,tf提供了更加高效的tf.nn.sparse_softmax_cross_entropy_with_logits 函数来求交叉熵损失。

tf.nn.softmax_cross_entropy_with_logits该函数已被废弃,在以后的版本中会删除,请使用tf.nn.softmax_cross_entropy_with_logits_v2代替

大公司之小和小公司之大

水含笑阅读(393)

小公司讨论可行性方案,新需求方案,优化方案,各种方案吧,都是几个领导去商讨,然后让下面的人执行他们认为商讨好的方案;说白了,你就老老实实给老子干活就是了,我是领导,我的方案给你合理,让你去开会讨论方案,一是浪费时间,有这个开会时间你不如给老子好好去撸代码,做需求,修bug,开什么会啊,你能行吗?!要啥自行车,要啥自行车啊!

而腾讯是所有和需求相关的人一起去开会,一起讨论,大家献计献策,群策群力,出谋划策,最后大家达成一致意见,给出一个与会者都认可的方案,这个方案有可能出乎之前预想的结果,因为每个人的知识面不同,接触的信息广度也不一样,在面对同样的问题时,思维发散程度也是天马行空,五花八门,这就是为什么微信会有摇一摇的功能!摇一摇这个功能是微信一个实习生突发奇想,灵光闪现的结果,手机管家的家人守护功能也是运营的一个童鞋的idea,并且荣获了公司微创新奖第一名;如此方式给出的方案,是所有人与会的都知道背景,都知道前因后果的,都知道这个方案背后的机制的一个方案,每个人在执行这个方案时都有很强的主动性,因为他也参与了其中,有他的建议,实施起来也更有主动性,土生土长的才有生命力!整个方案的输出是一个扁平化的过程,而不是自上而下的官大爷命令下达的过程!
古人说的好,三个诸葛亮顶上一个臭皮匠,偶,反了,是三个臭皮匠顶上一个诸葛亮!纵观目前的主流公司,有多少是领导推动长大的?难道是移不动,联不通,电猫信?A站,B站,大疆无不是90后,80后用一腔热情,自己兴趣驱使而让公司蓬勃长大的;大疆是以技术导向的公司,工程师氛围,以技术倒逼市场,公司内部有什么想法尽管去try,大疆内部就是巨大的实验室,市面上的产品不到实验室的三分之一!大疆的管理体系极度扁平,2014至2015年,红杉投资大疆后曾经空降一批职业经理人,由于商业管理上讲求“因事设人”,但前期技术人才供给太稀缺,大疆必须做“因人设事”的事,才能保证技术的产出,职业经理人与大疆文化产生了较大冲突。结果是,这批高管纷纷离职,汪滔不再在公司内部设立“C各种O”,主张让能力者有权限调动资源。如果是一些小公司,工程师敢这样,第二天肯定会卷铺盖走人吧,反正中国人大把!
说到底就是,大公司会重视每一个人,不管你是什么级别,什么职位,只要你提的意见有含金量都会采纳,重用,对每个人的每个点看的比较小,而小公司的领导觉得自己够大牌,他认为你不够什么级别甭想参加会议,你资格不够大!就是以“屁股”定脑袋,真够大爷的啊,这就是为什么小公司成长慢的原因,也有一种原因是小公司领导为了包住自己的乌纱帽而不敢放开,若放开大家都参与讨论,也许有些他的下属给出的方案会更有创造力,更能获得大家的认可,而他又不能当众强拉下脸必须认可他的方案不能别人的,这样有可能就会在越来越多的开放讨论中嫌的他这个领导越发无能,那干脆,一不做二休,只有我们几个领导讨论,既能达到所谓“高效率”,又能包住自己的乌纱帽,可是这就坑了公司了;但是这样让方案的执行者感觉很被动,把握不住方向,说白了都是按命令干活,晕头转向,也没有一种主人翁的精神。

2017人工智能元年,AI在喧嚣和质疑中一路走来

水含笑阅读(486)

前百度首席科学家吴恩达说:就像100年前的电力、20年前的互联网一样,AI也会改变每一个产业!

有人说,现在就像1995年,那一年,第一家互联网公司——网景上市,一天之内大涨208%,互联网正式登上历史舞台,引爆了之后浩浩荡荡的“.com”热潮。

一位AI从业者这样激动地说道:“我看到的是一片蓝海无限可能,看到所有产业,包括医疗、金融都可以做,那不就跟当年的.com一样?”

其实在历史长河中AI已经几度潮起潮落,为什么这次大家都这么笃定它就是未来呢?

关键点就是深度学习的突破。

2017年1月,谷歌Deep Mind公司CEO哈萨比斯在德国慕尼黑DLD(数字、生活、设计)创新大会上宣布推出真正2.0版本的阿尔法围棋(AlphaGo)。其特点是摈弃了人类棋谱,只靠深度学习的方式成长起来挑战围棋的极限。

2017年5月23日~5月27日,被称之为“人类最后的希望”的柯洁与AlphaGo鏖战三轮,最终总比分 0:3柯洁败于AlphaGo。

赛后柯洁一度哽咽称:它太完美我很痛苦,看不到任何胜利的希望。

这是AlphaGo深度学习的第一次公开亮相。

可以说,深度学习解决了人工智能领域的一个百年难题。

如果没有它,AI可能会再次遭遇泡沫后的沉寂。

人类是个极为复杂的生物,就连我们自己对自己的了解也只能算微乎其微,就像人类很多复杂的能力其实都是凭感觉而为之,过后很难清楚地描述和归纳,也正因为如此,它们也无法写成程序,让计算机进行复制。

从驾车到辨认面孔,这种不自知是存在于人类诸多能力中的一种普遍现象。

围棋也是一个典型代表,它是高度复杂的战略游戏,无法依靠机会和运气取胜,并且和象棋不同的是,没人能解释高段位围棋该如何下。

事实上,甚至连围棋大师都无法完全搞懂自己为什么会下得一手好棋。

匈牙利出生的哲学家、科学家波兰尼对这一现象早就有过精彩的概括,他说,“我们知道的,比我们讲得出来的还多。”后来这种现象就被称为波兰尼悖论。

而深度学习帮助人工智能克服了“波拉尼的悖论”,算是另辟蹊径,绕过这个理论限制。

也就是只要灌入海量的标记过的数据,计算机就可从这些数据中,自己找出细微的模式,学会人类最精巧的技艺。

而数据在这其中起到了至关重要的作用,大数据其实已经存在了10年多,因为互联网的发展,使其为深度学习从量变到质变,于是这两三年深度学习发展迅猛,据业界专业人士称,当数据从原来的几十万份,增加到几百万,几千万份时,计算机的模型预测精确度会呈现跳跃性的提高,比如:10%、20%。

可以说,深度学习引爆了AI,大部分国家、产业都将目光投向了人工智能,甚至把它视为未来生死存亡的关键。

坤鹏论之前讲过,如今,以BAT为代表的中国互联网公司们,都在人工智能这条赛道上狂奔,那么美国那边的AI是什么样的情景?

Google CEO桑达尔·皮查伊1年前就将Gogle的企业目标从“行动优先”直接转向“人工智能优先”(AI First)。

微软CEO萨提亚·纳德拉在最近的2017年微软年报中,直接将以前的公司目标“行动和云端优先”改为了“AI和云端优先”,并且6次提到AI,而2016年的微软年报对人工智能只字未提。

我们从这些公司目标中也可以清晰地看出来,美国科技公司对于科技的纯粹与执着。

而且也正像坤鹏论曾经说过的,人工智能的最大玩家还是那些互联网巨头,小玩家很难很难。

从AI人才的争夺这块就可以看出端倪。

比如:美国的亚马逊的AI人才招聘接近疯狂,根据薪资研究机构Paysa今年4月的调查,亚马逊一年投资2.28亿美元来做AI人才招聘,比第二名Google、第三名微软的总和还多。

已经有不少美国AI创业公司开始抱怨,所有人才都已Google、Facebook、亚马逊、微软、英特尔席卷一空。

去年,李开复曾说,“做深度学习的人工智能博士生,现在一毕业能拿到年薪200到300万美元的offer。”

不过此话一出,许多从业者纷纷表示,开复博士多说了个0。

不管是300还是30,都算是不小数目,可想美国AI人才竞争之激烈。

毋庸置疑,中国和美国是世界AI两极,在中国AI的热度丝毫不逊美国。

2017百度沸点国人搜索榜单十大科技事件中,AlphaGo对战柯洁、智能音箱热卖、无人驾驶汽车上五环,这三大AI事件入围百度2017科技热搜,而且“AlphaGo对战柯洁”更是排名第一。

和美国一样,中国公司对于AI人才简直到了“寤寐求之”的状态,疯抢成了常态,今日头条创始人张一鸣放话:“人才的水平有多高,我们的薪酬就有多高。”商汤科技 “按图索骥”,画出“博士人才名单”,但凡有人即将毕业,就马上找上门,不让任何鱼儿漏网。

投资界的金主们怀着极度急迫的心情,唯恐错过这个史无前例的飓风级“风口”。

人工智能最核心的是人才,“得AI人才者得天下”。

一场场惊心动魄的抢人大战正在上演,百万年薪都难求AI一人才。

一位在BAT任职的高级HR说,他们已经屡次在争抢AI算法工程师、AI系统架构师等人才时败给创业公司。“他们抢人时似乎就是在拍卖会举牌,明明心理价位是年薪二三十万,最后抬高好几倍也会买单,只想将目标人选快快纳入囊中,似乎就万事大吉。而BAT因为是上市公司,有薪酬体系,不能太破例,只能望而兴叹。”

据权威数据统计,全世界AI人才数量约为25万,主要分布在美国、欧洲、印度及中国。美国拥有10年以上经验的AI人才比例接近50%,中国10年以上经验的人才比率只有不到25%。

不过,值得庆幸的是,中国年轻一代的占比更高,28岁-37岁中青年(80后)是AI领域发展的主力军,占AI发展总人数的50%以上。

相较而言,美国AI人才在各年龄段分布得更加平均,48岁及以上的资深人才占比为16.5%,远高于中国的3.7%。

与此同时,投资界也随之沸腾,加之今年国家对货币高位锁定,钱很难出海,所以正像某位已经入行18年的资深投资人所说,2017年资本的浪头最澎湃。

根据咨询公司清科集团的数据显示,今年前11个月,中国新成立了3418只风险资本和私募股权基金,共筹资人民币1.6万亿元,是2015年的两倍多,2006年的10倍多。

清科集团估计,当前有大约12000家投资公司管理人民币8.5万亿元资金,而2015年是8000家公司管理人民币5万亿元资金。

而如此海量的资金,不少都在瞄准人工智能。

据PitchBook统计,2017年全球人工智能和机器学习领域共获得风险投资超过108亿美元。

过去十年来,该领域的风险投资大幅增长:2010年投资不足5亿美元,2016年达到57亿美元,而2017年投资额较2016年增长了接近一倍。

数据显示,2017年AI领域融资最高的5起投资事件中,中国企业占了4起。

其中,蔚来汽车融资达到16亿美元,位列第一。其次是旷视科技(机器视觉)、商汤科技(计算机视觉和深度学习技术)与明码生物科技(使用测序数据改善健康,并提供精准医学解决方案)。

腾讯11月发布的《2017互联网科技创新白皮书》显示,截至2017年6月,中国创业投资机构共发生767项针对人工智能的投资案例。

2017上半年产生的融资已经超过150亿元,累积融资额攀升到635亿元,占据全球融资总额的33.18%。

2017年是AI元年,同时2017年也是从投资AI转向投资AI时代的关键一年。

 

零点智能 人工智能社区,加Q群:469331966

投稿&建议&加Q群