xianzhi平罗德 xianzhi平罗德
关注数: 33 粉丝数: 34 发帖数: 37,770 关注贴吧数: 0
【可以看到智能驾驶(智能电动车)最新最先进的软件功能开发流程 【可以看到智能驾驶(智能电动车)最新最先进的软件功能开发流程,和互联网产品开发新功能已经无异了,全部互联网化并且已经形成完整数据闭环的 100万+ 车队,和成熟的互联网产品的用户一样,全程配合参与开发,跑影子模式,抓需要的数据,后台处理(训练)……特斯拉卖车不是在卖车,是在全世界范围内,部署高级产品功能的技术开发基础设施(当然要用户付钱倒贴)】 现在这套技术基础设施,1)不仅用来开发 FSD Beta ,2)显然也会用来开发以后基于数据的车辆保险产品,也就是最近放出来的雏形 Tesla Safety Score,3)今天又出现了一个用这套技术基础设施做功能开发的最新例子:用100万+车队数据改善碰撞安全保护。 今天特斯拉放出来一个名字为 “Tesla Crash Lab | Data Driven Safety” 的视频,用车队的碰撞/车祸大数据,判断碰撞类型,在碰撞 10ms 左右时就提前采取可能的应对措施,以提高对车内乘员的保护,这是视频的描述: 【通过收集我们车队中数百万车辆的数据,并复制真实世界的碰撞场景,我们能够设计一些道路上最安全的车辆。与我们的工程师一起进入特斯拉碰撞实验室,看看我们的车辆如何在全球范围内获得最高的安全分数。】 有人分析这些提前尽早判断碰撞的类型,可以在碰撞 10ms 左右采取的应对措施包括: 【安全带预紧器的设置,甚至座椅位置都可以进行微调,以提供最佳的碰撞性能。】 【他们可以控制安全气囊的展开角度。他们已经考虑到了人的体重+座椅上的压力点梯度,以计算出人的尺寸+他们坐在座椅上的位置(向前/向后倾斜等),以最佳方式展开安全气囊。】 可能初看起来不是很明白,但是这个在原理和理念上非常牛叉。一般的汽车安全测试都是按照安全测试标准进行应试考试,现实的很多场景可能覆盖失效,这种基于现实大数据的针对性的设计和动态调整能力,理论上从硬件、软件进行持续修改更新,能对场景做更完整的覆盖。说是革命性的可能也不为过,至少可以称为黑科技。 我们仿佛看到了真正智能车的比较完整的演化模式,或者说未来的智能机器人的演化模式: 1)所有机械装置都可以用软件控制,包括车的核心动力装置,甚至可能也包括以前不是机械装置的地方,全部打散解构 2)可以通过单车的软件控制本地的装置,进行产品化 3)可以通过网络远程控制单车的装置,进行产品化
纯视觉 不久之前,特斯拉取消了Model 3和Model Y车型的毫米波雷达,在全球第一个实现了纯视觉的L2级自动驾驶系统,引起了自动驾驶行业以及相关机构的密切关注。 马斯克虽然简单解释过走纯视觉路线的原因——避免多传感器感知结果不一致的问题,但外界对这答案并不满意,依然有不少观点在质疑特斯拉的做法。 而特斯拉的AI高级总监Andrej Karpathy刚好在日前发表了一篇干货十足的演讲,从技术的角度详细介绍了特斯拉走纯视觉路线的原因,以及背后的核心做法。 Andrej的演讲时长为40分钟,但是他本人语速惊人,甚至可以说内容量至少是是40分钟演讲的1.5倍,并且给出了大量技术细节与实际案例,非常具有说服力。 他在演讲中讲到,从特斯拉开发自动驾驶之初,就没有考虑为车辆加入激光雷达和高精地图,因为这会导致建图、维护成本大幅上升。而随着AI能力不断提升,特斯拉直接取消了毫米波雷达。 纯视觉感知最大的问题就是无法测量距离、速度和加速度。不过纯视觉感知和人眼类似,人脑能“脑补”出距离并拥有优秀的驾驶技术,神经网络同样有这样的能力。 在过去4个月时间里,特斯拉人工智团队的核心20名成员搞定了这件事。 特斯拉收集了221种共100万段10秒钟的短视频,利用对物体自动标签化,经过7轮影子模式循环,最终在纯视觉感知中取得了不错的效果,超越了毫米波雷达+摄像头的传感器融合方案。 特斯拉甚至为此建立了一台全球排名第五的超级计算机,采用5760个英伟达A100 Tensor Core GPU,10PB容量的NVME存储。 以下为Andrej Karpathy演讲核心内容的编译。 01. 毫米波雷达表现不稳 特斯拉更相信视觉传感器 演讲开始时,Andrej首先谈到了自动驾驶的必要性,并且总结了自动驾驶的三大优势。 人类驾驶一辆车,反应时间通常需要250毫秒;观察周围交通环境通过旋转头部看后视镜判断;同时人的精力有限,难免出现注意力不集中的现象。 当机器在驾驶时,反应时间通常小于100毫秒,拥有360度的感知能力,同时机器永远不会累。 Andrej说道:“全球每天有近3700人在车祸中丧生,自动驾驶技术能够显著减少车祸发生的概率。同时,由人类驾驶的出行成本太高,如果机器驾驶出行成本也将明显降低。” 因此,自动驾驶技术十分必要。 从十多年前开始,谷歌等科技公司开启了自动驾驶技术的研发。从当年的视频中可以看到,谷歌的表现并不出色,在一个左转路口处方向飘忽不定。 经过长时间的研发,自动驾驶技术应对各种场景的表现都能做到非常出色。同时,行业内也发展出了两条截然不同的感知技术路线。 其中一条是纯视觉感知,另一条是激光雷达、高精地图、视觉传感器的融合感知。 Andrej说道:“很多自动驾驶车辆在车顶装上昂贵的激光雷达,就能够感知360度的环境,并测量距离。不过,如果要使用激光雷达,还需要高精地图的匹配。根据高精地图存储的车道线、红绿灯等信息,就能够实现自动驾驶。”不过,特斯拉所走的路线完全不同。特斯拉希望基于环绕车身的8个摄像头实现自动驾驶。当车辆行驶在道路上时,需要自动驾驶电脑判断哪里是车道线、哪里是红绿灯。 也就是说,激光雷达+高精地图的技术路线本质上是匹配的过程,而纯视觉技术路线则是寻找的过程。 同时,Andrej指出,纯视觉方案显然是一个更具拓展性的技术路线。当前,特斯拉在全球范围内已经交付了百万辆汽车,因此打造一套全球范围的高精地图并不现实,因此特斯拉选择了纯视觉的技术路线。 他说道:“想要实现纯视觉感知实际非常困难,需要基于视频打造非常优秀的神经网络。不过,一旦纯视觉系统真正投入使用,将是一套通用的系统,并且理论上全球任何区域都能使用。” 几年前特斯拉开始研发Autopilot时,就已经确定不使用高精地图和激光雷达,全车的传感器有8枚摄像头和1个毫米波雷达。从几年的成果来看,无论是实际效果还是功能丰富程度,特斯拉在量产自动驾驶行列中一直处于头部。 Andrej说道:“特斯拉已经把其他传感器(激光雷达)‘扫进了尘埃’中。” 与此同时,特斯拉没有停止前进的脚步。今年5月开始,特斯拉开始生产移除毫米波雷达的Model 3和Model Y车型,让车辆的自动驾驶感知彻底转向纯视觉。 Andrej给出的理由是:你已经不再需要毫米波雷达了。 他还引用了马斯克此前的一条推文,推文中说,如果毫米波雷达和视觉感知的结果不一致,你更倾向于相信谁?Andrej表示,从人们的主观感受上,多传感器会更加精准。不过,毫米波雷达感知数据中的噪音实际上拖累了整个自动驾驶系统的判断。 特斯拉早已认识到了这一点,因此取消毫米波雷达只是时间问题。 02. 20人搞定纯视觉感知 特斯拉甚至打造了世界第五超算 谈到纯视觉感知,人们最大的疑问就是摄像头感知的2D画面,神经网络预测的深度、速度、加速度是否准确呢? Andrej认为,当人类驾驶时,人眼所看到的画面也是2D的,但是人脑的神经网络能够计算出距离。因此,如果机器的神经网络模拟人脑,也就能够计算出深度、速度、加速度。 并且,经过几个月的研发,特斯拉已经能够证明这条路线是可行的。 例如,在拥堵路段,前方车辆走走停停,距离、速度、加速度都会实时变化,如果能够始终追踪正前方的车辆,判断将会非常精准。但是毫米波雷达并非如此,毫米波雷达的感知具有比较大的随机性,可能感知到其他物体,并产生一个错误数据。 最终,毫米波雷达不确定的感知数据会让传感器融合变得非常困难。 决定采用纯视觉感知的特斯拉有三个需求,第一是大量的视频数据,百万段规模的视频;第二是干净的数据,包括对物体标签化,并且拥有深度、速度、加速度信息;第三是多样化的数据,大量的边缘案例。此后,特斯拉需要在此基础上训练一个足够大的神经网络。 在数据标签化阶段,特斯拉采用数据自动标记数据的方法,当车辆感知周围环境后,用自动驾驶电脑本地处理数据。上传至服务器之后,如有不精准之处,也能用人工的方式清理、验证数据。 同时,在实际使用中,特斯拉的自动标签化的方法还能够应对沙尘、雨、雾、雪等极端天气。 Andrej介绍,在过去四个月时间里,特斯拉的研发人员总结出了221个收集数据的触发条件,Andrej在演讲中展示了其中一部分,其中包括视觉、雷达传感器不匹配,视频出现抖动,监测到画面闪烁等等。同样在过去四个月时间里,特斯拉完成了广泛的数据收集,最终在特斯拉数据引擎中完成了七种影子模式和七个循环的验证。 Andrej说道:“最开始,我们用视频数据集训练神经网络,训练之后分发到特斯拉汽车的影子模式中。在车辆端,需要不断验证神经网络的准确性。如果在行驶中出现了221个触发条件中的一个,系统就会自动收集视频片段,自动标签化物体之后合并至一个训练集中。我们一遍又一遍重复这个循环,让神经网络变得越来越好。” 在完成七轮影子模式的循环验证之后,特斯拉一共处理了100万条10秒短视频,这些视频全部来自特斯拉车身拍摄的画面。同时,特斯拉为60亿个物体做了标签化处理,同时包含精准的深度和速度信息。这些数据一共有1.5PB,可以说非常庞大了。 Andrej说道:“处理这些数据的核心团队只有20人。” 通过一个框图能够解释为什么20人的团队能够处理如此多的数据。 Andrej说道:“在框图上部,摄像头感知的画面输入,图像解压后就会进行数据融合处理。首先会在摄像头上融合信息,然后在所有时间上融合信息。利用Transformer架构、循环神经网络,或者直接用3D卷积,都能够取得很好的效果。在融合完成之后,又会形成分支,分离成为主干,再次分离形成终端。”为什么要不断分离形成终端呢?Andrej解释道,研发人员可能对大量的输出结果感兴趣,但是不可能用一个神经网络单独输出每一项结果。同时,分支结构的另一个好处是它在终端解耦所有信号,所以当研发人员正在处理特定对象的速度、加速度等信息时,就能够拥有小神经网络,不用触及其他信号就能完成工作。 最终结果是,这种架构能让工作效率更高。因为研发人员一致都在微调终端结果,从骨干到终端的修改则是偶尔进行。 要处理如此多的数据,特斯拉搭建了一个世界排名第五的超级计算机。 这个集群使用了720个节点,每个节点8个英伟达A100 Tensor Core GPU(共5760个GPU),实现了1.8exaflops的性能。 这个超级计算机采用10PB NVME存储,读写速度能够达到1.6TB/s。Andrej介绍,这可能是全世界最快的数据存储设备。 未来,特斯拉会让这台超级电脑运行Dojo项目,特斯拉希望通过Dojo不断训练其神经网络,帮助特斯拉Autopilot不断进化。03. 纯视觉优势凸显 270万公里自动驾驶0事故 在转向纯视觉感知后的特斯拉,效果如何呢?Andrej举出三个典型案例。 第一个案例是前方车辆快速刹车时,视觉传感器和毫米波雷达出现了截然不同的表现。 图中黄色线条代表毫米波雷达感知的距离、速度、加速度图像(从上至下),蓝色线条代表纯视觉传感器的感知结果。可以发现,毫米波雷达在其中有多次出现距离突然降低为0、速度突然提升、加速度突然为0的情况。 这是因为突然减速之后,毫米波雷达并不能很好追踪前方车辆,因此多次重启,就像是车辆在短时间内重复消失,又出现了6次,这很可能误导自动驾驶系统。 由纯视觉传感器感知的信息和毫米波雷达的信息大致重合,但是没有出现距离、速度、加速度突变的情况,表现非常稳定。 第二个案例是路上常见的立交桥。由于毫米波雷达没有垂直分辨率,所以会认为立交桥是一个静止在前方的物体。 传感器感知数据融合之后,车辆认为行驶前方存在静止物体,并判断紧急刹车。这种情况在高速公路上十分危险。第三个案例是行驶前方出现一辆停靠路边的大货车。此时,毫米波雷达无法判断前方究竟是一辆车还是一个普通的静止物体。因此,毫米波雷达将这项任务交给视觉传感器,最终在距离车辆110米的距离时,才感知到前方的卡车。 如果用纯视觉传感器,在180米的距离时感知到了前方的货车,并从145米处有明确的感知信息,开始减速。 显然,纯视觉传感器的表现再次胜过毫米波雷达+视觉传感器的融合模式。 Andrej介绍,类似的场景特斯拉一共总结了6000个,可以分70个类别。这些场景每天都会运行,不断提升神经网络的能力。除此之外,特斯拉还用仿真测试的方式,建立了1万个场景,不断测试。这些测试数据相当于人类10年的驾驶时间。 同时,特斯拉也将纯视觉感知加入到影子模式的测试中,经过七轮影子模式的测试,已经相当于人类1000年的驾驶时间。 在发布之前,特斯拉已经进行了1500万英里(约合2400万公里)的驾驶里程,其中170万英里(约合274万公里)都处于自动驾驶状态,目前没有出现过任何一起事故。 Andrej也承认,一些遗留的堆栈还存在一些问题,每隔大约500万英里就会出现一次崩溃问题。但他相信,这些问题会被逐渐解决。 在演讲的最后,Andrej说道:“纯视觉能够精准感知深度、速度、加速度信息。实现纯视觉是一件困难的事情,并且需要大量的数据,不过纯视觉的方向至少是正确的。” 结语:纯视觉感知并非毫无道理 2021年将是激光雷达量产上车之年,今年不少重磅车型都将搭载激光雷达,期待实现更好的L2级自动驾驶。与此同时,特斯拉今年甚至取消了毫米波雷达,用纯视觉做L2级自动驾驶,这在业内引发不小争议,也成为行业内的热议话题。 听过特斯拉AI高级总监Andrej Karpathy的演讲之后,相信在会让人们一定程度上相信纯视觉可被执行,自动驾驶行业内的这一争议将变为结果导向。如果自动驾驶能够做得好,方向就是正确的。
从4月份开始的,实验进行两个多月了,效果喜人 马斯克的脑机接口使我在绝望中期待一点希望,本是对生活的一种乐观主义,而在烟雾缭绕的环境里对身心疲惫的截瘫人更是伤害。 从4月1号开始实验的,不知不觉两个多月了,这两个月里开始的时候,坎坷不安的心无数次的一直在问,能成功吗?如果成功了以后还会失败吗?如果没成功是不是很失落,也没有信心了? 神经干细胞从发现到研究治疗截瘫20年了,没有重大突破,也没算失败,那么脑机接口如果用20年的时间,会发展到什么程度,这是一个非常让人关心的问题。 生活在美好的环境和科技大发展的时代,截瘫人才能有一丝希望,对已经去世的截瘫病人,即使技术发展的能治疗截瘫了,对他们也没任何意义,所以,活着的要好好的活着,耐心的等待科技的突破,等待脑机接口,即使不期待,多一份理想岂不更好。已经去世的也是一种解脱,到了奈何桥别忘了喝碗汤,忘掉曾经截瘫带来的悲伤、痛苦。 有证据证明脊髓神经是可以再生的,虽然目前仅限于动物世界,但没有任何证据证明脑机接口不会成功,风尖浪口的脑机接口具体发展成什么程度,答案就在时间里。对科学有敬畏之心,相信科学,对自己有信心,用毅力战胜艰难。所以,我用毅力坚持了两个多月,居然戒烟成功了。
针对特斯拉的恶意舆论打击手段科普贴:FUD - Fear, Uncertainty 2020年,美国因车祸死亡共42060人,其中特斯拉车祸死亡人数为8人,占全部车祸死亡人数的0.019%。同年,特斯拉在美国售出29.3万辆汽车,占据全美电动车市场80%份额。 然而就是0.019%的极低致死事故比重,获得了主流媒体包括CNBC,Yahoo,LA Times等超过95%的报道时间。媒体关心的不是你的安全,因为它们对99.98%的事故视而不见。而只要是特斯拉的事故,不管是什么原因,发生在哪里,是谁的责任,都会成为媒体头版议论的焦点,且话题往往都围绕着攻击特斯拉的安全性展开。 主流媒体的盈利手段来自赞助商广告和点击量,广告占的比重尤其之大。以CNBC为例,2019年该媒体21%的广告收入来源于燃油车企,8%的收入来源于传统能源企业,仅这两个行业就占媒体广告收入的近3成。在特斯拉不支付广告,而传统燃油车企销量走低,面临被特斯拉颠覆危险的时候,围绕着特斯拉的FUD攻势就从2017年大规模展开了。FUD的本质,在于用媒体的传播优势,把一些让人恐惧的词语与想要攻击的对象联系起来。比如针对特斯拉的FUD,往往会围绕着自动加速,刹车失灵等关键词展开。媒体并不需要去寻找真相或者证明什么,FUD的唯一目的就是将这些词语与被攻击对象联系起来,造成不了解细节的消费者出现心里的怀疑,恐惧,和不确定,打压被攻击的品牌。就像当时美国交通安全局NHTSA公布所有230多起所谓“自动加速”案例全部都是由驾驶员把电门当刹车踩时,主流媒体大部分选择了沉默与不报道,丝毫没有当年报道事故时的那种兴奋。 从博世iBooster制动系统,到Brembo刹车卡钳/盘,到1700MPa的超高强度钢在车架上的大量应用,特斯拉在安全上可以说是拥有所有汽车里最顶级的硬件配置。而特斯拉也拥有全球最顶级的软件工程师团队,包括前苹果芯片教父Peter Bannon,神经网络大咖Karpathy, Elluswamy,软件大佬Srinivasan,这些人无一不是行业内权威的专家。而针对所谓刹车系统偶发bug,软件优先级高于物理刹车等滑稽言论,只能说是毫无知识和逻辑可言。 对于关注和了解特斯拉的人来说,其实很清楚的知道,特斯拉遇到的根本就不是刹车失灵或者任何车辆安全性的问题(毕竟这些媒体甚至愿意推广没有安全气囊的汽车),而是已经发生在世界其他地方无数次针对特斯拉的FUD攻击,又一次在国内上演了。我也支持国产汽车,也希望蔚来比亚迪这样优秀的电车能风孊全球,但是支持国产,不代表着对其他海外品牌和车主的恶意中伤诽谤,毕竟到了最后,比的还是里子,而不是营销手段,消费者最终选择的,还是物美价廉的产品。
1 下一页