吴新宙到英伟达后的首秀，说了些什么？

李炫峒 2024-03-29 05:22 475

"吴新宙到英伟达后的首秀，说了些什么？,这篇新闻报道详尽，内容丰富，非常值得一读。这篇报道的内容很有深度，让人看了之后有很多的感悟。作者对于这个话题做了深入的调查和研究，呈现了很多有价值的信息。这篇报道的观点独到，让人眼前一亮。新闻的写作风格流畅，文笔优秀，让人容易理解。这篇报道的结构严谨，逻辑清晰，让人看了很舒服。 " 账号设置我的关注我的收藏申请的报道退出登录登录搜索36氪Auto数字时氪将来消费智能涌现将来城市启动Power on36氪出海36氪研究院潮生TIDE36氪企服点评36氪财经(Finance)职场bonus36碳后浪研究所暗涌Waves硬氪媒体品牌企业号企服点评36Kr研究院36Kr创新咨询企业服务核心服务城市之窗行政部门服务创投发布LP源计划VClubVClub投资机构库投资机构职位推介投资人认证投资人服务寻求报道36氪Pro创投氪堂企业入驻创业者服务创投平台首页快讯资讯推荐财经(Finance)科技(Technology)创新城市最新创投汽车(Car)企服专精特新直播视频专题活动搜索寻求报道我要入驻城市合作吴新宙到英伟达后的首秀，说了些什么？赛博汽车(Car)·2024-03-28 08:51关注讲述220天以来发生的技术变化。

半年时间，英伟达汽车(Car)业务无论是商业化进程，还是技术成熟度，都有了不小进步，这是如何达成的？

近日，GTC 2024大会上，英伟达汽车(Car)事业部副总裁吴新宙发表了《加速向 AI 定义的汽车(Car)的转变》主题演讲，用时52分钟，从技术角度给予了解答。

这也是吴新宙入职英伟达后的首次正式对外演讲。

作为自动驾驶领域大拿，吴新宙曾在高通工作10余年，主导自动驾驶解决方案。2019年，在何小鹏的盛情邀请下，吴新宙加盟小鹏汽车(Car)，全面主导小鹏汽车(Car)的ADAS业务，主导达成了NGP、XNGP等项目落地。

同时拥有竞争对手高通，以及自身工程化最好样本小鹏汽车(Car)的高管背景，吴新宙可以说是最适合英伟达的人。

确实，正如黄仁勋所期待的，在吴新宙加盟后，英伟达汽车(Car)业务肉眼可见的更有起色。一方面，团队规模不断扩大，特别是自动驾驶祖国团队不断扩充；另一方面，技术不断取得突破，截止目前(Currently)，其已经帮助英伟达搭建了自动驾驶全栈自研部门，并且团队达成将AV1.0（AI Vehicle）升级至AV2.0。

此次大会上，吴新宙对外分享了入职英伟达220多天以来的故事，讲述了英伟达如何以更少的代码、更大规模的模型、更高的算力和更多的数据，达成以AI为中心的自动驾驶汽车(Car) 2.0时代到来。

以下是吴新宙演讲的主要内容。

01 AV2.0的核心技术优势，在于“雷神”

吴新宙表示，首先，自动驾驶仍然是有商业前景的。

在新能源渗透率稳步提升的大前提下，根据其预测，2030财年L3级别自动驾驶市场仍将呈现显著上升趋势。

同时，随着生成式AI的发展，车载AI也有了长足的发展，经历了从规则、算法驱动型软件栈，到AI增强型软件栈再到端到端AI软件栈的过程。

而英伟达AV2.0的核心技术优势，在于拥有Drive Thor（雷神）芯片。在智能驾驶方面，Thor发挥的长处是“低精度运算”，这意味着可以输入模糊的、多模态的、不确定的数据，通过AI自动生成能力还原出有逻辑的远算方式。

相比于前代的Orin平台，Thor在LLAMA-7B的测试环境中能够达成高达9倍的性能提升。

另外，除了黄仁勋高调官宣的Blackwell GPU提供卓越性能以外，处理器中的ARM Neoverse V3AE CPU也提供了强大的单线程性能，这对复杂场景进行(Carry Out)快速决策尤为关键。在SPECrate®2017_int_base的基准测试中，Thor比Orin预计有2.3倍的性能提升。

相较于上一代Xaiver，Orin达成了七倍的算力提升，达到245TFLOPS ，而Thor则达到了惊人的2000 TSFLOPS浮点算力。

可能许，Orin没有能够真正达成L5级别的Robotaxi，Thor能够完成。

硬件的提升必然需要软件配套设施一同进步。目前(Currently)，吴新宙团队研发的AV2.0还可以解决上一代搭载Orin芯片的AV1.0存在的痛点。

原有的AV1.0需要大量数据训练，新一代车载软件利用(Use)仿真技术模拟各种驾驶场景，降低对真实数据的依赖。

根据吴新宙介绍，传统的自动驾驶系统只具备几秒钟的短期系统记忆，这让AV1.0的决策可能是缺乏连贯性的。AV2.0利用(Use)大语言模型（LLM）逻辑推理的能力，增强了系统决策的连贯性和上下文感知能力。

“英伟达自动驾驶团队目前(Currently)还在致力于让AV系统更具‘可解释性’，那就是让自动驾驶不再‘黑箱’，开发出一套降低信息差，方便对外解释的算法。”在吴新宙看来，这对于消除大众对自动驾驶的疑虑至关重要。

02 AV2.0技术的底层技术创新

活动上，吴新宙还展示了AV2.0技术的底层技术创新：基于VLM的基础模型（VLM Based Foundation Model，视觉语言模型），由此形成的PARA-Driving，搭建实时自动驾驶的并行化架构。

目前(Currently)，端到端自动驾驶有两种技术路线。

一种是UniAD（Unified Autonomous Driving，自动驾驶通用算法框架），这个方案强调同时操控多个模态，使传感器搜集到的数据在训练过程中朝着“整体最优”的方向进行(Carry Out)。

另一种则是更直接的VLM，达成过程和人类驾驶行为相似：以眼睛作为视觉输入信号，直接作用在方向盘和刹车油门踏板上。这种直接端到端变相地扩大了模型的搜索空间，需要用更多的数据、更大的模型、更强的算力才能防止在特定场景的过拟合，在驾驶体验中，多半是“莫名其妙的刹车”。

为了降低干扰，吴新宙团队对第二种方案进行(Carry Out)了优化，将Transformer融合进自动驾驶的基础模型，形成PARA-Driving的终极答案。下图是此模型的功能布局。

吴新宙表示，PARA-drive将信息变成Tokens，再放进Transformer模型里分析，化整为零，处理起来更轻松。

据演示，相比于UniAD6 FPS的夜间运行速度，PARA-drive在夜间驾驶的实际应用场景中达到了26 FPS的高帧率，也就是说，夜视效果能达到UniAD的四倍。

当然，这并不意味着要全盘替换原有的系统软件栈。吴新宙指出，现在的技术还不足以让VLM为主的基础模型全量进入使用，初始阶段将处于"影子模式"（shadow mode），团队会通过与人类驾驶行为进行(Carry Out)不断比较而微调。

随着时间的推移，现有的技术栈将逐渐被淘汰，但出于安危考虑，两种栈可能需要共存一段时间。

信息搜集处理步骤告一段落，接下来吴新宙开始介绍AV方案中能提供物理模拟引擎的部分。当然，这也是英伟达以游戏(Game)显卡起家的老本行了。

仿真模拟（Simulation）的关键作用毋庸置疑，这是取代实车测试所需的巨大成本的关键一步。

良好模拟的关键属性包括像素保真度（适用于相机、雷达、超声波、激光雷达等），场景保真度和可扩展性，以及行为保真度。无传感器操作允许在计算上更具可扩展性。英伟达的AV仿真模拟可以在有可能没有传感器信息的情况下操作，极大地降低了成本。AV模型模拟的工作流，让端到端模型与场景库和功能模块环环相扣。

总体而言，吴新宙团队开发的基础模型的功能如下。

通过云端和车端统一的基础模型，有三个达成场景，首先最直观的是车内助手（In-cabin Assistant），使用基础模型来提供车内助手服务，可能包括语音识别、自然(Nature)语言处理和用户交互等功能。

自动标注（Auto-labeling），利用(Use)基础模型来自动标记训练数据，对于大量的自动驾驶数据来说，可以极大程度地降低成本、提高效率。

最后是安危评估（Safety Evaluation），确保自动驾驶系统的性能和决策符合安危标准。在自动驾驶的安危问题需要得到确认的共识下，吴新宙阐述了NVIDIA DRIVE安危平台在保障自动驾驶汽车(Car)的安危方面的全面举措。

03 全球首个端到端AI安危平台

安危性，几乎是全球自动驾驶从业者的共识。英伟达自动驾驶DRIVE平台是全球汽车(Car)生产领域首个也是唯一一个端到端的智能安危平台。

目前(Currently)，英伟达Drive平台有四大支柱，分别是开发过程、硬件、软件建设和底层架构。

英伟达在人力部署层面足见对安危的重视。据吴新宙介绍，有15000名工程师投入到安危部门的研发工作。

硬件安危机制经过21亿个晶体管的安危评估，吴新宙也提到了硬件退化效应的检测和ASIL D（Automotive Safety Integrity Level）系统性。

软件与架构是一个全栈功能安危的体系结构，共计500万行代码经过安危评估，还有德国技术监督协会认证的DRIVE OS和安危传感器以及端到端的认证。

底层架构层面，Drive平台提供安危保障的云服务和工具每日会进行(Carry Out)200万次端到端集成测试，确保了安危的开发和测试以及大规模的项目周期管理。

04 授人以鱼，不如授人以渔

另外，英伟达还专门召开了中文的教授技术解读论坛，解释了吴新宙发言的核心技术亮点、应用场景，以及自动驾驶方案的商业落地。

汽车(Car)数据中心业务总监陈晔还做了Q A，针对的问题是英伟达对国内厂商的服务方式。

陈晔提到，基于中美自动驾驶应用场景的差异化，在米国本土英伟达往往给车企做的是NDAS封装一站式服务，意味着直接给到完整的自动驾驶解决方案；服务国内的新能源厂商的时候，英伟达更倾向于提供一套更适配的算法，可能者干脆成为算法开发过程中的指导者。

还有人对算力所需的硬件配置较为好奇。随着对算力要求的提升，相应的“卡”的数量也会有一定提升。陈晔表示，在AV1.0时代，领先的客户需求大概是2000台，在AV2.0时代，就产生了一万台GPU的需求，这种量级的变化对有些车企来说是难以承受的。当然，这是以H100作为算力计算单位，当Blackwell成为主流GPU的时候，企业所需的硬件成本会有所下降。

以及，陈晔表示，GPU 不仅可以用来自动驾驶研发，还可以有其他的应用场景，例如大语言模型、智能座舱等等，将来对“卡”的依赖，只增不减。

陈晔表示，英伟达会帮客户去做很多加速工作，从数据处理到训练模型优化到推理计算、以及到仿真，基于神经网站重建，由英伟达自动驾驶最核心的技术团队来操盘。

这种个性化定制服务，即英伟达企业NVRE服务，服务方式是AI enterprise。这种个性化设计是基于车企信任英伟达的前提，即愿意分享数据的基础之上的。

车企给英伟达场景数据，训练更好的大模型，英伟达再用优化过的模型给车企自动驾驶方案赋能，收集更多维度的数据，这正是所有人工智能相关的产品的终极目标，打造数据飞轮，靠自身商业化落地即可精进。

目前(Currently)看来，吴新宙来到英伟达“深造”，实际上是更靠近了技术研发所需的算力“水源”，加上从0到1的小鹏智驾经验，无论对于英伟达，还是对整个行业来说，都有1+1大于2的效果。

本文来自微信公众号“赛博汽车(Car)”（ID：Cyber-car），作者：黎澜，36氪经授权发布。

该文观点仅代表作者本人，36氪平台仅提供信息存储空间服务。

+16

好文章，需要你的鼓励

赛博汽车(Car)特邀作者0收藏+10评论打开微信“扫一扫”，打开网页后点击屏幕右上角分享按钮微博沉浸阅读返回顶部参与评论评论千万条，友善第一条登录后参与讨论(Discuss)提交评论0/1000你可能也喜欢这些文章“Kimi概念”降温，长文本“担不起”大模型的下一步把钱花在科技(Technology)上真的能买清闲吗？一个可怕的潜在应用：无人机+人脸识别算法=杀手无人机MIT博士让机器人自学“常识”：大模型加持，无需人类即可自我纠正，完成复杂家务劳动亲历者讲述：神秘的长寿乌托邦与疯狂的生物极客运动AI PC：一场浩荡的革命400米2分34秒破纪录，伯克利双足机器人「接管」人类马斯克脑机接口再造奇迹：瘫痪小伙意念玩赛车击败正常人，打破光标控制记录，产生271页宝贵数据网飞版《三体》VR头显曝光，竟和日漫胖次撞脸？国产剧中设备更胜一筹最新文章推荐小林制药红曲保健品已致4人死亡，旗下多款网红产品在祖国大卖｜焦点分析当前美股并非真正牛市？四大风险威胁上涨这一次军备竞赛，是帕鲁蒙牛换帅，高飞能带领蒙牛业绩“高飞”吗？上海楼市国策在悄悄改变导向海底捞开放加盟的原因，藏在财报里以普通人身份跑奥运的马拉松，这是史上第一次这位80后，以1350亿财富成为山东首富东方甄选小作文风波后，与辉同行崛起，高途学而思掉粉一线城市楼市调控再松绑

赛博汽车(Car)特邀作者

聚焦智能汽车(Car)、自动驾驶。

发表文章138篇最近内容吴新宙到英伟达后的首秀，说了些什么？1小时前地平线递交招股书，只是开始的结束22小时前再看车路协同，自动驾驶的格局小了2024-03-20阅读更多内容，狠戳这里下一篇沟通能力一流的人，只不过是掌握了这三招

成为超级沟通能手的诀窍有哪些？

1小时前

热门标签财付通仇富心理官僚资本网站春晚首都吉因加科技(Technology)有限公司小人国匿名举报东方卫视极限挑战收视率跑男收视率捷豹suv话语权后会无期珠海格力集团虚拟交易foxmail复活营销力电话客服陈勇伟大的博弈运动服瑜伽课程险峰长青盗墓笔记被遗忘权双引擎客运淘宝分销平台星图关于36氪城市合作寻求报道我要入驻投资者关系商务合作关于我们(We)联系我们(We)加入我们(We)网站谣言信息举报入口热门推荐热门资讯热门产品文章标签快讯标签合作伙伴