尊龙ag旗舰厅官网

联系我们CONTACT

地 址:中国 浙江 义乌市 廿三里街道埠头村5号
电 话:86 0574 65183870
q q:6026669
邮 箱:6026669@qq.com
联系人:王英 女士
手 机:13486026669
网 址:http://www.louisewhitham.com

您当前的位置: > 尊龙ag旗舰厅官网 > 尊龙ag旗舰厅官网

找来吴新宙英伟达智驾点燃端到端

上传时间:2024-06-07阅读次数:编辑:admin

  2025 财年一季度财报披露后,英伟达再度创造市值神话,股价一路狂飚,市值已达到 2.7 万亿美元,排名全球第三,仅次于微软与苹果。

  财报披露,今年一季度 260 亿美元的总营收,汽车业务只贡献了 3.29 亿美元,占比约为 1.2%。而去年汽车业务总营收为 11 亿美元,占总营收 1.8%。

  显然,在英伟达不断推出惊艳四座的 Orin、Thor 芯片的背景下,这点营收并不能满足英伟达对于汽车业务的野心。

  尤其面对智能汽车市场渗透率不断走高,英伟达需要尽快加强竞争力,把汽车业务的蛋糕进一步做大。

  懂软件落地。在英伟达芯片 Xavier、Orin 的基础上,吴新宙帮助小鹏全栈自研软件,见证小鹏汽车记忆泊车、NGP、LCC 增强版等产品的发布,这种实战经验无疑为英伟达所缺。

  懂整合资源。先后担任高通自动驾驶业务负责人、小鹏自动驾驶副总裁,吴新宙在芯片公司、车企的丰富经验,代表其擅于整合上下游产业链资源,是英伟达做出全栈方案的最佳领路人。

  懂中国市场。吴新宙在小鹏的 4 年时间,组建千人规模智驾团队,帮助小鹏城市 NGP 率先量产落地,能在「内卷」的中国市场突出重围,可见吴新宙深刻的市场洞察能力及高效的工作风格。

  由此,吴新宙的加入势必要改写英伟达自动驾驶的不利局面。这位最适合英伟达自动驾驶的总舵手,先要解决英伟达在奔驰项目的燃眉之急,打出样本效应后,再不断强化英伟达全栈软硬件方案提供商的身份标签。

  目前来看,英伟达汽车业务已经加强在 AI 生态赋能方面的布局。在具体方向上,吴新宙强调 AI 定义汽车,生成式 AI 抬高自动驾驶天花板,并且相信,端到端是自动驾驶的最终曲。

  第二代自动驾驶,AI 作用凸显,通过 AI 大模型逐步取代人工规则,完成预测、规划动作;

  第三代自动驾驶,完全迭代成端到端大模型的方式,用 AI 贯穿从感知到决策的全过程。

  吴新宙对这个变化过程提出了一个明确观点,即从软件定义汽车到 AI 定义汽车。

  这两者的核心转变在于,将需要大量人工参与的工作转变成靠 AI 就能高效完成的任务。

  具体的底层逻辑是,车端将数据反馈给云端,在云端集中进行自动驾驶汽车模型的训练与仿真,再把模型数据发回车端,进行 OTA 部署及更新。两端进行协同互补。

  一个是在开发层面,靠软件定义汽车,需要将所有组件进行编码与工程设计,对于边缘场景识别及融合速度都是一项巨大工程。

  而这些在 AI 定义汽车的时代,都能通过云端大模型训练解决,包括应对边缘案例、提高泛化能力等。

  另一个是测试层面,在前者路径中,海量的大规模测试与运行,需要高效的基础设施进行支撑,也就意味着先要下大功夫打造好全链条闭环,才能支撑它后续保持飞轮的高转速。而后者路径的解决方式就很简单,直接在云端通过仿真数据完成验证。

  吉利汽车研究院合成数据仿真部负责人梁振宝曾指出,采用大模型生成虚拟场景后,在测试场景覆盖度方面,提升了几十倍的速率不等。

  过去软件定义汽车,将汽车从一个固定的硬件产品变成了可以自主学习、不断更新的用户产品;如今 AI 定义汽车,汽车再度从用户产品变成一项智能产品。

  在自动驾驶上,小鹏拿出了 ALL IN AI 的态度和决心,前不久的 AI DAY 上,小鹏发布了国内首个量产上车的端到端大模型:

  感知神经网络 XNet+规控大模型 XPlanner+AI 大语言模型 XBrain,并推出了 AI 代驾、AI 泊车功能,以及将 AI 全面应用于座舱和智驾的 AI 天玑系统。

  此外,小鹏对于 AI 技术投入也不遗余力,2024 年将投入 35 亿元用于智能研发,并新招募 4000 名专业人才,今后每年还将投入超过 7 亿元用于算力训练。

  毫无疑问,小鹏对于 AI 的重投,是因为何小鹏和吴新宙的观点一致,智能汽车的新十年,将由 AI 定义。

  比如华为、地平线等智驾上游企业,通过自研出昇腾与征程芯片,构建出智能驾驶计算平台,为车企智驾量产提供核心助力。

  蔚来、小鹏、理想、智己等车企,都已进入 AI 智驾的战备状态,纷纷上车端到端大模型,加快开城进度。

  毕竟,当 AI 技术开启了一场大爆炸,自动驾驶迎来了自己的奇点时刻,谁都要谨防自己掉队。

  一个大背景是,以 ChatGPT 为代表的生成式 AI,正在大规模席卷而来,AI 技术抬升到了前所未有的高度,也进一步抬高了自动驾驶的天花板。

  所谓生成式 AI,就是基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术,它由一系列深度学习模型构成。

  而这种生成式 AI 广泛应用于互联网的虚拟世界,收集、生成的都是网络虚拟数据。

  相当于自动驾驶搭了一座桥,将生成式 AI 与物理世界相连接,从此,生成式 AI 在物理世界中实现技术进化,将自动驾驶带向了端到端的路口。

  也就是说,端到端自动驾驶,能够突破瓶颈走向落地,正是建立在生成式 AI 技术的革新上。

  端到端自动驾驶相比传统自动驾驶,不进行感知、预测、规划、控制等子任务分切,而是直接从输入到输出,就像人类大脑,接受信息能够马上决策,它只需要解决感知问题与认知问题,这正是通往全自动驾驶的可靠、理想路径。

  但这种路径的实现,需要大规模、多样化、高质量的训练数据做支撑,并且对于算力规模、算法路径都有极高要求。

  因为在高阶自动驾驶,已经不能局限于简单的直行向右转、避开行人等行驶动作,而是要求 AI 进行类人思考,包括看到交警手势示意后向左转,遇到塑料瓶可以压过去,遇到救护车要让路等。

  如果把这些场景放在传统的自动驾驶思维度思考,那每一个特殊场景都得设计一个从感知、预测到控制的驾驶策略。

  这种做法不仅训练成本高且低效,并且仅靠人工策略也无法穷尽每一个突发情况。

  而生成式 AI 技术让能这些问题迎刃而解,其中,大语言模型 (LLM) 与视觉语言模型 (VLM) 代表性最强。

  比如引入大语言模型 (LLM) 后,AI 能够从人类社会知识库中提取驾驶相关知识,进行辅助决策。即看到塑料瓶,AI 可以根据人类以往行为,判断出不必停下来的驾驶决策。

  它还能够识别自然语言,即对于用户指令能够及时给予正确反馈,在车机交互上表现顺畅。

  包括还有视觉语言模型 (VLM) ,它结合了图像识别和语言处理能力,能够解决 AI 如何感知环境的问题。

  通过摄像头捕捉的图像,识别路标、交通灯和行人等关键视觉元素,能够对视觉信息进行描述,或者直接利用这些信息应用在驾驶决策中。

  这类大模型都基于 Transformer 架构,通过对大规模文本、图像等数据训练,具备强大的数据处理、生成能力。

  生成式 AI 技术深度学习的逻辑,让 AI 模型不仅可以改善基准测试数据的质量,还能够自动创建、生成现实世界中难以或者无法采集的数据场景,解决数据匮乏、数据质量问题。

  马斯克就曾透露,通过神经网络大模型,人工编程的 C++控制代码由 30 万行缩减到了 3000 行。

  在生成式 AI 技术的加持下,端到端自动驾驶打破了传统瓶颈,从技术研发到落地量产都有了解法。

  值得一提的是,吴新宙采用了一种更为理性的态度看待端到端自动驾驶的迭代问题。

  一方面,端到端模型需要不停地优化和成长,它未来一定足够强大,但这个过程是需要与原有模型相辅相成,通过原有的模型和方法保证安全性,这是端到端自动驾驶通往大规模部署,成为主流的必要过程。

  一个是结合传统的算法栈保证端到端模型安全,并判断模型决定的合理性,把双方有差异的地方作为输入。

  另一个是端到端大模型设置周边的输出点进行观测,比如可以观测 DEV 输出的结果,只进行部分训练等。在黑盒开启几扇窗,看到信号是怎样的模式。

  在明确了当下端到端瓶颈的破解思路后,吴新宙对这一技术风潮抱有坚定信心,「端到端自动驾驶一定会到来。」

  此外,除了在端到端自动驾驶开启技术升维,生成式 AI 还能应用于座舱、汽车设计等汽车产业的各个环节。

  比如问界利用生成式 AI 技术打造的时光壁纸,能根据时间段变化而动态变化,用不同的光影动态效果丰富车机场景;

  极越的人工智能助手——SIMO,同样基于生成式 AI,能够集用车助手、出行助手、娱乐助手和百科老师于一身,拥有超过 1,000 种以上的专属能力,无论是交互效率还是创新体验都可圈可点。

  在吴新宙眼里,生成式 AI 让很多不可能的事变成了可能,它极大地扩展了人类想象力的边界,高效地把各种各样的可能性通过最直观的方式,以最短的时间呈现给设计者。

  蒸汽机、电力和信息技术,每一次先进生产力要素的出现,都让行业发生颠覆式改变,而这种改变往往是质变。

  这种质变可以简要概括为解放生产力,发展生产力。将这句话套在今天的生成式 AI 身上印证,会发现依然行得通。

  生成式 AI 让机器不限于数据学习、处理,而是拥有了和人类大脑一样的思考与对话能力。

  正如今天的自动驾驶,再一次解放了方向盘上的双手,AI 有了操控物理世界的可能。

  一是回归芯片本身,确保在车企自研芯片,英伟达也能拿出更大算力、更迭更快的产品。

  端到端自动驾驶表现如何,取决于数据、算法、算力能不能跟上,这是底层基础。

  反过来说,从 L2 迈向 L4/L5 的每一次进阶,对于数据、算法、算力都提出了更高要求。

  而英伟达的芯片就正好掐中了算力命脉。以英伟达最新一代 DRIVE Thor 为例,算力已经达到了 2000 TOPS,这是上一代 Orin 芯片的 8 倍,更是特斯拉 FSD 的 28 倍。

  DRIVE Thor 还引入了 Transformer 引擎,这意味着给深度神经网络装上了加速器,使其推理性能提升高达 9 倍。

  吴新宙甚至用三个「最」来定义它:最高算力、最高安全等级、对生成式 AI、LLM 给予最好支持。

  目前,基于 DRIVE Thor 确定量产合作的,既有上汽、长城等传统车企,也有极氪、智己、小米、蔚来、小鹏等新势力。

  除了继续把芯片生意往纵向延伸,英伟达也在横向扩大自身在自动驾驶领域的应用边界。

  这或许正是吴新宙对于英伟达的吸引力所在。前者在全栈全硬件系统,尤其是软件量产的经验,对于英伟达而言,是未来汽车业务长期发展的重要竞争力。

  毕竟黄仁勋一直对汽车业务寄予厚望,「汽车将是我们下一个数十亿美元的业务。」

  而在车企都在转身全栈自研,地平线、华为、高通、黑芝麻等芯片公司吞噬市场份额的背景下,英伟达也感到了一丝危机感。

  因此,吴新宙的首要任务,就是把英伟达的资源整合调度起来,推行软硬件一体的全栈落地战略。

  目前英伟达已经与比亚迪形成了端到端全栈式合作,包括车端芯片、DRIVE Orin、DRIVE Thor,智驾芯片、数据中心端的解决方案。

  目前,英伟达整体上已经开始用生成式大模型完全布局,并将 VLM、LLM 运用到自动驾驶,把上游模型和下游模型都打通。

  吴新宙对此很兴奋,他看到了在生成式 AI 的技术实现下,英伟达正一步步靠拢自动驾驶的真正价值。

  「我们核心是让大家在车里不是开车,开车不是刚需,从 A 点到 B 点是刚需,玩手机也是刚需。」

  据了解,吴新宙加入后将英伟达自动驾驶的弦崩到最紧,比如短期快速组建智驾核心团队,推行高工作强度与快节奏,努力落地 L2+智驾产品,加快全景迭代速度、实车路测进度等。

  于英伟达而言,需尽快弥补自动驾驶全栈方案落地方面的不足,提升汽车业务营收占比;

  于吴新宙而言,成为英伟达自动驾驶的领航员,首要意义在于转化车企经验,帮助英伟达这家芯片巨头明确车企诉求,击破二者之间的合作瓶颈与落地阻碍。

  可以确定,吴新宙的加入,是英伟达实现全栈方案落地的核心筹码,也是抢占中国,乃至全球自动驾驶市场蛋糕的有力一击。

凯时国际娱乐官方网址 尊龙ag旗舰厅官网

公司地址:中国 广东 东莞市 东城区上桥社区牌楼街一号 服务电话:86 0769 23073669
Copyright 2017 凯时国际娱乐官方网址 All Rights Reserved

X请用手机扫描微信二维码