未來與現在,老黃 30 年的信念
編者按:本文來自微信公眾號 有新Newin(ID:NewinData),創業邦經授權發布。
(資料圖片僅供參考)
英偉達在上周結束了發布會,上月更早的時候,硅谷的兩位知名投資人 Sarah Guo 和 Elad Gil 就與 Jensen Huang(黃仁勛)在英偉達圣克拉拉的總部辦公室展開了一次對話。
在對話中,Jensen Huang 討論了更廣泛的平臺轉變對開發者的意義,談到了NVIDIA對氣候和生物制藥等領域的長期投資,這些領域將受益于人工智能的創新應用,上周發布的下一代芯片Hopper,以及英偉達為何以及如何選擇解決當前無法解決的問題,并在對話末尾留了一個有趣的彩蛋~
這次對話分為 9 個話題,如下:
01 Nvidia 的起源Sarah Guo:
我們從一開始說起,你在創辦公司之前曾在 LSI(Large Scale Integration)和 AMD(Advanced Micro Devices)工作過,是什么樣的經歷呢?
Jensen Huang:
他們給了我一份工作。我當時在俄勒岡州立大學,參加了學校組織的公司招聘日,面試了很多公司。有兩家公司讓我印象深刻,我喜歡設計芯片和計算機,當時我們計算機科學實驗室貼著一張 AMD 的 32 位 CPU 29000的海報,我一直覺得能夠設計那樣的芯片很酷,還有一家由硅谷的初創公司,他們使用軟件設計芯片,而不是手工設計,采用可編程邏輯,通過描述語言合成芯片。
我選擇去了 AMD ,在那里設計微處理器,而我的辦公室同事去了 LSI,她去了之后, LSI 團隊告訴我他們也希望我來 LSI Logic 工作,在前同事的邀請下,我決定去 LSI ,因為那是電子設計自動化行業的起步階段,是用計算機設計芯片的開始,那可能是我經歷過的最好的事情之一,也是每家公司都能夠自研芯片的開始。
那時候我有機會遇到一些優秀的計算機架構師,比如 Andy Bechtolsheim 是 Sun 的創始人,我也有幸與一些在Silicon Graphics 工作的杰出架構師合作過,比如 John Rubenstein,他曾在 Dana Computer 工作,后來成為蘋果的副總裁。
所以在很小的時候,我就有機會與一些了不起的計算機架構師一起工作,從中學到了很多關于使用芯片構建計算機的知識,那是我早期的經歷。
Sarah Guo:
你們什么時候意識到必須創辦一家公司呢?
Jensen Huang:
那不是我的主意,是 Chris 和 Curtis 的想法,他們想離開 Sun ,而我在 LSI Logic 工作得很好,我喜歡我的工作,我和 Lori 有兩個孩子,就像你一樣,他們不停地告訴我說他們想創辦一家公司,真的需要我加入,我當時告訴他們我真的需要一份工作,無論如何,在創辦之前他們需要想清楚怎么做。
當時,計算機設計的價值在通用計算和使用加速器之間存在差異,大約 99% 的人相信通用計算,只有約 1% 的人相信加速器,在過去的25年里,99% 的人是正確的,所以我們決定創辦一家加速計算的公司。
當時,加速計算能做的事情主要是解決那些通用計算難以解決甚至無法解決的問題,我們的公司致力于解決那些普通計算機無法解決的問題。如果追溯這個使命的最終目標,我們走向了無人駕駛汽車、機器人、氣候科學問題、數字生物學等領域。當然,最著名的領域之一就是 AI 。
02 AI 優勢與發展之道Sarah Guo:
所以在當前 AI 熱潮之前,你們已經在廣泛的應用領域工作了。Nvidia 在 AI 方面最初的技術優勢是什么?你們是什么時候開始意識到這將成為重要的應用場景呢?
Jensen Huang:
我們擴展了我們加速器的靈活性,使其更具通用性。我們發明了一種名為 CUDA 的新的計算模型。
Elad Gil:
這是非常令人興奮的新技術。
Jensen Huang:
我們需要一些加速計算,并希望我們的圖形處理器變得越來越通用。一開始的原因是我們需要進行通用圖像處理和后期效果相關的工作,例如你渲染圖像然后進行后期效果處理,當然還有其他應用,我們希望給場景帶來生機,所以我們必須進行物理處理,進行物理計算,有粒子物理、流體力學等等,因此我們擴大了加速計算平臺的應用范圍,使其變得越來越通用。
通用性的問題在于,你越通用,你在特定領域的加速效果就越低,所以必須非常小心地找到那條線,這是我們公司的一個天賦,找到在一方面每一代產品都能給應用程序帶來巨大的加速效果,遠遠超過 CPU 的能力,但是如果變得過于通用,就像 CPU 一樣,如何用 CPU 來加速 CPU 呢?所以必須找到一種方法來平衡。
另一方面,如果不擴大你所服務的應用領域,能夠產生的研發資金就不足以趕上 CPU ,因為 CPU 是全球研發預算最大的芯片,想一下這個問題,實際上幾乎是不可能的,因為有一個規模較小的應用市場,我們稱之為 10 億美元市場,在這個 10 億美元市場中,你每年投資 1.5 億美元,如何跟上幾千億美元規模的行業?這甚至是不合理的。
所以必須非常小心地找到那個非常細小的市場,使得 1.5 億美元能夠異常地和瘋狂地加速這個特定的應用,然后隨著時間的推移,可以擴大應用范圍,使市場規模從 10 億美元增長到 50~100億美元,而不會掉進那個懸崖,這是我們努力尋找的平衡點,所以我們不斷擴大通用性,這讓我們進入了分子動力學模擬領域,就像這張圖片看起來的樣子,地震處理是另一個行業,通過這樣一點一滴的努力,我們擴大了應用范圍。
我們做得不錯的一點是確保無論使用我們的平臺進行通用計算還是加速計算,始終保持架構的兼容性,原因是因為我們希望有一個能吸引開發者的平臺;如果全球每一款 Nvidia 芯片都不兼容,開發者怎么能選擇一款呢?即使他們了解到 CUDA 對他們來說很重要,他們該選擇哪個芯片來開發應用呢?沒有人能夠弄清楚。
所以,如果我們相信這個架構,如果我們希望它成為一個新的計算平臺,那就讓我們確保我們的每一款芯片的性能完全相同,就像 x86、ARM 或任何計算平臺一樣,所以在最開始的 5~10 年里,我們的 CUDA 客戶很少,但我們使每一款芯片都兼容 CUDA ,你可以回顧歷史,看看我們的毛利率,開始時很低,然后變得更低,因為我們處在一個競爭激烈的行業中,我們仍在努力摸索如何做好我們的工作并建造成本效益高的產品,這本身就很具挑戰性,然后我們又把它疊加在 CUDA 架構上,這個架構沒有應用,就沒有人為它買單。
Elad Gil:
這真是令人驚訝,因為現在當我與 AI 界的人交談時,他們非常喜歡使用 Nvidia 的GPU,原因之一是因為 CUDA 和可擴展互聯的能力,所以你可以高度并行化這些處理,這是其他方法或現有市場上的架構無法做到的。
Jensen Huang:
這個計算平臺帶來了一些奇跡般的效果。我們將它通過 Geforce這張游戲卡帶給全世界,這是 Geoffrey Hinton 實驗室的第一款 GPU,想象一下,Jeff走進來說:“這是幾張GPU,叫做 Geforce,你們應該試著用它來進行深度神經網絡的訓練”,但當時它僅僅是一張游戲卡。
03 從游戲跨界 Crypto 與AIElad Gil:
你當初有哪些應用想法?因為從你的觀點來看,你從90年代開始創辦公司時,從非常受歡迎但游戲領域開始,然后我開始越來越多地聽到有關 Nvidia GPU 的消息,無論是在加密貨幣和挖礦的背景下,還是在 AI 的背景下,似乎這是兩個市場,許多人都自然而然地選擇了你們的產品,是因為你們針對這些群體進行市場營銷嗎?還是人們開始意識到他們需要的產品呢?
Jensen Huang:
這就是計算平臺的美妙之處,對吧?一開始你必須針對應用進行定位,我們做的第一個應用之一是地震處理,它們都是那種粒子物理學的應用;另一個是圖像處理以及逆物理學,在一個特定的領域,我們只是去找人進行研究,我們去科學計算中心,問他們有哪些超出他們能力范圍的問題?應用領域的清單包括量子化學、量子物理等等。
Elad Gil:
那么你什么時候意識到,哇,這個 AI 的東西對我們來說真的很重要。
Jensen Huang:
我想大約是在 2012 年吧。同時,Andrew Ang 聯系了我們的首席科學家 Bill Daly,希望找到一種方法將他們正在研究的神經網絡模型放入 GPU 中,這樣他們就可以用幾個 GPU 來進行訓練,而不是使用成千上萬臺 CPU 服務器。幾乎同時, Geoffrey Hinton 也聯系了我們,我們開始聽說這方面的事情,而且 Yann LeCun 在他的實驗室也發生了同樣的事情,所以在幾個不同的實驗室里,我們同時感受到了這種神經網絡的出現,這引起了我們的注意。
Elad Gil:
我想 2012 年也是 AlexNet 發布的一年,我覺得那真的是深度學習的一個轉折點,至少在我記憶中,我認為那是一個令人激動的 AI 浪潮的開始,然后我覺得在接下來的 10 年里,創業公司并沒有真正發生什么,但很多老牌公司開始采用這種技術。
Jensen Huang:
我們在之前就開始感受到了,也聽說過了,有一張圖片吸引了我們所有人的注意力。
Sarah Guo:
你曾經提到過早期的 AI 實驗室使用 Nvidia 的游戲卡,因為你們解決了其他人無法解決的問題,并提高了效率和規模,在 Nvidia 開始投資某個應用程序時,他們是認為這是一個不斷增長的應用程序,還是更像是一個平臺,市場會接受它呢?
Jensen Huang:
不是的。每次一個應用程序得到應用時,我們都會問自己,如何讓它變得更好?這次是在深度學習方面,我們作出的重要觀察是,這不僅僅是一個用于計算機視覺的新算法,雖然它在一開始主要應用在計算機視覺上,這對我們來說非常有幫助。如果僅僅是計算機視覺,我們可以將它用于各種有趣的應用,比如自動駕駛汽車和機器人技術。
我們確實使用了它,但發現這可能是一種全新的軟件編寫方式,并且我們問自己,這對芯片設計、系統設計、互連、算法和系統軟件有什么影響,以便真正思考的不僅僅是這個領域為什么如此令人興奮,它為什么如此有效,這在本質上是個奇跡,ImageNet 在沒有任何人為設計的特定算法的情況下,與 30 年的計算機視覺算法相比,一夜之間就達到了相當高的準確性,這是一次飛躍。
首先,我們要問的問題是它為什么如此有效?它是否可擴展?如果它可擴展,那對計算機科學的其他領域有什么影響?這個能解決高維度問題的通用函數,只需要足夠的數據進行訓練,當時我們相信可以得到足夠的數據,以及將這個模型系統地逐層訓練到一個良好的狀態。
04 更廣泛的計算機科學轉變Elad Gil:
你能更詳細地談談你是如何看待這種更廣泛的計算機科學轉變的嗎?比如頁面是如何生成和服務的,還有其他方面的變化,與 AI 的轉變相關的。
Jensen Huang:
現在快進 10 年,前 5 年我們一直在思考整個計算機科學的影響。與此同時,我們開發了各種新模型,從卷積神經網絡到循環神經網絡,再到長短期記憶網絡,還有其他各種新模型,并且將它們擴展得越來越大,在感知模型方面取得了很大進展。當然, Transformer 是一個重要的里程碑,BERT 也是一個重要的里程碑,你們都對這個故事非常了解。
Sarah Guo:
在 Transformer s和 BERT 等方面,你們是否看到了量的增長的變化?因為感覺這種具備注意力機制的架構使得模型的規模化成為可能,這也是產業發展的推動力。
Jensen Huang:
嗯,你能夠從空間數據和順序數據中學習模式和關系,這一定是一種非常有效的架構,所以我認為從基本原理上來說,你可以想象 Transformer 會是一個重要的突破。此外,你可以并行訓練它,真正將這個模型擴展起來,這非常令人興奮。
我認為當 Transformer 首次問世時,我們意識到它克服了循環神經網絡和長短期記憶網絡的局限性,我們現在可以以一種非常大規模的方式學習順序數據。這非常令人興奮,BERT 也非常令人興奮,我們自己訓練了一些早期的語言模型,取得了非常好的結果,但直到結合了強化學習和人類反饋,以及與檢索模型、對話管理等方面的突破性工作結合起來,我們才真正看到了一些重大進展。
直到各種要素開始融合,我們才意識到編程語言已經完全改變了。現在,在計算的歷史上,編程計算機的語言是人類的語言,可以是任何一種人類語言,而且甚至不需要語法正確,任何人都可以編寫計算機程序,這是一件了不起的事情。
這是個大問題,因為你以不同的方式編程,它會寫出不同的應用程序,這種新的計算模型的影響有多大?顯然非常大,這也是為什么 ChatGPT 是歷史上發展最快的應用程序的原因。
Sarah Guo:
我們在節目中還有 Alex gravely,他是聯合編寫者的首席架構師,他最喜歡的用例是一些人告訴他他們以前不會編程,現在卻可以了,我認為這種情況非常民主化。
Jensen Huang:
真是令人驚奇,你可以給 ChatGPT 提供一個問題,它會逐步推理,但最后得出了錯誤的答案;但另一方面,你可以讓它寫一個解決同樣問題的程序,它卻能完美地解決問題,這種應用既可以推理解決問題,做得相當不錯,已經非常接近了;另一方面,它也可以完全寫出一個解決相同問題的程序,你必須真正思考一下這個意義。
Elad Gil:
將它看作未來世界的某種形式的機器感知。
Jensen Huang:
從技術上講,我不知道那個詞是什么意思,但我相信我們現在擁有一種軟件,它能夠推理和解決許多類型的問題,并且能夠持續不斷地提供解決方案或程序。
05 未來的開發者與專有模型Elad Gil:
那么,展望未來,你如何考慮 Nvidia 的業務發展方向?你過去提到過 Nvidia 在訓練模型方面做了一些非常有趣的事情,這將是你未來主要關注的一部分嗎?還是主要關注芯片方面?你如何考慮推動研究并成為行業的基礎平臺的這種組合?
Jensen Huang:
我們是一家計算平臺公司,我們必須向上游發展,以滿足開發者的需求,問題聚焦在誰是開發者?起初,開發者是控制自己操作系統的人,所以在那些日子里,我們可能只需要到達設備驅動程序或稍微低一些的層面,以某種方式使開發者能夠使用。
對于科學計算和其他各種領域,開發者實際上正在使用某個求解器,他們需要將該領域的算法以某種方式表達出來,以便進行加速,這就是為什么當我們涉足多領域物理問題時,我們意識到我們必須開發算法本身,因為解決問題的算法與底層的計算機架構相關。架構的 CPU 通過以太網連接在一起,那個算法肯定與通過一個 GPU 內部的網絡連接的數千個處理器以及數據中心內的數千個 GPU 不同。
顯然,算法必須被重新構建和重組。所以我們的公司在設計計算機算法方面非常擅長,可以是粒子物理學或流體力學的算法,當然也包括深度學習和神經網絡。CUDA 實際上是一種用于加速深度學習的領域專用語言,我們已經為深度神經網絡和光線追蹤等計算機圖形學做過這種工作,所有這些不同的領域庫實際上是為了理解科學領域并重新設計算法,使其運行速度非常快。
現在,未來的開發者是什么樣的呢?我認為未來的開發者可能會使用大型語言模型或基礎模型。如果有人能夠通過微軟使用 ChatGPT 或 OpenAI 的模型,我非常鼓勵;如果有人能夠通過谷歌使用它,我也非常鼓勵。但是,如果有人需要為某個領域構建一個專有模型,可能需要創建一個新的基礎模型,比如領域是蛋白質,或者領域是化學,或者領域是氣候科學,或者是多物理學,那種基礎模型是相當專業的,雖然它不是一個小市場,顯然,因為藥物發現領域很大,氣候科學領域也很大,氣候技術領域也很大。然而,它不太可能對每個人都有廣泛的用途。
因此,我們可能決定為 3D 圖形、虛擬世界建立一個基礎模型,因為它們對我們非常重要,我們可能決定為機器人技術建立一個基礎模型,因為它涉及到我們非常擅長的領域交叉;即使如此,我們也可能只做到必要的程度,而不再深入,我們并不試圖成為一個AI模型公司,我們試圖幫助行業創建AI模型。
Elad Gil:
非常有道理,基本上是跟隨客戶的需求。
Jensen Huang:
是的,然后在適當的時候將其移交給他們。
我試圖將這個原則與公司做出的一些非常長期的承諾相協調,比如 CUDA 是一個非常長期的賭注,我們10 年前見過面,當時 Nvidia 的估值是現在的 1/ 100,并且面臨著激進投資者等壓力;當然,在那時做出長期賭注可能有些困難。
06 未來與現在,老黃 30 年的信念Elad Gil:
我想知道,你如何平衡作為一家大型上市公司的壓力和當今的機會,以及架構承諾或長期賭注,并對此進行優先排序。
Jensen Huang:
投資未來和現在的可持續性并不沖突。對于所有初創公司和所有公司的 CEO 來說,挑戰在于找到一種方法,能夠以自己所信仰的核心信念為基礎,并負擔得起這樣做,這就是公司的目的所在,所以這部分是信念,部分是技能。
賺錢不是信念的問題,賺錢是技能的問題。這是一種可學習的技能。我花了很長時間才學會它,我承認這一點。我已經從事這個工作30年了,在前面的 20 年中,我還在試圖弄清楚,但這是一種技能,學會賺錢和有效地管理公司這些都是技能,公司必須發展這些技能。
我認為我們最終的做法是問自己,我們真的相信嗎?如果我們真的相信做某件事,那么這就是公司的目的,是企業的唯一目的去追求自己的信仰,其他方面都取決于公司的聰明才智,盡力做好工作,建立人們愿意購買的產品,并盡可能提高成本效益,使公司更高效。這些都是技能。
艱難的部分,事實證明,不是技能部分。我花了很長時間才學會它,但很多公司都知道如何賺錢。顯然,賺錢不是那么困難,其他人也可以做到,困難的是單一地推進一種新的計算模型,我們稱之為加速計算。
我們相信,加速計算一方面可以幫助我們解決普通計算機無法解決的問題,另一方面它也為我們帶來了許多令人驚嘆的應用,比如我今天對數字生物學非常興奮,比如我們對氣候變化興奮,對機器人技術和自動駕駛車輛也充滿激情。如果不是因為我們追求那些在普通計算機上不可能的應用,我們為什么會發現所有這些東西?我們為什么會發現 AI ?為什么我們成為大型語言模型的工作么?因為大型語言模型幾乎是不可能的。如果你在做一些幾乎不可能的事情,就給我們打電話吧。我們可以提供工具幫你解決這些問題的,我希望我們能夠發現這些未來的東西。
另一方面,我們深信,總有一天所有事物都會被加速,這是非常清楚的, CPU 將會達到極限,你無法無限地擴展通用計算,而且你總是需要它,總是需要 CPU ,但在未來,加速計算將是最佳前進方式。所以,從一開始,30年前,我們就堅信這一點,這也是我們創辦公司的原因,這是真正的信念。
Sarah Guo:
你對這個30年的信念得到了極大的證實,你肯定在公司經營的 30 年中的某個時刻,對自己的信念產生了懷疑。你是否曾經有過這樣的經歷?
Jensen Huang:
你是說我不適合這份工作嗎?
Sarah Guo:
不,我是指你是否對加速計算以及它的重要性產生過懷疑。
Jensen Huang:
第二個問題的答案是肯定的。首先,我不認為任何人應該認為他們適合這份工作,你幾乎每天都應該審視自己,所以明確一點。
Sarah Guo:
這不是一個問題。
Jensen Huang:
但我非常樂意回答這個問題,我是否曾經相信過自己是錯誤的?沒有,我相信加速計算是唯一解決不可能問題的方法,這是顯而易見的。
另一方面,如果你能解決今天不可能解決的問題,并且有一天你需要將該應用程序推廣,加速計算是否是最佳途徑?答案是肯定的。
Elad Gil:
你認為 CPU 何時達到極限?你提到,最終你認為一切都會轉向加速計算,或者至少未來的很大一部分會轉向加速計算。這需要 5 年還是 10 年?
Jensen Huang:
對于某些應用程序,這已經在 12 年前發生了,對吧?Geoffrey Hinton 、Yann LeCun 和 Andrew Ng 等人在12年前就發現了這是唯一的前進方向,而對于計算機圖形學來說這是唯一的前進方向。
07 AI 對于組織形式追隨功能Elad Gil:
隨著 AI 變得越來越重要,你組織和管理公司的方式發生了變化嗎?你是否圍繞此進行了業務方面的重新調整?或者你如何在這個環境中思考管理,因為事物變化得如此迅速,這個領域中有很多令人興奮的事情發生?
Jensen Huang:
你問了一個很好的問題。如果退一步,公司的架構不應該是通用的,世界上的每家公司都不應該像美國軍隊一樣建設;事實上,如果你看看世界上每家公司的組織結構,它們看起來都有點像美國軍隊,有個人在頂層,然后逐級下來,然而, CEO 的直接下屬很少,那些剛學會管理一級管理者的人的直接下屬很多,這與實際情況恰恰相反。
我的直接下屬很出色,他們非常有才華,非常擅長自己的工作,是優秀的領導者。他們在商業方面有很好的眼光,有出色的遠見,為什么呢?
Sarah Guo:
我猜這意味著你的管理層級可能不止是通常被接受的 6~7人之類的。
Jensen Huang:
我有大約 40 個直接下屬,沒有 1 對 1 的會議,也沒有職業指導,比如你希望用你的一生做什么?這些是你與新畢業生和早期職業者進行的對話;我們當然喜歡這些對話,幫助他們規劃職業生涯,指導他們,并為他們提供新的經驗,但在高層管理團隊,我們組織起來同時追求許多不同的事情。
作為一家軟件公司,你必須了解計算機架構,而計算機架構中最重要的一點是你只能承擔一個。世界上最大的公司只有兩個操作系統,地球上最大的公司只有兩個操作系統,為什么這么多公司有這么多不同的計算機架構?它們保留了7~9 種指令集,我們只有 1 個指令集,我們只有一個計算機架構,我們對此非常紀律嚴明。所以我們需要集中精力。
在高級別上,我們允許創新和發現,所以我認為公司的組織結構符合我們工作的性質,這是最重要的事情,也可能是我在建設公司時學到的最重要的一點,沒有通用的組織結構適用于每個公司,它應該適應公司的職能和目的,以及領導者的領導風格。
Elad Gil:
我認為這是一個非常重要的觀點,大多數人并沒有真正意識到公司幾乎應該是一種定制的結構,支持 CEO 、員工以及公司向客戶提供的服務,而不是總是相同的東西,完全正確,這被忽視了很多次。
Jensen Huang:
是的,除了某些特定的領導職位,你需要某個特定的首席,你需要某個特定的首席,但除此之外,你應該從第一原則出發,構建一個符合領導者和職能的結構。
Elad Gil:
我在谷歌的時候,他們有著名的 80-20- 10 原則,80% 是核心,20% 是核心附加的新東西, 10 % 是超級實驗性的,你是否有任何框架或思考這方面的方式,在我們構建的這個通用平臺上誕生創新案例?
Jensen Huang:
我們公司有幾個不同的部分,其中一個非常大的部分是設計和構建復雜的計算機,這是我們的主要任務之一。我們還有一些“秘密實驗室”,因為我們試圖提前 10 年發明一些我們不確定能否成功的東西,在這個過程中,需要不斷調整和適應。我們公司有兩種不同的工作方式:一種是靈活的,隨時變化的。如果某項投資不成功,我們會放棄并將資源用在其他地方,這就是我們的敏捷部分;另一部分則更加精細,這兩種工作方式必須并行運作。
Sarah Guo:
能否分享下一代處理器架構,以及其中最重要的創新和設計過程?
Jensen Huang:
對于 hopper 來說,重大突破是認識到量化,數值格式方面有相當多的創新和減少空間,通過將 64 位浮點數拆分成 8 位,可以將 AI 超級計算機的性能提升約 8 倍,所以這幾乎相當于 10 倍的提升,另外一個重要的創新是 Transformer 。
Transformer 引擎非常通用和有用,我們設計了一個專門用于學習和推斷 Transformer 的流程,這兩個是最重要的創新;此外,Hopper 是世界上最大的芯片,速度也是最快的,超級節能,并且使用了世界上最快的存儲器,我們將許多這樣的芯片連接在一起,以實現快速和高效能,這些都是一些比較直接的暴力方法。但是,最重要的架構思想是 FPA 和 Transformer 引擎。
Sarah Guo:
對于我們公司的精煉部分,你們正在研究的未來 10 年中可能重要的應用有哪些?
Jensen Huang:
我們正在進行一些目前還不可行的工作,但我對它們的成功充滿信心。例如,自動駕駛仍在取得進展,但我相信它最終會成功,我相信我們能夠發現一個基礎的機器人模型,通過使用人類語言表達自己,可以讓機器人學會如何彎曲和完成特定任務。
Sarah Guo:
那現在阻礙這些應用的因素是什么?
Jensen Huang:
我不知道,但我可以告訴你我們必須一步步地探索,但我們知道的一件事是如何從結構化和非結構化的信息中學習結構,當然下一個大的發展方向是視頻,如果我們能夠觀看視頻并從中學習結構,我們可能能夠學會如何彎曲和分解,并將其推廣為機器人的解構系統,路標似乎表明這些要素正在逐漸融合,但我不知道什么時候能夠實現,我猜可能不到 10 年,可能大約 5 年,你會看到一些令人驚嘆的機器人。
Sarah Guo:
太令人興奮了。
Elad Gil:
還有一些類似的項目。最近Google推出的 PaLm 就是朝著這個方向邁出的一步,我猜那仍然是基于 Transformer 架構的,你提到了將 Transformer 流程融入你們工作的其他新的 AI 架構,你還關注其他一些新的架構,你認為它們將發展成非常有趣的東西嗎?
Jensen Huang:
嗯,有很多 Transformer 的派生架構,它們通常被統稱為 Transformer ,但基本架構在不斷完善和發展;另一方面,我們對一些非常令人興奮的工作也非常感興趣,我們從 Ian Goodfellow 在生成對抗網絡方面的工作開始,對圖像的風格遷移和高分辨率處理進行了一些重要工作,這導致了變分自編碼器等其他相關工作,進一步發展成為擴散模型的一種變體。
我們在這個過程中起到了很大的作用,在這些方面還將會有很多衍生的工作出現,但無論是從大量數據中學習結構,還是從視頻或多模態學習,都將是非常重要的事情;另外一個方向是內容生成,如果你可以生成圖像,生成2D 和 3D 圖像,為什么不能生成蛋白質和化學物質等各種東西呢?
08 信念,磨難,遺忘與繼續前進Sarah Guo:
幾乎沒有其他創業者經歷過從 3 個創始人到 CEO ,30年,7000 億市值的過程,你對聽節目的創業者有什么建議么?(PS:如今已經接近萬億美元市值了)
Jensen Huang:
這是一份非常艱難的工作,我不僅指 CEO 的工作,創業本身就很難,你們兩位都與很多公司的成立有關,建立一家初創公司沒有什么容易的,我甚至不明白為什么有人會第二次創業,創業是一種磨難,我會試圖勸阻人們再次創業,因為我創辦了兩家公司,第二次創業時,我會問自己,你確定要這樣做嗎?不。毫無疑問,你不應該這樣做,必須有一種遺忘的機制,就像你生孩子的時候忘記了產痛一樣,必須忘記它有多么艱難,我不知道我是如何做到的,我忘記了創業的痛苦和煎熬。
一旦你取得了一些成就,你就會繼續邁向下一個目標。我喜歡我們公司的一件事就是我們不斷重塑自己,我們就像公司內部的創業者一樣,我參加的所有會議都像創業會議一樣,都很痛苦,因為你從零開始,你沒有任何動力,基本上你是從 0 開始的,每一次都會讓我想起它有多么痛苦,但是當你建立了一些東西,并且你為之付出努力的人們贊賞它,而且它確實產生了影響時,這也是如此令人滿足,然后你將這種能力與其他技能和能力結合起來,你就可以做得更大。
所以,一方面,我會告訴他們創立一家公司是非常有回報的,你能夠與很多人一起工作,這是真的;另一方面,創業的痛苦和煎熬是你無法想象的。所以,你是又脆弱的。
所以我不知道我給他們提供了什么智慧,如果你決心要做,就別等太久,在你失去無知之前去做。因此,你必須有足夠的決心堅持自己的信念;另一方面,你不能固執己見,你必須具備靈活性,不斷學習,在這兩者的平衡中,我相信我所做的事情,同時我也相信自己可能是錯的,這是一種奇怪的狀態,你必須同樣堅信這兩者。
Sarah Guo:
我公司的名字叫 Conviction(信念),你可以保持靈活。
Elad Gil:
好的,我會把它作為一個糖果品牌開始(哈哈哈哈)。
Jensen Huang:
有些創業公司的 CEO 非常有才華,他們幾乎是正確的,但他們太過于執著于自己的正確性,忘記了在路上學習、調整和適應的靈活性,這是一方面;另一方面是韌性,這也與遺忘相關,你必須忘記痛苦,繼續前進,就像教練說的,不要擔心上一個球,你剛剛被對手踢了臉,你錯過了1/4。
就像你提到加密貨幣時,我的手開始出汗,我知道我的心開始跳得更快,因為我記得錯過了那 1 季,當我們在加密貨幣方面錯過 1 季時,我們錯過得很徹底,因為預測加密貨幣很困難,我們從沒有供應到供應過剩。誰會錯過 2 億美元的 1 個季度?我指的是一個很大的數字,通常你會聽到 CEO 錯過了 1500 萬美元,而不是 20 億美元。
09 今天的方向來自未來深耕科研基礎模型
Elad Gil:
我認為 Sarah 提出了一個很好的觀點,你現在建立了一家在科技界具有重要地位的公司,正在推動可能是有史以來最重要的技術之一,即 AI 。從現在回顧到未來的 10 年、20年,有沒有什么具體的目標,無論是通過公司還是更廣泛的方向,你希望實現的?從未來的 20 年回望,有沒有你真正希望實現的事情?
Jensen Huang:
這是一個很好的問題,實際上這是一種很好的思考方式,思考今天要做什么的最好方法是走到未來,回頭看,你們可能也是這樣做的,所以我會走出 10 年,回頭看看我當時希望自己那時候能做到什么,然后現在去做,這就是答案。
所以我們相信我們可以對幾個行業做出貢獻,其中之一是醫療保健和藥物研發,這是一個計算上和數值上極其復雜的問題,其中的組合數量超過了宇宙中的原子數量,它是一個非常龐大的問題空間,我們最終可能有必要的工具來攻克它。,少現在有能力理解氨基酸、序列、蛋白質和化學物質的語言和意義,如果你能理解結構、理解語言、理解問題空間的意義,你也許有機會解決它。
所以我對此非常興奮,真的希望我們能夠為多物理學和氣候科學創造一個基礎模型。這樣我們就可以問一個問題,如果有這些人為因素和這些人類驅動因素,我們產生這些影響,那么 10 年后,從現在起 30 年后地球會發生什么?
這是一個非常復雜的問題。從計算上來說,人們估計這個問題的計算量可能是目前全球最快超級計算機的 10 億倍到 1000億倍,這基本上意味著我們永遠無法解決這個問題;另一方面,通過 AI ,我們可能有機會將這個計算量減少 10 億倍到 1000億倍,所以我希望我們有機會在我們這一代人中為這兩個領域作出巨大貢獻。因此,我們正在做的是地球 2 號和 Clara,地球 2 號是我們的氣候科學系統,Clara是我們的醫療保健系統,更好地了解如何在這個領域做出貢獻。
Sarah Guo:
令人興奮。我有一個最后一個問題,這個問題和攻擊世界上計算量最大的、最復雜的搜索空間,從而拯救人類和地球的重要性相當.......那就是你的皮夾克從哪里來的?
Jensen Huang:
我老婆和女兒總是在幫我找皮夾克,我必須承認大多數夾克對我來說太時尚了,我穿不出去,這些是比較樸素的,但其中一些太酷了,只有真正酷的人才能穿,而且我不想顯得自己穿得不搭。
Reference:
https://www.youtube.com/watch?v=ZFtW3g1dbUU&t=629s
本文(含圖片)為合作媒體授權創業邦轉載,不代表創業邦立場,轉載請聯系原作者。如有任何疑問,請聯系editor@cyzone.cn。