4月24日,由中國軟體行業協會主辦的第三屆中國國際軟體發展大會暨中國軟體行業協會成立40週年紀念活動在北京召開。本次大會以“智慧時代的軟體産業”為主題,聚焦軟體根技術、開源軟體和生成式人工智能對全行業的根本性變革,探討數據要素和未來産業對全行業的深遠影響,並回顧中國軟體産業40年發展歷程,引領整個軟體行業做一次深刻的總結,重裝上陣再出發。大會設置開幕式、高峰論壇等環節,邀請兩院院士、領軍企業代表、相關行業機構代表、高校專家等到會。
國家卓越工程師、百度首席技術官王海峰致辭。以下是發言實錄:
大家上午好,非常榮幸參加今天的大會,今天和大家分享的題目和大會主題很契合,想分享我對智慧時代作業系統的認識。
人工智能已經成為新一輪科技革命和産業變革的重要驅動力量,最近幾年快速發展的大模型也讓人看到通用人工智能的曙光。
説智慧時代,先回顧大家非常熟悉過去四十年發展傳統的IT技術棧,以晶片為代表的算力到作業系統,到應用。智慧時代我認為仍然會有類似,仍然有晶片為代表的算力,應用仍然是最終的目的。深度學習框架下接晶片、上承應用,很大程度上起到作業系統的應用,近幾年快速發展的大模型越來越獨立,這層可以正好地承接應用。我認為在智慧時代,深度學習框架再加上大模型,可以起到下接晶片、上承應用的作業系統作用,百度這些年在著力開發,框架層是飛槳。
通常深度學習包括不同的模組,開發大家知道分動態圖、靜態圖,飛槳同時兼顧動態圖的靈活和靜態圖的高效,我們做了同時支持靜態圖和動態圖的開發模式我們要支持大規模的訓練,5、6年以前可以支持萬億級參數的訓練。同時,訓練要有大量的數據,也要做産業級數據處理的支持,而模型訓練出來在用的時候,需要涉及多端、多平臺的推理部署。有深度學習框架,可以基於這樣的框架開發智慧時代的各種技術和應用,但為了讓開發更便捷、更低門檻,需要提供大量的模型庫,深度學習平臺第二層是基礎模型庫,再往上需要提供端到端的開發套件和工具組件,方便廣大開發者來用,同時有學習和實訓社區,幫助大家在裏面學習和實踐。
高效訓練的時候,需要端到端自適應異構分佈式的訓練架構,實現多維混合的並行訓練。而在推理部署階段,涉及大模型的壓縮、推理、服務部署全鏈條的協同優化。很重要的一點,剛才我説下接晶片,需要和硬體有很好的適配、接入,開發一整套硬體接入方案,降低大模型的硬體適配成本,像飛槳這樣的平臺幾乎適配國內外所有的主流晶片。
接下來彙報大模型。其實大模型百度發佈文心1.0是四年前,到現在已經到4.0。完整的文心大模型既包括大家非常熟悉的自然語言處理相關的大語言模型,也包括視覺、跨模態、生物計算等各方面的模型,同時包括配套的工具平臺,比如用於數據的標注和處理、大模型的精調壓縮等。
過去1年半的時間,最受關注的大模型是大語言模型,我們開發的大語言模型是文心一言,除了通常大家開發大語言模型都有的技術,比如預訓練、監督精調、人類反饋強化學習等技術,還包括知識增強、檢索增強和對話增強。去年10月進行升級,加入智慧體。
知識增強,可以讓模型訓練效率更高,知識其實對人類很重要,知識的凝練和傳承推動人類不斷地進步。經過十餘年的積累,已經開發了包含5500億條知識的知識圖譜,通過知識的內化和知識的外用技術,使得我們既可以發揮大模型本身從大數據學習的能力,同時也可以從知識裏學習,更好地利用知識。
檢索增強,大模型會有“幻覺”,同時有時效性問題,通過檢索增強,可以很好地緩解“幻覺”,同時大幅提升時效性。
基於前面提到的知識增強和檢索增強,進一步細化到知識點增強,既包括在模型生成之前可以做更好的理解和知識的查找,把它組裝進體式讓模型生成,模型生成之後可以進一步進行反思和確認,使得結果更加準確。知識來源既可以包括通用搜索引擎,也包括知識圖譜以及專有數據庫,尤其企業應用的時候,可以對接企業的數據庫。 現在的模型有很強的對話能力,對話增強方面也有不少工作,時間關係不詳細和大家分享。
接下來分享智慧體,我們知道人的思考系統分系統1和系統2,系統1很快速,但是可能會出錯,系統2相對慢,但是可以更可靠地執行,並且能進化,使得思考過程的白盒化。我們開發了包括理解、規劃、反思和進化的系統2。系統2里核心的是要訓練思考模型,在通用大模型基礎上要進行思考過程的有監督訓練、行為決策的偏好學習以及結果反思的增強學習。
有個具體的例子,中間的部分是系統內部思考的過程,比如收到需求,它會想需要幹什麼、需要調用什麼工具、得到什麼樣的結果,非常完整的過程。同時可以自動地閱讀每個工具的説明書,自己學會調用這些工具。
代碼也是很重要的部分,時間關係無法詳細講。大模型現在既學習人類的自然語言,同時也學習以代碼為代表的形式語言,同時具備這兩種能力,我們開發代碼的智慧體,使得沒學過寫代碼的人也可以通過自然語言的方式寫代碼。智慧代碼助手可以幫助專業的程式員高效寫出專業的代碼。這是基本原理,有代碼的解釋器,可以做代碼的生成和執行。
這是我們的真實例子,在文心一言網頁的工具版裏面,自動告訴它我要做什麼,將大會的請帖自動生成、自動地命名、打包,提交給用戶。整體來講,Comate這樣的代碼智慧助手採納率達到46%,百度每天新增代碼裏有27%來自Comate。
剛才講到深度學習框架飛槳,講到大模型文心,它們之間聯合優化非常重要。過去1年多的時間,通過聯合優化訓練效率是1年前的5.1倍,推理性能是1年前的100多倍。飛槳和文心這樣完整的生態積累1295萬的開發者,服務24.4萬的企業,創建89.5萬個模型。
我們一起在智慧時代加速推動人工智能的發展,實現高水準科技自立自強,謝謝大家。
(聲明:所有會議實錄均為現場速記整理,未經演講者審閱,國際在線登載此文出於傳遞更多信息之目的,並不意味著贊同其觀點或證實其描述。)
1、“國際在線”由中國國際廣播電臺主辦。經中國國際廣播電臺授權,國廣國際在線網絡(北京)有限公司獨家負責“國際在線”網站的市場經營。
2、凡本網註明“來源:國際在線”的所有信息內容,未經書面授權,任何單位及個人不得轉載、摘編、複製或利用其他方式使用。
3、“國際在線”自有版權信息(包括但不限于“國際在線專稿”、“國際在線消息”、“國際在線XX消息”“國際在線報道”“國際在線XX報道”等信息內容,但明確標注為第三方版權的內容除外)均由國廣國際在線網絡(北京)有限公司統一管理和銷售。
已取得國廣國際在線網絡(北京)有限公司使用授權的被授權人,應嚴格在授權範圍內使用,不得超範圍使用,使用時應註明“來源:國際在線”。違反上述聲明者,本網將追究其相關法律責任。
任何未與國廣國際在線網絡(北京)有限公司簽訂相關協議或未取得授權書的公司、媒體、網站和個人均無權銷售、使用“國際在線”網站的自有版權信息産品。否則,國廣國際在線網絡(北京)有限公司將採取法律手段維護合法權益,因此産生的損失及為此所花費的全部費用(包括但不限于律師費、訴訟費、差旅費、公證費等)全部由侵權方承擔。
4、凡本網註明“來源:XXX(非國際在線)”的作品,均轉載自其它媒體,轉載目的在於傳遞更多信息,豐富網絡文化,此類稿件並不代表本網贊同其觀點和對其真實性負責。
5、如因作品內容、版權和其他問題需要與本網聯繫的,請在該事由發生之日起30日內進行。