首頁  >  科技頻道  >  業界資訊  > 正文

同一模型完成多場景任務 人工智慧大模型或加速技術落地

2021-10-09 09:29:16 | 來源: 科技日報 | 責編: 鄭思雯
分享到:

  首先是要關注訓練數據的質量,目前一些模型具有的偏見其實都是由於訓練數據本身所引發的。第二,要加強對算法本身及模型內部運作機制的研究。此外,模型的訓練過程中,要加入多模態的數據,通過多模態信息內在的多重關聯性降低大模型“偏執”的概率。

  黃鐵軍 北京智源人工智慧研究院院長

  近日,美國斯坦福大學李飛飛等百餘位學者聯名發佈《基礎模型的機遇與挑戰》一文,論述在人工智慧基礎模型成為趨勢的環境下,其發展面臨的機遇與挑戰。文章指出,基礎模型的應用使得自監督學習+預訓練模型微調適配方案逐漸成為主流,並帶來了智慧體認知能力的進步。但同時由於基礎模型的任何一點改進會迅速覆蓋整個AI社區,其隱患在於基礎模型的缺陷也會被所有下游模型所繼承。

  斯坦福大學學者談到的基礎模型,國際上也稱預訓練模型,也被國內研究者稱為大模型。那麼,什麼是人工智慧大模型,與小模型相比有哪些優勢?為何大模型會成為趨勢,在行業中有哪些應用?未來又面臨怎樣的機遇和挑戰?

  像發電廠一樣不斷供應“智力源”

  大模型成了最近AI產學界刷屏率頗高的詞彙。需要更大算力、更大數據集的大模型,為何可能是未來AI最好的夥伴?這要從AI開發者們的一次次挫敗與碰壁說起。

  深度學習技術興起的近10年間,AI模型基本上是針對特定應用場景需求進行訓練的小模型。小模型用特定領域有標注的數據訓練,通用性差,換到另外一個應用場景中往往不適用,需要重新訓練。另外,小模型的訓練方式基本是“手工作坊式”,調參、調優的手動工作太多,需要大量的AI工程專業人員來完成。同時,傳統模型訓練需要大規模的標注數據,如果某些應用場景的數據量少,訓練出的模型精度就會不理想。

  “小模型的這些問題,導致當前AI研發整體成本較高,效率偏低。由於AI人才短缺以及成本昂貴,對於中小行業用戶來說,小模型的這些問題阻礙了行業用戶採用人工智慧技術的腳步,成為AI普惠的障礙。”北京智源人工智慧研究院院長黃鐵軍在接受科技日報記者採訪時指出。

  雖然,之前全球呈現“千村萬戶大煉模型”的熱鬧場面,但這種“自家煉鋼自己用”的作坊方式顯然不符合現代產業發展規律。

  黃鐵軍進一步解釋道:“大模型可以解決這些問題,其泛化能力強,可以做到‘舉一反三’,同一模型利用少量數據進行微調或不進行微調就能完成多個場景的任務,中小企業可以直接調用,不需要招聘很多AI算法專業人員就能進行應用開發,顯著降低中小企業的研發門檻,促進AI技術落地。”

  得益於這些優勢,人工智慧的發展已經從“大煉模型”逐步邁向“煉大模型”的階段。以美國OpenAI、谷歌、微軟、臉書等機構為代表,佈局大規模智慧模型已成為全球引領性趨勢,並形成了GPT—3、Switch Transformer等千億或萬億參數量的大模型。可以說,人工智慧大模型時代正在到來!

  “人工智慧大模型是‘大數據+大算力+強算法’結合的產物,是集成大數據內在精華的‘隱式知識庫’,也是實現人工智慧應用的載體。大模型是連接人工智慧技術生態和產業生態的橋梁,向下帶動基礎軟硬體發展,向上支撐了智慧應用百花齊放,是整個人工智慧生態的核心。”黃鐵軍表示。

  北京智源人工智慧研究院理事長張宏江博士指出:“未來,大模型會形成類似電網的智慧基礎平臺,像發電廠一樣為全社會源源不斷地供應‘智力源’。”

  通用智慧應用前景廣闊

  類比人的教育培養,大模型所完成的培訓就如同基礎性、通識性的大學本科培養,“學成”後的大模型具備處理一般事物的能力。如果要完成更專業、更高級的任務,大模型還需要“研究生”階段的專業培養。

  黃鐵軍進一步指出:“AI大模型通常是在大規模無標注數據上進行訓練,學習數據中蘊含的特徵、結構和知識。”

  在這一趨勢下,北京智源人工智慧研究院2021年3月發佈悟道1.0,是中國首個人工智慧大模型,取得多項國際領先的AI技術突破;2021年6月發佈的悟道2.0,參數規模達到1.75萬億,是OpenAI的GPT—3模型的10倍,一躍成為世界最大模型。

  北京智源人工智慧研究院學術副院長、清華大學教授唐傑表示,大模型可以包含更多數據,表示更多信息,模型往超大規模發展是一個必然的趨勢。

  “超大規模預訓練模型的出現,很可能改變信息產業格局,即基於數據的互聯網時代、基於算力的雲計算時代之後,接下來可能將進入基於大模型的AI時代。”唐傑認為。

  據介紹,超大規模智慧模型的通用智慧能力在醫療、金融、新聞傳播等行業應用前景廣闊。例如,在醫療健康領域,大模型在醫療數據格式化、病歷自動解讀與分析、自動問診系統等方面都可以發揮巨大效用。在金融、法律、財務、人力資源、零售等傳統行業領域,大模型能提供高性能的智慧信息解析和提取、智慧數據整合、自動機器翻譯、輔助決策等功能,提升業務流程效率和水平。在新聞傳播領域,基於模型可實現智慧新聞線索收集、機器寫作、輔助編輯、虛擬主播等應用。目前,智源悟道大模型,也在為北京冬奧會提供新場景下的人工智慧服務應用;並正在通過大模型開啟手機AI語音技術新路徑,賦能智慧終端新一輪AI體驗革新。

  同質化和涌現特性帶來機遇與挑戰

  最近,斯坦福大學數十位研究者聯名發表《基礎模型的機遇和風險》綜述文章,認為大模型的特點之一是“同質化”,好處在於大模型的任何一點改進就可以迅速覆蓋整個AI社區。但同時,它也帶來一些隱患,大模型的缺陷會被所有下游模型所繼承。特點之二是海量數據訓練出的基礎模型具有“涌現”特性,也就是產生未曾預先設想的新能力,這種特性有望讓AI具備處理語言、視覺、機器人、推理、人際互動等各類相關任務的能力。因此這類模型將賦能各行各業,加快行業的智慧化轉型,在法律、醫療、教育等領域都會帶來具有社會價值的影響。

  但同時,如何應對大模型下游的傳播問題,進一步提高信息的精準性與適用性,以人工智慧大模型技術激活各行各業?

  黃鐵軍回答道:“這是學界現在所面臨的共同難題,未來應該從幾個方面來減輕甚至消除這類影響:首先就是要關注訓練數據的質量,目前一些模型具有的偏見其實都是由訓練數據本身所引發的,因此我們要在數據源頭上做好保障,既要量大,也要質高。第二,要加強對算法本身及模型內部運作機制的研究,目前深度學習算法的可解釋性等理論還在探討階段,對大模型的理論分析和缺陷查找能力提出了更大挑戰,這就需要加強基礎研究,以支撐大模型在那些可靠性要求更高行業中的應用。此外,模型的訓練過程中,要加入多模態的數據,比如文本、圖片、視頻等類型的輸入,通過多模態信息內在的多重關聯性降低大模型‘偏執’的概率。我們常說人要‘行萬里路,讀萬卷書’,大模型也一樣,會隨著算法的改進和‘閱歷’的增加越來越智慧。”(華 淩)

國際在線版權與信息產品內容銷售的聲明:

1、“國際在線”由中國國際廣播電臺主辦。經中國國際廣播電臺授權,國廣國際在線網絡(北京)有限公司獨家負責“國際在線”網站的市場經營。

2、凡本網註明“來源:國際在線”的所有信息內容,未經書面授權,任何單位及個人不得轉載、摘編、複製或利用其他方式使用。

3、“國際在線”自有版權信息(包括但不限于“國際在線專稿”、“國際在線消息”、“國際在線XX消息”“國際在線報道”“國際在線XX報道”等信息內容,但明確標注為第三方版權的內容除外)均由國廣國際在線網絡(北京)有限公司統一管理和銷售。

已取得國廣國際在線網絡(北京)有限公司使用授權的被授權人,應嚴格在授權範圍內使用,不得超範圍使用,使用時應註明“來源:國際在線”。違反上述聲明者,本網將追究其相關法律責任。

任何未與國廣國際在線網絡(北京)有限公司簽訂相關協議或未取得授權書的公司、媒體、網站和個人均無權銷售、使用“國際在線”網站的自有版權信息產品。否則,國廣國際在線網絡(北京)有限公司將採取法律手段維護合法權益,因此產生的損失及為此所花費的全部費用(包括但不限于律師費、訴訟費、差旅費、公證費等)全部由侵權方承擔。

4、凡本網註明“來源:XXX(非國際在線)”的作品,均轉載自其它媒體,轉載目的在於傳遞更多信息,豐富網絡文化,此類稿件並不代表本網贊同其觀點和對其真實性負責。

5、如因作品內容、版權和其他問題需要與本網聯絡的,請在該事由發生之日起30日內進行。