中文通用大模型基準測試發佈“訊飛星火”排名全國第一
來源:新安晚報  |  2023-05-12 09:55:30

  近日,中文通用大模型綜合性評測基準SuperCLUE正式發佈。該機構利用SuperCLUE測試基準,對市面上主流的支持中文的通用大模型進行了評測與排名。從排名中看到,GPT-4一騎絕塵,已經非常接近人類的能力。國産大模型中訊飛科技研發的星火認知大模型總排名第三,國內排名第一。

  中文大模型在不同任務上的表現如何;與國際代表性模型相比,中文大模型的表現達到了何種程度;中文大模型與人類表現相比如何……該模型可通過多個層面,考驗市面上主流的中文GPT大模型的能力。其中,基礎能力包括了常見的有代表性的模型能力,如語義理解、對話、邏輯推理、角色模擬、代碼、生成與創作等10項能力;專業能力包括了中學、大學與專業考試,涵蓋了從數學、物理、地理到社會科學等50多項能力;中文特性能力針對有中文特點的任務,包括了中文成語、詩歌、文學、字形等多種能力。

  排行榜會定期更新,並於CLUEbenchmarks官方網站進行公示。(新安晚報 記者  項磊)

編輯:查宛昕
最新推薦
新聞
文娛
體育
環創
城市