原標題:北京人工智慧數據運營平臺發佈 一批公開領域採集的數據集將開源開放,用戶可以免費下載
日前,北京人工智慧數據運營平臺在2024北京智源大會上發佈,“行業數據集—場景應用創新計劃”同步啟動。北京智源人工智慧研究院理事長、北京大學教授黃鐵軍表示,構建大模型生態首先要建立數據流通機制,推動從數據到智慧的正反饋。
匯聚數據超700萬億字節
“如果沒有開源數據集,很難想像人工智慧怎樣才能實現如此快速的迭代,然而,這些數據集還遠遠不夠。”智源研究院副院長兼總工程師林咏華坦言,特別是中文網際網路的數據量相差甚遠,數據孤島問題也較為嚴重。
本次發佈的北京人工智慧數據運營平臺,匯聚了大量通用數據、行業數據,支援文本、圖像、視頻等多種模態,並打造了全流程的數據處理工具。超過700萬億字節的通用數據集可以開展通用模型訓練,同時,4.33萬億字節的行業垂類數據對模型訓練也極為重要。
當前已知的全球開源行業文本類數據集總量僅約1.2萬億字節。“這次開源的行業數據集,幾乎每一項都遠超全球已經開源的該行業數據集總和,是全球最大的多行業中英雙語數據集。”林咏華説,目前數據集包含醫療、教育、法律、新聞等18類行業數據,未來將進一步擴展到30類左右。
針對不同數據特點,平臺明確了3種數據使用方式。一批公開領域採集的數據集將開源開放,用戶可以免費下載;有意向互換高品質數據集的主體,可以參與構建數據池,合作共建、共用數據集;高價值數據集則通過數算一體模式,確保模型在加工、訓練過程中,數據不出安全域,保障數據安全。
挑戰多模態模型新路線
“智源研究院在2021年就發佈了悟道1.0和2.0大模型,當年創造了‘中國首個’‘全球最大’等一系列紀錄。可以説,智源與大模型有着緊密的關聯。”智源研究院院長王仲遠表示,隨着大模型的發展,人工智慧逐步進入通用人工智慧時代,該院目前正在訓練的原生多模態世界模型Emu3,再次瞄準了行業內最有挑戰性的一條技術路線。
當前,文生圖、圖生文、文生視頻等模型都有各自對應的架構和方法,很難相容不同任務。例如文生視頻模型Sora,就無法做到對圖像和視頻的理解。“Emu3從設計之初就瞄準了多模態融合,其生成和理解能力也得到統一,還具備更多模態的可擴展性。”王仲遠説,基於智源研究院自研的多模態自回歸技術路徑,圖像、視頻、文字等模態可以進行聯合訓練。
這一模式,讓該模型不僅能閱讀文字,還擁有“讀圖”“看視頻”的能力。上傳一段視頻,模型能快速識別出視頻內的人有幸福、興奮的感覺。“如果這條路線實現突破,又將是對人工智慧産業的一次重大技術貢獻。”王仲遠説,目前,該模型已具備生成高品質圖片和視頻、續寫視頻、理解物理世界等多模態能力,但中間還存在不盡完美之處。待持續訓練並經過安全評估後,Emu3將逐步開源。
世界級研究成果接連産出
具身智慧技術的發展,推動人工智慧從數字世界走入物理世界。在大會展廳中,經過通用抓取模型訓練,機器人對任意形狀、反光透明等物體都能有效抓取,在工業級真機上實現超過95%的抓取成功率,實現全球領先的商業級動作執行水準。機器人還擁有對開放指令的思考能力,當測試人員提出“我餓了”,機器人在桌面擺放的10多種物品中,發現了可以食用的橘子和香蕉。“橘子和香蕉您要哪個?”機器人追問。得到需要橘子的答案後,它抓起橘子放入筐裏。
機械臂搭載探頭在被檢測者的胸部往復移動,心臟跳動的畫面就在床旁的顯示屏上呈現出來。王仲遠介紹,智源研究院與清華大學、301醫院合作研發的全球首創智慧心臟超聲機器人,能在高速動態環境下快速計算提取心臟特徵。臨床驗證結果顯示,它檢測的準確性、高效性與人類醫生基本持平,但穩定性和舒適性顯著高於人類醫生,對提升超聲醫療的普及度有重要意義。
全球首個低碳單體稠密萬億語言模型推出,全球首個實時孿生心臟計算模型構建,全原子生物分子模型達世界領先……王仲遠介紹,過去的一年裏,智源研究院在多模態大模型、具身大模型和生物計算大模型等方向發力,已取得了多個世界級成果。未來幾年內,該院還將圍繞這些方向持續研發。(劉蘇雅)