8月19日，中國圖象圖形大會CCIG 2022在成都召開。百度集團副總裁、深度學習技術及應用國家工程研究中心副主任吳甜在會上發(fā)表《跨模態(tài)大模型技術創(chuàng)新與實踐》主題演講，并正式發(fā)布AI藝術和創(chuàng)意輔助平臺——文心·一格，這是百度依托飛槳、文心大模型的技術創(chuàng)新推出的“AI作畫”首款產品。

　　文心·一格為藝術創(chuàng)想插上科技羽翼，人人都能成為“藝術家”

人學習作畫一般得從基本功練起，大體上包括線條、色彩、明暗、形體、結構、透視、構圖和空間。要想畫得出眾，除了日積月累勤奮練習，還需要一些天賦，以及對世界的精細觀察和創(chuàng)作者獨特的創(chuàng)想。這讓大部分人只能當畫作的觀賞者而非創(chuàng)作者。但是，隨著深度學習、大模型等技術的發(fā)展，AI 能夠在極短的時間內“創(chuàng)造”出不同風格的畫作，大幅降低了作畫的門檻，讓人人都能成為“藝術家”。

文心·一格是基于文心大模型的文生圖系統(tǒng)實現的產品化創(chuàng)新。在文心·一格官網，用戶只需輸入自己的創(chuàng)想文字，并選擇期望的畫作風格，即可快速獲取由一格生成的相應畫作。官網資料顯示，文心·一格現已支持國風、油畫、水彩、水粉、動漫、寫實等十余種不同風格高清畫作的生成，還支持不同的畫幅選擇。

文心·一格面向的用戶人群非常廣泛。它既能啟發(fā)畫師、設計師、藝術家等專業(yè)視覺內容創(chuàng)作者的靈感，輔助其進行藝術創(chuàng)作，還能為媒體、作者等文字內容創(chuàng)作者提供高質量、高效率的配圖。此外，文心·一格更是為大眾用戶提供了一個零門檻繪畫創(chuàng)作平臺，讓每個人都能展現個性化格調，享受藝術創(chuàng)作的樂趣。

　　文心·一格背后的跨模態(tài)大模型技術與系統(tǒng)創(chuàng)新

吳甜表示，數據的井噴式增長、算力的持續(xù)突破、算法的持續(xù)創(chuàng)新為人工智能帶來新機遇，預訓練大模型憑借優(yōu)越的泛化性、通用性和應用效果，成為人工智能發(fā)展的重要方向?？缒B(tài)大模型是在技術發(fā)展和產業(yè)實踐中孕育而出的，也是百度文心知識增強大模型面向產業(yè)應用持續(xù)創(chuàng)新及建設的重要方向。

面對日益增長的內容創(chuàng)作需要，如何準確理解用戶需求，進而精準刻畫并滿足多樣化風格、高質量生成的要求是技術要解決的關鍵挑戰(zhàn)。文心知識增強跨模態(tài)理解大模型在模型創(chuàng)新方面，提出基于多視角對比學習的ERNIE-ViL 2.0，在預訓練過程能夠同時學習模態(tài)間和模態(tài)內的多種關聯性，提升“圖像”和“文本”跨模態(tài)語義匹配效果。知識增強跨模態(tài)圖文生成大模型ERNIE-ViLG，將“文生成圖”和“圖生成文”任務融合到同一個模型進行端到端學習，從而增強文本和圖像的跨模態(tài)語義對齊。在此次CCIG 2022會上，吳甜還分享了ERNIE-ViLG文圖生成算法的升級，通過漸進式擴散模型，生成空間由小及大、生成輪廓由粗到細，同時根據生成階段自動選擇最優(yōu)生成網絡，文本生成圖像的效果取得進一步提升。

新技術在產業(yè)實踐中應用并創(chuàng)造出價值必須要足夠實用化。因此，百度基于文心大模型進行了系統(tǒng)創(chuàng)新，研發(fā)了支持AI作畫的文生圖系統(tǒng)，提供了從用戶需求理解到滿足的全流程解決方案。首先，基于知識的prompt工程，理解用戶需求并在此基礎上豐富語義細節(jié)，降低用戶輸入描述成本。其次，基于擴散生成算法實現創(chuàng)意寫實與恢弘構圖的藝術畫作生成。最后，基于跨模態(tài)匹配大模型進行生成畫作的結果排序，自動選出語義與美觀度最佳的畫作。

從技術創(chuàng)新到系統(tǒng)創(chuàng)新再到產品化創(chuàng)新，這一體系性的創(chuàng)新得益于飛槳產業(yè)級深度學習平臺的夯實有力支撐。飛槳的端到端自適應分布式訓練技術、4D混合并行策略、對異構硬件的自適應并行支持，錘煉出框架與算力、算法相結合三位一體的大模型訓練優(yōu)勢。飛槳的自動模型壓縮工具、自適應分布式推理技術，更是大幅節(jié)約了機器資源，讓大模型的部署更加高效、便捷，能真正落地應用。

吳甜認為，新技術應用于場景，需要從基礎算法、技術系統(tǒng)、工程平臺多方面同時創(chuàng)新，文心·一格就是依托于多項新技術綜合創(chuàng)新的產品。

除了推出一格這樣的AI藝術和創(chuàng)意輔助平臺，文心跨模態(tài)大模型還為廣大開發(fā)者、科技愛好者提供了飛槳開源工具和API服務能力，滿足開發(fā)者靈活探索等需求。對靈活性需求更高的開發(fā)者，可以使用飛槳的開源工具PaddleHub基于文圖生成開源算法極簡開發(fā)，并完成模型的管理和一鍵預測。對便捷性需求更高的開發(fā)者，可以使用文心ERNIE-ViLG API，極速獲得沉浸式文圖生成大模型的技術體驗，更可靈活方便、高效地實現產品集成。

據了解，為了幫助更多行業(yè)用戶清晰了解、輕松應用基于大模型技術的AIGC能力，百度飛槳文心大模型已在8月開設AIGC系列公開課，課程深入淺出、體系全面并配套豐富的實踐資源。

讓機器具備跨越文本、圖像等多種模態(tài)的復雜場景理解與生成能力，是人工智能的重要目標之一，也是數字時代科技與產業(yè)深度融合創(chuàng)新，催生新業(yè)態(tài)新模式，加快產業(yè)智能化升級的新動能。人工智能在藝術領域的學習與創(chuàng)作能力正以蓬勃之勢不斷刷新我們的認知，同時也讓公眾對科技與藝術及文化的融合創(chuàng)新有了更大的想象空間。文心大模型正在成為推動AIGC（人工智能生成內容）發(fā)展的新引擎，基于文心大模型的AIGC將會帶來創(chuàng)新性的探索，并賦能到廣泛的行業(yè)領域。