ADL155《可視媒體生成基礎(chǔ)與前沿》開(kāi)啟報(bào)名
CCF學(xué)科前沿講習(xí)班
The CCF Advanced Disciplines Lectures
CCF ADL第155期
主題 可視媒體生成基礎(chǔ)與前沿
2024年12月20日-22日 北京
CCF學(xué)科前沿講習(xí)班ADL155《可視媒體生成基礎(chǔ)與前沿》,將系統(tǒng)地討論可視媒體生成的基本原理和實(shí)現(xiàn)方法、圖像生成、視頻生成和三維模型與場(chǎng)景的生成。學(xué)員經(jīng)過(guò)本次講習(xí)班的學(xué)習(xí),能夠系統(tǒng)地了解可視媒體生成的前沿技術(shù),感受生成式人工智能的飛速發(fā)展,同時(shí)開(kāi)闊科研視野,增強(qiáng)思考與實(shí)踐能力。
講習(xí)班邀請(qǐng)了6位來(lái)自國(guó)內(nèi)著名高校活躍在前沿領(lǐng)域的專家學(xué)者做主題報(bào)告。第一天,清華大學(xué)穆太江助理研究員介紹深度學(xué)習(xí)基礎(chǔ)與計(jì)圖編程相關(guān)內(nèi)容,南開(kāi)大學(xué)程明明教授介紹高效能個(gè)性化圖像生成內(nèi)容。第二天,中國(guó)科學(xué)院自動(dòng)化研究所劉靜研究員就多模態(tài)大模型研究與實(shí)踐展開(kāi)深入探討,北京大學(xué)袁粒助理教授將介紹從視頻生成到理解與生成統(tǒng)一架構(gòu)。第三天,重慶大學(xué)秦紅星教授將介紹從拋雪球到高斯?jié)姙R及其原理解析,清華大學(xué)徐楓副教授將介紹基于便捷設(shè)備的數(shù)字人構(gòu)建相關(guān)內(nèi)容。通過(guò)三天教學(xué),旨在帶領(lǐng)學(xué)員實(shí)現(xiàn)對(duì)可視媒體從基本原理,到圖像生成、視頻生成和三維模型與數(shù)字人生成的全面認(rèn)識(shí)與深刻理解。
學(xué)術(shù)主任:周 昆 教授 浙江大學(xué)/高 林 研究員 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
主辦單位:中國(guó)計(jì)算機(jī)學(xué)會(huì)
本期ADL主題《可視媒體生成基礎(chǔ)與前沿》,由浙江大學(xué)周昆教授和中國(guó)科學(xué)院計(jì)算技術(shù)研究所高林研究員擔(dān)任學(xué)術(shù)主任,邀請(qǐng)到穆太江(助理研究員,清華大學(xué))、程明明(教授, 南開(kāi)大學(xué))、劉靜(研究員,中國(guó)科學(xué)院自動(dòng)化研究所)、袁粒(助理教授,北京大學(xué))、徐楓(副教授,清華大學(xué))和秦紅星(教授,重慶大學(xué))6位專家做專題講座。
活動(dòng)日程: 2024年12月20日(周五) 9:00-9:10 開(kāi)班儀式 9:10-9:20 全體合影 9:20-12:00 專題講座1:深度學(xué)習(xí)基礎(chǔ)與計(jì)圖編程 穆太江,助理研究員,清華大學(xué) 12:00-14:00 午餐 14:00-17:00 專題講座2:高效能個(gè)性化圖像生成 程明明,教授,南開(kāi)大學(xué) 2024年12月21日(周六) 9:00-12:00 專題講座3:多模態(tài)大模型研究與實(shí)踐 劉靜,研究員,中國(guó)科學(xué)院自動(dòng)化研究所 12:00-14:00 午餐 14:00-17:000 專題講座4:生成未必理解:從視頻生成到理解與生成統(tǒng)一架構(gòu) 袁粒,助理教授,北京大學(xué) 2024年12月22日(周日) 9:00-12:00 專題講座5:從拋雪球到高斯?jié)姙R及其原理解析 秦紅星,教授,重慶大學(xué) 12:00-14:00 午餐 14:00-17:000 專題講座6:基于便捷設(shè)備的數(shù)字人構(gòu)建 徐楓,長(zhǎng)聘副教授,清華大學(xué) 特邀講者 穆太江 助理研究員,清華大學(xué) 講者簡(jiǎn)介:穆太江,清華大學(xué)計(jì)算機(jī)系助理研究員,主要研究方向?yàn)橛?jì)算圖形學(xué)和計(jì)算機(jī)視覺(jué)等,主持了自然科學(xué)基金委青年科學(xué)基金項(xiàng)目和北京市科技計(jì)劃項(xiàng)目任務(wù),作為骨干參與了多項(xiàng)國(guó)家重大項(xiàng)目;在重要國(guó)際會(huì)議和期刊發(fā)表論文40余篇,其中3篇論文入選ESI熱點(diǎn)論文;獲首屆“祖沖之”獎(jiǎng)和Computational Visual Media最佳期刊論文獎(jiǎng)等獎(jiǎng)勵(lì);現(xiàn)擔(dān)The Visual Computer編委,VCIBA期刊青年編委等。 報(bào)告題目: 深度學(xué)習(xí)基礎(chǔ)與計(jì)圖編程 報(bào)告摘要:以深度學(xué)習(xí)為代表的新一代人工智能技術(shù)已經(jīng)成為科學(xué)研究和工程應(yīng)用的新范式,已廣泛滲透到各行各業(yè)。而深度學(xué)習(xí)框架作為人工智能的核心技術(shù),負(fù)責(zé)深度學(xué)習(xí)模型的訓(xùn)練和推理,管理著人工智能應(yīng)用所需要的大規(guī)模數(shù)據(jù)和模型,為上層算法和應(yīng)用提供編程軟件平臺(tái),同時(shí)統(tǒng)一調(diào)度和管理底層的計(jì)算資源,充分發(fā)揮計(jì)算潛力。本報(bào)告將介紹深度學(xué)習(xí)基礎(chǔ)(包括深度神經(jīng)網(wǎng)絡(luò)的概念、訓(xùn)練方法),基于國(guó)產(chǎn)深度學(xué)習(xí)框架計(jì)圖(Jittor)的深度學(xué)習(xí)編程以及計(jì)圖對(duì)內(nèi)容生的支持,為面向可視媒體內(nèi)容生成的研究和應(yīng)用提供基礎(chǔ)編程框架。 程明明 教授,南開(kāi)大學(xué) 講者簡(jiǎn)介:程明明,南開(kāi)大學(xué)杰出教授,新一代人工智能發(fā)展戰(zhàn)略研究院副院長(zhǎng)。主持承擔(dān)了國(guó)家杰出青年科學(xué)基金、優(yōu)秀青年科學(xué)基金項(xiàng)目、科技部重大項(xiàng)目課題等。他的主要研究方向是人工智能、計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué),在SCI一區(qū)/CCF A類刊物上發(fā)表學(xué)術(shù)論文100余篇(含IEEE TPAMI論文38篇),h-index為93,論文谷歌引用5.4萬(wàn)余次,單篇最高引用5千余次,多次入選全球高被引科學(xué)家和中國(guó)高被引學(xué)者。技術(shù)成果被應(yīng)用于華為、國(guó)家減災(zāi)中心等多個(gè)單位的旗艦產(chǎn)品。獲得教育部自然科學(xué)一等獎(jiǎng)2項(xiàng)、其他省部級(jí)科技獎(jiǎng)2項(xiàng)。培養(yǎng)的3名博士生獲得省部級(jí)優(yōu)秀博士論文獎(jiǎng)?,F(xiàn)擔(dān)任中國(guó)圖象圖形學(xué)學(xué)會(huì)副秘書長(zhǎng)、天津市人工智能學(xué)會(huì)副理事長(zhǎng)和頂級(jí)期刊IEEE TPAMI, IEEE TIP和《中國(guó)科學(xué):信息科學(xué)》編委。 報(bào)告題目: 高效能個(gè)性化圖像生成 報(bào)告摘要:以大模型為代表的多模態(tài)圖像生成技術(shù)可以有效地根據(jù)文本信息生成高質(zhì)量的圖像。然而,現(xiàn)有多模態(tài)生成技術(shù)在模型訓(xùn)練和個(gè)性化生成方面表現(xiàn)出較低的效率。例如,作為最近AI頂流的Sora模型雖然可以生成數(shù)十秒的流暢視頻,但其訓(xùn)練代價(jià)相當(dāng)高。Sora核心組件Difussion Transformer (DiT) 經(jīng)常需要數(shù)十萬(wàn)次地迭代訓(xùn)練才能生成高質(zhì)量的圖像。此外,在圖像生成中引入個(gè)性化的信息雖然富有吸引力,但是經(jīng)典通過(guò)模型微調(diào)的形式經(jīng)常耗費(fèi)數(shù)十分鐘才能得到高質(zhì)量的結(jié)果。這些問(wèn)題給生成式模型的大規(guī)模推廣造成了障礙。本報(bào)告將介紹如何通過(guò)引入結(jié)構(gòu)信息建模能力和個(gè)性化信息編碼能力,有效地避免上述問(wèn)題,并將該領(lǐng)域主流方法的性能提升2個(gè)數(shù)量級(jí)以上。 劉靜 研究員,中國(guó)科學(xué)院自動(dòng)化研究所 講者簡(jiǎn)介:劉靜,中國(guó)科學(xué)院自動(dòng)化研究所研究員,國(guó)科大崗位教授,國(guó)家優(yōu)青。研究方向多媒體分析與理解,帶領(lǐng)團(tuán)隊(duì)研發(fā)了國(guó)際首個(gè)圖文音三模態(tài)大模型“紫東太初”。相關(guān)成果曾獲中國(guó)電子學(xué)會(huì)自然科學(xué)一等獎(jiǎng),北京市自然科學(xué)二等獎(jiǎng),中國(guó)圖象圖形學(xué)學(xué)會(huì)科學(xué)技術(shù)二等獎(jiǎng),世界人工智能大會(huì)卓越人工智能引領(lǐng)者獎(jiǎng)等。已發(fā)表高水平學(xué)術(shù)論文近200篇,谷歌學(xué)術(shù)引用15000+次,SCI他引6000+次。榮獲國(guó)際學(xué)術(shù)競(jìng)賽冠軍十余項(xiàng)。 報(bào)告題目: 多模態(tài)大模型研究與實(shí)踐 報(bào)告摘要:多模態(tài)大模型是針對(duì)圖文音視等各種弱關(guān)聯(lián)模態(tài)信息,利用自監(jiān)督學(xué)習(xí)與模型微調(diào)等手段,建立多模態(tài)融合表征、關(guān)聯(lián)協(xié)同與相互轉(zhuǎn)化等,已被認(rèn)為是實(shí)現(xiàn)類人感認(rèn)知能力的重要途徑,現(xiàn)已得到無(wú)論在學(xué)術(shù)界還是企業(yè)界的廣泛關(guān)注。本報(bào)告主要包含以下內(nèi)容:介紹多模態(tài)大模型的研究背景,回顧當(dāng)前多模態(tài)預(yù)訓(xùn)練模型的關(guān)鍵技術(shù)與最新進(jìn)展,以及對(duì)該領(lǐng)域未來(lái)發(fā)展趨勢(shì)的展望與思考。 袁粒 助理教授,北京大學(xué) 講者簡(jiǎn)介:袁粒,北京大學(xué)信息工程學(xué)院助理教授、博士生導(dǎo)師、國(guó)家高層次青年人才,入選2022年國(guó)家優(yōu)秀留學(xué)生獎(jiǎng)(歸國(guó)類)、2023年福布斯亞洲30U30等,主持國(guó)家科技創(chuàng)新2030重大項(xiàng)目課題和國(guó)自然基金等。研究方向?yàn)槎嗄B(tài)深度學(xué)習(xí),代表性學(xué)術(shù)工作包括VOLO, T2T-ViT等深度神經(jīng)網(wǎng)絡(luò)框架,在國(guó)際期刊和頂會(huì)上發(fā)表論文50余篇,包括Nature Communications、IEEE TPAMI/CVPR等,代表性一作論文單篇被引兩千余次,代表性應(yīng)用工作包括ChatExcel、Open-Sora Plan視頻生成開(kāi)源計(jì)劃。 報(bào)告題目: 生成未必理解:從視頻生成到理解與生成統(tǒng)一架構(gòu) 報(bào)告摘要:近幾年以視覺(jué)-語(yǔ)言雙模態(tài)為主的視頻理解和生成領(lǐng)域蓬勃發(fā)展。當(dāng)前主流視頻多模態(tài)理解模型主要是借助大語(yǔ)言模型作為理解和邏輯推理的“中樞”,以自回歸式Transformer為主干模型,而視頻多模態(tài)生成仍然以擴(kuò)散式Transformer (Diffusion Transformer)或者Diffusion ConvNets作為主要模型。所以視頻多模態(tài)理解和生成在兩條不同的技術(shù)路徑上發(fā)展,當(dāng)前已有的視頻理解和生成一體架構(gòu)大部分是依靠不同架構(gòu)“搭積木”方式實(shí)現(xiàn),而沒(méi)有原生的統(tǒng)一架構(gòu)。要實(shí)現(xiàn)視頻生成和理解統(tǒng)一的多模態(tài)架構(gòu),需要探索視頻生成的自回歸式路徑而非當(dāng)前主流的擴(kuò)散式生成,本次報(bào)告將首先介紹視頻生成的基本原理,以及團(tuán)隊(duì)的視頻生成開(kāi)源模型Open-Sora Plan,然后探索視頻生成的自回歸式路線,將視頻生成往多模態(tài)理解路線上統(tǒng)一,然后探討未來(lái)生成理解可能的統(tǒng)一架構(gòu)。 秦紅星 教授,重慶大學(xué) 講者簡(jiǎn)介:秦紅星,男,博士,教授,博士生導(dǎo)師。2008年獲上海交通大學(xué)博士學(xué)位,2008年至2009年于美國(guó)羅格斯新澤西州立大學(xué)從事博士后研究工作。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)、三維視覺(jué)、可視化與可視分析。在ACM TOG,IEEE TVCG、CGF等國(guó)際著名期刊發(fā)表30余篇;取得授權(quán)專利15項(xiàng);作為負(fù)責(zé)人先后主持國(guó)家自然科學(xué)基金項(xiàng)目3項(xiàng),國(guó)家重點(diǎn)研發(fā)子課題1項(xiàng)目,重慶市基金2項(xiàng),橫向項(xiàng)目5項(xiàng);作為骨干成員參與國(guó)家自然科學(xué)基金重點(diǎn)項(xiàng)目、重慶市重點(diǎn)項(xiàng)目等多項(xiàng);指導(dǎo)學(xué)生參加科技競(jìng)賽多次獲得一等獎(jiǎng)。 報(bào)告題目: 從拋雪球到高斯?jié)姙R及其原理解析 報(bào)告摘要:神經(jīng)輻射場(chǎng)表達(dá)為場(chǎng)景重建與渲染建立了新的管線,為計(jì)算機(jī)圖形學(xué)的發(fā)展提供了新的范式。本課程將從體數(shù)據(jù)可視化出發(fā),從光線傳輸與幾何表達(dá)兩方面探究Nerf和Gaussian Splatting的技術(shù)原理,解析Nerf與Gaussian Splatting技術(shù)發(fā)展的關(guān)鍵點(diǎn),展望Nerf和Gaussian Splatting發(fā)展的方向。 徐楓 長(zhǎng)聘副教授,清華大學(xué) 講者簡(jiǎn)介:徐楓,清華大學(xué)軟件學(xué)院長(zhǎng)聘副教授,博士生導(dǎo)師。研究方向包括人工智能、虛擬/增強(qiáng)現(xiàn)實(shí)、智慧醫(yī)療等。相關(guān)工作發(fā)表在Nature Medicine, Lancet Digital Health, NEJM AI, Cell Reports Medicine, PRL,ACM Siggraph, CVPR等國(guó)際權(quán)威期刊和會(huì)議上。擔(dān)任CCF A類期刊IEEE TVCG編委,會(huì)議Siggraph、Siggraph Asia程序委員,ICCV領(lǐng)域主席,擔(dān)任中國(guó)人工智能學(xué)會(huì)副秘書長(zhǎng),中國(guó)人工智能學(xué)會(huì)腦科學(xué)與人工智能專委會(huì)副主任委員,中國(guó)電子學(xué)會(huì)虛擬現(xiàn)實(shí)分會(huì)副主任委員。獲得中國(guó)圖象圖形學(xué)學(xué)會(huì)技術(shù)發(fā)明一等獎(jiǎng)(第1發(fā)明人)。(主頁(yè):http://xufeng.site) 報(bào)告題目: 基于便捷設(shè)備的數(shù)字人構(gòu)建 報(bào)告摘要:數(shù)字人構(gòu)建是計(jì)算機(jī)圖形學(xué)中的重要研究問(wèn)題,廣泛應(yīng)用于電影、游戲中的角色動(dòng)畫制作。隨著相機(jī)等感知設(shè)備性能與人工智能等技術(shù)的不斷提高,數(shù)字人構(gòu)建從依賴專業(yè)設(shè)備、復(fù)雜計(jì)算逐漸便捷化、輕量化,未來(lái)有希望下沉到終端應(yīng)用,普通用戶也有可能使用日常采集和計(jì)算設(shè)備實(shí)現(xiàn)數(shù)字人構(gòu)建。本報(bào)告圍繞基于便捷設(shè)備的數(shù)字人構(gòu)建技術(shù),對(duì)數(shù)字人的幾個(gè)重要部分,即面部、手部、肢體進(jìn)行分別敘述,介紹不同部分的不同挑戰(zhàn)難題,各類解決方案的基本思想以及最新的前沿趨勢(shì)。希望通過(guò)本報(bào)告使聽(tīng)眾了解數(shù)字人技術(shù),激發(fā)聽(tīng)眾對(duì)數(shù)字人技術(shù)未來(lái)發(fā)展的思考。 學(xué)術(shù)主任 周昆 教授,浙江大學(xué) CCF常務(wù)理事、計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)專委會(huì)主任,浙江大學(xué)計(jì)算機(jī)學(xué)院教授,國(guó)際計(jì)算機(jī)學(xué)會(huì)會(huì)士 (ACM Fellow),國(guó)際電氣電子工程師協(xié)會(huì)會(huì)士 (IEEE Fellow)。1997年獲浙江大學(xué)工學(xué)學(xué)士學(xué)位,2002年獲浙江大學(xué)工學(xué)博士學(xué)位,2007年入選教育部長(zhǎng)江學(xué)者特聘教授,2008年獲國(guó)家杰出青年科學(xué)基金,國(guó)家自然科學(xué)基金創(chuàng)新研究群體負(fù)責(zé)人?,F(xiàn)任浙江大學(xué)計(jì)算機(jī)輔助設(shè)計(jì)與圖形系統(tǒng)全國(guó)重點(diǎn)實(shí)驗(yàn)室主任。 高林 研究員,中國(guó)科學(xué)院計(jì)算技術(shù)研究所 高林,中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員,博士生導(dǎo)師,泛在計(jì)算系統(tǒng)研究中心副主任,入選國(guó)家自然科學(xué)基金委優(yōu)青、北京市杰青、英國(guó)皇家學(xué)會(huì)牛頓高級(jí)學(xué)者。圍繞著計(jì)算機(jī)圖形學(xué)和生成式人工智能開(kāi)展研究工作,發(fā)表高水平論文100余篇。獲得亞洲圖形學(xué)會(huì)青年學(xué)者獎(jiǎng)、中國(guó)人工智能學(xué)會(huì)優(yōu)秀青年獎(jiǎng),CCF技術(shù)發(fā)明一等獎(jiǎng),CCF CAD&CG 開(kāi)源軟件獎(jiǎng)等獎(jiǎng)勵(lì)。 時(shí)間:2024年12月20日-22日 地址:北京?中科院計(jì)算所四層報(bào)告廳(北京市海淀區(qū)中關(guān)村科學(xué)院南路6號(hào)) 報(bào)名須知: 1、報(bào)名費(fèi):CCF會(huì)員2800元,非會(huì)員3600元。食宿交通(費(fèi)用)自理。根據(jù)交費(fèi)先后順序,會(huì)員優(yōu)先的原則錄取,額滿為止。本期ADL為線下活動(dòng),請(qǐng)到北京現(xiàn)場(chǎng)參會(huì)。(如果確有特殊情況,不能到現(xiàn)場(chǎng)參會(huì),可以線上參會(huì),請(qǐng)會(huì)前發(fā)郵件到adl@ccf.org.cn郵箱說(shuō)明情況。線上線下報(bào)名注冊(cè)費(fèi)用相同。線上會(huì)議室號(hào)將在會(huì)前1天通過(guò)郵件發(fā)送。) 2、報(bào)名截止日期:2024年12月18日。報(bào)名請(qǐng)預(yù)留不會(huì)攔截外部郵件的郵箱,如qq郵箱。會(huì)前1天將通過(guò)郵件發(fā)送會(huì)議注意事項(xiàng)和微信群二維碼。如果屆時(shí)未收到郵件,請(qǐng)務(wù)必咨詢郵箱adl@ccf.org.cn。 3、咨詢郵箱 : adl@ccf.org.cn 繳費(fèi)方式: 在報(bào)名系統(tǒng)中在線繳費(fèi)或者通過(guò)銀行轉(zhuǎn)賬: 銀行轉(zhuǎn)賬(支持網(wǎng)銀、支付寶): 開(kāi)戶行:招商銀行股份有限公司北京海淀科技金融支行 戶名:中國(guó)計(jì)算機(jī)學(xué)會(huì) 賬號(hào):110943026510701 報(bào)名繳費(fèi)后,報(bào)名系統(tǒng)中顯示繳費(fèi)完成,即為報(bào)名成功,不再另行通知。 報(bào)名方式: 請(qǐng)選擇以下兩種方式之一報(bào)名: 1、掃描(識(shí)別)以下二維碼報(bào)名: 2、點(diǎn)擊報(bào)名鏈接報(bào)名: https://conf.ccf.org.cn/ADL155