漫畫(huà)生產(chǎn)自動(dòng)化 小冰、百度們有興趣嗎?

　 域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過(guò)

文/ 智能相對(duì)論（ID：aixdlun）

作者/ 離離

近年，由于網(wǎng)絡(luò)的普及，動(dòng)漫作品傳播的速度不斷加快，二次元文化的受眾數(shù)量不斷上升，影響范圍也越來(lái)越廣泛。

如去年完結(jié)的日漫《鬼滅之刃》就成功“出圈”，掀起了現(xiàn)象級(jí)熱潮。原著漫畫(huà)為2020年日本漫畫(huà)銷(xiāo)量冠軍，累計(jì)發(fā)行量突破1億2000萬(wàn)冊(cè)(含電子版)，為第二名的十倍有余。其劇場(chǎng)版動(dòng)畫(huà)電影《鬼滅之刃：無(wú)限列車(chē)篇》上映后，更是在短時(shí)間內(nèi)突破300億日元票房，并持續(xù)刷新日本影史的各項(xiàng)紀(jì)錄。

看著日益廣闊的動(dòng)漫市場(chǎng)，一些廠商開(kāi)始嘗試?yán)萌斯ぶ悄軄?lái)推動(dòng)漫畫(huà)生產(chǎn)，希望能實(shí)現(xiàn)漫畫(huà)生產(chǎn)的自動(dòng)化，在提高生產(chǎn)效率的同時(shí)減少人力成本。

Made in AI的漫畫(huà)

“智能相對(duì)論”查到，一般的漫畫(huà)創(chuàng)作過(guò)程大致可分為三部份: 一是人物形象設(shè)計(jì)；二是故事編排，包含情節(jié)、對(duì)話等文學(xué)腳本的寫(xiě)作；三是角色、場(chǎng)景與分鏡配置等漫畫(huà)繪制。每位漫畫(huà)家都有不同的繪畫(huà)風(fēng)格和敘事方式。

去年，日本鎧俠株式會(huì)社(Kioxia Corporation)的研究人員與手冢工作室的藝術(shù)團(tuán)隊(duì)合作，利用人工智能深度學(xué)習(xí)技術(shù)完成世界上第一部由人類(lèi)與AI協(xié)作的漫畫(huà)作品《PHAEDO》，高度還原了已故知名漫畫(huà)家手冢治蟲(chóng)的漫畫(huà)風(fēng)格。

為了讓人工智能學(xué)習(xí)手冢的畫(huà)風(fēng)與筆觸，研究團(tuán)隊(duì)收集了十五萬(wàn)張手冢漫畫(huà)手稿，利用圖像識(shí)別技術(shù)將其分類(lèi)標(biāo)記，將角色面容等圖像特征轉(zhuǎn)換為數(shù)據(jù)，再利用多個(gè)NVIDIA V100 GPU和cuDNN加速的TensorFlow深度學(xué)習(xí)框架(由StyleGAN編寫(xiě))進(jìn)行訓(xùn)練和推理。

在角色生成的訓(xùn)練中，研究團(tuán)隊(duì)還使用了手冢治蟲(chóng)作品以外的多部不同漫畫(huà)的人物臉孔和真實(shí)的人臉照片來(lái)進(jìn)行訓(xùn)練，建立對(duì)抗性神經(jīng)網(wǎng)絡(luò)模型StyleGAN，讓其充分學(xué)習(xí)不同風(fēng)格、不同角度的漫畫(huà)人臉畫(huà)風(fēng)。

再使用遷移學(xué)習(xí)來(lái)整合成千上萬(wàn)個(gè)數(shù)據(jù)點(diǎn)，從粗糙的輪廓描繪逐漸細(xì)化至眼睛、嘴唇等細(xì)節(jié)，讓AI所繪制的人像與手冢原作更加相似。

在腳本創(chuàng)作方面，研究團(tuán)隊(duì)將《森林大帝》《鐵臂阿童木》和《怪醫(yī)黑杰克》等上百個(gè)手冢治蟲(chóng)的漫畫(huà)作品分解為多個(gè)段落，作為AI“學(xué)習(xí)”的對(duì)象。

分析了這些故事后，AI便能自動(dòng)生成多個(gè)故事大鋼。但這些由AI創(chuàng)作的故事中存在許多邏輯錯(cuò)誤，且只有五分之一具有意義，并充滿(mǎn)讓人意料之外的情節(jié)。

對(duì)于AI故事創(chuàng)作的不足，研究團(tuán)隊(duì)還是抱持較為樂(lè)觀的態(tài)度，將這些另類(lèi)的想法和飛躍視為手冢治蟲(chóng)漫畫(huà)作品之特色。最后，通過(guò)手冢工作室藝術(shù)團(tuán)隊(duì)的人工校正，《PHAEDO》的劇本才得以完成。這部作品已發(fā)表于日本漫畫(huà)雜志《Morning》與鎧俠的項(xiàng)目網(wǎng)站“TEZUKA 2020”。

影視劇改漫AI實(shí)現(xiàn)自動(dòng)化

除了現(xiàn)有的漫畫(huà)作品，真人影集也是漫畫(huà)的靈感來(lái)源之一。近期，來(lái)自大連理工大學(xué)和香港城市大學(xué)的研究團(tuán)隊(duì)提出了一款將視頻自動(dòng)轉(zhuǎn)換為靜態(tài)漫畫(huà)頁(yè)面的AI系統(tǒng)，為人工智能圖像生成技術(shù)開(kāi)拓了新的應(yīng)用道路。

與前陣子在各大社交軟件上流行的，將靜態(tài)照片變成動(dòng)畫(huà)的Avatarify相反。這款漫畫(huà)生成系統(tǒng)無(wú)需用戶(hù)手動(dòng)調(diào)整，即可將電視連續(xù)劇、電影、卡通等任意種類(lèi)的影片，自動(dòng)變成帶有對(duì)話框及文字內(nèi)容的漫畫(huà)頁(yè)面。

首先，系統(tǒng)會(huì)依照每段字幕的時(shí)間將視頻分割成多個(gè)鏡頭，并藉由分析連續(xù)鏡頭的相似度與對(duì)話內(nèi)容，從中提取要轉(zhuǎn)換成漫畫(huà)的關(guān)鍵幀畫(huà)面。再將選取的關(guān)鍵幀源圖像轉(zhuǎn)換為黑白圖像，執(zhí)行量化與彩色風(fēng)格化，造就出“漫畫(huà)”風(fēng)格的圖像。

隨后，根據(jù)關(guān)鍵幀的興趣區(qū)域、重要性等級(jí)、彼此間的語(yǔ)義關(guān)系和頁(yè)面上的面板數(shù)量來(lái)決定漫畫(huà)的分格大小及數(shù)量，生成多頁(yè)面布局。

研究團(tuán)隊(duì)通過(guò)參考漫畫(huà)書(shū)中對(duì)話框形狀的多樣性，使用三種不同的氣泡形狀對(duì)應(yīng)不同情感的語(yǔ)句。并利用一些動(dòng)漫視頻與相應(yīng)漫畫(huà)作為訓(xùn)練素材，幫助系統(tǒng)學(xué)習(xí)識(shí)別影片中的聲音、字幕情感與相應(yīng)的氣泡形狀。

利用文本總結(jié)算法，系統(tǒng)可將相關(guān)字幕進(jìn)行合并，確保對(duì)話框中的句子不會(huì)太長(zhǎng)，增強(qiáng)可讀性。再通過(guò)發(fā)言人物檢測(cè)和唇動(dòng)檢測(cè)，將帶有發(fā)言?xún)?nèi)容的對(duì)話框放置在所屬人物附近。

該系統(tǒng)現(xiàn)階段依然有一些尚待解決的問(wèn)題。例如關(guān)鍵幀的選擇上，一些畫(huà)面的相似度過(guò)高，仍有多余畫(huà)面；無(wú)字幕的視頻，單就語(yǔ)音識(shí)別生成的臺(tái)詞易出現(xiàn)錯(cuò)誤。雖然相較于其它方法生成的改漫作品，該系統(tǒng)的反響良好，但總體而言仍處于試驗(yàn)階段。研究團(tuán)隊(duì)表示，下一步希望能利用文本信息生成漫畫(huà)。

AI漫畫(huà)家走到哪了

“智能相對(duì)論”從《PHAEDO》和AI改漫系統(tǒng)的誕生可見(jiàn)，現(xiàn)階段的人工智能尚未具備獨(dú)立完成一部漫畫(huà)作品的能力。在文學(xué)藝術(shù)的創(chuàng)作上，AI尚未成熟；但在漫畫(huà)繪制過(guò)程中，AI對(duì)于畫(huà)風(fēng)與筆觸的模擬可說(shuō)是“以假亂真”。

在二次元經(jīng)濟(jì)大規(guī)模崛起的環(huán)境下，中國(guó)的動(dòng)漫產(chǎn)值在近年步步高升，漫畫(huà)市場(chǎng)規(guī)模也呈現(xiàn)穩(wěn)定增長(zhǎng)。這兩項(xiàng)技術(shù)若實(shí)現(xiàn)商業(yè)化，可讓漫畫(huà)家們從枯燥無(wú)味的重復(fù)勞動(dòng)中解放，集中心力完成情節(jié)、對(duì)話設(shè)置等藝術(shù)原創(chuàng)。不但能加快生產(chǎn)速度，同時(shí)也能減少人力成本，可說(shuō)是具有一定的商業(yè)價(jià)值。

目前國(guó)內(nèi)部份公司已具備自動(dòng)制作漫畫(huà)所需的人工智能圖像識(shí)別、圖像繪制及文本自動(dòng)生成技術(shù)，可說(shuō)是具有進(jìn)入此市場(chǎng)的技術(shù)基礎(chǔ)。但漫畫(huà)自動(dòng)生成并非只是這些技術(shù)的堆疊與排序，現(xiàn)有的商業(yè)應(yīng)用方向似乎也并未覆蓋漫畫(huà)創(chuàng)作，還需要特定的數(shù)據(jù)庫(kù)和算法模型加以訓(xùn)練。

以人工智能生成動(dòng)漫圖象的技術(shù)為例，現(xiàn)在最普遍的商業(yè)模式為面向B端，替拍照軟件提供美漫、日漫、3D立體動(dòng)畫(huà)風(fēng)格的圖片生成服務(wù)。基于生成對(duì)抗網(wǎng)絡(luò)GAN算法，不少公司都推出了頭像改漫、漫畫(huà)背景濾鏡等服務(wù)，可將現(xiàn)實(shí)中的景觀與人像轉(zhuǎn)變成二次元?jiǎng)勇?huà)風(fēng)。

如百度大腦AI開(kāi)放平臺(tái)曾與B612咔嘰美顏相機(jī)合作，為用戶(hù)提供量身定做的二次元漫畫(huà)頭像定制、油畫(huà)風(fēng)格轉(zhuǎn)換服務(wù)。

騰訊光影研究室在QQ小世界、微視App、微博等社交平臺(tái)上推出的“王者臉”、“童話臉”等各類(lèi)AI特效應(yīng)用，可將照片和直播視頻中的人物立刻變成游戲角色、真人“芭比”或“在逃公主”。

網(wǎng)易游戲《逆水寒》《天諭》的智能捏臉也是基于AI圖象生成技術(shù)。玩家上傳一張2D照片后，系統(tǒng)可自動(dòng)生成相似度超高的3D臉部模型，甚至連發(fā)型都能自動(dòng)生成。

這些基于圖片識(shí)別與生成對(duì)抗網(wǎng)絡(luò)的AI動(dòng)漫圖象生成技術(shù)可將已有的照片轉(zhuǎn)換為漫畫(huà)風(fēng)格，具有影視改漫自動(dòng)化的技術(shù)基礎(chǔ)。但要像TEZUKA 2020項(xiàng)目那樣“無(wú)中生有”固定風(fēng)格的漫畫(huà)作品，似乎還需要一些訓(xùn)練。

就這點(diǎn)而言，曾“就讀”中央美術(shù)學(xué)院的小冰或許離AI漫畫(huà)家更近一些。“學(xué)習(xí)”兩百多位著名人類(lèi)畫(huà)家的作品后，小冰可在接收到文本或其他創(chuàng)作刺激后獨(dú)立完成原創(chuàng)的命題畫(huà)作。不僅曾在中央美術(shù)學(xué)院美術(shù)館舉辦個(gè)人畫(huà)展，還將這項(xiàng)能力應(yīng)用于絲巾、服裝等紡織面料及圖案設(shè)計(jì)，實(shí)現(xiàn)商業(yè)化。

在故事腳本生成方面，雖然人工智能已具備撰寫(xiě)近體詩(shī)、新詩(shī)、新聞稿、廣告文案等各類(lèi)文體的能力，但目前對(duì)智能寫(xiě)作需求最大、黏性最強(qiáng)的四個(gè)市場(chǎng)分別是內(nèi)容資訊、金融財(cái)經(jīng)分析、數(shù)字營(yíng)銷(xiāo)和行政辦公。

因此，國(guó)內(nèi)已實(shí)現(xiàn)商業(yè)化的AI寫(xiě)作產(chǎn)品大多針對(duì)營(yíng)銷(xiāo)、政務(wù)等領(lǐng)域，以角色對(duì)話推進(jìn)故事發(fā)展的漫畫(huà)文稿等藝術(shù)創(chuàng)作方面的應(yīng)用較少。

如阿里發(fā)布的“AI智能文案”產(chǎn)品結(jié)合淘寶、天貓的海量?jī)?nèi)容與自然語(yǔ)言算法，聚焦于電商營(yíng)銷(xiāo)文案，可模擬多種風(fēng)格、自定義字?jǐn)?shù)并實(shí)時(shí)學(xué)習(xí)在線樣本，一秒內(nèi)可生成兩萬(wàn)條短標(biāo)題。

金山WPS智能寫(xiě)作的訓(xùn)練數(shù)據(jù)源于權(quán)威媒體與政府公開(kāi)網(wǎng)站，常用于公文寫(xiě)作。支持文本自動(dòng)生成、輔助成搞寫(xiě)作、智能素材推薦等服務(wù)，在政務(wù)系統(tǒng)的覆蓋率較高。

“智能相對(duì)論”看到，百度智能創(chuàng)作平臺(tái)也帶有自動(dòng)寫(xiě)作功能，既有針對(duì)財(cái)經(jīng)、體育數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)寫(xiě)作，還有智能寫(xiě)詩(shī)、智能春聯(lián)等API服務(wù)。而小冰框架不僅曾經(jīng)出版現(xiàn)代詩(shī)集，還為萬(wàn)得資訊、華爾街見(jiàn)聞等公司提供金融摘要自動(dòng)生成服務(wù)。

由此可見(jiàn)，雖然制作漫畫(huà)所需的AI技術(shù)已發(fā)展出較為成熟的商業(yè)模式，但這些技術(shù)大多被作為單獨(dú)的服務(wù)或產(chǎn)品分開(kāi)使用，應(yīng)用方向也各有不同。 比起其他的AI系統(tǒng)，小冰和百度等同時(shí)具備文本寫(xiě)作與繪畫(huà)能力的人工智能框架可能較有成為AI漫畫(huà)家的潛力，但目前看來(lái)，國(guó)內(nèi)公司似乎并未將人工智能大規(guī)模應(yīng)用于漫畫(huà)生產(chǎn)，更別說(shuō)是形成“一條龍”的漫畫(huà)自動(dòng)生成產(chǎn)業(yè)鏈。

2015年，中國(guó)的漫畫(huà)產(chǎn)業(yè)進(jìn)入了高速增長(zhǎng)期，并持續(xù)保有較高的增長(zhǎng)率，在2019年開(kāi)始進(jìn)入平穩(wěn)增長(zhǎng)期。據(jù)2020年6月發(fā)布的《2020微博動(dòng)漫白皮書(shū)》顯示，微博泛二次元用戶(hù)同比增長(zhǎng)11.4%，連續(xù)4年保持增長(zhǎng)；54%的動(dòng)漫用戶(hù)是內(nèi)容付費(fèi)用戶(hù)。

在二次元用戶(hù)數(shù)量與市場(chǎng)規(guī)模不斷擴(kuò)增的今日，消費(fèi)者逐漸養(yǎng)成為內(nèi)容付費(fèi)的習(xí)慣，付費(fèi)商業(yè)模式助于刺激生產(chǎn)，創(chuàng)作者們也不斷探索新的漫畫(huà)表現(xiàn)形式。如介于動(dòng)畫(huà)與漫畫(huà)之間的動(dòng)態(tài)漫畫(huà)、經(jīng)由用戶(hù)觸摸或搖晃設(shè)備而推動(dòng)內(nèi)容情節(jié)發(fā)展的互動(dòng)漫畫(huà)。

無(wú)論是需要耗費(fèi)大量人力的靜態(tài)漫畫(huà)，還是這些制作周期更長(zhǎng)、投入成本更高的新形態(tài)漫畫(huà)，若能在內(nèi)容生產(chǎn)上降低成本、提高產(chǎn)出效率，不但能讓作者省下重復(fù)勞動(dòng)的時(shí)間精力，得以更專(zhuān)注于打磨作品；也能降低漫畫(huà)生產(chǎn)門(mén)檻，迸發(fā)出更多藝術(shù)可能。

在“國(guó)漫崛起”的現(xiàn)在，使用AI來(lái)加快漫畫(huà)生產(chǎn)似乎是個(gè)不錯(cuò)的想法。就像參與《Phaedo》項(xiàng)目的科學(xué)家松原仁所說(shuō)的，AI和人類(lèi)合作畫(huà)漫畫(huà)是理所當(dāng)然的未來(lái)。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！