Style Transfer AI Images (2)

風格轉移實驗之二

實驗概念

延續Style Transfer AI Images (1)的初步感想:Style Transfer應可以做為藝術家進行過去風格反思、重建、創新、演繹的工具,目的是追求超越、與可能性的推展。因此,這次我找到一些在2003年間在台北拍的照片、以及當時用Photoshop完成的構圖(尚未以其他媒材實現),來進行Style Transfer運算。〈藍天之下 Under the Blue Sky〉(2004) (圖一)是我在師大美術系的畢業製作油畫作品,尺寸為200F,當時候用了厚疊的筆觸,讓顏料像是浮雕一樣的黏在畫布上,這次以這張作品的風格模型來進行,也就是讓風格、被轉換的影像都來自2003-2004年間。

圖一 藍天之下 Under the Blue Sky 油畫畫布 200F 李炳曄 (2004)

實驗過程

Style Transfer AI Images (1)的步驟大同小異,同樣在Spell雲端運算平台上,花了超過14天來運算出風格模型(圖二),再轉換為ml5.js可用的模型來進行風格轉移。


圖二 雲端平台Spell整整14天又15小時的運算過程

完成風格轉移影像


如同上述,這次就針對過去未完成的構圖、素材、風格來做實驗,完成影像如上,我歸納出以下幾點心得:

  1. 完成的畫面出現蠻多規律、重複的圖紋,造成影像看起來不太自然。尤其是原始影像是單一色彩平塗的地方,AI會嘗試模仿油畫筆觸來填滿,但又無法達到隨機性,看起來有點尷尬。
  2. 比較滿意的是「05構圖之一」、「06構圖之二」兩張,可見預先處理過的構圖、色彩較豐富的構圖,可以讓完成的圖像比較多變化。
  3. AI可將平面感強烈的影像轉為有深度感的影像,如「07線性」所示,這個我認為是有趣的,也有發展的空間。
  4. 「03火車貨櫃車廂」上的字體的筆觸效果不錯,未來或許可以結合影像風格和文字的語義來進一步創作。
  5. 「02建物」、「04旋轉梯建物」 由原本還算整齊的建物框架,轉為像是在燃燒的、自由的造型,這也算不錯。
  6. 整體而言,似乎看到了風格轉移作為創作的侷限性與可能性。侷限性在於:很容易掉入「風格套用」的無聊邏輯;可能性在於:若能在風格影像、原始影像、畫面中的語意此三方之間找到連接點,再思考展示的方式,應可以打造出有趣的空間。

Credits

Fast style transfer implementation in tensorflow by Logan Engstrom
Fast style transfer in deeplearn.js by Reiichiro Nakano
p5.js style transfer tutorial by Yining
p5.js: https://p5js.org
ml5.js: https://ml5js.org/
Python and Virtualenv: https://youtu.be/nnhjvHYRsmM