MAGIC:AI 3D創作來了？“搶飯碗”成真

來源：VR陀螺

作者：元橋

圖片來源：由無界AI工具生成

VR一直都以輕量化內容為主，缺重度內容已久。

重度內容相較于輕量化內容更能滿足用戶的沉浸式體驗，以游戲為例，好的體驗感需要大量高精度3D素材，豐富的游戲角色和精美的畫面場景，在此基礎上增加空間感知與交互、玩法等。

傳統的建模方式不僅成本較高而且具備較高的門檻，同時人工建模領域優秀的建模師稀缺，這也使成本再次上升。因此，業內都在尋求高效且低成本的3D內容生成方式。

近期，生成式AI爆火，從AIGC到3D模型，各大公司都開始自研或發布AI3D創作解決方案。例如騰訊AILab提出自研3D虛擬場景自動生成解決方案，幫助游戲開發者以更低成本創造風格多樣、貼近現實的虛擬城市，提升3D虛擬場景的生產效率。

生成式AI僅僅依靠一張圖片或者輸入關鍵文字就能轉化成3D模型，這種驚人的創作很快就讓人對這個領域產生了一連串的暢想：AI3D創作真的要來了嗎？內容創作者的飯碗還穩嗎？以下將從VR內容制作的兩個重要環節：建模與渲染進行分析。

AI3D建模正加速到來?

3D素材是包括游戲、影視、社交等所有3D應用的基石，如果可以通過輸入文本快速生成三維模型，3D建模師就可以結合這項技術提高工作的效率，達到降本增效的效果，而海量的3D素材無疑會進一步推動VR的發展。

以比特幣計價的人壽保險提供商Meanwhile完成1900萬美元融資，OpenAI CEO等投資:6月6日消息，以比特幣計價的人壽保險提供商 Meanwhile 宣布在兩輪種子輪中完成 1900 萬美元融資，第一輪由 OpenAI 首席執行官 Sam Altman 和 Stripe issuing 前負責人 Lachy Groom 共同領投，第二輪由 Gradient Ventures 領投。

Meanwhile 表示，這筆資金使其能夠獲得保險監管機構百慕大金融管理局的許可和監管，并聘請初始團隊推出第一款產品——比特幣（BTC）計價的終身人壽保險。[2023/6/6 21:20:13]

前面也提到由于人工建模需要花費大量的時間和成本，因此很難滿足AR/VR對3D素材的需求。若想推動元宇宙產業快速發展，海量的3D素材少不了，這也是為什么各大企業都在紛紛研發結合AI創建3D建模的技術。

2022年谷歌曾發表過一篇論文《DreamFusion：Text-To-3DUsing2DDiffusion》，詳細概述了“DreamFusion”。簡單來看，“DreamFusion”是先使用一個預訓練2D擴散模型基于文本提示生成多個視角的3D視圖，再依據NeRF重建。

NeRF與Imagen互相影響，沒有一個訓練得比較好的NeRF，Imagen很難生成連貫的多視角圖；反之，就得不到好的NeRF。于是作者提出NeRF和Imagen來回迭代的方法。這種來回迭代有個缺陷是耗時，如來回迭代15000次，生成一個模型就需要在4塊TPUv4上訓練1.5小時。

AI Meta Club治理代幣AMC已上線土耳其交易所CointTR:據官方公告，AI 元宇宙項目 AI Meta Club 治理代幣 AMC 于新加坡時間 6 月 6 日 16:00 在土耳其交易所 CointTR 上線，開盤價為 0.3392 美元，最高價為 10.256 美元，現價 6.83 美元，漲幅 1915%。

據悉，AI Meta Club 是首個實現 AI 文字生成圖片的 Web3 項目。因通過 AI 仿聲，AI 圖片生成、AI 作曲等多項技術結合，為馬斯克前女友 Grimes 生成歌曲而知名。[2023/6/6 21:18:59]

圖：3DNeRF和2D生成模型來回迭代優化

目前很多三維方法都是基于NeRF所生成的，這種方式生成的三維物體在效率、渲染、質量上都有顯著的提升，但現階段還不能做結構數據，也就是Mesh，無法用來開發VR重度內容。關于NeRF詳細介紹，可以參閱VR陀螺近期文章《高效低成本構建元宇宙場景：NeRF神經輻射場》

2022年，英偉達也發表了一篇關于《Magic3D：High-ResolutionText-to-3DContentCreation》的論文。文中闡述了生成式AI如何無需特殊培訓也可創建3D模型的過程。

加密資產管理公司Mai Capital獲香港證監會批準提供100%加密基金:4月12日消息，香港加密資產管理公司Mai Capital Limited已獲得香港金融市場監管機構證券及期貨事務監察委員會(SFC)的批準，允許該公司提供100% 的加密基金以管理資產。

據悉，Mai Capital已經運營了兩只以加密為主題的對沖基金，僅接受機構和合格專業投資者的投資。（financemagnates）[2022/4/12 14:20:00]

隨著近期AIGC的爆火，Magic3D在業內得到了極大的關注。也正因為看到Magic3D建模的效果，業內人士普遍認為AI3D創作真的要來了。

Magic3D將重建過程分成了兩部分，一是先使用低分辨率創建粗略的模型，到第二階段從粗神經表示初始化的紋理網格模型，使用與高分辨率潛在擴散模型交互的高效可微的光柵化渲染器進行優化。類似于DreamFusion使用文本到生成2D圖像，然后基于NeRF創建3D模型一般。

Magic3D還可以根據給定主題實例輸入圖像，使用DreamBooth微調擴散模型，并使用給定的提示優化3D模型。

同時，只需要40分鐘左右，Magic3D就可以創建一個帶有彩色紋理的3D網格模型，相比DreamFusion快了2倍。

目前DreamFusion和Magic3D尚未開源，同時也未達到商業化的成熟度。AI創作對數據、算法有著極高的要求，而3D數據又具有天然的稀缺性，難收集等特點，即便有了龐大的數據，AI如何從龐大的數據中學習創作也是一個問題；而從2D直接擴展到3D，也需要極大的計算量，如何加快優化速度，如何撰寫正確的腳本都是需要解決的算法問題。

RAI Finance Beta 2.0 版本公測將延長至 10 月 21 日結束:10月14日消息，綜合性跨鏈交易協議 RAI Finance 決定將全球公測活動延長至 10 月 21 日結束，以讓用戶有更長的時間體驗測試兌換、社交交易等功能，同時 RAI Finance 將基于原來的獎勵再增加 9 位獲獎用戶名額。截止目前，共有數千名用戶參與 RAI Finance Beta 2.0 版本公測，使用社交交易系統 STS功能創建的投資組合（Portfolio）近 3000 個，半數以上用戶跟投了投資組合策略。[2021/10/14 20:28:49]

此外，AI3D創作在落地場景、可行性的商業化路徑、技術風險等方面都尚無法達到工業化的生產標準，甚至還有很長一段路要走，據業內預估可能五年或長達十年之久。但可以看到的是ChatGPT已經可以根據一段文字描述進行編碼生成腳本，而GPT-5大模型也在籌備中了，就像互相迭代一樣，通過不斷地反饋更改，AI會變得越來越智能，所生成的編碼會逐步優化升級，達到初步使用的需求。

一旦生成式AI的3D創作技術成熟，就可以加速VR游戲、視頻以及應用程序的開發。屆時，或將會解決VR海量內容需求的一大痛點。

AI實時渲染：技術仍有限?

除了建模，VR內容制作另一個重要環節便是渲染了。渲染對用戶體驗有直接的影響，一般在AR/VR場景中，為了能夠實現靈活的交互方式和豐富的感官體驗，需要在內容生產中提升配套的實時渲染能力。

公告 | 雪碧交易平臺2月25日開啟Deep AI Network的認購:據官方消息，Deep AI Network（簡稱DAN）將于雪碧交易平臺開啟兩輪認購，第一場2月25日17時-18時，1DAN=0.12USDT；第二場2月26日17時-18時，1DAN=0.24USDT，用戶認購前需實名且持有7000個XB。平臺將于2月27日14:00開放DAN/USDT交易。

深度AI網絡（Deep AI Network），是一個實踐了“人工智能+區塊鏈”的區塊鏈產品，能夠在區塊鏈上實現智能協作、開源的底層系統，打造了一個平臺，提供了相應的編程語言，使開發人員能夠利用人工智能算力和區塊鏈技術來建立和發布分布式應用。

雪碧交易平臺成立于2019年，創始團隊來自火幣，已獲得BiKi產業基金戰略投資，注冊用戶約10萬，是一家“社區聯邦制”的數字資產交易平臺。[2020/2/24]

相對于傳統的非實時渲染，實時渲染所見即所得，能夠更加直觀地看到輸出效果，方便制作人員進行調整。目前，人工智能已經開始在實時運算渲染領域初顯本領了。

近期，海外一款名為ArkoAI的人工智能渲染器在設計創作領域得到了極大關注，以插件形式安裝在SketchUp、Rhino、Revit中。

使用者只需要輸入關鍵詞，僅幾秒就可以渲染出較好的效果圖；同時還可以將模型置于不同的場景中，即便是簡單的幾何形體也能渲染出效果圖。

ArkoAI的初衷是簡化設計師繁瑣的工作流程，但目前還只是一個簡單的AI生成器，生成的圖片大部分是關于建筑和室內領域；同時，渲染水平也停留在比較初級的階段，對建筑風格和結構的理解非常有限。前面也提到AI的核心是算法和數據，在渲染層面亦是如此。

目前AI渲染還達不到真正的使用需求，同時在多次輸入相同關鍵詞的情況下，渲染的圖會逐漸變得模糊甚至走形，AI的“智能”程度仍然有限。

雖然還不能切入VR內容的創作層面，但是這個風向標卻越來越清晰了。

在GTC2023大會上，英偉達也針對AI視頻、圖像生成、大型語言模型、圖形渲染等推出了NVIDIAL40，旨在利用AI加速渲染，基于數據和神經網絡訓練方法形成的自動化的材質生產鏈路，具有高度還原離線材質、速度快、且能夠快速迭代的優勢。

此外，如前面提到的英偉達Magic3D也可以從文字描述中渲染出彩色紋理的3D網格模型，例如最近比較火的“一只坐在睡蓮上的藍色鏢蛙”。

Meta、微軟、谷歌等企業也都在投資實時3D渲染，在未來數年里，無論是AI渲染還是AI建模的技術都會比現在進化的更好，無疑會給3D創作帶來巨大的進步，也將會使創作環節變得更快、制作成本更低。

AI的觸角在3D創作設計領域延伸的越來越深，甚至日本已經有企業開始采用AI作畫實現商業化運行了。從AI到AI3D建模再到實時渲染，我們正在經歷“技術改變創作領域甚至一切設計工作”這一場景。隨著研發深入，未來創作者直接輸入會變得更少，3D素材呈現巨量增長的態勢。

AI搶工作成定局？

在人工智能普遍成為各行各業的底層技術背景下，大家都在思考AI還能做什么？我們的工作是不是正在面臨被淘汰的局面？不僅在科技領域，傳統行業如律師、編輯等都發出了相似的感嘆。甚至也有機構作出細化分析，哪些職位未來不會被取代。一夜之間，所有人對AI的恐慌好像都上了一個層次。

其實AI創作會不會真的搶人類的“飯碗”得就具體崗位而論，就像工業4.0大潮中替代一線工人的機器人一樣，甚至有些工廠已經實現了全自動化運行，大量不需要創意、簡單且重復性的勞動已經被替代。

本輪AI的大潮與工業4.0的本質區別在于“智能化”，AI已經展現出“創作”的能力，即使目前的創意還能看到諸多樣本的痕跡，建模和渲染的AIGC能力也還處于早期，但AI在部分領域能提升生產力已經成為不爭的事實。

與其擔心自己的工作是否會被AI替代，不如思考如何結合AI將現有的工作更完美地完成，如何讓AI變得更好，因為被錯誤的大數據喂養，扭曲AI的認知，那時AI做的事情可能會超越人類的底線。

《失控》的作者凱文·凱利認為“未來將有數以萬計創業公司，他們會從事人工智能用于某一個領域的工作。使用者越來越多的話，機器會越來越聰明，這是一種滾雪球的方式。”

也就是說技術進步是必然的，同時由于基礎數據不斷擴大，機器的思維方式會變得越來越靈活。但技術給社會帶來的變革，并不是以搶工作為最終目標，而是成為一種提升效率的生產方式。

凱文·凱利也曾在一次演講中表示，每一項新技術的誕生都會引發一場恐慌周期，一般會經歷7個階段：

別讓我看到這些垃圾，根本沒用。

好吧，這東西確實發生了，但是很危險，因為效果并不好。

等等，它太好用了，我們必須得做點什么擾亂它！

這東西太強大了，對于那些無法觸達它的人來說是不公平的。

現在它無處不在，無法逃離，這不公平。

我打算戒掉它，戒一個月。

讓我們關注真正重要的問題ーー下一個會出現的技術是什么？

其實大多數人對新技術持負面態度多源于對技術的不了解，當人們不了解一樣產品的時候，往往會持有不看好的態度。但細究下來會發現技術做的事情只是在讓原有東西變得更加智能，例如AI輔助飛機駕駛，飛行員只要做好基礎的操作，剩下的都是AI在駕駛飛機，可以有效緩解飛行員一路的疲勞與提高飛行安全程度。

因此，AI3D的創作也并不會真正取代建模師以及渲染師的工作，反而可以多維度地給建模師提供多重視角，也讓建模師可以從繁瑣的工作中簡化出來，做更有意義的事情。但我們總會抱著戲謔的態度看待AI，以古怪刁鉆的問題去調戲AI，從而給人工智能定義上“人工智障”的名號。

順理成章的把AI看作人類的對立面，也理所應當的不會樂于接受新技術的到來。馬斯克曾說過一句話，無論你接受與不接受，無論人類如何呼吁停止采用新技術，總會有企業在馬不停蹄地研究，在你不知道的地方，不知道的領域，它會在某一天就來了。

與此同時，毋庸置疑的是人工智能在某一方面已經開始比人類聰明了，甚至可以跨專業地協同工作。但由于機器與人類的思考方式不同，機器變得越聰明時反而會推動人類工作的進步。此外，技術的進步也會創造出新的工作，改變就業的生態格局，人+AI將是未來任何工作領域的一個普遍現象。

參考文獻

元宇宙時代超高清視音頻技術白皮書

凱文凱利：AI將改變一切設計工作https://www.wired.com/story/picture-limitless-creativity-ai-image-generators/

https://research.nvidia.com/labs/dir/magic3d/

TaichiNeRF(下):關于3DAIGC的務實探討

Tags：MAGNERNERFMAGICMEMAG價格nervosckbNERF價格MagicTheLeagueCoin

AVAX