虛幻引擎5技術(shù)解析：幾何圖像的思想
2021-1-19 18:25:50??????點擊：
2020年5月13日，Epic Game揭開了虛幻引擎5的神秘面紗，該公司發(fā)布的演示視頻驚艷了全球游戲業(yè)。虛幻引擎5的強大性能徹底地征服了計算機圖形學(xué)領(lǐng)域的學(xué)術(shù)同行和廣大玩家。這次技術(shù)飛躍使得游戲中的實時細(xì)節(jié)渲染更加逼近電影CG效果和真實的物理世界。
虛幻引擎5具備兩大全新核心技術(shù)：Nanite虛擬微多邊形幾何技術(shù)和Lumen動態(tài)全局光照技術(shù)。Nanite虛擬幾何技術(shù)的出現(xiàn)意味著由數(shù)以億計的多邊形組成的影視級藝術(shù)作品可以被直接導(dǎo)入虛幻引擎，Nanite幾何體可以被實時流送和縮放，因此無需再考慮多邊形數(shù)量預(yù)算、多邊形內(nèi)存預(yù)算或繪制次數(shù)預(yù)算了；也不用再將細(xì)節(jié)烘焙到法線貼圖或手動編輯細(xì)節(jié)層次（LOD），這必定是圖形學(xué)領(lǐng)域革命性的飛躍。
傳統(tǒng)方法
傳統(tǒng)的計算機圖形學(xué)技術(shù)中，三維幾何形狀用所謂的三角網(wǎng)格來表示。我們在曲面上稠密采樣，然后將采樣點三角剖分，記錄下三角網(wǎng)格的組合結(jié)構(gòu)信息，同時記錄下所有頂點的三維位置信息，我們由此來表達(dá)曲面形狀。相比于圖像，三角網(wǎng)格的組合結(jié)構(gòu)通常是不規(guī)則的，我們無法通過每個頂點的序號來預(yù)測頂點所在的區(qū)域。這種不規(guī)則性，使得三角網(wǎng)格無法直接用硬件表達(dá)和隨機存?。辉趲缀翁幚碥浖?，三角網(wǎng)格的數(shù)據(jù)結(jié)構(gòu)需要大量的指針，需要復(fù)雜精巧的算法來處理。
曲面幾何的細(xì)節(jié)由三角面片來表達(dá)，給定同樣的原始曲面，粗糙的幾何需要較低的采樣率和較少的三角面片（低模），精密的幾何表示需要更高的采樣率和更多的三角面片（高模）。低模提高了渲染速度，但是降低了畫面質(zhì)量；高解析度的三角網(wǎng)格降低渲染畫面的幀率，但是提高了畫面渲染質(zhì)量。在游戲中，為了達(dá)到實時交互的速度，根據(jù)人物距離鏡頭的遠(yuǎn)見，視角方向，我們可以動態(tài)選擇不同精密程度的三角網(wǎng)格。低模和高?？梢杂媒y(tǒng)一的數(shù)據(jù)格式來表示，動態(tài)改變解析度，這一幾何表示被稱為是LOD（Level Of Detail）表示，由
Nanite 幾何圖像方法
那么，Nanite的虛擬微多邊形幾何技術(shù)究竟高明在哪里？為什么一夜之間就可以摒棄人們數(shù)十年來積累的技術(shù)？很多計算機圖形學(xué)領(lǐng)域的專家分析，Nanite的幾何技術(shù)很有可能是基于老顧18年前與Gortler 教授、Hughes Hoppe合作的SIGGRAPH論文，“幾何圖像”。
如上討論，我們看到在圖形學(xué)中有兩種主要的數(shù)據(jù)結(jié)構(gòu)：表示幾何的不規(guī)則三角網(wǎng)格和表示紋理的規(guī)則圖像。為了處理這兩種迥然不同的數(shù)據(jù)，圖形處理單元（GPU）硬件中設(shè)置了兩條流水線，一條用于處理三角網(wǎng)格，另外一條用于出來紋理圖像。老顧當(dāng)時的想法是將兩種數(shù)據(jù)結(jié)構(gòu)統(tǒng)一成紋理圖像，從而拋棄三角網(wǎng)格的流水線，由紋理圖像的流水線處理幾何與紋理數(shù)據(jù)，從而簡化GPU的硬件設(shè)計，提高渲染速度
幾何圖像包含了三維曲面的全部幾何信息，自然可以被渲染成曲面。當(dāng)然，實際應(yīng)用中，我們也可以將高模曲面相對于低模曲面的位移也表示成幾何圖像，達(dá)到浮雕效果?？偠灾?，我們用圖像的數(shù)據(jù)結(jié)構(gòu)來統(tǒng)一幾何和紋理，每個曲面模型都表示成幾張巨大的紋理圖像。例如Nanite技術(shù)中的曲面包含幾何圖像、顏色紋理、金屬材質(zhì)紋理、光學(xué)特性等幾張紋理。這種規(guī)則的表示方法具有很多優(yōu)點，例如渲染過程中可以動態(tài)決定解析率（mipmap pyramid），可以動態(tài)細(xì)分加密（subdivision），動態(tài)生成紋理，例如存儲全局光照的中間計算結(jié)果等等。特別是，幾何圖像的格式，使得內(nèi)存訪問模式更加有規(guī)律，更加容易預(yù)測，從而提高內(nèi)存訪問效率，極大地提高了數(shù)據(jù)調(diào)度的速度。
那么，為什么18年前GPU沒有采用幾何圖像的技術(shù)路線呢？老顧覺得一個重要原因在于那時候曲面參數(shù)化技術(shù)還沒有出現(xiàn)，從三角網(wǎng)格到幾何圖像的轉(zhuǎn)換非常困難?，F(xiàn)在，由于計算共形幾何的理論和算法成熟，計算最優(yōu)傳輸映射也接近成熟，曲面參數(shù)化的問題不再是瓶頸。
展望
虛幻引擎5具備兩大全新核心技術(shù)：Nanite虛擬微多邊形幾何技術(shù)和Lumen動態(tài)全局光照技術(shù)。Nanite虛擬幾何技術(shù)的出現(xiàn)意味著由數(shù)以億計的多邊形組成的影視級藝術(shù)作品可以被直接導(dǎo)入虛幻引擎，Nanite幾何體可以被實時流送和縮放，因此無需再考慮多邊形數(shù)量預(yù)算、多邊形內(nèi)存預(yù)算或繪制次數(shù)預(yù)算了；也不用再將細(xì)節(jié)烘焙到法線貼圖或手動編輯細(xì)節(jié)層次（LOD），這必定是圖形學(xué)領(lǐng)域革命性的飛躍。
傳統(tǒng)方法
傳統(tǒng)的計算機圖形學(xué)技術(shù)中，三維幾何形狀用所謂的三角網(wǎng)格來表示。我們在曲面上稠密采樣，然后將采樣點三角剖分，記錄下三角網(wǎng)格的組合結(jié)構(gòu)信息，同時記錄下所有頂點的三維位置信息，我們由此來表達(dá)曲面形狀。相比于圖像，三角網(wǎng)格的組合結(jié)構(gòu)通常是不規(guī)則的，我們無法通過每個頂點的序號來預(yù)測頂點所在的區(qū)域。這種不規(guī)則性，使得三角網(wǎng)格無法直接用硬件表達(dá)和隨機存?。辉趲缀翁幚碥浖?，三角網(wǎng)格的數(shù)據(jù)結(jié)構(gòu)需要大量的指針，需要復(fù)雜精巧的算法來處理。
曲面幾何的細(xì)節(jié)由三角面片來表達(dá)，給定同樣的原始曲面，粗糙的幾何需要較低的采樣率和較少的三角面片（低模），精密的幾何表示需要更高的采樣率和更多的三角面片（高模）。低模提高了渲染速度，但是降低了畫面質(zhì)量；高解析度的三角網(wǎng)格降低渲染畫面的幀率，但是提高了畫面渲染質(zhì)量。在游戲中，為了達(dá)到實時交互的速度，根據(jù)人物距離鏡頭的遠(yuǎn)見，視角方向，我們可以動態(tài)選擇不同精密程度的三角網(wǎng)格。低模和高?？梢杂媒y(tǒng)一的數(shù)據(jù)格式來表示，動態(tài)改變解析度，這一幾何表示被稱為是LOD（Level Of Detail）表示，由
Nanite 幾何圖像方法
那么，Nanite的虛擬微多邊形幾何技術(shù)究竟高明在哪里？為什么一夜之間就可以摒棄人們數(shù)十年來積累的技術(shù)？很多計算機圖形學(xué)領(lǐng)域的專家分析，Nanite的幾何技術(shù)很有可能是基于老顧18年前與Gortler 教授、Hughes Hoppe合作的SIGGRAPH論文，“幾何圖像”。
如上討論，我們看到在圖形學(xué)中有兩種主要的數(shù)據(jù)結(jié)構(gòu)：表示幾何的不規(guī)則三角網(wǎng)格和表示紋理的規(guī)則圖像。為了處理這兩種迥然不同的數(shù)據(jù)，圖形處理單元（GPU）硬件中設(shè)置了兩條流水線，一條用于處理三角網(wǎng)格，另外一條用于出來紋理圖像。老顧當(dāng)時的想法是將兩種數(shù)據(jù)結(jié)構(gòu)統(tǒng)一成紋理圖像，從而拋棄三角網(wǎng)格的流水線，由紋理圖像的流水線處理幾何與紋理數(shù)據(jù)，從而簡化GPU的硬件設(shè)計，提高渲染速度
幾何圖像包含了三維曲面的全部幾何信息，自然可以被渲染成曲面。當(dāng)然，實際應(yīng)用中，我們也可以將高模曲面相對于低模曲面的位移也表示成幾何圖像，達(dá)到浮雕效果?？偠灾?，我們用圖像的數(shù)據(jù)結(jié)構(gòu)來統(tǒng)一幾何和紋理，每個曲面模型都表示成幾張巨大的紋理圖像。例如Nanite技術(shù)中的曲面包含幾何圖像、顏色紋理、金屬材質(zhì)紋理、光學(xué)特性等幾張紋理。這種規(guī)則的表示方法具有很多優(yōu)點，例如渲染過程中可以動態(tài)決定解析率（mipmap pyramid），可以動態(tài)細(xì)分加密（subdivision），動態(tài)生成紋理，例如存儲全局光照的中間計算結(jié)果等等。特別是，幾何圖像的格式，使得內(nèi)存訪問模式更加有規(guī)律，更加容易預(yù)測，從而提高內(nèi)存訪問效率，極大地提高了數(shù)據(jù)調(diào)度的速度。
那么，為什么18年前GPU沒有采用幾何圖像的技術(shù)路線呢？老顧覺得一個重要原因在于那時候曲面參數(shù)化技術(shù)還沒有出現(xiàn)，從三角網(wǎng)格到幾何圖像的轉(zhuǎn)換非常困難?，F(xiàn)在，由于計算共形幾何的理論和算法成熟，計算最優(yōu)傳輸映射也接近成熟，曲面參數(shù)化的問題不再是瓶頸。
展望
從2002年至今，幾何圖像這篇文章在圖形學(xué)領(lǐng)域廣泛傳播，專家學(xué)者同行們進(jìn)行了大量的后繼研究，引用數(shù)目上千。無數(shù)的學(xué)者和工程師們耗費多年的心血，全面改進(jìn)了技術(shù)，推動了這一領(lǐng)域的發(fā)展，日積月累，終于一鳴驚人。如果幾何圖像被工業(yè)界廣泛接受，那么全局參數(shù)化、基于幾何圖像的渲染、基于幾何圖像的硬件設(shè)計會吸引人們更多的注意。相應(yīng)的，微分幾何理論基礎(chǔ)將會成為圖形學(xué)領(lǐng)域的必修課程之一。在未來，我們期待基礎(chǔ)數(shù)學(xué)更加深刻的應(yīng)用，圖形學(xué)領(lǐng)域更多革命性的成果涌現(xiàn)！
聲明：文章內(nèi)容整理來源于網(wǎng)絡(luò)，版權(quán)屬于原作者，如有問題，請聯(lián)系我們！
- 上一篇：虛擬現(xiàn)實仿真技術(shù)在醫(yī)學(xué)手術(shù)的應(yīng)用 2021/1/19
- 下一篇：UE4里函數(shù)和事件、宏的區(qū)別 2021/1/18
