GMPI （Generative Multiplane Images）是一個多平面圖像生成框架，使2D GAN 具有3D 感知能力。
生成的輸出稱為“生成多平面圖像”(GMPI)，並強調其渲染不僅質量高，而且保證視圖一致，這使得GMPI 與許多先前的作品不同。重要的是，alpha 映射的數量可以動態調整，並且可以在訓練和推理之間有所不同，從而減輕內存問題並能夠在不到半天的時間內以1024 2 的分辨率快速訓練GMPI。
Project Page | Paper
環境設置
此代碼已在帶有CUDA 10.2 的Ubuntu 18.04 上進行了測試。
conda env create -f environment.yml
使用預訓練檢查點
下載檢查點
cd /path/to/this/repo
export GMPI_ROOT=$PWD請下載預訓練檢查點，並將它們放在${GMPI_ROOT}/ckpts
結構應該是：
.
+-- ckpts
| +-- gmpi_pretrained
| | +-- FFHQ256
| | +-- FFHQ512
| | +-- FFHQ1024
| | +-- AFHQCat
| | +-- MetFaces
使用以下變量進行說明。
# This can be FFHQ256, FFHQ512, FFHQ1024, AFHQCat, or MetFaces
export DATASET_NAME=FFHQ1024
export OUTPUT_DIR=${GMPI_ROOT}/ckpts/gmpi_pretrained/${DATASET_NAME}
# Set this to your favourate seed
export SEED=589
# - When psi = 1.0 there is no truncation, which is used for quantitative results in the paper.
# - To obtain better qualitative results, use psi < 1.0.
export TRUNCATION_PSI=1.0渲染單個圖像
以下命令呈現圖像${OUTPUT_DIR}/rendered.png，以及：
mpi_alpha.png：所有平面的alpha 貼圖，mpi_rgb.png：所有平面都使用相同的RGB 紋理，mpi_rgba.png：所有平面的RGB-alpha 圖像。
conda activate gmpi && \
export PYTHONPATH=${GMPI_ROOT}:${GMPI_ROOT}/gmpi/models:$PYTHONPATH && \
python ${GMPI_ROOT}/gmpi/eval/vis/render_video.py \
--ckpt_path ${OUTPUT_DIR}/generator.pth \
--output_dir ${OUTPUT_DIR} \
--seeds ${SEED} \
--nplanes 96 \
--truncation_psi ${TRUNCATION_PSI} \
--exp_config ${OUTPUT_DIR}/config.pth \
--render_single_image 1注意：nplanes = 96在論文中用於報告定量和定性結果，但GMPI 即使使用32 個平面也能夠產生高質量的結果。nplanes如果遇到CUDA 內存不足錯誤，請使用較小的值（例如32）。
#GMPI首頁文檔和下載 #多平面圖像生成框架 #程式开发