FILMEK FELÚJÍTÁS, FELSKÁLÁZÁSA NVIDIA CUDA TOOLKIT TÁMOGATÁSSAL. NAGADOMI/WAIFU2X PROJEKT A LEÍRÁSA SZERINT: IMAGE SUPER-RESOLUTION FOR ANIME-STYLE ART, DE PHOTO MODELT IS TARTALMAZ.
Régi film lehet fekete-fehér, színes 1890-es és 1980-as is:)
KÖRNYEZET (ami addig műkődík meddig az Ubuntu fel nem frissíti a Cuda könyvtárat pl: 10.2 -re):
- Torch7
- NVIDIA CUDA
- cuDNN for CUDA 10.1
- NVIDIA Deep Learning SDK
- LuaRocks packages (excludes torch7’s default packages)
- lua-csnappy
- md5
- uuid
- csvigo
- turbo
How to install CUDA on Ubuntu 20.04 Focal Fossa Linux
Én az egyes módszert alkalmaztam az Ubuntu Repositoryból telepítettem. Ha nem így tesszük, akkor vagy a Linux vagy az nvidia teszi működésképtelenné a következő frissítéskor a Linux nvidia drivert vagy a cuda eszközöket. $ sudo apt update $ sudo apt install nvidia-cuda-toolkit $ nvcc --version nvcc: NVIDIA (R) Cuda compiler driver Copyright (c) 2005-2019 NVIDIA Corporation Built on Sun_Jul_28_19:07:16_PDT_2019 Cuda compilation tools, release 10.1, V10.1.243
How to switch between multiple GCC and G++ compiler versions on Ubuntu 20.04 LTS Focal Fossa
Install multiple C and C++ compiler versions: $ sudo apt install build-essential $ sudo apt -y install gcc-7 g++-7 gcc-8 g++-8 gcc-9 g++-9 Use the update-alternatives tool to create list of multiple GCC and G++ compiler alternatives: $ sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 7 $ sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-7 7 $ sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-8 8 $ sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-8 8 $ sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 9 $ sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-9 9 $ sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-10 10 $ sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-10 10 Check the available C and C++ compilers list and select desired version by entering relevant selection number: $ sudo update-alternatives --config gcc There are 3 choices for the alternative gcc (providing /usr/bin/gcc). Selection Path Priority Status ------------------------------------------------------------ 0 /usr/bin/gcc-9 9 auto mode 1 /usr/bin/gcc-7 7 manual mode * 2 /usr/bin/gcc-8 8 manual mode 3 /usr/bin/gcc-9 9 manual mode Press to keep the current choice[*], or type selection number: For C++ compiler execute: $ sudo update-alternatives --config g++ There are 3 choices for the alternative g++ (providing /usr/bin/g++). Selection Path Priority Status ------------------------------------------------------------ 0 /usr/bin/g++-9 9 auto mode 1 /usr/bin/g++-7 7 manual mode * 2 /usr/bin/g++-8 8 manual mode 3 /usr/bin/g++-9 9 manual mode Press to keep the current choice[*], or type selection number: Each time after switch check your currently selected compiler version: $ gcc --version gcc (Ubuntu 8.4.0-1ubuntu3) 8.4.0 Copyright (C) 2018 Free Software Foundation, Inc. This is free software; see the source for copying conditions. There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. $ g++ --version g++ (Ubuntu 8.4.0-1ubuntu3) 8.4.0 Copyright (C) 2018 Free Software Foundation, Inc. This is free software; see the source for copying conditions. There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
TORCH7 TELEPÍTÉSE
Az eredetivel nem sikerült megbirkózni, semmilyen környezetben, így ismét /distro segítségével oldottam meg. A distro támogatja, a Cuda 10.1, cudnn, cunn „környzetet” is.
Hiányzó csomagok telepítés $ apt-get install cmake $ apt-get install libreadline-dev $ apt-get install libssl-dev $ apt-get install freeglut3 freeglut3-dev libxi-dev libxmu-dev distro $ git clone https://github.com/nagadomi/distro.git ~/torch --recursive $ cd ~/torch $ ./install-deps $ ./clean.sh $ ./update.sh ... Adjuk hozzá az alábbi sort a .bashrc és a .profile fájlhoz (terminálból ki/belépés után műkődík). A user természetesen behelyetesítendő. . /home/user/torch/install/bin/torch-activate Alapértelmezetten hiányzó csomagok telepítése: $ luarocks install lua-csnappy $ luarocks install md5 $ luarocks install uuid $ luarocks install csvigo $ luarocks install turbo pfff turbo only root, a, sudo -s cd /torch/install/bin ./luarocks install turbo (all install end use chown -R user:user torch/ ) b, PREFIX=$HOME/torch/install luarocks install turbo
Operációs rendszer frissítése után szinte minden alkalommal használni kell az update scriptet
~/torch$ ./update.sh
nagadomi/waifu2x
$ sudo apt-get install libsnappy-dev $ sudo apt-get install libgraphicsmagick1-dev $ sudo apt-get install libssl1.0-dev # for web server $ git clone --depth 1 https://github.com/nagadomi/waifu2x.git $ cd waifu2x $ ./install_lua_modules.sh használat: $ th waifu2x.lua ... a kapcsolók igen sokat elárulnak Options: -i path to input image [images/miku_small.png] -l path to image-list.txt [] -scale scale factor [2] -o path to output file [(auto)] -depth bit-depth of the output image (8|16) [8] -model_dir path to model directory [./models/cunet/art] -name model name for user method [user] -m method (noise|scale|noise_scale|user) [noise_scale] -method same as -m [] -noise_level (0|1|2|3) [1] -crop_size patch size per process [256] -batch_size batch_size [1] -resume skip existing files (0|1) [0] -thread number of CPU threads [-1] -tta use TTA mode. It is slow but slightly high quality (0|1) [0] -tta_level TTA level (2|4|8). A higher value makes better quality output but slow [8] -force_cudnn use cuDNN backend (0|1) [0] -q quiet (0|1) [0] -gpu Device ID [1] -load_mode ascii/binary [ascii]
BLENDER
Régi vagy csak alacsony felbontású film esetén, Blender segítségével exportáltam az összes filmben található képet. Mentés helyének waifu2x/img mappát adtam meg (5 perces film kb 9.000 képkocka, 40 perces film 390.000 képkocka), és képenként 1-7MB tárhellyel lehet számolni. Megjegyzés: úgy tűnik a 16 bites export/import okozza (az Ubuntuban található Blender, a képek felét kihagyta, átugrotta, az összes vele készített film hibás volt, meg sem lehetett nyitni ..stb. Ha nem javítják, akkor érdemes a snap de leginkább a Blender oldalán elérhetőt használni.) Első indításkor érdemes az alábbi paranccsal indítani a terminálból (ez az előre beállított gcc környezet): $ CYCLES_CUDA_EXTRA_CFLAGS="-ccbin gcc-8.4" blender
FFMPEG
Sample export image and audio ffmpeg -i GODOLLOIKIST-11.m4v -ss 00:00:00 -t 00:02:07 -r 25 -f image2 img/%06d.png ffmpeg -i GODOLLOIKIST-11.m4v -ss 00:00:00 -t 00:02:07 audio.aac ffmpeg -i xyz.mkv -acodec copy audio.ac3 Sample export video ffmpeg -f image2 -framerate 25 -i img2x/%06d.png -i audio.aac -r 25 -vcodec libx264 -crf 16 video.mp4 ffmpeg -f image2 -framerate 25 -i img2x/%04d_[L2][x2.67].png -i audio-1.ac3 -r 60 -vcodec libx264 -crf 16 video.mp4 Sample merge ffmpeg -i valko-1080.mkv -i valko-1080.aac -codec copy -shortest valko-1080-out.mkv
KÉPEK FELJAVÍTÁSA CSOPORTOSAN
fájl lista létrehozása: $ cd waifu2x $ find ./img -name "*.png" -o -name "*.jpg" > ./data/image_list.txt Tweak használata:) az alábbi listát megnyitjuk táblázatkezelővel és sorba-rendezzük, majd a tartalmát visszamásoljuk a .txt fájlba. Mert különben képes véletlen sorrendben összeállítani mind a 9000 sort:) Nem fontos ez is csak egy lehetőség. Modell fájl újragenerálása, mivel cudnn szeretnénk használni. $ th rebuild_model.lua waifu2x rebuild cudnn model Options: -i Specify the input model [] -o Specify the output model [] -backend Specify the CUDA backend (cunn|cudnn) [] -model Specify the model architecture (vgg_7|vgg_12|upconv_7|upconv_8_4x|dilated_7) [vgg_7] -iformat Specify the input format (ascii|binary) [ascii] -oformat Specify the output format (ascii|binary) [ascii] $ cd tools $ th rebuild_model.lua -i /home/dankahazi/Colorize/waifu2x/models/upconv_7/photo/noise3_scale2.0x_model.t7 -o /home/dankahazi/Colorize/waifu2x/models/upconv_7cudnn/photo/noise3_scale2.0x_model.t7 -model upconv_7 -backend cudnn $ th rebuild_model.lua -i /home/dankahazi/Colorize/waifu2x/models/upconv_7/photo/noise2_scale2.0x_model.t7 -o /home/dankahazi/Colorize/waifu2x/models/upconv_7cudnn/photo/noise2_scale2.0x_model.t7 -model upconv_7 -backend cudnn $ th rebuild_model.lua -i /home/dankahazi/Colorize/waifu2x/models/upconv_7/photo/noise1_scale2.0x_model.t7 -o /home/dankahazi/Colorize/waifu2x/models/upconv_7cudnn/photo/noise1_scale2.0x_model.t7 -model upconv_7 -backend cudnn Most már optimalizált modellünk van, ezt használjuk. Az waifu/img mappában található képekhez legeneráljuk a images.t7 fájlt ez jobb esetben 9-900GB méretű, valószínű az alapanyag méretétől függ. $ th convert_data.lua És a képek átméretezése, feljavítása: $ th waifu2x.lua -model_dir ./models/upconv_7cunn/photo -m noise_scale -noise_level 3 -l ./data/image_list.txt -o ./img2x/%s.png -gpu 1 -force_cudnn 1 -tta 1 -tta_level 8 -depth 16
Viszonylag alacsony CPU használat mellett 100% GPU használatával (+ 1 GB VGA RAM) készül a projekt.
RawTherapee
Grafikus felületet használva megnézem, tudok-e (érdemes-e) kicsit is javítani a képek minőségén (minimális élesítés, CIE CAM 2002 …stb) Majd a feldolgozási paramétert elmentem pl vuk.pp3 néven.
parancssori kacsolók majdnem logikusak:) RawTherapee Command-Line Options: https://rawpedia.rawtherapee.com/Command-Line_Options Sample: rawtherapee-cli -o ./img2x-rt -O ./img2x-rt -p /home/dankahazi/.config/RawTherapee/profiles/vuk.pp3 -q -f -n -c ./img2x rawtherapee-cli -o ./img2x-rt -p vuk.pp3 -q -f -n -c ./img2x
VALKÓ – A GALGA MENTI KISTÉRSÉG IDEGENFORGALMI VONZEREJE (1080pHD)
Végzettségem informatikus/rendszerinformatikus. 2010 óta készítem valko.hu, media-valko.hu, valko-ksk.tk, könyvtár térkép szerverét és 2016. évtől az iskola.valko.hu oldalait. Jelenleg a Valkó Községi Könyvtárában dolgozom.
További tetteim: facan-godollo.hu, raktarozas.org, pc-valko.hu, malota.hu, irodakoltoztetes.hu, budapest-költöztetés.hu, express-teher.hu, altisk-valko.sulinet.hu,
