DeepDreamVideo, 在视频中实现深梦想

分享于 

10分钟阅读

GitHub

  繁體 雙語
implementing deep dream on video
  • 源代码名称:DeepDreamVideo
  • 源代码网址:http://www.github.com/graphific/DeepDreamVideo
  • DeepDreamVideo源代码文档
  • DeepDreamVideo源代码下载
  • Git URL:
    git://www.github.com/graphific/DeepDreamVideo.git
    Git Clone代码到本地:
    git clone http://www.github.com/graphific/DeepDreamVideo
    Subversion代码到本地:
    $ svn co --depth empty http://www.github.com/graphific/DeepDreamVideo
    Checked out revision 1.
    $ cd repo
    $ svn up trunk
    
    DeepDreamVideo

    在视频中实现的#deepdream

    的创意申请表

    如果你能在youtube视频的描述中加入used参数这将对其他deepdream研究人员非常有用。 你可以在图像文件名中找到参数。

    包括实验:深梦恐惧 & Loathing在拉斯维加斯: 大风扇 Francisco Wave

    结果可以在youtube上看到: https://www.youtube.com/watch?v=oyxSerkkP4o

    Mp4还没有被youtube压缩破坏,也在 mega.nz 同时与原始视频文件。

    所有单个进程+ 未处理框架也在 github。

    deepdreamanim1deepdreamanim2

    https://github.com/graphific/DeepDreamVideo/wiki 也建议。

    ##INSTALL 依赖项

    一个很好的概述( 不断更新),用于安装&库的列表,它的中包括: https://www.reddit.com/r/deepdream/comments/3cawxb/what_are_deepdream_images_how_do_i_make_my_own/

    GPU相反,##On 使用这个代码,而deepdream在没有适当的图形卡( GPU )的机器上是很有价值的:
    ( 请注意,计时还取决于你想要进行的网络层的下降程度: 越深,时间就越长

    ( amazon ec2 2xlarge。2x 4 Gb GPU )?
    1 图片,540 x360px = 1秒视频( 3600帧/帧 framerate )
    1 帧视频( 3600帧/帧帧 30 )的图片,1024 x768px = 3秒

    CPU ( 亚马逊,。2xlarge。英特尔,E5-2670 ( 沙山桥) ) 处理器,8内核,2.6 GHz,3.3 GHz涡轮):
    1 图片,540 x360px = 45秒视频( 3600帧/帧数 30 ) 21秒
    1 帧视频( 3600帧/帧帧 30 )的图片,1024 x768px = 144秒

    ##Usage:

    从所选格式( png或者 jpg ) 中的源影片中提取帧。

    ./1_movie2frames.sh ffmpeg [original_video] [frames_directory] [png/jpg]

    或者

    ./1_movie2frames.sh avconv [original_video] [frames_directory] [png/jpg]

    或者

    ./1_movie2frames.sh mplayer [original_video] [frames_directory] [png/jpg]

    让一个pretrained深层神经网络梦想它,一个接一个,采取每一个新框架,并添加 0 -50%的老框架的连续性,drink你的。

    usage: 2_dreaming_time.py [-h] -i INPUT -o OUTPUT -it IMAGE_TYPE [--gpu GPU]
     [-t MODEL_PATH] [-m MODEL_NAME] [-p PREVIEW]
     [-oct OCTAVES] [-octs OCTAVESCALE] [-itr ITERATIONS]
     [-j JITTER] [-z ZOOM] [-s STEPSIZE] [-b BLEND]
     [-l LAYERS [LAYERS.. .]] [-v VERBOSE]
     [-gi GUIDE_IMAGE] [-sf START_FRAME] [-ef END_FRAME]
    Dreaming in videos.
    optional arguments:
     -h, --help show this help message and exit
     -i INPUT, --input INPUT
     Input directory where extracted frames are stored
     -o OUTPUT, --output OUTPUT
     Output directory where processed frames are to be
     stored
     -it IMAGE_TYPE, --image_type IMAGE_TYPE
     Specify whether jpg or png
     --gpu GPU Switch for gpu computation.
     -t MODEL_PATH, --model_path MODEL_PATH
     Model directory to use
     -m MODEL_NAME, --model_name MODEL_NAME
     Caffe Model name to use
     -p PREVIEW, --preview PREVIEW
     Preview image width. Default: 0
     -oct OCTAVES, --octaves OCTAVES
     Octaves. Default: 4
     -octs OCTAVESCALE, --octavescale OCTAVESCALE
     Octave Scale. Default: 1.4
     -itr ITERATIONS, --iterations ITERATIONS
     Iterations. Default: 10
     -j JITTER, --jitter JITTER
     Jitter. Default: 32
     -z ZOOM, --zoom ZOOM Zoom in Amount. Default: 1
     -s STEPSIZE, --stepsize STEPSIZE
     Step Size. Default: 1.5
     -b BLEND, --blend BLEND
     Blend Amount. Default:"0.5" (constant), or"loop"
     (0.5-1.0), or"random"
     -l LAYERS [LAYERS.. .], --layers LAYERS [LAYERS.. .]
     Array of Layers to loop through. Default: [customloop]
     - or choose ie [inception_4c/output] for that single
     layer
     -v VERBOSE, --verbose VERBOSE
     verbosity [0-3]
     -gi GUIDE_IMAGE, --guide_image GUIDE_IMAGE
     path to guide image
     -sf START_FRAME, --start_frame START_FRAME
     starting frame nr
     -ef END_FRAME, --end_frame END_FRAME
     end frame nr

    gpu:

    python 2_dreaming_time.py -i frames_directory -o processed_frames_dir --gpu 0

    cpu:

    python 2_dreaming_time.py -i frames_directory -o processed_frames_dir

    可以加载不同型号的模型:

    python 2_dreaming_time.py -i frames_directory -o processed_frames_dir --model_path.. /caffe/models/Places205-CNN/--model_name Places205.caffemodel --gpu 0

    或者

    python 2_dreaming_time.py -i frames_directory -o processed_frames_dir --model_path.. /caffe/models/bvlc_googlenet/--model_name bvlc_googlenet.caffemodel --gpu 0

    ( 再次吃你的心,不是免费午餐,但免费的模型是 )

    并坚持一个特定的层:

    python 2_dreaming_time.py -i frames_directory -o processed_frames_dir -l inception_4c/output --gpu 0

    ( 如果你在上运行 gpu,请不要忘记--gpu标记)

    处理足够的帧后,( 该脚本将自动将音频剪切到所需长度) 或者所有帧完成后,将帧+ 音频放在一起:

    ./3_frames2movie.sh [ffmpeg/avconv/mplayer] [processed_frames_dir] [original_video] [png/jpg]

    ##Guided 梦


    命令:

    python 2_dreaming_time.py -i frames_directory -o processed_frames_dir -l inception_4c/output --guide-image image_file.jpg --gpu 0

    或者

    python 2_dreaming_time.py -i frames_directory -o processed_frames_dir -l inception_4c/output --guide-image image_file.jpg 如果你正在运行cpu模式

    具有不同参数的##Batch 处理

    python 2_dreaming_time.py -i frames -o processed -l inception_4c/output --guide-image flower.jpg --gpu 0 --start-frame 1 --end-frame 100; python 2_dreaming_time.py -i frames -o processed -l inception_4b/output --guide-image disco.jpg --gpu 0 --start-frame 101 --end-frame 200

    如果你是在 frames artefacts,你可以选择 switching artefacts artefacts artefacts artefacts artefacts artefacts artefacts rapidly rapidly rapidly rapidly rapidly rapidly rapidly rapidly。

    混合可以设置为

    --blend
    and can default default default"随意"random random 1 means Fear Fear Fear Fear Fear Fear Fear Fear Fear Fear Fear artefacts artefacts artefacts artefacts artefacts artefacts。

    常量( 默认值):

    python 2_dreaming_time.py -i frames_directory -o processed_frames_dir -b 0.5


    循环:

    python 2_dreaming_time.py -i frames_directory -o processed_frames_dir -b loop


    随机:

    python 2_dreaming_time.py -i frames_directory -o processed_frames_dir -b random


    ##More 信息:

    这个 repo 实现了一个深层神经网络幻觉恐惧 & Loathing在拉斯维加斯。 可视化深网内部的内部,我们让它进一步发展它认为它认为的。

    我们正在使用谷歌开发的#deepdream 技术,首先在谷歌研究博客文章中解释神经网络技术。

    代码:

    参数使用( 和 with ):

    • 网络:从模型动物园( https://github.com/BVLC/caffe/wiki/Model-Zoo ) 上培训的标准参考GoogLeNet模型

    • 迭代:5

    • 抖动:32 ( 默认值)

    • 八度音阶:4 ( 默认值)

    • layers锁定从 inception_4c/输出向上移动到 inception_5b/输出(。只有输出层,因为它们对可视化是最敏感的"对象",减少层更像"边缘检测器") 和 back

    • 在将剪辑剪辑中的下一个未处理帧与之前处理的帧进行混合之前,将它的从移动到 1,再将它的再次返回到( 所以 50%个以前的图像网络创建,50%个电影框架,以仅占用电影框架的100% )。 这样就可以在帧上处理"拟合性",确保我们不会反复构建更多的网络,并从原始的电影剪辑中移开。

    关于使用训练的CNN ( 主要景观)的调查:

    https://www.youtube.com/watch?v=6IgbMiEaFRY

    安装 DeepDream:

    Credits

    Roelof | KTH &图形技术 | @graphific。


    IMP  视频  DEEP  
    相关文章