酷徒LOGO

keras-rl, 面向Keras的深度强化学习


  • 源代码名称:keras-rl
  • 源代码网址:http://www.github.com/keras-rl/keras-rl
  • keras-rl源代码文档
  • keras-rl源代码下载
  • Git URL:
    git://www.github.com/keras-rl/keras-rl.git
    Git Clone代码到本地:
    git clone http://www.github.com/keras-rl/keras-rl
    Subversion代码到本地:
    $ svn co --depth empty http://www.github.com/keras-rl/keras-rl
    Checked out revision 1.
    $ cd repo
    $ svn up trunk
    
    Keras深度强化学习

    它是什么?

    keras-rl在Python中实现了一些最先进的深度强化学习算法,并与深度学习库Keras无缝集成。,和Keras一样,它与TheanoTensorFlow一起使用,这意味着你可以在CPU或GPU上高效地训练算法,此外,keras-rl与现成的openAI Gym一起使用,这意味着评估和使用不同的算法很容易,当然,你可以根据自己的需要扩展keras-rl,可以useKeras回调和度量或者定义你自己的,更进一步,只需扩展一些简单的抽象类,就可以轻松实现你自己的环境甚至算法。

    包含什么?

    深层Q学习(DQN )[1][2] 双DQN [3] 深度确定性策略梯度(DDPG )[4] 连续DQN (CDQN或NAF )[6] Cross-Entropy方法(CEM )[7][8] Dueling网络DQN (Dueling DQN )[9] Deep SARSA[10]

    doc

    我目前正在研究以下算法,这些算法可以在experimental分支中找到:

    异步优势Actor-Critic (A3C )[5]

    注意,这些只是实验性的,现在可能不能运行。

    如何安装它,如何开始?

    安装keras-rl很容易,只需运行以下命令,就可以开始了:

    pip install keras-rl

    这将安装keras-rl和所有必要的依赖。

    如果要运行示例,还必须通过gym来安装OpenAI,请参考它们的安装说明,它非常容易,在Ubuntu和Mac OS X上工作良好,你还需要h5py包来加载和保存模型权重,可以使用以下命令安装它们:

    pip install h5py

    安装完所有内容后,可以尝试一个简单的示例:

    python examples/dqn_cartpole.py

    这是一个非常简单的例子,它应该收敛比较快,所以这是一个很好的开始!它也可视化的游戏在训练,所以你可以看它学习,很酷吧!

    不幸的是,keras-rl的文档目前几乎不存在,但是,你可以找到几个示例来说明DQN (对于具有离散操作的任务)和DDPG (对于具有连续操作的任务)的用法,尽管这些示例没有替换适当的文档,但是它们应该足以快速开始,并看到增强学习的魔力。

    我必须自己训练模型?

    根据环境的复杂性,训练时间可能很长,这个repo提供通过运行的keras-rl中包含的示例的一些权重。

    要求

    Python 2.7或Python 3.5 Keras

    就是这样,但是,如果要运行示例,还需要以下依赖项:

    openAI Gymh5py

    keras-rl也适用于TensorFlow,要了解如何使用TensorFlow而不是theano,请参考keras文档

    文档

    keras RL Google组

    keras RL Gitter频道

    你可以提出问题并加入开发讨论:

    keras RL Google组keras RL Gitter频道

    你还可以在中发布bug报告和功能请求(仅限)github问题

    运行测试

    要在本地运行测试,首先必须安装以下依赖项:

    pip install pytest pytest-xdist pep8 pytest-pep8 pytest-cov python-coveralls

    然后,你可以使用以下命令运行所有测试:

    py.test tests/.

    如果要检查文件是否符合PEP8样式准则,请运行以下命令:

    py.test --pep8

    引用

    如果在研究中使用keras-rl,可以按如下方式引用它:

    
    @misc{plappert2016kerasrl,
    
    
     author = {Matthias Plappert},
    
    
     title = {keras-rl},
    
    
     year = {2016},
    
    
     publisher = {GitHub},
    
    
     journal = {GitHub repository},
    
    
     howpublished = {url{https://github.com/keras-rl/keras-rl}},
    
    
    }
    
    
    
    




    Copyright © 2011 HelpLib All rights reserved.    知识分享协议 京ICP备17041772号-2  |  如果智培  |  酷兔英语  |  帮酷