来自 计算机操作系统 2019-11-30 05:55 的文章
当前位置: 美高梅4858官方网站 > 计算机操作系统 > 正文

macOS三平台安装OpenAI的Gym和Universe,Ubuntu下常用强化学习实验环境搭建

DeepMind Lab

 

DeepMind Lab(原Labyrinth)是由DeepMind发布的3D迷宫场景深化学习平台。此前是DeepMind内部使用的,后来开源了。官方介绍
最棒在Python 2.7条件下编写翻译运维。比方用Anaconda创立Python 2.7情况并跻身:

conda create --name py27 python=2.7
source activate py27

下一场按官方readme中的表明(

sudo apt-get install lua5.1 liblua5.1-0-dev libffi-dev gettext freeglut3-dev libsdl2-dev libosmesa6-dev python-dev python-numpy realpath
git clone https://github.com/deepmind/lab
cd lab
bazel build :deepmind_lab.so --define headless=glx
bazel run :python_module_test --define headless=glx

借使在Anaconda意况中,有一点都不小大概蒙受下边错误:
ImportError: cannot import name multiarray
表面上是缺少numpy,能够先看下numpy有没有装,未有的话能够用conda install numpy安装。借使装了有超大可能率是串到~/.local或许/usr/lib/下的python package了(能够经过python -c "import sys; from pprint import pprint as p; p(sys.path卡塔尔(英语:State of Qatar)"检查)。轻易题的秘籍就是将除了Anaconda情形下的numpy删除。

sudo apt-get remove python-numpy
sudo ~/.local/bin/pip2.7 uninstall numpy

接下去,按readme表明,通过上边三令五申能够分级跑agent游戏者和人类游戏用户的迷宫场景:

bazel run :random_agent --define headless=false --  --length=10000 --width=640 --height=480
bazel run :game -- --level_script tests/demo_map

图片 1

接下来经过python api(

source ~/.bashrc

OpenAI Gym

OpenAI Gym是OpenAI出的讨论做实学习算法的toolkit,它当中cover的场馆相当多,从精华的Cart-Pole, Mountain-Car到Atar,Go,MuJoCo都有。官方网站为
小小安装:

git clone https://github.com/openai/gym.git
cd gym
pip install -e .

完全安装:

apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig Pillow  libglfw3-dev
pip install -e '.[all]'

下一场能够跑readme中的例子,如SpaceInvaders, Go, 卢纳rLander, CarPole, MuJoCo等等:

图片 2图片 3        图片 4 

图片 5

通过源码下的examples/scripts/list_envs能够列出全体扶植的场地。

假使装了Anaconda,进度中冒出上面错误的话:
OSError: /home/jzj/anaconda2/envs/py35/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.20' not found (required by /home/jzj/anaconda2/envs/py35/lib/python3.5/site-packages/atari_py/ale_interface/build/libale_c.so)
可以通过在Anaconda情状中安装libgcc解除:

conda install libgcc

黄金时代旦在运作信赖Box2d外燃机的sample时现身上面错误:
AttributeError: module 'Box2D._Box2D' has no attribute 'RAND_LIMIT'
能够先uninstall本来就有版本(如有),然后安装pybox2d:

pip uninstall Box2D-kengz
git clone https://github.com/pybox2d/pybox2d.git
cd pybox2d
python setup.py clean
python setup.py install

Gym中也得以通过mujoco-py集成MuJoCo。即使现身上面错误,表达mujoco-py版本不对。如今Gym中援救MuJoCo 1.31和mujoco-py 0.5。按前面表明装上相应版本后就能够。
DependencyNotInstalled: No module named 'mujoco_py.mjlib'. (HINT: you need to install mujoco_py, and also perform the setup instructions here: .)

首先我们供给下载安装 Docker,踏入 Docker 官方网址:

OpenAI Baselines 

严厉来讲它自个儿不是三个支出条件。它是OpenAI出的有的深度加深学习算法(DQN, PPO, TRPO, DDPG)的兑现,基于TensorFlow和OpenAI Gym,最新版供给Python 3。源码坐落于:
按readme中运用上面发号出令安装:

pip install baselines

抑或用源码中的setup.py安装:

git clone https://github.com/openai/baselines
cd baselines
python setup.py install

而外列出来的依靠,还只怕依赖下边包车型大巴库,使用conda或pip安装:

conda install Pillow atari-py

别的假诺用GPU加快但不幸遇上memory分不出的情景(CUDA_OUT_OF_MEMOHighlanderY),能够强制TensorFlow使用CPU:

export CUDA_VISIBLE_DEVICES=""

越多Ubuntu相关音讯见Ubuntu 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=2

正文永世更新链接地址:http://www.linuxidc.com/Linux/2017-11/148443.htm

图片 6

然后,安装一些优异的软件:

MuJoCo

MuJoCo(Multi-Joint dynamics with Contact)是多少个大要模拟器,能够用于机器人调控优化等研讨。官方网站为 linux。下载达成后解压到~/.mujoco下。注意要用是内需license的,能够在
图片 7
OpenAI对MuJoCo引擎做了Python 3的binding-mujoco-py,源码坐落于

pip3 install -U 'mujoco-py<1.50.2,>=1.50.1'

假使设置进度中现身上面这种张冠李戴:
sh: 2: Syntax error: "(" unexpected
       ERROR: Invalid activation key
您能够下载源码安装:

git clone https://github.com/openai/mujoco-py
cd mujoco-py
pip install -e . --no-cache

接下来运营下readme中的例子看是否运行平常。

保留配置文件,然后再运行以下命令使更动立时生效:

PySC2(StarCraft II)

DeepMind的AlphaGo把围棋解决之后,产业界开首把眼光投向即时战略游戏,如StarCraft II(星际争当霸主II)。近日DeepMind和Blizzard合营出了个StarCraft II的钻研平台,称为PySC2。介绍网址: II Machine Learning API( 。

遵照readme最简易的装置方式正是:

pip install pysc2

接下来须求基于 II的条件。重要这一个包都比极大,下载要些日子,下载达成后按readme中解压到钦点path下即可。然后就足以测量试验下了。按readme用以下命令能够分别起agent游戏发烧友和人类游戏用户的情况:

python -m pysc2.bin.agent --map Simple64
python -m pysc2.bin.play --map Simple64 

图片 8

在 macOS 上设置 Gym 和 Universe 的长河和 Linux 下相比接近。

rllab

和OpenAI Gym肖似,rllab也是三个商讨狠抓学习算法的框架。官网为 3.5+,基于Theano。与OpenAI Gym的分别在于OpenAI Gym支持更广大的意况,且提供在线的scoreboard可以用来分享操练结果。rllab本身也提供贰个基于pygame的可视情状,同一时间它也可宽容OpenAI Gym。除此之外,它提供了部分加重学习算法的得以达成,这个参照他事他说加以考察完结和生龙活虎部分零件能够使得深化学习算法的开支更加快上手。安装步骤可遵从官方网站:

export PYTHONPATH=path_to_rllab:$PYTHONPATH
./scripts/setup_linux.sh

若果要想要在rllab中用MuJoCo的话再用上面脚本安装。

./scripts/setup_mujoco.sh

rllab使用的是mujoco 1.31本子,这些剧本里会让钦命相应的mujoco包和license key文件。以上安装脚本中会创设Anaconda情况,名叫rllab3。通过下面三令五申步向情状:

source activate rllab3

然后就能够运营例子了。举个例子用TRPO算法锻练Cart-Pole场景的话,运维:

python examples/trpo_gym_cartpole.py

这一个sample中暗中同意是无UI的,假若要有UI,能够搜索此中的plot=True,将之反注释就能够。

图片 9

若是您很和自个儿相似穷,用的是穷光蛋版GPU,加速时分不出memory的话:
RuntimeError: Cuda error: kernel_reduce_ccontig_node_m28488bfe450723ef20f18edd8e611eb0_0: out of memory. (grid: 1 x 1; block: 256 x 1 x 1)
能够退一步让Theano用纯CPU跑:

 

export THEANO_FLAGS=device=cpu

 

 

作者看了 Universe 的 Github 上的 Issue 里的主题材料汇报,开采是 Gym 的 0.9.6 版本里把 benchmarks 那一个包给去了: 。我晕...

TORCS

TORCS(The Open Racing Car Simulator)是一个跨平台的超跑游戏模拟器,也可看成抓牢学习的商量平台。官方网站: Gym的接口,网站为

假定已安装了上面提到的OpenAI Gym。还要求设置依赖:

sudo apt-get install xautomation

合法表明信赖Python 3.5,那就进来Python 3的条件(若是已开立Python 3.5的Anaconda处境py35):

source activate py35

然后用conda install numpy安装numpy。
下载源码:

git clone https://github.com/ugo-nama-kun/gym_torcs.git

然后踏入其vtorcs-PRADOL-color子目录,按个中readme编写翻译安装定排版torcs。安装完了运维torcs命令就能够来看分界面了。注意按readme表明必要张开一些安装,如赛道甚至分辨率,因为完毕中只辅助64x64分辨率。运营示例代码能够跑四个随意采纳动作的agent。

python example_experiment.py 

图片 10
ps:截图还是用了暗中认可分辨率,因为64x64太小看不清。

Readme中的Simple How-To示例了哪些在Python中与该条件相互,然后就能够支付测量试验深化学习算法了。英特网有个实现DDPG算法的事例能够参见:

图片 11命令行提示符前边有 字样,表示方今在这里虚构意况中

和别的的机械学习方向同样,深化学习(Reinforcement Learning)也可以有部分经文的试验现象,像Mountain-Car,Cart-Pole等。话说非常久早先,因为从没统风流洒脱的开辟测验平台,大家都会融洽完成,有用C/C++的,有用Python,还应该有用Matlab的。所以大家杂谈中来看的景色固然日常,但不菲时候不完全相仿。那样生机勃勃边重新造轮子,其他方面还可能有非常的大可能因为实验情状的歧异影响结果的可比。于是前面大家稳步最先创制联合的实验平台,另一面,由于方今深度加深学习(Deep Reinforcement Learning)的勃兴,种种新的更头眼昏花的尝试现象也在不断涌现。于是应际而生了OpenAI Gym,MuJoCo,rllab, DeepMind Lab, TORCS, PySC2等意气风发多种能够的阳台。你会在大批量的加重学习相关随想中看看它们的人影。上面就简要介绍下那些平台在Ubuntu下的搭建进程。关于部分根底条件(如Cuda, Anaconda, TensorFlow)的搭建可参照:http://www.linuxidc.com/Linux/2017-11/148444.htm。

图片 12Docker Quickstart Terminal

source activate universe

那也是干吗您会在安装 Windows 版的 Docker 时会看见也要安装 VirtualBox那几个虚构机软件的原故(macOS 版本则用的是另一个虚构机软件,不是 Virtual博克斯。好疑似 Hyperkit )。上面我们演示 Windows 安装 Gym 和 Universe 时会讲 。

由此您的 macOS 里还需求设置 Python 3.6 版本,能够去 Python 官方网站: 下载安装 Python 3.6 的 macOS 版本:

pip install tensorflow

第生龙活虎,大家要设置一些软件:

咱俩创造一个新的文书,能够起名称为test_universe2.py。在内部写入如下代码:

封存,退出 setup.py 文件的编排。

图片 13conda list 命令会列出当前设想情况的音信1图片 14conda list 命令会列出当前虚构情状的音讯 2

运行它:

图片 15运作 Universe 里面包车型大巴游戏 DuskDrive

sudo apt-get install golang python3-dev python-dev libcupti-dev libjpeg-turbo8-dev make tmux htop chromium-browser git cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig

图片 16确认 Anaconda 的装置路线

笔者们进去 Anaconda 的官方网址:

接下来,大家再把我们如今所在的客商增进到 docker 那几个顾客组里:

sudo apt-get install apt-transport-https ca-certificates curl software-properties-common

保留,退出 setup.py 文件的编写。

任何时候,大家运维如下命令:

咱俩按 回车选拔默许的渠道来设置就能够。

OpenAI 已经在智能AI领域做出了过多贡献,比方2017 年夏季开销出了在 Dota 2(在此以前高校时自己也玩过不菲的 Dota 1 版本,那个时候同寝室的室友们一齐去开黑依然很有意思的。Dota 2 笔者从没玩过,因为本人后来不玩游戏转而用尽全力读书编制程序了。恩恩,作者大概很乖的(小编,小编看你的脸皮比城阙根还厚 :P )。现在本身以为编制程序比玩游戏更加有意思,特别是几天前的人为智能编程,也能够达成让 AI 来帮您玩游戏)中退步人类最强选手的 AI 程序:

Gym 的设置我们也能够参见下官方的 Github 页面:

那使得别的索要计算机来成功的任务,都足以练习 AI 去做,何况与人类游戏者较量。

好的,那么,既然我们早已用 Anaconda 成立了大家的 设想情状,起名为universe,那么今后大家三番两次布置大家的开销碰到,在 universe 那几个虚拟意况中设置大家所要用的软件。

python test_gym.py

新近,OpenAI 发表文告称,Elon Musk 发表退出董事会,原因是随着特斯拉更注意于 AI 技艺,须求制止与 OpenAI 在以往或然存在的利润冲突。就算从未表明实际的「冲突要点」,但能体会精通的是比方说人才方面包车型客车竞争,OpenAI 一齐来就从 Google、Facebook(推特(Twitter卡塔尔卡塔尔(قطر‎ 等科技(science and technology卡塔尔(قطر‎巨头这里挖人,近日特斯拉将专注力放在 AI 技巧之后,人才流动难免遭到非议。OpenAI 的研讨员 Andrej Kapathy 换工作到特斯拉正是生龙活虎例。可是,依据公告内容,本次退出董事会大多是马斯克为了避嫌。事实上,他还恐怕有半只脚留在了 OpenAI:马斯克将三番五次担纲 OpenAI 军师,继续提供协助和建议。

率先,我们要保险自个儿放在创立的虚构情状中:

'mujoco': ['mujoco_py>=1.50', 'imageio'],'robotics': ['mujoco_py>=1.50', 'imageio'],

步向 gym 目录,然后安装 Gym。依次运维上边两句施命发号:

在极端输入 source activate universe 命令来步向刚才创立的名叫 universe 的 Anaconda 的虚构情状。

整套采撷,记得要勾选「Install VirtualBox with NDIS5 driver」。点击 Next:

MuJoCo 是 Multi-Joint dynamics with Contact 的缩写。表示「有接触的多难点重力」是用于机器人、生物力学、动漫等必要火速准确仿真领域的情理引擎。官网:

sudo apt-get update

OpenAI 的目的是「推动数字智能的向上,同时不被财务回报所界定,进而利于整个人类」。Open 是德文「开放的」之意,AI 是 Artificial 英特尔ligence的缩写。从其名字能够知悉,OpenAI 的愿景是把 AI 技能开放给全人类。OpenAI 刚毅建议琢磨人口公开他们的商量成果,包含散文、博文、代码和专利,与世界分享。

当今我们再运营:

地点的顺序会运行 Pong那么些游乐。

pip install -e '.[mujoco]'

若是要去除设想情形,使用上边包车型大巴指令:

须要还挺高啊。满意条件的情大家方可下载 Docker Community Edition for Windows,点击「Get Docker」按键就可以。

图片 17运作 Universe 里面包车型地铁一日游 NeonRace

随后,重启一下Computer:

sudo groupadd dockersudo gpasswd -a ${USER} dockersudo service docker restart sudo reboot

然后步入 universe 目录,安装 Universe。依次运转上边两句发号出令:

双击 DockerToolbox.exe,进入安装:

如果用

比方你用的是 Bash 那几个 Shell。可能:

图片 18获取 Gym 代码库

Elon Musk 是 OpenAI 的协同创办者之大器晚成,也是特斯拉集团(Tesla,正是造电动小车的商家,今后也参与超级多别的世界)的 老总兼产物结构师,又是高空探寻技能集团(SpaceX,就是发射了超级多运载火箭的不得了公司)首席营业官兼 CTO,照旧 PayPal 集团的波特兰开拓者队之风流洒脱,是科技(science and technology卡塔尔界的大红人,反正正是人生开挂就对了,人类已经不可能拦截马斯克了。

刚刚运维了 Pong 那几个简单的游艺,大家也能够来演示三个繁琐一些的玩耍,比如Universe 的合法 Github 上的事例 DuskDrive 这几个赛车游戏 。

图片 19Anaconda 安装中

大家以 Ubuntu 这一个 Linux 发行版作为示范景况。终归这几个操作系统是比较常用的,也是 TensorFlow 的官方暗中认可 Linux 情状。

conda install opencv

咱俩要下载 Windows 版,因而点击 DOCKE卡宴 CE FO奥德赛 WINDOWS的「Download from Docker Store」,会进来:

自个儿是 谢恩铭,在法国巴黎冲锋的软件程序员。热爱生活,钟爱游泳,略懂烹饪。人生信条:「向着标杆直跑」

python test_universe3.py

安装 CPU 版本的 TensorFlow:

图片 20Docker 的经过和镜像

cd ~/gympip install -e '.[all]'
cd ~/gympip install -e '.[all]'
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

然后,与 Ubuntu 16.04 肖似,也运维上边包车型大巴授命来设置软件:

pip install tensorflow-gpu
echo $PATH
python test_universe2.py

能够看来那一个多闻名的连串都有 Docker 公开的容器镜像,举个例子 Ubuntu,Go 语言,为大家布置开拓遭逢提供了无数造福。

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

图片 21开创一个Anaconda 的虚构碰到,取名 universe,用 Python 3.5

图片 22Docker 社区版 Download 页面

跻身家目录中,用 git 来拿到 Gym 的代码。依次运维下边包车型地铁通令:

xcode-select --installpip install numpy incrementalbrew install golang libjpeg-turbo

比如:

图片 23Docker 社区版的 macOS 版本

source ~/.zshrc

此刻,你在终端中输入

安装 Universe 成功。

此时世界最强影魔(Shadow Fiend,简单称谓 SF,平素是 Dota 里面大受迎接的英勇,是很查证操作的神勇)使用者之风度翩翩的 Dendi 操作的影魔在中游 1v1 被 OpenAI 开垦的人为智能程序操作的影魔获得了 后生可畏血(First Blood)、二血、三血... 额,直接认输了(Dendi 内心 OS :没悟出婴孩被虐了...)。

sudo apt-get update

能够看出自家的 Python 3.6 是在 PATH 景况变量里的。假如不在,能够在你的 Shell 的配置文件(假使你的 Shell 是 Bash,则是 ~/.bashrc 。假设你的 Shell 是 zsh,则是 ~/.zshrc)里加入:

率先,大家运行 Docker 服务:

比如效果和前边在 Ubuntu 这些 Linux 发行版里运转的结果同样,那么我们的 Gym 和 Universe 便是 OK 了。

您能够成立三个 Docker 账户来报到,登陆之后看见相符那样:

图片 24OpenAI 官网

  1. 那篇文章花了自家十分久才写完,截了极其多的图,特不易于,请敬爱原创劳动成果,转发请证明小编和出处,并放置原作链接。谢谢!

  2. OpenAI 对科学技术界做出的孝敬照旧十分大的,开源了成都百货上千用来人工智能的代码库。希望 OpenAI 那个非盈利机构继续为人类做进献。

  3. Gym 和 Universe 在 Linux 和 macOS 上安装的进度相比像样,终归三个是 Linux,贰个是修正过的 Unix,相比贴近。在 Windows 上的设置则比较折腾,并且在 Windows 上用命令行实乃相比较难熬。

  4. 那篇作品笔者会直接更新的。希望我们建议建议,提出自个儿的乖谬,说说安装进度中相见的难题,小编会改善作品。多谢!

我们第后生可畏能够开启这一个终端的「神速编辑形式」,那样就能够从表面复制文本进入了:

设置时,询问是还是不是安装,请输入「y」,然后按下 回车键来早先安装。

运行它:

activate 是英语「激活」的意思。

图片 25Docker Toolbox

使改造马上生效。

这一次就足以设置成功了,安装的是 Gym 的风靡版本。

再进入:

图片 26OpenAI 的 Gym 和 Universe

图片 27进入 Product页面

进入 Docker 的官网:

保留配置文件,然后再运营以下命令使校正立刻生效:

Anaconda 可以用于创建独立的 Python 开垦运作碰到。每一个情形中的 Python Runtime都是单身的,互不影响。那样就不用操心安装 A 的时候把B 的情状给毁掉了。

docker ps

以此终端就象是一个 Linux 的终极,你可以在内部运转 Linux 里的黄金年代对常用命令,例如 ls,mkdir,cd,cp,等等。

图片 28模块 'gym.benchmarks' 找不到

因为大家的 Universe 和 Python 3.5 版本的 Anaconda 才同盟杰出,由此我们要用 Python 3.5 版本的 Anaconda 来创建设想遇到:

图片 29Docker Community Edition for Windows

笔者们能够用事情未发生前在 Linux 里的测量试验文件(能够在 6. 写程序测验 Gym 和 Universe 这里找到测验的那二个 Python 文件的代码,因为比较长,笔者就不再贴了)来测量试验一下 Gym 和 Universe 。确定保证您要么在 universe 那个设想意况里,然后运维 :

Universe 基于 Gym,是二个在全世界的二十八日游、网页和别的使用中,评估、锻炼智能代理的软件平台。

Docker 的官方网站是

source ~/.bashrc

大家也足以在情形里安装 TensorFlow 那样的机械学习库,来开展抓好学习的就学和测量检验:

举例你只要用 docker pull ubuntu 命令就能够获取 Ubuntu 开采情形:

图片 30Docker Toolbox for Windows

保存,退出编辑器,然后在命令行输入:

进而大家来安装 Docker 这一个软件:

conda list

OpenAI Gym 是一个用以支付和比较 本田UR-VL(Reinforcement Learning算法的工具包,它总结黄金年代类别不断增加、完善的蒙受,还提供能够用来比较和评测度法的阳台。

不过照旧事前在 Linux 里面安装 Gym 和 Universe 时说的那些新版 Gym 移除了模块 'gym.benchmarks' 的主题材料。

故而大家得以卸载 Gym,重新安装,不过是指定安装 0.9.5 版本。

source deactivate universe

图片 31Gym 的器皿镜像的探求结果

如此那般就足以了。

会出错:

系统会理解是否安装软件,按下回车就能够开展设置。

图片 32全总抉择

图片 33未登入Docker 账户的指南图片 34报到 Docker 账户后的样本

里面 <env name> 表示要删减的虚构景况的名字,比如大家创立的 universe。

如此那般,大家的 Anaconda 就安装配置好了。接下来,大家得以用 Anaconda 来创建二个虚构景况,能够起名称叫 universe(当然,你也能够取其余名字):

export PATH="/home/$USER/anaconda3/bin:$PATH"

大家只要上学 Python 的话,必需求用一下 Jupyter Notebook,太强盛。Github 上无数人也是一向上传他们的 Jupyter Notebook 的文本上去,在 Github 能够直接深入分析被大家看看内容。例如:

conda install xxx

下载完后就和设置平日软件雷同安装 Docker,然后运营Docker,保障显示的是「Docker is running」(表示 Docker 正在运作)的深绿字样:

大家进去 Docker 社区版页面:

现阶段的流行版的 Gym 的老大 MuJoCo 的模块某个标题,仿佛安装不上,MuJoCo 本人也正如独特,供给部分附加铺排。

来单独安装。这里大家不理睬 MuJoCo,因为一时半刻用不到。

固然您用

# -*- coding: UTF-8 -*-"""测试 Gym 和 Universe 环境是否正确安装"""import randomimport gymimport universeenv = gym.make('flashgames.NeonRace-v0') # 创建 NeonRace 的环境env.configure(remotes=1) # 自动创建一个本地的 Docker 容器observation_n = env.reset() # 重置环境,并且返回初始的 Observation# 左转和右转goleft = [('KeyEvent', 'ArrowUp', True), ('KeyEvent', 'ArrowLeft', True), ('KeyEvent', 'ArrowRight', False)]goright = [('KeyEvent', 'ArrowUp', True), ('KeyEvent', 'ArrowLeft', False), ('KeyEvent', 'ArrowRight', True)]# 向前加速boostforward = [('KeyEvent', 'ArrowUp', True), ('KeyEvent', 'ArrowRight', False), ('KeyEvent', 'ArrowLeft', False), ('KeyEvent', 'n', True)]sum_reward = 0turn = 0rewards = []buffer_size = 100action = boostforwardwhile True: turn -= 1 if turn <= 0: action = boostforward turn = 0 # 根据速度来选择 action action_n = [action for ob in observation_n] # 实行 action,返回细分的多个参数 observation_n, reward_n, done_n, info = env.step sum_reward += reward_n[0] rewards += [reward_n[0]] # 如果卡住了,尝试向某一个方向开一会 if len >= buffer_size: mean = sum / len if mean == 0: turn = 25 if random.random() < 0.5: action = goleft else: action = goright rewards = [] env.render()
brew install cmake boost boost-python sdl2 swig wget

图片 35输出 Anaconda 版本

#'mujoco': ['mujoco_py>=1.50', 'imageio'],#'robotics': ['mujoco_py>=1.50', 'imageio'],

图片 36输入 yes 表示同意,然后按 回车

随时安装程序会展现 Anaconda 的 License 便是局部证书和条文之类的新闻:

图片 37刺探是还是不是安装或升高

运营上面包车型地铁命令,在Anaconda 里安装 Python 3.5 :

图片 38怎样设置基于 Python 3.5 的 Anaconda

图片 39Docker 官网

sudo apt-get update

图片 40PATH 意况变量中 Python 版本精确

Gym 与此外的数值总结库宽容,如 TensorFlow 或许 Theano。首要支撑的是 Python 语言。

这两句注释掉,不让它棉被服装置,将其改为:

图片 41Docker 官网

指令来步向 universe 这一个设想碰到,那么命令行的提醒符会变样:

conda install python=3.5

OpenAI 在机器学习方面关注八个关键点:无监察和控制学习(Unsupervised Learning)和加重学习(Reinforcement Learning),它的生龙活虎对最首要的种类为主都开源在 Github 上:

Gym 的官方网址是

图片 42筛选另存为

就能够独家展现你眼下的 Docker 的进程和镜像。

运行它:

xxx 代表要设置的软件名称。

图片 43Docker 输出 "Hello from Docker !",表示安装成功

能够看来地方我们都以以 root 的地点运维 Docker 的一声令下。为了让大家随后每一次运转 Docker 无需用 root 身份而只需求用大家的普通顾客身份,大家得以这么做:

下一场安装 Universe,依次运营上面包车型大巴一声令下:

安装完 Docker,大家跟着安装 Anaconda。

风姿罗曼蒂克经输入「no」的话,表示无需安装程序帮你活动抬高,之后方可本身充分:

接着,就足以设置 Docker 了:

轶事 Elon Musk 创办 OpenAI 的叁个比较根本的由来是因为她是持「AI 威逼论」的人(与他近乎的还会有斯蒂芬.霍金 学士,等。和他持相反意见的有 推特 的 COO Mark.扎克Berg)。Elon Musk 认为有必要让大伙儿都掌握一下 AI ,以免止未来大概现身的「AI 灭世」。

设置完了 Gym,我们算是能够进来 Linux 中设置 Gym 和 Universe 之旅的尾声一站了:安装 Universe。

对于 Universe 的装置和构造,也会用到 Docker。对于 Gym 的设置,不要求用到 Docker。因为 Universe 的情状基本都是运作在一个 Docker 的器皿里的。

设若是 Ubuntu 14.04,则略有差异,请依次运维以下命令:

图片 44输入「no」,回车

代理使用和人类相通的感官输入和调整措施,但是它见到的是像素,调控的是鼠标和键盘。

图片 45OpenAI Gym 的容器镜像

封存那个文件。然后在指令行里运营以下命令:

当然了,亦不是说 Windows 就不能安装 Gym 和 Universe。

# -*- coding: UTF-8 -*-import gymenv = gym.make('CartPole-v0')for i_episode in range: observation = env.reset() for t in range: env.render() # 更新动画 action = env.action_space.sample() observation, reward, done, info = env.step # 推进一步 if done: env.reset() continue

图片 46星号指在 universe 的地点,表示 universe 是被激活的虚构情形

比方说大家能够成立三个文本,叫 test_universe1.py。

点击 Next:

图片 47Docker Toolbox 下载页面

黄金时代旦您的暗许 Shell 是 Bash 的话,就用文件编辑器在 ~/.bashrc 中增多上边那句行所无忌:

来显示 PATH 情况变量的值,能够看来 /home/$USERAV4/anaconda3/bin($USE逍客正是您的当下顾客,比方本人是 mooc )那些门路已经增多在 PATH 变量的末梢了:

大家得以写几个 Python 的顺序来测验一下 Gym 和 Universe。

运维下边包车型客车一声令下:

分选 Full installation,勾选全部。再点击 Next:

图片 48PATH 情状变量里早就有 Anaconda 的门路

登陆或不记名 Docker 账户都行。

python test_universe2.py

python test_universe1.py
conda env list

能够看来命令行提醒符的 前缀消失,表达我们早就不在 universe 这几个设想意况中了。

对于 Universe 的安装和布局,官方推荐用 Anaconda。对于 Gym 的安装,大家也得以动用 Anaconda。大家也来介绍一下。

点击那些 Python 3.x 版本的 Download 下载。最近新星是 Python 3.6 版的 Anaconda。

图片 49Docker Hub

大家也得以在条件里设置 TensorFlow 那样的机器学习库,来进展加强学习的读书和测验:

其风姿浪漫 Anaconda 安装程序有 456 MB,由此下载时间视你的网速而定,须求等一会。你能够去泡杯咖啡,恐怕热一头烤鸡。

您得把地点的 enming 替换到你和睦的客户名。

source activate universe

那儿,大家再用

大家得以用 wget 命令(若无安装 wget,请使用 sudo apt install wget 来安装。但是 Ubuntu 里平日自带了)来获取 Anaconda 的 Python 3.5 版本:

按 回车,表示同意安装或进步软件。

通过一如时期的等候,虚构境况创立完结:

待补充...

cdconda create --name universe python=3.5 anaconda

Windows 下 Gym 和 Universe 的装置 待续... 貌似新颖版的 Gym 和 Universe 在 Docker 里提供的镜像会有极度 MuJoCo 安装通然而的主题材料。

苹果的 macOS 是一定能够安装 Gym 和 Universe 的,因为 OpenAI 说他们正是在 macOS 上支付 Gym 和 Universe 的。

图片 50虚构遭逢中的 Python 解释器和操作系统的不豆蔻梢头致

点击第二个写了 openai-gym 的镜像进去:

python test_gym.py

上边包车型大巴指令是立异 apt 软件包列表。

下载安装会花风度翩翩段时间,依网速而定。这个时候你能够喝风华正茂喝咖啡,或然吃一下在此以前热的烤鸡。

我们得以用事情未发生前在 Linux 里的测验文件(能够在随笔上边的 6. 写程序测试Gym 和 Universe 这里找到测量检验的这几个 Python 文件的代码。因为代码超级多,作者就不再贴了,请本身去那篇小说里找,就在 Linux 安装 Gym 和 Universe 的底下一些)来测量检验一下 Gym 和 Universe 。确定保障您仍然在 universe 那几个设想情状里,然后运营 :

用以下命令能够退出设想遭受:

能够看见我们的雅俗共赏的 Docker 的吉祥物:鲸鱼。

source activate universe

按下 回车 之后,就初阶安装 Anaconda 了(包括部分底工软件条件),会花一些时光:

纵使把 Anaconda 的设置目录下的 bin 目录的门路( /home/$USEMurano/anaconda3/bin )加多到 PATH 情况变量的最前面。

那篇文章大家注重讲此中的 Gym 和 Universe 多少个开拓条件的设置。

cd ~/gympip uninstall gympip install gym==0.9.5
conda install pip six libgcc swig

对于 Ubuntu 16.04,请先运转以下顺序,以保证 apt 软件包列表是风靡的:

Universe 是葡萄牙共和国语「宇宙」的情趣,能够观察这个项指标愿景异常的大,目的在于开辟出像样通用人工智能(General Artificial 英特尔ligence)的算法。

Anaconda 非常刚劲,与 Python 的另多个软件 VirtualEnv(官方网址 Python 的虚构遇到。但是Anaconda 特别伟大上,看网址的标准水平差别就可以知悉。

来设置一些急需的软件。

图片 51领悟是否允许使用条目款项什么的

Python 3.6 安装配置好未来,大家下载Python 3.x 版的丰富Anaconda,之后就和在 Mac 安装普通软件同样,安装 Anaconda。

图片 52运行Gym 里面包车型大巴游乐 CartPole

它就开端下载安装那多少个软件到虚构境况中了:

图片 53运作 Universe 里面包车型大巴游戏 Pong

拉到上边,看见「Toolbox for Windows」:

安装完 Python 3.6 版本后,记得看一下您的 PATH 意况变量,确定保障 Python 3.6 的路子在里面,在你的 macOS 的尖峰 Terminal 里运营上边包车型客车一声令下查看 PATH 意况变量:

可是 Universe 还应该有个博客:

扯八个有趣的事:听别人讲电影《钢铁侠》是以 Elon Musk 的轶事为蓝本(因为 Elon Musk 的经历很像钢铁侠,他的求实人生历程大家能够活动物检疫索)。扮演电影中的化学家Tony·Stark(Tony Stark)的 小罗Bert.唐尼 向出品人建议,为演好剧中人物最棒能和马斯克聊聊。

wget https://repo.continuum.io/archive/Anaconda3-4.2.0-Linux-x86_64.sh
sudo add-apt-repository ppa:ubuntu-lxc/lxd-stable

本文由美高梅4858官方网站发布于计算机操作系统,转载请注明出处:macOS三平台安装OpenAI的Gym和Universe,Ubuntu下常用强化学习实验环境搭建

关键词: