Coding theano under remote ubuntu server from local Mac (在本地mac机器上,写、跑、调试、看-远程ubuntu上的theano代码)

本人是奇葩,最近鼓捣了一套在mac上coding远程ubuntu上的theano代码的东东,记之以期造福后人。

Overview: 下图是我的编程环境和网络环境

技术分享

 

我期望能在本地mac机器上对远程的ubuntu theano server进行write、run、debug、view matplotlib图片。

 

mac设置(参考这里

考虑到在Mac本地调试一部分代码,我把mac也设置好了科学计算环境。

1.1 python

mac安装xcode后会自带很多东西,python就是其中一个。但mac提供的python版本不高,语法与标准python有区别。我使用brew安装了brewed python。

First install homebrew. Follow their instructions, then come back here.

# set up some taps and update brew 打开隐藏的科学库和python库

brew tap homebrew/science # a lot of cool formulae for scientific tools

brew tap homebrew/python # numpy, spicy

brew update && brew upgrade

# install a brewed python

brew install python

?brew安装的东西都在/usr/local/下,比如bin lib等。用which查看brew的python在/usr/local/bin下,mac自带的python 在/usr/bin下,/usr/local/bin should appear in front of /usr/bin。brew的package比如numpy会安装在local/python/site-package下。brew install python 会安装新的pip到local目录。以后brew的需要against brewed python lib的新软件比如macvim,会自动从$PATH中找第一个出现的python的lib。在ipython下,import os, print(os.path)可以看到$PYTHONPATH的路径,这个路径表示了使用哪个python。import numpy后,print numpy.___path__可以看到import的是哪个路径下的numpy。

 

# install numpy and scipy

brew install numpy 

brew install scipy

 

1.2  ipython

brew install qt pyqt 

# test the numpy & scipy install

brew test numpy

brew test scipy

 

#画图的

brew install matplotlib

# ipython and notebook support

brew install zmq

pip install ipython[zmq,qtconsole,notebook,test]

 

1.3 x11

A version of the X.Org X Window System that runs on OS X

x11是一个图形系统,ubuntu就是用x11来显示图形界面,pyhton的matplotlib也可以用x11,也可以用agg在不启动x11的时候使用plot,参考这里。mac有自己的一套图形界面,但也提供了x11支持(参考这里)。

 

2. 远程ubuntu12.04设置

2.1 theano、python、ipython的安装,(参考theano官方)

2.2 编译安装vim7.4+python版本,参考这里,?我几次编译都没能加入python支持,后来没有在编译时选装--enable-perlinterp \ --enable-luainterp \ --enable-gui=gtk2 --enable-cscope —prefix=/usr 这三个组件 才成功加入python支持,很奇怪,我猜是luain的原因。

2.3 youcompleteme安装,参考官方

 

3. mac与ubuntu互联互通

我在mac上通过ssh到ubuntu上用vim写python代码。调试时我希望能在mac上通过远程连接ubuntu的ipython的pdb

来调试。调试方法参考这里。问题是如何建立到远程python的链接呢?ipython的分离式设计给我提供了机会,参见下图。

ipython分成了kernel和frontend前端界面两个独立的部分。kerner可以运行在ubuntu上,而frontend可以运行在mac上。

技术分享

 

3.1 方法1,在mac上用qtconsole连接远程kernel(请参考1 2

技术分享

ubuntu端:

在ubuntu上启动ipython kernel,并绑定到ip,这样kernel就在192.168.2.6的41746 52697 52331 33016 58260这5个port上提供服务了。

server > ipython qtconsole —ip=192.168.2.6

这里也可以用ipython kernel来启动,但这时就木有x11或者agg支持了。

启动后在ipython中使用命令%connect_info来查看连接信息。

{

  "stdin_port": 41746, 

  "ip": "192.168.2.6", 

  "control_port": 52697, 

  "hb_port": 52331, 

  "signature_scheme": "hmac-sha256", 

  "key": "8c035c48-3fd1-4492-801d-aad6bda49293", 

  "shell_port": 33016, 

  "transport": "tcp", 

  "iopub_port": 58260

 

启动后会自动生成一个如上内容的文件,这个文件可以在如下目录中找到

congliu@CUDA:~$ ls .ipython/profile_default/security/kernel-10436.json  kernel-11114.json  kernel-7780.json

 

mac端:

copy连接文件到本地

scp -P 9997 congliu@61.61.61.61:/home/congliu/profile_default/security/kernel-10436.json ./

启动frontend,连接到防火墙61.61.61.61后面的192.168.2.6。其实是用ssh的端口映射功能先把mac上qtconsole对127.0.0.1的41746 52697 52331 33016 58260这5个port的访问forwarding到远方的192.168.2.6的相应端口上,因为ubuntu在firewall后面,所以还用到了ssh tunnel把mac和61.61.61.61连起来。

[congliu@CongLius-MacBook-Pro~]$ipython qtconsole --ssh=congliu@61.61.61.61:9997  --ip=192.168.2.6 --existing ./kernel-11114.json

3.2 方法2 ,在mac上用notebook连接远程kernel(请参考这里)

3.3 方法3,使用ssh的x11 forwarding 功能(请参考这里

ssh还真是强大,可以把本该在ubuntu上通过x11显示图形,forward到mac上显示,当然前提是mac上要装好x11的服务(参考这里)。在ubuntu的命令行中输入ipython qtconsole就是在mac上打开一个qtconsole。此时,mac上的python和ipython根本没有运行,mac上的x11就是从ubuntu上的x11接收指令然后显示在本地而已。ubuntu上同时运行了ipython的kernel和frontend。

技术分享

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。