Coding theano under remote ubuntu server from local Mac (在本地mac机器上，写、跑、调试、看－远程ubuntu上的theano代码)

本人是奇葩，最近鼓捣了一套在mac上coding远程ubuntu上的theano代码的东东，记之以期造福后人。

Overview: 下图是我的编程环境和网络环境

我期望能在本地mac机器上对远程的ubuntu theano server进行write、run、debug、view matplotlib图片。

mac设置（参考这里）

考虑到在Mac本地调试一部分代码，我把mac也设置好了科学计算环境。

1.1 python

mac安装xcode后会自带很多东西，python就是其中一个。但mac提供的python版本不高，语法与标准python有区别。我使用brew安装了brewed python。

First install homebrew. Follow their instructions, then come back here.

# set up some taps and update brew 打开隐藏的科学库和python库

brew tap homebrew/science # a lot of cool formulae for scientific tools

brew tap homebrew/python # numpy, spicy

brew update && brew upgrade

?brew安装的东西都在/usr/local/下，比如bin lib等。用which查看brew的python在/usr/local/bin下,mac自带的python 在/usr/bin下，/usr/local/bin should appear in front of /usr/bin。brew的package比如numpy会安装在local/python/site-package下。brew install python 会安装新的pip到local目录。以后brew的需要against brewed python lib的新软件比如macvim，会自动从$PATH中找第一个出现的python的lib。在ipython下，import os, print(os.path)可以看到$PYTHONPATH的路径，这个路径表示了使用哪个python。import numpy后，print numpy.___path__可以看到import的是哪个路径下的numpy。

# install numpy and scipy

brew install numpy 

brew install scipy

1.2  ipython

brew install qt pyqt 

# test the numpy & scipy install

brew test numpy

brew test scipy

＃画图的

brew install matplotlib

# ipython and notebook support

brew install zmq

pip install ipython[zmq,qtconsole,notebook,test]

1.3 x11

A version of the X.Org X Window System that runs on OS X

x11是一个图形系统，ubuntu就是用x11来显示图形界面，pyhton的matplotlib也可以用x11，也可以用agg在不启动x11的时候使用plot，参考这里。mac有自己的一套图形界面，但也提供了x11支持（参考这里）。

2. 远程ubuntu12.04设置

2.1 theano、python、ipython的安装，(参考theano官方)

2.2 编译安装vim7.4＋python版本，参考这里，?我几次编译都没能加入python支持，后来没有在编译时选装--enable-perlinterp \ --enable-luainterp \ --enable-gui=gtk2 --enable-cscope —prefix=/usr 这三个组件 才成功加入python支持，很奇怪，我猜是luain的原因。

2.3 youcompleteme安装,参考官方。

3. mac与ubuntu互联互通

我在mac上通过ssh到ubuntu上用vim写python代码。调试时我希望能在mac上通过远程连接ubuntu的ipython的pdb

来调试。调试方法参考这里。问题是如何建立到远程python的链接呢？ipython的分离式设计给我提供了机会，参见下图。

ipython分成了kernel和frontend前端界面两个独立的部分。kerner可以运行在ubuntu上，而frontend可以运行在mac上。

3.1 方法1，在mac上用qtconsole连接远程kernel（请参考1 2）

ubuntu端：

在ubuntu上启动ipython kernel，并绑定到ip，这样kernel就在192.168.2.6的41746 52697 52331 33016 58260这5个port上提供服务了。

server > ipython qtconsole —ip=192.168.2.6

这里也可以用ipython kernel来启动，但这时就木有x11或者agg支持了。

启动后在ipython中使用命令%connect_info来查看连接信息。

{

  "stdin_port": 41746, 

  "ip": "192.168.2.6", 

  "control_port": 52697, 

  "hb_port": 52331, 

  "signature_scheme": "hmac-sha256", 

  "key": "8c035c48-3fd1-4492-801d-aad6bda49293", 

  "shell_port": 33016, 

  "transport": "tcp", 

  "iopub_port": 58260

 ｝

启动后会自动生成一个如上内容的文件，这个文件可以在如下目录中找到

congliu@CUDA:~$ ls .ipython/profile_default/security/kernel-10436.json  kernel-11114.json  kernel-7780.json

mac端：

copy连接文件到本地

scp -P 9997 congliu@61.61.61.61:/home/congliu/profile_default/security/kernel-10436.json ./

启动frontend,连接到防火墙61.61.61.61后面的192.168.2.6。其实是用ssh的端口映射功能先把mac上qtconsole对127.0.0.1的41746 52697 52331 33016 58260这5个port的访问forwarding到远方的192.168.2.6的相应端口上，因为ubuntu在firewall后面，所以还用到了ssh tunnel把mac和61.61.61.61连起来。

[congliu@CongLius-MacBook-Pro~]$ipython qtconsole --ssh=congliu@61.61.61.61:9997  --ip=192.168.2.6 --existing ./kernel-11114.json

3.2 方法2 ，在mac上用notebook连接远程kernel(请参考这里)

3.3 方法3，使用ssh的x11 forwarding 功能（请参考这里）

ssh还真是强大，可以把本该在ubuntu上通过x11显示图形，forward到mac上显示，当然前提是mac上要装好x11的服务（参考这里）。在ubuntu的命令行中输入ipython qtconsole就是在mac上打开一个qtconsole。此时，mac上的python和ipython根本没有运行，mac上的x11就是从ubuntu上的x11接收指令然后显示在本地而已。ubuntu上同时运行了ipython的kernel和frontend。