使用Docker安装Spark

在国内加载Dockerhub上的镜像速度会比较慢,对此我们可以通过设置mirror镜像的方式来加速images的下载。

此外,如果是ipv6的网络,在一些mirror可以直接走ipv6通路,速度非常客观。这里以USTC的mirror为例。

我这里的环境是Ubuntu 14.04,对于不同的Linux环境,修改的方式都差不多;修改文件/etc/docker/daemon.json,如果没有这个文件,创建一个,注意,此处可能需要root权限。修改完成后,运行命令sudo service docker restart重启docker服务。

配置好以后,选择2.1.0版本的spark进行docker下载。

docker pull p7hb/docker-spark:2.1.0

或者直接运行

docker run -it -p 4040:4040 -p 8080:8080 -p 8081:8081 -h spark --name=spark p7hb/docker-spark:2.1.0

参考

  1. https://lug.ustc.edu.cn/wiki/mirrors/help/docker
  2. https://github.com/P7h/docker-spark

也可以看看