利用 Docker 安装 Hadoop 集群并通过 Java API 访问 HDFS
前言 最近刚好在学习 Hadoop，在安装过程中遇到了一些小麻烦，正好将此次过程记录并分享出来，希望能对准备学习本块内容的读者们有所帮助。本次操作在 Ubuntu 中完成，如何安装 Ubuntu 本文不再赘述。 本文所涉及到的代码及配置文件可在微信公众号「01 二进制」后台回复「hadoop」获取。 在 Ubuntu 中安装配置 Docker 使用官方安装脚本自动安装 安装命令如下： curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun 也可以使用国内 daocloud 一键安装命令： curl -sSL https://get.daocloud.io/docker | sh Docker 镜像加速 之后我们会利用 docker 拉取一些镜像，国内从 DockerHub 拉取镜像有时会遇到困难，此时可以配置镜像加速器。这里以 ubuntu 系统为例，我们可以通过修改 daemon 配置文件/etc/docker/daemon.json来使用加速器 { "registry-mirrors": ["https://hub-mirror.c.163.com"] } 然后执行以下命令重启 docker 服务即可 sudo systemctl daemon-reload sudo systemctl restart docker Hadoop 集群安装 1. 拉取 docker 镜像 sudo docker pull kiwenlau/hadoop:1.0 2....