物聯網 (IoT) 資戰車 - Hadoop 叢集環境基礎建置

使用 Hadoop 前，我們必須先針對 Hadoop 所需的環境，做一個基礎的建置，詳細步驟如下。

設定 SSH

1. 產生 SSH 自動登入憑證 
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  [注意] -P 後面為兩個單引號

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ ls -al .ssh

2. 第一次執行 SSH 本機登入
$ ssh nna

3. 取消主機金鑰自動檢查功能
$ sudo nano /etc/ssh/ssh_config

JDK 版本

1. 顯示 JAVA 版本
$ java -version

2. 查看正在運作的 JAVA 程式

$ jps -v

Hadoop 套件

1. 下載官網套件

$ wget ftp://ftp.twaren.net/Unix/Web/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

2. 解壓縮 Hadoop 套件

$ ls -al

$ sudo tar xvfz hadoop-2.7.1.tar.gz -C /opt

3. 確認 Hadoop 套件與系統相容性

$ file /opt/hadoop-2.7.1/lib/native/libhadoop.so.1.0.0

$ uname -m

由上面的兩個指令可以知道，官網的套件是不支援 ARM 架構的，故無法使用，這邊提供我們已經編譯過的套件，下載網址如下。
https://goo.gl/xR81JR

下載完畢後，再使用 WinSCP 工具上傳至小刀鋒上。上傳成功後，先把原先解壓縮出來的目錄刪除，指令如下。再繼續做從第二步，解壓縮 Hadoop 套件即可。

$ sudo rm –r /opt/hadoop-2.7.1

設定 Hadoop 系統環境變數

這個階段，使用 Shell script，來設定 Hadoop 系統環境變數，Shell script 的介紹如下：

Shell Script 主要用途就是用來協助使用者在 UNIX 或 Linux 環境上，以更方便、更自動化的方式來執行想要執行的指令，它也可以很快速的協助使用者或管理者大量地執行重複性的動作與指令。

1. 建立系統環境變數檔
$ sudo nano /opt/allhadoop.sh

加入的文字如下：

#/bin/bash export JAVA_HOME=/usr/lib/jvm/jdk-8-oracle-arm-vfp-hflt export HADOOP_HOME=/opt/hadoop-2.7.1 export PATH=$PATH:$JAVA_HOME/bin export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

自訂系統維運指令

1. 自訂系統維運指令
$ sudo nano ~/.bashrc

加入的文字如下：
alias bye='sudo shutdown -h now' alias reboot='sudo reboot' alias ping='ping -c 4' . /opt/allhadoop.sh

2. 重新載入
$ source ~/.bashrc