物聯網 (IoT) 資戰車 - Hadoop 叢集環境基礎建置

使用 Hadoop 前，我們必須先針對 Hadoop 所需的環境，做一個基礎的建置，詳細步驟如下。

設定 SSH

1. 產生 SSH 自動登入憑證 
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa  [注意] -P 後面為兩個單引號

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ ls -al .ssh

2. 第一次執行 SSH 本機登入
$ ssh nna

3. 取消主機金鑰自動檢查功能
$ sudo nano /etc/ssh/ssh_config

JDK 版本

1. 顯示 JAVA 版本
$ java -version

2. 查看正在運作的 JAVA 程式

$ jps -v

Hadoop 套件

1. 下載官網套件

$ wget ftp://ftp.twaren.net/Unix/Web/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

2. 解壓縮 Hadoop 套件

$ ls -al

$ sudo tar xvfz hadoop-2.7.1.tar.gz -C /opt

3. 確認 Hadoop 套件與系統相容性

$ file /opt/hadoop-2.7.1/lib/native/libhadoop.so.1.0.0

$ uname -m

由上面的兩個指令可以知道，官網的套件是不支援 ARM 架構的，故無法使用，這邊提供我們已經編譯過的套件，下載網址如下。
https://goo.gl/xR81JR

下載完畢後，再使用 WinSCP 工具上傳至小刀鋒上。上傳成功後，先把原先解壓縮出來的目錄刪除，指令如下。再繼續做從第二步，解壓縮 Hadoop 套件即可。

$ sudo rm –r /opt/hadoop-2.7.1

設定 Hadoop 系統環境變數

這個階段，使用 Shell script，來設定 Hadoop 系統環境變數，Shell script 的介紹如下：

Shell Script 主要用途就是用來協助使用者在 UNIX 或 Linux 環境上，以更方便、更自動化的方式來執行想要執行的指令，它也可以很快速的協助使用者或管理者大量地執行重複性的動作與指令。

1. 建立系統環境變數檔
$ sudo nano /opt/allhadoop.sh

加入的文字如下：

#/bin/bash export JAVA_HOME=/usr/lib/jvm/jdk-8-oracle-arm-vfp-hflt export HADOOP_HOME=/opt/hadoop-2.7.1 export PATH=$PATH:$JAVA_HOME/bin export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

自訂系統維運指令

1. 自訂系統維運指令
$ sudo nano ~/.bashrc

加入的文字如下：
alias bye='sudo shutdown -h now' alias reboot='sudo reboot' alias ping='ping -c 4' . /opt/allhadoop.sh

2. 重新載入
$ source ~/.bashrc

物聯網 (IoT) 資戰車 - 安裝與設定樹莓機作業系統

安裝與設定樹莓機作業系統前，請確認是否有以下應用程式

應用程式　( 藍色字的可點選下載 )	用途描述
7-Zip  或  WinRAR 請選擇適合您的作業系統(x86 or x64)	解壓縮下載回來的 SD 卡 映像檔
Win32 Disk Imager	將映像檔燒錄到SD卡
Putty 下載直接使用，無需安裝	連接到你的樹梅派(Raspberry Pi)

下載 Raspberry pi  作業系統

使用瀏覽器連結到樹梅派的官方網站，並到 DOWNLOADS 中，選擇 Raspbian ，再選擇RASPBIAN JESSIE LITE (Minimal image based on Debian Jessie)，點擊 Download ZIP 下載，如下圖所示：

下載回來後，解壓縮後的檔案名為：2015-11-21-raspbian-jessie-lite.img

燒錄 Raspberry pi  作業系統

點開 Win32 Disk Imager 資料夾內的 Win32 Disk Imager.exe ，點選右鍵選取以系統管理員身分執行，您將會看到一個視窗要求權限，請點選 是。

現在，在 Win32 Disk Imager 畫面上，點選藍色的資料夾圖案，並選擇您剛剛解壓縮出來副檔名為 .img 的映像檔案。

在藍色的資料夾圖案旁邊，您會發現有一個可以下拉的選單，您可以在這選擇您的 SD 卡，請仔細確認您在 Windows 下的 SD 卡的名稱，如下圖：

確認所有東西都選好後，請按 Wirte，開始寫入 img 檔，燒錄完成後按 OK 即可。

UART 驅動程式安裝

1. 確認系統位元數

安裝驅動程式前，請先確認系統位元數，點選 開始→電腦 (右鍵)→內容。

2. 安裝驅動程式

選擇符合您電腦作業系統的位元數，並安裝驅動程式，如下圖所示：

3. 確認驅動程式是否安裝成功

安裝完後，確認驅動程式是否安裝成功，請將 UART 連接電腦與樹莓派，點選開始→電腦(右鍵)→管理→裝置管理員。

Raspberry Pi 作業系統首次操作

1. Putty 連接 Raspberry Pi

把SD卡插入小刀鋒，並且使用USB延長線與電腦連接後，請到電腦管理 → 裝置管理員，確認連接埠( COM )是多少。

開啟Putty，並選擇 Serial，在 Serial line 的地方輸入你剛剛確認過的連接埠，並在 Speed 的地方輸入115200。

2. 接觸 Raspberry Pi 作業系統

使用 putty 進入系統後，輸入帳號：pi  密碼：raspberry (盲打)

[注意] 接觸後的第一個畫面 → 按 Enter 後，才會有以下畫面

Raspberry Pi 作業系統設定

1. 系統儲存空間確認

登入後，第一件事請先輸入：
$ df -h 

查看燒錄過後的SD卡是否有剩餘的空間，範例如下圖所示，我們使用 8G 的SD卡，可是系統卻只有 2.9 G ，剩餘的空間並未擴充。

[注意] 接下來，請用上下左右鍵選擇， 用 Tab 鍵跳出選項，用Enter鍵確定

2. 擴充儲存空間 

$ sudo raspi-config 

選擇第一項後按Enter

選擇 OK 按 Enter

之後在登入系統後，在使用指令確認，就會發現空間已打開。

3. 設定 語系

選項 4. Internationalisation Options

再進入 I1  Change Local [注意] 需要等一下

設定  en_US,UTF-8 UTF-8、zh_TW  BIG5、zh_TW, UTF-8 UTF-8

選擇  zh_TW.UTF-8 (繁中)，Enter 後即可完成 [注意] 需要等一下

4. 設定顯卡記憶體

[注意] 2015-11-21-raspbian-jessie-lite 這個版本，無須設定顯卡記憶體，已經預設為 0

選項 8. Advanced Options (進階設定)

再進入 A3    Memory Split

將設定值改為 0 ， Enter 後即可完成

5. Raspberry Pi 超頻設定

選項 7. overclock

跳出警告，選擇OK

選擇 High

提示：是否選擇High，按OK

回到初始畫面，選擇Finish

按 Yes ，重新開機

設定 TCP / IP

1. 文字編輯器 nano

$ nano test.txt

新增 test.txt ，輸入 123 至 test.txt，存檔 ctrl + O，離開 ctrl + X

$ ls -al

確認 test.txt 是否以新增成功

2. 主機識別名稱

$ sudo nano /etc/hostname

3. 設定固定 IP 位址

$ sudo nano /etc/network/interfaces

4. 主機名稱解析

$ sudo nano /etc/hosts

5. 樹莓派重新啟動與關機

$ sudo reboot

$ sudo shutdown -h now

Raspberry Pi 作業系統套件更新

1.套件清單更新
$ sudo apt-get update

2.套件升級
$ sudo apt-get upgrade

3.安裝額外套件
$ sudo apt-get install ssh nano wget git tree 

Big Data 一日實戰體驗營

感謝 中國生產力錫金老師, 俐婷 與 上上群刀鋒研發小組 的大力支持, 得以推出 Big Data 實機情境式體驗營 (二人使用一部樹莓小刀鋒)

課程資訊網址 : http://mymkc.com/app/edms/cpc2546/edm/2015/bigdata4.0-2/index.html