NexentastorのESXiへのインストール

今回はNexentaStore 3.1.5をESXi上にインストールします。

●仮想マシンの作成
「新規仮想マシンの作成」から、構成で標準でセットアップ
注意点は、
・ゲストOSをSolarisのSun Solaris 10(64-bit)に変更
・HDDは、SCSIで20GBで作成(OS部分のみに必要な容量です。)
・メモリを標準1GBから2GB以上に変更
・CD/DVDで、データストアISOファイルにダウンロードしたNexentaStor-Communityのisoを指定し、
パワーオン時に接続にチェックを入れる
・NICでネットワーク接続先を、任意の場所に指定
・起動HDDを冗長化する場合は、SCSI-HDDを20GBでさらにもう一個追加する。

なお、標準にすれば、SCSIコントローラはLSI Logic、NICはE1000になるはずです。

●インストール
電源オンでインストールが始まります。
注意点としては、起動HDD冗長化するときには、２つのHDDにチェックを入れるというところです。
冗長化しないなら、１つで問題ありません。

●初期設定１
インストール完了後、再起動で製品登録の画面になります。
http://www.nexenta.com/register-evalにアクセスして、
画面に出ているMachine Signatureを登録します。

その後、IPアドレス/サブネット/DNS/デフォルトゲートウェイと、
管理用プロトコル/ポートを設定します。

●初期設定２
http<s>://<IPアドレス>:<ポート>にアクセスし各種設定を実施

Host Name: NS002
Time Zone: Asia Japan – Japan
Keybord Layout: Japanese

Admin/Rootのパスワード

メール設定は必要に応じて

ネットワーク設定も環境に応じて設定

iSCSIイニシエータの設定は、使用するなら設定

DiskやVolimes,Foldersの設定は、ここではまだストレージ用のHDDを追加していないためスキップ

もし、安全性よりパフォーマンス優先なら、「Optimize I/O perfoamance forCIFS/NFS/iSCSI UPS-backed deployments?」にチェックを入れる。

その後、一度電源オフ

●機器の追加
NICと、データ保存用HDDをハードウェアに追加します。
・NICはE1000で追加します。
ただし、ESX5.1のU2以降、ESX5.1GA上でNexentastorを稼動させる場合は、
VMXNET3にしないと大量の通信を行った場合にスループットが低下するようです。
(VMware ESXi 5.1 U2 または ESXi 5.5 GA における、e1000 アダプタを使用する Solaris 仮想マシンでのネットワーク スループットのパフォーマンスの問題 (2086372))
ただし、VMXNET3のインターフェイスではMTU変更は出来ない(失敗する)ようです。こんな情報も見つけましたが、まだ試していません。
(Cannot increase MTU setting for virtual machines running Solaris with VMXNET3 network interface (2032669))

・データ保存用HDDを追加する場合、SCSIコントローラを追加する場合は、LSI Logicパラレルを指定します。

RAIDを組む場合は、同一容量のHDDを必要台数分追加します。
ここでは、新しいRAID領域ごとに別のRAIDコントローラを追加して、その下にそれを構成するHDDを接続しています。

●追加した機器の設定
・NICの設定（IP/サブネットマスク/MTU）
Setting->Network
・HDDの追加
Data Management->Data Sets

・volumesの追加
ここで、HDDを選択してRAIDを構成します。RAIDを組まないこともできます。
ここでは、noRAIDとします。

・Foldersの追加
volumesの中に、Foldersを作成します。
ここでは、nfsとします。

・作成したFoldersで、NFSを有効にします。
設定はデフォルトで問題ありませんが、NFSのバージョンは3に変更します。
(Data Management -> Shares -> Configureからも設定できます。)
ただ、このままだとすべてのユーザが読み書きできるので、セキュリティ的には別途検討要です。

・ESXから設定したNFS領域をマウントします。
構成 -> ストレージ -> ストレージの追加 -> ネットワークファイルシステム から追加します。
サーバ：NexentastorのIPアドレス
フォルダ：/volumes/<ボリューム名>/<フォルダ名> (例:/volumes/noRAID/nfs)
データストア名：データストア識別名

●確認
この時点で、ESXiのデータストアとして、NexentaStorのNFSが参照可能となっています。
ただし、Write速度が非常に遅いと思います。

●チューニング
主なチューニングに関連する項目は、以下のとおり

Setting -> Preferences

system
Sys_zfs_nocacheflush : デフォルトはno。YesにするとHDD内キャッシュが有効になるがDiskが仮想ディスクの場合の効果は不明。もちろん停電には弱くなるのでYesにする場合は自己責任で。

DataManegment -> DataSet

Folder
Record Size：128KB推奨
LogBuas: 通常はlatencyで問題なし。
ただし、シングルタスクでのパフォーマンスを求める場合はここをthroughputにすると
パフォーマンスが向上する場合があります。
Deduplication: 通常はoff。
有効にすると重複排除機能が有効になりますがその分CPU特にメモリ負荷が高くなり、結果的にパフォーマンスが落ちる傾向が強いです。
バックアップ用領域に利用すると効果が高いです。その場合の設定はsha256,verfyが比較的安全かも。
Compresson: 通常はoff。
有効にすると、圧縮機能が有効になりますが、その分CPU負荷が高くなります。ただし圧縮してDiskに書き込むことになるので、データの内容によってはパフォーマンスがあがる場合もあります。
on=lzjbと同義です。圧縮率は低いですが、CPU使用率も低い傾向があるようです。なお、gzip=gzip-6と同義になります。
on=jzjb -> gzip-1 -> gzip=gzip-6 -> gzip-9となるにしたがって圧縮率が上がりますが、CPU負荷も上がりますので、。
Sync: 書き込みパフォーマンスに重大な影響があります。
デフォルトは、Standerdです(WriteThrou的な設定)。
disableにすると、WriteBack的な動きになり、書き込みパフォーマンスが一気に上がりますが、
突然の停電などが発生した場合にデータ欠損が発生する可能性があります。
ただ、ZFS由来のZFSであれば、WriteHole問題が発生しないことになってますので、
大きな問題はない気がしますが、自己責任でお使いください。

Volume
Deduplication: Folder内の意味と同じ。Volume内のFolderに対するデフォルト値のようです。
Sync: Folder内の意味と同じ。Volume内のFolderに対するデフォルト値のようです。
AutpExpand: パフォーマンスとは直結しませんが、onにするとDiskサイズが増えたときに領域を自動拡張してくれます。

あとは、細かいチューニングをくりかえして、環境に応じた最適値を見つける必要があります。

最新版への更新はまた別途必要であれば。

 

その他ナレッジ

CUIコンソールの入り方

コンソール画面でrootやadminユーザでログインすれば、CUIで操作できます。
adminユーザでログインした場合は、shellが一般ユーザで起動します。suで特権モードでのshell操作も可能です。

また、rootの場合はNMC(Nexenta Management console)が起動し、Nexentastorの設定などがコマンドできるようになります。
この環境はshell環境とは違い、用意されたコマンドのみが使用できます。
GUI(Webインターフェース)でできる設定ができるようになっています。

NMCからshellを起動する

コンソールかsshでrootでログインする。

option expert_mode=1 -s
!bash

option ～は、最後に-sをつけると最初の１回のみの実行でOKです。
その後は!bashのみで起動できるようになります。

NexentaStorの初回起動時のCUIネットワーク設定を再度実行する

NMCにを起動して、以下のコマンドを実行します。

setup appliance init

うまくGUI(Webインターフェース)を起動できなかった場合にも再インストールする必要はありません。

NexentaStorのバージョンアップ

 NMCを起動して、以下のコマンドを実行します。
新しい更新があれば、表示されますので、
必要に応じて更新します。更新した場合は再起動が行われます。

setup appliance upgrade

正常に再起動でき、動作を確認したら、NMCにログインすると、今後更新を反映させるかの確認があります。ここで、反映させておかないと次の再起動時に更新がキャンセルされますのでご注意ください。

その他よく使うNMCコマンド

help　　　　　　　　　　　　　　　　ヘルプ表示
setup appliance reboot　　 　　再起動
setup appliance poweroff　　　シャットダウン

<tab>キー2回でコマンドの候補がでますし、コマンドの後Enterでコマンドに対するオプションや説明が表示・選択できますので結構感覚的に操作できます。

最新のESXi付属のVMware-Toolsを使用する方法

VMXNET3やPVSCSIを使用するために、
本家VMwareToolsを導入する場合は、以下のURLの手順でインストールできます。

http://plone.4aero.com/Members/lmarzke/howto/nexentastore-installation-on-vsphere

ただ、4.x系だとVMXNET3がうまく動かない場合があるので、
apt-getコマンドでopen-vm-toolsやをインストールしたほうがいいかもしれません。

パッケージ管理

Nexentastorにはパッケージ管理としてaptがデフォルトでインストールされています。これを利用して、VMware-tools（open-vm-tools）をインストールできます。
ただし、!bashからコンソールではなく、adminでログインしてsuにならないとうまくレポジトリにアクセスできない場合があるのでご注意を。

apt-get update
apt-get install open-vm-tools

もし、proxy経由での接続が必要であれば、以下のように環境設定を設定します。

export http_proxy=”http://proxy:port”
export https_proxy=”http://proxy:port”
export ftp_proxy=”http://proxy:port”

その他、vmxnet3ドライバや、pvscsiドライバも用意されています（3.1.5だと標準でインストール済み）

nexenta-vmxnet3 　　　- VMware EtherAdapter v3, Rev 5
nexenta-pvscsi 　　　　  – Solaris driver for VMware para-virtualized SCSi HBA, Rev 15

ちなみに、その他のコマンド例
apt-cache search open-                             open-を含むインストール可能なパッケージを表示する
dpkg -l                                                          インストール済みパッケージの表示

その他のコマンドの参考
http://landisk.kororo.jp/debian/04_apt-get_dpkg.php

 ESXiとのVAAI 連携について

ESXiのストレージオフロード機構であるVAAIをNexentaStoreでは使用できます。

iSCSIについては、NexentaStor 4.0.3 FP2までは標準でサポートしており、
nexentastorでiSCSI領域を作成、ESXi側でマウントすれば、
自動的にハードウェア支援が有効になります。

NexentaStor 4.0.3 FP3以降では、デフォルト無効なので、
https://nexenta.com/products/downloads/nexentastor
からvaaictlをダウンロードして、転送し、

chmod 555 ./vaaictl
./vaaictl –enable

とする必要があるようです（後で確認します。）

NFSの場合は、別途プラグインをNexentaStor、ESXi側両方に導入する必要があります。

2015/4現在のプラグインのバージョンは1.0-128です。
現状NexentaStore CE 3.1.xとvSphere5.xの組み合わせで動作を確認しています。

Nexenta 3.1.4 and beta Nexenta NFS VAAI Plugin released

Nexenta VAAI-NAS Beta Released, NFS Hardware Acceleration

ただ、NexentaStore CE 4.0だとエラーとなってプラグインが起動せずでした。vSphere6.xではまだ試していません。