ちょっと面白そう。
無償版もあるみたいだしちょっと試してみたい。
ネットワールド、vSphere 6.0に対応したストレージ高速化ソフト「PernixData FVP 3.0」
windows 2000 へ VMware Toolsインストール時のパッチ当てについて
VMware toolsインストール時にエラーとなる場合は、 スナップショット取得後、次のパッチを適用してください。
Windows2000-KB835732-x86-JPN.exe
可能であれば、このパッチより先に
Windows 2000 Service Pack 4 (SP4)
を当てたほうがいいのですが、既存環境からのP2Vとかの場合だと、これを入れるのは厳しいのが実情です。
また、このパッチを当てた後、CPU負荷異常が発生する場合があります。
その場合は、以下を参照
https://support.microsoft.com/ja-jp/kb/841382
また、デバイスマネージャを開き、黄色「!」がついたデバイスがあれば無効にすると解決する場合があるとのことです。
Windows2000の場合、VMware Toolsが入らない場合は、
FlexibleをNICにしていると10MbpsのレガシーNIC(Vlance:AMD79C970 PCNet32-LANCE)で認識してしまいます。
その場合は、e1000を使うしかありませんがOS標準でドライバーが入っていないので、別途ダウンロードする必要があります。
以下のナレッジからリンクをたどると、Win2000用のドライバがダウンロードできるので、別途インストールしてください。
(ファイル名はPRO2K.exe)
実は、コレはvSphereClient5.5のUpdate1までの制限です。
vSphere Client 5.5のUpdate 2以降(build 1993072以降)を使えば、
警告は出るけどvShereClientの触れる範囲(vmx-8までの機能部分)であれば編集できます。
この制限は、vSphereClient側でかかっていたので、ESX5.5GAやU1に
vSphereClient5.5のUpdate2以降で接続した場合でも編集できるようになっています。
ちなみに同様に、ESX5.1でも 、vSphare Client 5.1 U2 以降を使用すれば
vmx-9の仮想マシンでも編集できます。
仮想マシン内のゲスト OS の重大なエラーを特定する (2081131)
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2081131
(補足:.vmsnからWindowsコアダンプファイルへの変換方法についてへのリンクもあります)
Windows 仮想マシンで手動メモリ ダンプを生成する (2101987)
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2101987
(補足:Windowsのメモリダンプを取得する方法[物理サーバと同様です])
ESX/ESXi 上で仮想マシンをクラッシュさせて診断情報を収集する (2094454)
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2094454
他にもNMIのクラッシュダンプを取得する方法もあるようです。
http://norimaki2000.blog48.fc2.com/blog-entry-1301.html
(この場合、NMI割り込みをかけるだけなので、挙動としてはゲストOSに依存します。)
AndroidをPC(ESXiの仮想マシン)のスピーカにしてみたので、そのメモ
ESXiの仮想マシンの場合、通常の方法では、音を鳴らすことができません。
そこで、通常ではない方法の一つとして、AndroidをESXi仮想マシンのスピーカーにする方法を試してみました。
有償ソフトもあるけど、とりあえず試したのは、「WiFi Audio Wireless Speaker」。
このソフトは、PC(Xp,Vista以降、Pluse Audioを使用しているLinux)で出た音声を、同一ネットワーク上にあるAndroidに送信して、Androidのスピーカーから出すことができます。
まずは、Android側に上記のアプリをPlayストアからダウンロードして、起動します。
操作は基本的に、WiFi Audio Statusを OFF/ONしかありません。
ONにすると、受信した音が鳴るようになります。
また、画面下にはIPアドレスが表示されます。
次に送信先となるWindowsに送信用アプリを以下からダウンロードします。
http://ajeetv.info/wifiaudio/
それぞれのOSに合わせた送信用ソフトウェアをダウンロードします。
Windows Vista以降
Linux (with Pulse Audio)
WindowsXP (with Wave Mix/Stereo MIx)
基本的にダウンロードしたファイルを実行するだけです。
実行してIPアドレスを入れて、Startを押すだけで、PCで鳴らした音がAndroidから流れるようになります。
ただし、物理PCの場合、物理PCのスピーカーもONになっていると、PC側とAndroid側の両方から音が鳴ります。
Android側からの音は若干の遅延が発生するのでエコー状態になるので
PC側のスピーカの音量を0にするか、ミュート状態にする必要があります。
また、通信時のビットレートは約1.4Mbps程度です。圧縮転送の機能はありませんので、
その場合は別のソフトの有償版を使うしかないようです。
・WiFi Speaker(無償版)・WiFi Speaker Pro(有償版)
・SoundWire (free version)・SoundWire (full version)
(両方未検証です)
また、1つのAndroidに複数のPCから音声を転送しようとすると、ノイズが多くなり事実上使えませんでした。
で、このオレ的用途ですが、
このアプリを使えばESXi内の仮想マシンから音声を出力することが出来ます。
ただし仮想マシンにAudioデバイスがないと、PC側アプリでStartできませんので
何らかのAudioデバイスを仮想マシンから認識させなければなりません。
物理的なデバイスをつけないという条件であれば、
ESXi仮想マシンのvmxファイルに隠しパラメータであるHDAudioをつける記述を行うか、
仮想Audioデバイス(XPの場合はTiVSound。Windows 7以降であればNetDuetto付属の仮想デバイスがお勧め)をインストールする必要があります。
上記の仮想的なデバイスは、OSからはAudioデバイスがあるように見えますが、実際に音を出すことは出来ません。ただし、Audioデバイスがないと動かないようなソフトウェアがこれをつけると動くようになります。
今回のWiFi Audio Wireless Speakerもこれで動くようになります。
ESXiの仮想マシンから音を出す方法は、ほかにも色々あるのでそのうちまとめる予定です。
ESXiでThinディスクをシュリンクする
ESXiで、Thinディスクを作成して仮想マシンにマウントした場合、
ファイルを作成するに従ってVMDKのサイズが増えていきますが、
ファイルを削除しても、VMDKのサイズは減りません。
VMDKファイルのサイズを小さくすることをシュリンク(shrink)と呼ぶこともあります.
ESXの場合、基本的には、以下の2つの処理をおこなうことでシュリンクすることができます。
・SDeleteで仮想ディスク内の過去使用したことがあるが、現在未使用領域のNullクリア
SDelete -z ドライブ文字
・仮想マシンを停止して、vmkfstoolでNullブロックを削除する
vmkfstools -K /path/to/disk-name.vmdk
注意点としては
・Nullクリアする段階でThinディスクは事実上Thickディスクになります。
つまり、Nullクリア完了時点でVMDKサイズに割り当てした最大容量にまでおおきくなるので、その分の空き容量がデータストア上に必要です。
・スナップショットやリンククローンを使用している場合は、シュリンクできません。
ESX3.5の頃は、Nullクリアした上でThinでStorage vMotionすればシュリンクされたような気がするけど、
ESX4.0以降では、同じブロック間のデータストア間のStorage vMotionだとNullは回収されない模様。別のブロックサイズであれば、回収されるようです。
SDelete & vmkfstoolsの場合は、仮想マシンを停止しなければいけないで、どうしても仮想マシンON状態でやりたい場合は、SDelete & Storage vMotion(別ブロック長間 or FC,iSCSI,DAS<->NFS で移動)もひとつの手かと。
(今回の参考)
ESXi/ESX によってホストされた仮想マシン上の VMware Tools 圧縮オプション (2094653)
http://kb.vmware.com/selfservice/search.do?cmd=displayKC&docType=kc&docTypeID=DT_KB_1_1&externalId=2094653
Storage vMotion でシン ディスクを移行したとき null ブロックが回収されない (2092768)
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2092768
ESXでAFT-Diskを使う場合について少し調査中
ESX5.0以降であれば、VMFS領域確保時に、領域の最初は4KBにあわせて確保されるので、アライアンスを気にする必要はない模様
ただし、VMFS上に作成したVMDKは512バイトセクターとして見えますが、実際にアクセスするHDDはAFT領域(論理512,物理4096)なので、結局はゲストOSからしてみれば、AFT-Diskを使用するのと同じ注意が必要
Windows のVISTA/7/2008 SP1以降は、領域確保時にクラスタ協会が4KBに合う様に調整され、NTFSであれば標準4KBクラスタなので、実際影響はありません。
ただ、その他のOSについては、別途確認が必要です。
Solaris系ですと、デフォルトでは512KB単位でのアクセスになるようなので、AFTの影響を受けます。
特に、Windows XPでは、ほとんどの場合AFTの影響を受けます。
XPのインストール時のフォーマットでは、63セクターから領域が確保されるため、4K境界と合っていないためです。
事前にWindows 7 SP1以降でHDDをフォーマットすれば、2048セクターから領域が確保されるので、その後WindowsXPをインストールすればよいという話もありますが、すでにWindowsXPをインストール済みの場合はそうはいきません。
専用のソフトもありますが、有償のものや特定のHDD専用が多いので無償でできるものがないかを調べてみました。
見つけたのは、パーティション変更のためのCD-BOOTタイプのソフトである、「gparted」
本来はデータを保存したままでパーティーションサイズの変更に便利なソフトウェアですが、
パーティーションの領域移動もできるので、この機能を使ってアライアンスを調整します。
ISOが以下のサイトからダウンロードできるので、そこからブートします。
http://sourceforge.jp/projects/gparted/releases/
まずは現状確認。開始セクターは63になっています。
リサイズ/移動をクリックします。
Align to: をMiBになっていることを確認し、前方の空き領域(MiB)に1を指定します。
後方の開き領域があれば、その分 ヘるためサイズの変更はありません。
変更後、リサイズ/移動ボタンをクリックします。
変更内容を確認し、Applyをクリックします。
パーティション領域の移動が開始されます。
完了。
移動後確認すると、開始セクターが2048になっていることが確認できました。
Windows XPを起動すると、Checkが走りますが、その後正常に起動できます。
なお、アライアンス調整をする前とした後だと、
シーケンシャルReadで2倍、シーケンシャルWriteで1.5倍の差が出ました。
ただ、この結果はNexentaStorというストレージOS上のZFS領域を仮想マシンのデータストアとして使用した場合なので、直接HDDにアクセスした場合とは異なります。
なお、ZFSはSSDをReadキャッシュ(CACHE)やWriteキャッシュ(LOG)に指定できるため、その状態だと、そのこまでの差が出なくなります(SSDが差を吸収しているようです)。
なお、4TBクラスで、AFTではないHDDには以下のようなものがあります。
MD03ACA400
東芝製の4TB SATA-HDDのバルク品。
「回転数は7,200rpm、MTTFは100万時間。512セクター対応品」
他のハードディスクがどちらかについては、以下のURLが参考になります。
http://www.pc-master.jp/jisaku/aft-hdd.html
その他参考URL
https://www.allbsd.org/~hrs/diary/201109.html
https://www.icts.uiowa.edu/confluence/pages/viewpage.action?pageId=67307552
https://community.oracle.com/thread/2501822
http://openindiana.org/pipermail/openindiana-discuss/2013-August/013669.html
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2014761
http://blog.delphix.com/gwilson/2012/11/15/4k-sectors-and-zfs/
http://wiki.illumos.org/display/illumos/List+of+sd-config-list+entries+for+Advanced-Format+drives
VMware vSphere PowerCLIを使用したスクリプトをバッチから起動するためのメモです
VMware vSphere PowerCLIは便利ですが、VMware vSphere PowerCLIコンソールを立ち上げてからのコマンド実行なので、少しめんどくさいです。なので少し調べてみました。
なお、VMware vSphere PowerCLIは、以下からダウンロードできます。
VMware vSphere PowerCLIに限らずですが、
Powershell スクリプトファイル(.PS1)を実行するためにはポリシー変更が必要です。
VMware vSphere PowerCLIを初回起動時には以下のように表示されます。
1 2 3 4 5 6 7 8 9 10 11 12 |
. : このシステムではスクリプトの実行が無効になっているため、ファイル C:\Program Files (x86)\VMware\Infrastructure\vSphere PowerCLI\Scripts\Initialize-PowerCLI Environment.ps1 を読み込むことができません。詳細については、「about_Execution_P olicies」(http://go.microsoft.com/fwlink/?LinkID=135170) を参照してください。 発生場所 行:1 文字:3 + . "C:\Program Files (x86)\VMware\Infrastructure\vSphere PowerCLI\Scripts\Init ial ... + ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ~~~ + CategoryInfo : セキュリティ エラー: (: ) []、PSSecurityException + FullyQualifiedErrorId : UnauthorizedAccess PS C:\Program Files (x86)\VMware\Infrastructure\vSphere PowerCLI> |
この場合、管理者として実行したPowershellにて、以下のコマンドを実行する必要があります。
1 |
Set-ExecutionPolicy RemoteSigned |
(上記の場合、ローカルのローカルに保存されているスクリプトは実行可能。インターネットからダウンロードしたスクリプト(非ローカルのスクリプト)は、署名されているもののみが実行可能。)
そのほかのパラメータとしては、以下のようなものがあります。
Unrestricted
全てのスクリプトが実行可能。ただしインターネットからダウンロードしたスクリプトは、実行するかどうかが確認されるので、ユーザーが明示的に許可した場合のみ実行される
Bypass
全てのスクリプトが実警告やユーザーへの確認なしに、全てのスクリプトが実行可能
これで、VMware vSphere PowerCLIを起動した状態でPowerSHellからスクリプトファイルが実行できるようになります。
ためしに以下のps1ファイルを作成します
Get-PowerCLIVersion.ps1
1 2 |
#vSpherePowerCLIのバージョン表示 Get-PowerCLIVersion |
これをVMware vSphere PowerCLIで実行します。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
Welcome to the VMware vSphere PowerCLI! Log in to a vCenter Server or ESX host: Connect-VIServer To find out what commands are available, type: Get-VICommand To show searchable help for all PowerCLI commands: Get-PowerCLIHelp Once you've connected, display all virtual machines: Get-VM If you need more help, visit the PowerCLI community: Get-PowerCLICommunity Copyright (C) 1998-2012 VMware, Inc. All rights reserved.PowerCLI C:\Program Files\VMware\Infrastructure\vSphere PowerCLI> cd C:\tool\Pow erShellCUSTOM PowerCLI C:\tool\PowerShellCUSTOM> .\PowerCLIVersion.ps1 PowerCLI Version ---------------- VMware vSphere PowerCLI 5.1 Release 1 build 793510 --------------- Snapin Versions --------------- VMWare AutoDeploy PowerCLI Component 5.1 build 768137 VMWare ImageBuilder PowerCLI Component 5.1 build 768137 VMware vCloud Director PowerCLI Component 1.5 build 793505 VMware License PowerCLI Component 5.1 build 669840 VMware vSphere PowerCLI Component 5.1 build 793489 PowerCLI C:\tool\PowerShellCUSTOM> |
しかし、コマンドプロンプトやバッチファイルから以下のように実行しても、エラーになります。
1 2 3 4 5 6 7 8 9 10 11 |
C:\>cd C:\tool\PowerShellCUSTOM C:\tool\PowerShellCUSTOM>powershell .\PowerCLIVersion.ps1 用語 'Get-PowerCLIVersion' は、コマンドレット、関数、スクリプト ファイル、また は操作可能なプログラムの名前として認識されません。名前が正しく記述されているこ とを確認し、パスが含まれている場合はそのパスが正しいことを確認してから、再試行 してください。 発生場所 C:\tool\PowerShellCUSTOM\PowerCLIVersion.ps1:1 文字:20 + Get-PowerCLIVersion <<<< + CategoryInfo : ObjectNotFound: (Get-PowerCLIVersion:String) []、 CommandNotFoundException + FullyQualifiedErrorId : CommandNotFoundException |
この場合は、実行するps1ファイルに以下の行を追加します
1 2 |
#PowerCLIスナップイン組み込み Add-PSSnapin VMware.VimAutomation.Core |
実際にやってみます。
Get-PowerCLIVersion.ps1 を変更
1 2 3 4 5 |
#PowerCLIスナップイン組み込み Add-PSSnapin VMware.VimAutomation.Core #vSpherePowerCLIのバージョン表示 Get-PowerCLIVersion |
コマンドプロンプトから実行してみます
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
C:\tool\PowerShellCUSTOM>powershell .\PowerCLIVersion.ps1 PowerCLI Version ---------------- VMware vSphere PowerCLI 5.1 Release 1 build 793510 --------------- Snapin Versions --------------- VMWare AutoDeploy PowerCLI Component 5.1 build 768137 VMWare ImageBuilder PowerCLI Component 5.1 build 768137 VMware vCloud Director PowerCLI Component 1.5 build 793505 VMware License PowerCLI Component 5.1 build 669840 VMware vSphere PowerCLI Component 5.1 build 793489 C:\tool\PowerShellCUSTOM> |
実行できました。
あとは以下のようなバッチファイルを書けば、すぐに実行できますね。
1 2 3 |
@echo off cd C:\tool\PowerShellCUSTOM powershell .\PowerCLIVersion.ps1 |
仮想環境内で使用できるソフトウェアルータのひとつとして、Vyattaがありましたが、
Vyattaが買収されてComminity Editonの開発が終わったため、フォークして再出発したものがVyOSらしいです。
ただし、ルータとしてではなくブリッジ接続(HUB)として動作させる場合、ESXi側で仮想スイッチで無差別モードをONにする必要があるはず・・・・
公式サイト
公式サイト 日本語翻訳サイト
インストール手順
『Vyatta』からフォークした『VyOS』をインストールしてみた
標準にないWeb 設定画面を外付けするVirtual Applianceらしいです。
Zabbix AgentとSNMPの設定方法
VyOS(Vyatta)をSNMPとZabbix Agent経由で監視してみる
NAT構成の作成方法例
VMware ESXi 5.5にVyOS1.0.4をインストールしてみました。
VPNの張り方
久しぶりに、
ESXi関連の記事を更新しました。
ESXi 5.xで各仮想マシンのコンソールへ直接アクセスする方法を調べてみた
に
Standalone VMRC(VMware Remote Console 7.0)を利用する方法。(2015/03/01追加)
を追記しました。
わざわざvmware playerや、ESX4.1のvSphereClientを入れなくても
コンソール表示できるようになります。
ただ、現状x64なWindowsにしか、インストールできない模様・・・
パフォーマンス履歴を過去1時間だけでなく過去36時間(5分毎)を追加する。に関するメモ
ESXi単体で使用していると、過去のパフォーマンスは過去1時間しか確認できません。
ただ以下の設定をすると、vCenterがなくても、過去36時間のパフォーマンス履歴を確認できます。
sshもしくは、TSM経由でrootでログインする。
vi /etc/vmware/hostd/config.xml
<historicalStatsEnabled> false </historicalStatsEnabled>
↓
<historicalStatsEnabled> true </historicalStatsEnabled>
以下のコマンドを実行すると、サーバ自身を再起動しなくても反映される。
(ただし、vSphereClientの接続はいったん切断されるし、SNMPエージェントを有効にしている場合はWarmStartするので注意)
services.sh restart
取得間隔・保存期間は以下のファイルにかかれているらしい(未確認)。
/var/lib/vmware/hostd/stats/hostAgentStats.xml
なお、ESXiの場合、履歴データ自身はRAMディスク上に存在するため、サーバを再起動すると消えます。
なお元ネタはこちら。
http://
すると、Past dayという項目が追加されます
過去36時間(1日半)の5分ごとのパフォーマンスが確認できます。
設定&サービス再起動直後だと、パフォーマンスデータがクリアされているので、5分以上待ってvSphereClientのパフォーマンスにアクセスすれば、サービス再起動移行のデータが表示されます。
なお、この設定はESX3iの頃から使えますが、最新のESX5.5でも有効なようです。
マニュアル(VMware ESXi 4.1 Installable および VMware vCenter Server 4.1[http://
クリップボードにコピーされた機密データの漏えい制限
ESXi では、クリップボードにコピーされた機密データの漏えいを防ぐため、コピー アンド ペーストの操作がデフォルトで無効になっています。
VMware Tools を実行している仮想マシンでコピー アンド ペーストが有効になっている場合、
ゲスト OS とリモート コンソールとの間でコピー アンド ペースト操作が可能です。
コンソール ウィンドウにフォーカスが移るとすぐに、仮想マシンを操作している権限のないユーザーおよび実行中のプロセスは、
仮想マシン コンソールのクリップボードにアクセスできます。ユーザーがコンソールを使用する前に機密情報をクリップボードにコピーすると、
ユーザーが気付かない間に、機密データが仮想マシンにさらされています。この問題を防ぐため、ゲスト OS のコピー アンド ペースト操作はデフォルトで無効になっています。
必要な場合は、仮想マシンのコピー アンド ペースト操作を有効にできます。
該当の仮想マシンを停止
1.vSphere ClientからESXiにログインして、コピー・アンド・ペースト操作を有効にしたい仮想マシンを選択
2. [サマリ] タブの [設定の編集] をクリック
3. [オプション]タブの[詳細] – [全般] を選択し、 [構成パラメータ]ボタンをクリック
4. [行の追加]ボタンをクリックして、次の値を名前と値の各列に入力
名前 値
isolation.tools.copy.disable false
isolation.tools.paste.disable false
5. [OK]ボタンをクリックして構成パラメータを閉じ、もう一度[OK]ボタンをクリックして仮想マシンのプロパティを閉じる
該当仮想マシンを起動後はクリップボード共有が使用きるようになります。
ESXi4.1ではクリップボードにコピーされた機密データの漏えいを防ぐためコピー・アンド・ペーストの操作が
デフォルトで無効にされている。(ESX4.0以前ではデフォルトで有効)
マニュアルでは各仮想マシンの設定を編集して有効にする方法が乗っているのだが、
ESXi4,0以前からのバージョンアップなどでが仮想マシンが多いと編集作業が面倒なので
デフォルトを有効にしたい場合は以下の設定を変更し、仮想マシンを一度停止した後で、起動してください。
sshもしくは、TSM経由(ローカルコンソール)でrootでログインする。
/etc/vmware/config ファイルを開き、
以下の行を追加
isolation.tools.copy.disable=”FALSE”
isolation.tools.paste.disable=”FALSE”
これで、以後設定したESXiで起動した仮想マシンでクリップボード共有が使用できるようになります。
NexentastorのESXiへのインストール
今回はNexentaStore 3.1.5をESXi上にインストールします。
(後半では、4.0.xについても追記済み)
●仮想マシンの作成
「新規仮想マシンの作成」から、構成で標準でセットアップ
注意点は、
・ゲストOSをSolarisのSun Solaris 10(64-bit)に変更
・HDDは、SCSIで20GBで作成(OS部分のみに必要な容量です。)
・メモリを標準1GBから2GB以上に変更
・CD/DVDで、データストアISOファイルにダウンロードしたNexentaStor-Communityのisoを指定し、
パワーオン時に接続にチェックを入れる
・NICでネットワーク接続先を、任意の場所に指定
・起動HDDを冗長化する場合は、SCSI-HDDを20GBでさらにもう一個追加する。
なお、標準にすれば、SCSIコントローラはLSI Logic、NICはE1000になるはずです。
●インストール
電源オンでインストールが始まります。
注意点としては、起動HDD冗長化するときには、2つのHDDにチェックを入れるというところです。
冗長化しないなら、1つで問題ありません。
●初期設定1
インストール完了後、再起動で製品登録の画面になります。
http://
画面に出ているMachine Signatureを登録します。
その後、IPアドレス/サブネット/DNS/デフォルトゲートウェイと、
管理用プロトコル/ポートを設定します。
●初期設定2
http<s>://<IPアドレス>:<ポート>にアクセスし各種設定を実施
Host Name: NS002
Time Zone: Asia Japan – Japan
Keybord Layout: Japanese
Admin/Rootのパスワード
メール設定は必要に応じて
ネットワーク設定も環境に応じて設定
iSCSIイニシエータの設定は、使用するなら設定
DiskやVolimes,Foldersの設定は、ここではまだストレージ用のHDDを追加していないためスキップ
もし、安全性よりパフォーマンス優先なら、「Optimize I/O perfoamance forCIFS/NFS/iSCSI UPS-backed deployments?」にチェックを入れる。
その後、一度電源オフ
●機器の追加
NICと、データ保存用HDDをハードウェアに追加します。
・NICはE1000で追加します。
ただし、ESX5.1のU2以降、ESX5.1GA上でNexentastorを稼動させる場合は、
VMXNET3にしないと大量の通信を行った場合にスループットが低下するようです。
(VMware ESXi 5.1 U2 または ESXi 5.5 GA における、e1000 アダプタを使用する Solaris 仮想マシンでのネットワーク スループットのパフォーマンスの問題 (2086372))
ただし、VMXNET3のインターフェイスではMTU変更は出来ない(失敗する)ようです。こんな情報も見つけましたが、まだ試していません。
(Cannot increase MTU setting for virtual machines running Solaris with VMXNET3 network interface (2032669))
・データ保存用HDDを追加する場合、SCSIコントローラを追加する場合は、LSI Logicパラレルを指定します。
RAIDを組む場合は、同一容量のHDDを必要台数分追加します。
ここでは、新しいRAID領域ごとに別のRAIDコントローラを追加して、その下にそれを構成するHDDを接続しています。
●追加した機器の設定
・NICの設定(IP/サブネットマスク/MTU)
Setting->Network
・HDDの追加
Data Management->Data Sets
・volumesの追加
ここで、HDDを選択してRAIDを構成します。RAIDを組まないこともできます。
ここでは、noRAIDとします。
・Foldersの追加
volumesの中に、Foldersを作成します。
ここでは、nfsとします。
・作成したFoldersで、NFSを有効にします。
設定はデフォルトで問題ありませんが、NFSのバージョンは3に変更します。
(Data Management -> Shares -> Configureからも設定できます。)
ただ、このままだとすべてのユーザが読み書きできるので、セキュリティ的には別途検討要です。
・ESXから設定したNFS領域をマウントします。
構成 -> ストレージ -> ストレージの追加 -> ネットワークファイルシステム から追加します。
サーバ:NexentastorのIPアドレス
フォルダ:/volumes/<ボリューム名>/<フォルダ名> (例:/volumes/noRAID/nfs)
データストア名:データストア識別名
●確認
この時点で、ESXiのデータストアとして、NexentaStorのNFSが参照可能となっています。
ただし、Write速度が非常に遅いと思います。
●チューニング
主なチューニングに関連する項目は、以下のとおり
Setting -> Preferences
system
Sys_zfs_nocacheflush : デフォルトはno。YesにするとHDD内キャッシュが有効になるがDiskが仮想ディスクの場合の効果は不明。もちろん停電には弱くなるのでYesにする場合は自己責任で。
DataManegment -> DataSet
Folder
Record Size:128KB推奨
LogBuas: 通常はlatencyで問題なし。
ただし、シングルタスクでのパフォーマンスを求める場合はここをthroughputにすると
パフォーマンスが向上する場合があります。
Deduplication: 通常はoff。
有効にすると重複排除機能が有効になりますがその分CPU特にメモリ負荷が高くなり、結果的にパフォーマンスが落ちる傾向が強いです。
バックアップ用領域に利用すると効果が高いです。その場合の設定はsha256,verfyが比較的安全かも。
Compresson: 通常はoff。
有効にすると、圧縮機能が有効になりますが、その分CPU負荷が高くなります。ただし圧縮してDiskに書き込むことになるので、データの内容によってはパフォーマンスがあがる場合もあります。
on=lzjbと同義です。圧縮率は低いですが、CPU使用率も低い傾向があるようです。なお、gzip=gzip-6と同義になります。
on=jzjb -> gzip-1 -> gzip=gzip-6 -> gzip-9となるにしたがって圧縮率が上がりますが、CPU負荷も上がりますので、。
Sync: 書き込みパフォーマンスに重大な影響があります。
デフォルトは、Standerdです(WriteThrou的な設定)。
disableにすると、WriteBack的な動きになり、書き込みパフォーマンスが一気に上がりますが、
突然の停電などが発生した場合にデータ欠損が発生する可能性があります。
ただ、ZFS由来のZFSであれば、WriteHole問題が発生しないことになってますので、
大きな問題はない気がしますが、自己責任でお使いください。
Volume
Deduplication: Folder内の意味と同じ。Volume内のFolderに対するデフォルト値のようです。
Sync: Folder内の意味と同じ。Volume内のFolderに対するデフォルト値のようです。
AutpExpand: パフォーマンスとは直結しませんが、onにするとDiskサイズが増えたときに領域を自動拡張してくれます。
あとは、細かいチューニングをくりかえして、環境に応じた最適値を見つける必要があります。
最新版への更新はまた別途必要であれば。
その他ナレッジ
CUIコンソールの入り方
コンソール画面でrootやadminユーザでログインすれば、CUIで操作できます。
adminユーザでログインした場合は、shellが一般ユーザで起動します。suで特権モードでのshell操作も可能です。
また、rootの場合はNMC(Nexenta Management console)が起動し、Nexentastorの設定などがコマンドできるようになります。
この環境はshell環境とは違い、用意されたコマンドのみが使用できます。
GUI(Webインターフェース)でできる設定ができるようになっています。
NMCからshellを起動する
コンソールかsshでrootでログインする。
option expert_mode=1 -s
!bash
option ~は、最後に-sをつけると最初の1回のみの実行でOKです。
その後は!bashのみで起動できるようになります。
NexentaStorの初回起動時のCUIネットワーク設定を再度実行する
NMCにを起動して、以下のコマンドを実行します。
setup appliance init
うまくGUI(Webインターフェース)を起動できなかった場合にも再インストールする必要はありません。
NexentaStorのバージョンアップ
NMCを起動して、以下のコマンドを実行します。
新しい更新があれば、表示されますので、
必要に応じて更新します。更新した場合は再起動が行われます。
setup appliance upgrade
正常に再起動でき、動作を確認したら、NMCにログインすると、今後更新を反映させるかの確認があります。ここで、反映させておかないと次の再起動時に更新がキャンセルされますのでご注意ください。
その他よく使うNMCコマンド
help ヘルプ表示
setup appliance reboot 再起動
setup appliance poweroff シャットダウン
<tab>キー2回でコマンドの候補がでますし、コマンドの後Enterでコマンドに対するオプションや説明が表示・選択できますので結構感覚的に操作できます。
最新のESXi付属のVMware-Toolsを使用する方法
VMXNET3やPVSCSIを使用するために、
本家VMwareToolsを導入する場合は、以下のURLの手順でインストールできます。
http://plone.4aero.com/Members/lmarzke/howto/nexentastore-installation-on-vsphere
ただ、4.x系だとVMXNET3がうまく動かない場合があるので、
apt-getコマンドでopen-vm-toolsやをインストールしたほうがいいかもしれません。
パッケージ管理
Nexentastorにはパッケージ管理としてaptがデフォルトでインストールされています。これを利用して、VMware-tools(open-vm-tools)をインストールできます。
ただし、!bashからコンソールではなく、adminでログインしてsuにならないとうまくレポジトリにアクセスできない場合があるのでご注意を。
apt-get update
apt-get install open-vm-tools
もし、proxy経由での接続が必要であれば、以下のように環境設定を設定します。
export http_proxy=”http://proxy:port”
export https_proxy=”http://proxy:port”
export ftp_proxy=”http://proxy:port”
その他、vmxnet3ドライバや、pvscsiドライバも用意されています(3.1.5だと標準でインストール済み)
nexenta-vmxnet3 - VMware EtherAdapter v3, Rev 5
nexenta-pvscsi – Solaris driver for VMware para-virtualized SCSi HBA, Rev 15
ちなみに、その他のコマンド例
apt-cache search open- open-を含むインストール可能なパッケージを表示する
dpkg -l インストール済みパッケージの表示
その他のコマンドの参考
http://landisk.kororo.jp/debian/04_apt-get_dpkg.php
ESXiからNFS,iSCSI接続する際の推奨パラメータについて
ESXiからNFS,iSCSI接続する際の推奨パラメータは以下のとおりのこと
#NFS OPTION VALUE
Nfs.heartbeatfrequency 20
Nfs.heartbeatdelta 12
Nfs.heartbeatmaxfailures 10
NFS.HeartbeatTimeout 5
Nfs.Sendbuffersize 264
Nfs.Receivebuffersize 256
Nfs.MaxVolumes 256
Net.TcpipHeapMax 128
Net.TcpipHeapsize 32
#ISCSI ADVANCED SETTINGS OPTION VALUE
MaxOutstandingR2T 8
FirstBurstLength 16777215
MaxBurstLength 16777215
MaxRecvDataSegLen 16777215
RecoveryTimeout 120
ESXiとのVAAI 連携について
ESXiのストレージオフロード機構であるVAAIをNexentaStoreでは使用できます。
iSCSIについては、NexentaStor 4.0.3 FP2までは標準でサポートしており、
nexentastorでiSCSI領域を作成、ESXi側でマウントすれば、
自動的にハードウェア支援が有効になります。
NexentaStor 4.0.3 FP3以降では、デフォルト無効なので、
https://nexenta.com/products/downloads/nexentastor
からvaaictlをダウンロードして、転送し、
chmod 555 ./vaaictl
./vaaictl –enable
とする必要があるようです(後で確認します。)
NFSの場合は、別途プラグインをNexentaStor、ESXi側両方に導入する必要があります。
2015/4現在のプラグインのバージョンは1.0-129です。
現状NexentaStore CE 3.1.xとvSphere5.xの組み合わせで動作を確認しています。
http://www.vclouds.nl/nexenta-3-1-4-and-beta-nexenta-nfs-vaai-plugin-released/
http://blog.mattvogt.net/2013/04/03/nexenta-vaai-nas-beta-released/
ただ、NexentaStore CE 4.xに導入してみましたが、エラーとなってプラグインが起動せずでした。
(ld.so.1: nas_vaai_server: fatal: libzproxy.so.1: open failed: No such file or directory Killed)
vSphere6.xにプラグインを導入で寄付かは不明です。
(追記)
vSphere6.xについては、ドキュメントはありませんが、実際にESXi 6.5にNAS VAAI Plugin(ver 129)を導入してみたところ、Nexentastoe3.1.xのNFSデータストアで、「サポート対象」と表示されることを確認しました。
NAS VAAI Plugin(ver 129)は、以下からダウンロードできるNV4V-2.2.1.zipに含まれているようです。(NexentaConnect-2.3.zipにも含まれていることを確認済みです。)
https://nexenta.com/products/downloads/nexentaconnect-view-edition/nexenta-vsa-vmware-horizon-view-zip
Nexentastor 4.0.5FPのiSCSIのマッピングでエラーが出た場合の対処
Nexentastor 4.0.5FPのバグらしいです。
エラーメッセージ:
warning: Failed to open /opt/HAC/RSF-1/log/rsfapi.log for logging [ No such file or directory]
Error: cannot connect to server 127.0.0.1: Failed to obtain socket options
Error: [127.0.0.1] ERROR: rsfcomms returned an error
read_rsf failed [status=1]
cannot connect to server 127.0.0.1: Failed to obtain socket options
ERROR: rsfcomms returned an error
Error: read_rsf error [node=127.0.0.1, letter=7]
WARNING: no localhost connection
対策はこちら
https://prodpkg.nexenta.com/nstor/4.0.5.0/docs/NS-4.0.5-FP2-Release_Notes.pdf?a
HA NEX9167
It is possible for the directory “/opt/HAC/RSF-1/log” to not be created during installation, leading to the inability to create zvol mappings.
# mkdir /opt/HAC/RSF-1/log
# svcadm enable svc:/network/rpc/rpcstmfha:default
これでもだめなら、以下のプラグインを入れるといいみたいです
(GUIでうまくいかない場合は、コマンドライン[setup plugin install]でためしてみるとよいかもしれません)
導入プラグイン:
rsf-cluster 40-0-31 RSF-1 Cluster management extension (3.11.1p1)
上記プラグイン導入後は、マッピングがうまくいくようになるようです。
iSCSIでマルチパスを使用する場合の調整
NexentstorのiSCSIをマルチパス構成でvsphere Clientと接続した場合、
vSphere側でパラメータの調整をすることでパフォーマンスがあがるとのことです。
・ロードバランスルール
・ロードバランス頻度の調整
https://nexenta.com/sites/default/files/docs/Best%20Practices%20for%20VMware%20vSphere%20with%20NexentaStor.pdf
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 |
login as: root Using keyboard-interactive authentication. Password: The time and date of this login have been sent to the system logs. VMware offers supported, powerful system administration tools. Please see www.vmware.com/go/sysadmintools for details. The ESXi Shell can be disabled by an administrative user. See the vSphere Security documentation for more information. ~ # ~ # ~ # esxcli storage nmp satp rule add -V NEXENTA -M COMSTAR -P VMW_PSP_RR -s VMW_SATP_ALUA -e "NexentaStor Block Devices" ~ # ~ # ~ # esxcli storage nmp device list | grep -i 'NEXENTA iSCSI Disk' Device Display Name: NEXENTA iSCSI Disk (naa.600144f0696f667f00005ae56efb0001) ~ # ~ # esxcli storage nmp device list -d naa.600144f0696f667f00005ae56efb0001 | egrep -i "Nexenta|Policy" Device Display Name: NEXENTA iSCSI Disk (naa.600144f0696f667f00005ae56efb0001) Path Selection Policy: VMW_PSP_RR Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0; lastPathIndex=0: N umIOsPending=0,numBytesPending=0} Path Selection Policy Device Custom Config: ~ # ~ # esxcli storage nmp psp roundrobin deviceconfig get -d naa.600144f0696f667f00005ae56efb0001 Byte Limit: 10485760 Device: naa.600144f0696f667f00005ae56efb0001 IOOperation Limit: 1000 Limit Type: Default Use Active Unoptimized Paths: false ~ # ~ # for disk in `esxcli storage nmp device list | awk '/NEXENTA iSCSI Disk/i {print $7}' | cut -c 2-37` > do > esxcli storage nmp psp roundrobin deviceconfig get -d $disk > done Byte Limit: 10485760 Device: naa.600144f0696f667f00005ae56efb0001 IOOperation Limit: 1000 Limit Type: Default Use Active Unoptimized Paths: false ~ # ~ # ~ # ~ # for disk in `esxcli storage nmp device list | awk '/NEXENTA iSCSI Disk/i {print $7}' | cut -c 2-37` > do > esxcli storage nmp psp roundrobin deviceconfig set -d $disk -I 1 -t iops > done ~ # ~ # ~ # for disk in `esxcli storage nmp device list | awk '/NEXENTA iSCSI Disk/i {print $7}' | cut -c 2-37` > do > esxcli storage nmp psp roundrobin deviceconfig get -d $disk > done Byte Limit: 10485760 Device: naa.600144f0696f667f00005ae56efb0001 IOOperation Limit: 1 Limit Type: Iops Use Active Unoptimized Paths: false ~ # ~ # ~ # ~ # esxcli storage vmfs extent list Volume Name VMFS UUID Extent Number Device Name Partition ------------------- ----------------------------------- ------------- ------------------------------------------------------------------------ --------- NS004-iSCSI-VMFS5 5ae57077-85433a14-cbb7-d89d67f32169 0 naa.600144f0696f667f00005ae56efb0001 1 ~ # ~ # esxcli storage core device list -d naa.600144f0696f667f00005ae56efb0001 naa.600144f0696f667f00005ae56efb0001 Display Name: NEXENTA iSCSI Disk (naa.600144f0696f667f00005ae56efb0001) Has Settable Display Name: true Size: 1048576 Device Type: Direct-Access Multipath Plugin: NMP Devfs Path: /vmfs/devices/disks/naa.600144f0696f667f00005ae56efb0001 Vendor: NEXENTA Model: COMSTAR Revision: 1.0 SCSI Level: 5 Is Pseudo: false Status: on Is RDM Capable: true Is Local: false Is Removable: false Is SSD: false Is Offline: false Is Perennially Reserved: false Queue Full Sample Size: 0 Queue Full Threshold: 0 Thin Provisioning Status: yes Attached Filters: VAAI Status: supported Other UIDs: vml.02000b0000600144f0696f667f00005ae56efb0001434f4d535441 Is Local SAS Device: false Is USB: false Is Boot USB Device: false No of outstanding IOs with competing worlds: 32 ~ # ~ # vmkfstools -Phv1 /vmfs/volumes/NS004-iSCSI-VMFS5/ VMFS-5.60 file system spanning 1 partitions. File system label (if any): NS004-iSCSI-VMFS5 Mode: public ATS-only Capacity 1023.8 GB, 1022.8 GB available, file block size 1 MB, max file size 62.9 TB Volume Creation Time: Sun Apr 29 07:12:55 2018 Files (max/free): 130000/129989 Ptr Blocks (max/free): 64512/64496 Sub Blocks (max/free): 32000/31999 Secondary Ptr Blocks (max/free): 256/256 File Blocks (overcommit/used/overcommit %): 0/978/0 Ptr Blocks (overcommit/used/overcommit %): 0/16/0 Sub Blocks (overcommit/used/overcommit %): 0/1/0 Volume Metadata size: 809009152 UUID: 5ae57077-85433a14-cbb7-d89d67f32169 Partitions spanned (on "lvm"): naa.600144f0696f667f00005ae56efb0001:1 NXVaaiNasPlugin: VaaiNas_StartSession: request for (null) (null) /vmfs/volumes/5ae57077-85433a14-cbb7-d89d67f32169 VMFS 5 NXVaaiNasPlugin: Rejecting non-NFS params Is Native Snapshot Capable: YES NXVaaiNasPlugin:PluginDone OBJLIB-LIB: ObjLib cleanup done. ~ # |
Nexentastor Connunity editionのライセンスについて
Nexentastor 3.xの頃は、実使用量が18TB超えるまでだったと記憶していたけど、
Nexentastor 4.xはプールに使用したDiskの総認識容量が18TBに超えるまでになっていたらしい。(Enterprise Editionと同じ扱い?)
今回、8TB x4 のRAID10でプールを構成しようとして、見事に制限に引っかかりました(8×4=32>18)。
制限に引っかかると、私の気づいた部分だけですが、以下の部分が変わりました。」
・右上にメールのようなマークがでて、クリックすると、制限を越えたとのメッセージが表示
・設定済みのライセンスコードが消える
・最新へのパッチ更新がエラーになる[setup appliance upgrade]
・iSCSIのマッピングができなくなる(エラーになるが、別の理由かも)
ただ、プールの作成や、Folder,zvolの作成と、NFSの設定、その他初期設定などはできたみたいなので、NFSで使う分には設定できた感じでしたが、iSCSIとして使うことはうまくいきませんでした。
とりあえず今回は、WSのマザーボード上のLSI 2308のRAID機能を使って、
8TB x 2のMirror Volume(RAID1)を2つ作成し、それをNexentastorに見せて回避しました。本当は生のDiskを割り当てたほうがパフォーマンスはあがるようなのだけど、ライセンス的な問題と、Nexentastor上のDiskと、物理的なDiskの関係がわからなくなったため、この方式ととることにしました。
(なお、LSI 2308のRAID機能でRAID10のVolume作って試したら、パフォーマンスが半分になりました。)
個人的な感想としては、comminiry editionで使用する場合は以下の選択支ですかね。
・vsphere6.xでvvol機能を使う方
-> Nexentastor 5.x(これから検証予定です)
(comminiry editionではDiskは認識容量10TBまで管理可
・vSphere5.xでnfsをメインで運用していて、仮想マシンクローンをよく使う方
-> Nexentastor 3.1.x + nas VAAI plugin
(comminiry editionではDiskは実使用量18TBまで管理可?)
・iSCSI機能をメインに使う方や、NexentastorのPluginをいろいろ使いたい方
->Nexentastor 4.x
(comminiry editionではDiskは認識容量18TBまで管理可)
RAIDコントローラの制御について
Z820の内蔵SASコントローラ LSI2308のRAID機能を使っている関係で、RAIDノードの状況(状態、リビルド状態)がBIOS上からしか確認できないのはつらすぎます。
なので、LSI 2308の状態ををpci path throughで接続しているNexentaStorで確認するために、制御ツールをインストールします。
ダウンロードはこちらhttps://www.broadcom.com/support/download-search/?dk=sas2ircu
https://www.broadcom.com/support/download-search/?dk=sas3ircu
sas2ircuはSAS2xxxコントローラ用(6Gbps対応SAS、LSI2308はこっち)
SAS3ircuはSAS3xxxコントローラ用(12Gbps対応SAS)
ダウンロードしたものを解凍して、
sas2ircu_solaris_x86_rel(NexentastorはsolarisベースのOSなので)フォルダ内のバイナリを、Nexentastorの/usr/sbin/にコピーして実行権限を付与します。
(ここでは、ESXiのnfsデータストア経由で転送して、rootコンソール(!bash)で操作しています)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 |
root@NS004:/usr/sbin# root@NS004:/usr/sbin# cd /volumes/RAID10/nfs/00Tool/ root@NS004:/volumes/RAID10/nfs/00Tool# ls -al total 283 drwxr-xr-x+ 2 nobody nobody 3 May 2 09:42 . drwxr-xr-x+ 19 root root 19 May 2 09:41 .. -rwx------+ 1 nobody nobody 196248 May 2 09:42 sas2ircu root@NS004:/volumes/RAID10/nfs/00Tool# chmod +x sas2ircu root@NS004:/volumes/RAID10/nfs/00Tool# ls -al total 283 drwxr-xr-x+ 2 nobody nobody 3 May 2 09:42 . drwxr-xr-x+ 19 root root 19 May 2 09:41 .. -rwx--x--x 1 nobody nobody 196248 May 2 09:42 sas2ircu root@NS004:/volumes/RAID10/nfs/00Tool# root@NS004:/volumes/RAID10/nfs/00Tool# mv sas2ircu /usr/sbin/ root@NS004:/volumes/RAID10/nfs/00Tool# root@NS004:/volumes/RAID10/nfs/00Tool# sas2ircu LSI Corporation SAS2 IR Configuration Utility. Version 20.00.00.00 (2014.09.18) Copyright (c) 2008-2014 LSI Corporation. All rights reserved. SAS2IRCU: No command specified. sas2ircu <controller #> <command> <parameters> ... where <controller #> is: Number between 0 and 255 where <command> is: DISPLAY - display controller, volume and physical device info LIST - Lists all available LSI adapters (does not need ctlr #> CREATE - create an IR volume DELETE - Delete entire RAID configuration on the selected controller DELETEVOLUME - Delete a specific RAID Volume on the selected controller HOTSPARE - make drive a hot spare STATUS - display current volume status info SETOFFLINE - set the physical disk to OFFLINE state SETONLINE - set the physical disk to ONLINE state CONSTCHK - Start Consistency Check operation on the specified IR Volume ACTIVATE - Activate an Inactive IR volume LOCATE - Locate a disk drive on an enclosure LOGIR - Upload or Clear IR Log data BOOTIR - Select an IR Boot Volume as primary boot device BOOTENCL - Select an Enclosure/Bay as primary boot device ALTBOOTIR - Select an IR Boot Volume as alternate boot device ALTBOOTENCL - Select an Enclosure/Bay as alternate boot device HELP - Display help information where <parameters> are: Command specific values; enter "sas2ircu <controller #> <command>" to get command specific help root@NS004:/volumes/RAID10/nfs/00Tool# |
以下のような情報が取得できます。
SASコントローラのリスト
1 2 3 4 5 6 7 8 9 10 11 12 |
root@NS004:~# sas2ircu LIST LSI Corporation SAS2 IR Configuration Utility. Version 5.00.00.00 (2010.02.09) Copyright (c) 2009 LSI Corporation. All rights reserved. Adapter Vendor Device SubSys SubSys Index Type ID ID Pci Address Ven ID Dev ID ----- ------------ ------ ------ ----------------- ------ ------ 0 SAS2208_7 1000h 86h 00h:0bh:00h:00h 103ch 158bh SAS2IRCU: Utility Completed Successfully. root@NS004:~# |
SASコントローラ0の各種情報
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 |
root@NS004:~# sas2ircu 0 DISPLAY LSI Corporation SAS2 IR Configuration Utility. Version 5.00.00.00 (2010.02.09) Copyright (c) 2009 LSI Corporation. All rights reserved. Read configuration has been initiated for controller 0 ------------------------------------------------------------------------ Controller information ------------------------------------------------------------------------ Controller type : SAS2208_7 BIOS version : 7.23.02.00 Firmware version : 12.00.02.00 Channel description : 1 Serial Attached SCSI Initiator ID : 0 Maximum physical devices : 255 Concurrent commands supported : 3072 Slot : 1 Segment : 0 Bus : 11 Device : 0 Function : 0 RAID Support : Yes ------------------------------------------------------------------------ IR Volume information ------------------------------------------------------------------------ IR volume 1 Volume ID : 322 Status of volume : Degraded (DGD) RAID level : RAID1 Size (in MB) : 7630348 Physical hard disks : PHY[0] Enclosure#/Slot# : 1:0 PHY[1] Enclosure#/Slot# : 1:1 IR volume 2 Volume ID : 323 Status of volume : Degraded (DGD) RAID level : RAID1 Size (in MB) : 7630348 Physical hard disks : PHY[0] Enclosure#/Slot# : 1:2 PHY[1] Enclosure#/Slot# : 1:3 ------------------------------------------------------------------------ Physical device information ------------------------------------------------------------------------ Initiator at ID #0 Device is a Hard disk Enclosure # : 1 Slot # : 0 State : Degraded (DGD) Size (in MB)/(in sectors) : ???/??? Degraded (DGD) Manufacturer : ATA Model Number : ST8000VN0022-2EL Firmware Revision : SC61 Serial No : ZA1AMJxx Protocol : SATA Drive Type : SATA_HDD Device is a Hard disk Enclosure # : 1 Slot # : 1 State : Optimal (OPT) Size (in MB)/(in sectors) : ???/??? Optimal (OPT) Manufacturer : ATA Model Number : ST8000VN0022-2EL Firmware Revision : SC61 Serial No : ZA1AMKxx Protocol : SATA Drive Type : SATA_HDD Device is a Hard disk Enclosure # : 1 Slot # : 2 State : Degraded (DGD) Size (in MB)/(in sectors) : ???/??? Degraded (DGD) Manufacturer : ATA Model Number : ST8000VN0022-2EL Firmware Revision : SC61 Serial No : ZA1AMLxx Protocol : SATA Drive Type : SATA_HDD Device is a Hard disk Enclosure # : 1 Slot # : 3 State : Optimal (OPT) Size (in MB)/(in sectors) : ???/??? Optimal (OPT) Manufacturer : ATA Model Number : ST8000VN0022-2EL Firmware Revision : SC61 Serial No : ZA1AMPxx Protocol : SATA Drive Type : SATA_HDD ------------------------------------------------------------------------ Enclosure information ------------------------------------------------------------------------ Enclosure# : 1 Logical ID : 50014380:25e3d34d Numslots : 8 StartSlot : 0 ------------------------------------------------------------------------ SAS2IRCU: Command DISPLAY Completed Successfully. SAS2IRCU: Utility Completed Successfully. root@NS004:~# |
SASコントローラ0の各種情報のRAIDボリューム情報
(最初のRAID10構築後、1つめのリビルド[Synchronise中]です。)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
root@NS004:~# sas2ircu 0 STATUS LSI Corporation SAS2 IR Configuration Utility. Version 5.00.00.00 (2010.02.09) Copyright (c) 2009 LSI Corporation. All rights reserved.Background command progress status for controller 0... IR Volume 1 Volume ID : 322 Current operation : None Volume status : Enabled Volume state : Degraded Physical disk I/Os : Not quiesced IR Volume 2 Volume ID : 323 Current operation : Synchronize Volume status : Enabled Volume state : Degraded Physical disk I/Os : Not quiesced Volume size (in sectors) : 15626952704 Number of remaining sectors : 1299803648 Percentage complete : 91.68% SAS2IRCU: Command STATUS Completed Successfully. SAS2IRCU: Utility Completed Successfully. root@NS004:~# |
NexenrtaStorの仮想マシンの構成や、VMwareToolsのインストールやおすすめパラメータなどの情報
あとで家の環境と比較しよう
http://plone.4aero.com/Members/lmarzke/howto/nexentastore-installation-on-vsphere
仮想マシンの作成からNexentaStorインストール、VMwareToolsのインストール、NFSやiSCSIのおすすめ設定まで書いてあるのですごい参考になります。
http://vmpost.com/installing-vmware-tools-nexenta/
Toolsのインストールが参考になる
基本的には上に書いてある内容と同じっぽい。
http://info.nexenta.com/rs/nexenta/images/solution_guide_nexentastor_iscsi_multipath_configuration.pdf
NexentaStor iSCSI Multipath Configuration Document
WindowsやESXi4/5でのマルチパス設定が詳しくまとめられています。
ESX上で動いているWindowsで任意の解像度を追加するための設定だそうだ
Windows ゲスト OS へのビデオ解像度モードの追加 (2078472)
ゲストなWindowsでポートレートな解像度(いわゆる800*1280とかの縦が長い解像度)がうまく追加できなかったので、これでできそう。今度試す。
(コンソールのWindowsを縦長にして、「今すぐゲストを合わせる」でも縦長にはできるけど、800*1280とかだと、vSphereClientを実行しているPCの画面サイズの縦が1280以上じゃないと無理だし、そもそも厳密な数字にするのは無理ぽ)
なんかこんな情報を見かけた。
最大 I/O ブロック サイズを変更して ESX/ESXi を調整し、ストレージ パフォーマンスを改善する (2074666)
ESX では、最大で 32767 KB の I/O 要求があるけど、ストレージよっては大きすぎてパフォーマンスが落ちるらしい。
うちのESXIのストレージはNexentastorのZFSでのNFSなのですが、
現状ブロックサイズが128KBなので、最大I/Oサイズを128KBに調整してみる。
VMwareInfrastructure/vSphere Client を使用して、ストレージ デバイスに渡される I/O 要求のサイズを減らす方法
注:この変更では、ESX/ESXi ホストを再起動したり、ESX/ESXi ホストをメンテナンス モードにしたりする必要はありません。
とりあえず、1台だけ変更して、様子見中
先日、客先でインターネット上にあるクラウドにProxy経由でvCloudで構成されたクラウド環境に初めて接続してみた。
管理ポータルにはログインできたが、仮想マシンのコンソールを開こうとすると、
「接続しています」→「切断状態」となってコンソールが表示されない。
VMware Remote Console Plugin(VMRC Plugin)のログを確認すると、
proxy:8080というプロキシ経由でアクセスしていることが確認できるが、
サーバ名が確認できていない模様。
C:\Users\(ユーザ名)\AppData\Local\Temp\vmware-(ユーザ名)\vmware-vmrc-6092-6008.log
1 2 3 4 5 6 |
2014-04-01T23:08:08.853+09:00| vmrc| I120: Setting proxy environment variable: "VMWARE_HTTPSPROXY=proxy:8080" 2014-04-01T23:08:08.853+09:00| vmrc| I120: cui::vmrc::VMCnx::Connect: Connect to MOID "vm-8348" on "rod-console-east.cloud-xxxxx.com" 2014-04-01T23:08:08.854+09:00| vmrc| I120: Resolving IP address for hostname rod-console-east.cloud-xxxxx.com 2014-04-01T23:08:08.855+09:00| vmrc| I120: Resolved to 202.xxx.xxx.xxx 2014-04-01T23:08:08.889+09:00| vthread-3| I120: VTHREAD initialize thread 3 "vthread-3" host id 6848 2014-04-01T23:08:08.893+09:00| vmrc| I120: cui::vmrc::VMCnx::OnConnectAborted: Connect failed for MOID "vm-8348" on "rod-console-east.cloud-xxxxx.com" 2014-04-01T23:08:08.893+09:00| vmrc| I120: cui::vmrc::VMCnxMgr::EmitConnectionStateSignal: Emitting "disconnected" signal (requested) for MOID "vm-8348" on "rod-console-east.cloud-xxxxx.com" - reason 'The server name could not be resolved' |
クラウドのマニュアルには
「接続端末がインターネット接続時にプロキシ認証が必要なネットワーク環境の場合、仮想マシンのコンソール操作ができない可能性があります。」
との記述がありますが、使用しているPROXYは認証が不要なことは確認済み・・・・・・
なお、vCloudのバージョンは5.1な模様。
で、いろいろ試行錯誤した結果、やっと原因見つけました。
ちなみに解決までの紆余曲折ぶりはこちら
なに、この回り道状態。
本来は、クラウド提供会社に回答をもらうはずで、ログとかも送ったけど、
先に解決したのでとりあえず情報提供はしといた。
だって、クラウド提供会社って私の勤めている会社だし。別事業部だけどさ。
というわけで、最終的な原因はPCから外部のインターネット接続のため、IEのプロキシ設定で、プロキシの「サーバ名」を入力していたことでした。でもこれって普通ですよね。
DNSには「proxy」というサーバ名で登録済みで各クライアントからNSLOOKUPで「proxy」でIPアドレスができることも確認していましたので盲点でした。
これは 単にVMwareのコンソールプリケーション(vmrc plugin)のプロキシサーバのサーバ名-IP変換の問題でDNSを参照してくれていないのが原因のように見えるので、
以下の2つのうち、いずれかを追加で行うことにより、対応可能な模様です。
Windows7およびXPのPCで確認済み
(Windows8/8.1はそもそもvCloud5.1の対象外みたい)
方法1
操作PCのIEのプロキシ設定を、プロキシサーバ名をサーバ名からIPアドレスに変更
(例:Proxyから192.168.11.3に変更)
方法2
操作PCのIEのプロキシ設定を、プロキシサーバ名にサーバ名を設定のままで、
操作PCの「C:\Windows\System32\drivers\etc\hosts」ファイルに
プロキシサーバのIPおよびサーバ名の行を登録
(例:192.168.11.3 proxy)
うん、なにやってるんだ、オレ。
無償版ESXi5.xで、仮想マシンのコンソールに直接アクセスするためには
通常はvSphereClientでアクセス出来ますが、そのほかにもいくつか方法があります。
有償版であれば、vCenterと組み合わせて
Webインターフェイスから各仮想マシンのコンソールへのショートカットを作れますが、無償版だといろいろ工夫しなければいけません。
とりあえず、vSphereClientを使用する以外で、今回は4つ紹介
調子が悪かったESXiで一番怪しいと思われるHDDの交換を実施。
このESXi、NECの安鯖GT110bをベースに軽く魔改造したもので
内HDD1台にアクセスしている仮想マシンだけ調子が悪い。
ただ交換しようにも、標準SATA6ポートにはHDD5台、SSD1台を
接続しているためすでに空きがない。
(本当は、DVD-ROM繋いでいて、障害時にはリカバリー用のHDDと繋ぎかえてデータ移行できるようにしていたのだけど、誘惑に負けてSSDをつないでしまったので、簡単には外せなくなってしまった。ちなみにDVD-ROMは現在USB接続中)
ESXiそのものはUSBメモリに入れているので、普通なら
壊れたHDDの単純交換&リビルドで済むんだけど、
あいにく今回故障したのが単体で使用していたHDD
(主にバックアップデータや一時テータ保管用)だったため、
別PCにデータ(約1.6TB)を移動させる必要がでてしまった。
しかも、使っていたHDDが非AFTの512バイトセクターな2TBで、
予備の同型HDDは2台確保済しているけど、RAID組んでいる同型HDDが8台あるので
非RAIDなHDDの交換に使うのは正直もったいない。
だって、まだ非AFT-HDDは何とか手に入るけど、非AFT2TBが、WD REDの3TBと同じ値段というおそろしい現実。
というわけで、今回は余っていたWD RED 3TBを入れてみることにしました。
今使用しているのがESXi5.0なので、2TB以上のデータストアには対応しているのと、
AFT対応HDDと、VMFS5の組み合わせをためしてみたかったから。
AFTな4Kセクターについては、ZFSが吸収してくれることを期待します。
交換自身は、3.5インチベイに入れていたので、GT110bの全面パネルを開けて前から交換。
VMFS5でフォーマットして、前と同じボリューム名を付けて完了。
VMFS3からのフォーマットではなく、新規作成なのでブロックサイズが1MBになっています。
なお、別PCにつないでSMART値確認すると代替済セクター数596、保留中1。
回復不可能セクター数がなかったことは不幸中の幸い。
たしかに動いてはいたけど、かなりやばかった。
もっとひどいのは、使用時間3万時間超えってところかも
3年半で電源投入回数が112回っていうのは、ESXiサーバとしては大目か。
まあ、このESXiいろんなデバイスを付けたり外したりしているからしょうがないよね
(と自分にいいきかせてみる。)
Zabbix 2.2 on CentOS 6.4 on Walbrix インストールメモ の続き
前回のセットアップで、問題を見つけたので修正方法。
監視データ->ダッシュボード等のサーバ名クリックから、
Detect operation system を選択するとエラーとなる。
まず、nmapが入っていないので、インストール
1 |
yum install nmap |
これだけだとまだ実行できないので次にSudoの設定変更を行う。
1 2 3 4 5 6 7 8 |
sudo visudo 最後の行に以下を追記する。 ## Add for Zabbix Defaults:zabbix !requiretty Cmnd_Alias ZABBIX_CMD = /sbin/fuser, /usr/sbin/lsof, /usr/sbin/dmidecode, /sbin/mii-tool, /sbin/ethtool, /usr/bin/ipmitool, /usr/sbin/iptstate, /usr/bin/ocaudit, /usr/bin/nmap zabbix ALL = (other_user) NOPASSWD: ALL zabbix ALL = (root) NOPASSWD: ZABBIX_CMD |
これで、nmapがZabbixから実行できるようになる。
実行例(zabbix server)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 |
"Detect operating system"の結果 Starting Nmap 5.51 ( http://nmap.org ) at 2013-11-17 02:18 JST Nmap scan report for localhost (127.0.0.1) Host is up (0.000030s latency). Not shown: 993 closed ports PORT STATE SERVICE 21/tcp open ftp 22/tcp open ssh 25/tcp open smtp 80/tcp open http 139/tcp open netbios-ssn 445/tcp open microsoft-ds 3306/tcp open mysql No exact OS matches for host (If you know what OS is running on it, see http://nmap.org/submit/ ). TCP/IP fingerprint: OS:SCAN(V=5.51%D=11/17%OT=21%CT=1%CU=40747%PV=N%DS=0%DC=L%G=Y%TM=5287A8D8%P OS:=i386-redhat-linux-gnu)SEQ(SP=108%GCD=1%ISR=106%TI=Z%CI=Z%II=I%TS=7)SEQ( OS:SP=109%GCD=2%ISR=106%TI=Z%CI=Z%II=I%TS=7)OPS(O1=M400CST11NW3%O2=M400CST1 OS:1NW3%O3=M400CNNT11NW3%O4=M400CST11NW3%O5=M400CST11NW3%O6=M400CST11)WIN(W OS:1=8000%W2=8000%W3=8000%W4=8000%W5=8000%W6=8000)ECN(R=Y%DF=Y%T=40%W=8018% OS:O=M400CNNSNW3%CC=Y%Q=)T1(R=Y%DF=Y%T=40%S=O%A=S+%F=AS%RD=0%Q=)T2(R=N)T3(R OS:=N)T4(R=Y%DF=Y%T=40%W=0%S=A%A=Z%F=R%O=%RD=0%Q=)T5(R=Y%DF=Y%T=40%W=0%S=Z% OS:A=S+%F=AR%O=%RD=0%Q=)T6(R=Y%DF=Y%T=40%W=0%S=A%A=Z%F=R%O=%RD=0%Q=)T7(R=Y% OS:DF=Y%T=40%W=0%S=Z%A=S+%F=AR%O=%RD=0%Q=)U1(R=Y%DF=N%T=40%IPL=164%UN=0%RIP OS:L=G%RID=G%RIPCK=G%RUCK=G%RUD=G)IE(R=Y%DFI=N%T=40%CD=S) Network Distance: 0 hops OS detection performed. Please report any incorrect results at http://nmap.org/submit/ . <span style="color: #222222; font-family: 'Courier 10 Pitch', Courier, monospace; font-size: 15px; line-height: 21px;">Nmap done: 1 IP address (1 host up) scanned in 13.29 seconds</span> |
SNMP Trap設定についてはまだうまく検証できていないのでまた後日
snmptrap設定まではなんとか終わったのだけれど、確認が取れていない・・・