「ESXi」カテゴリーアーカイブ

PernixData FVP 3.0　ってちょっと面白そう

コメントを残す

ちょっと面白そう。

無償版もあるみたいだしちょっと試してみたい。

ネットワールド、vSphere 6.0に対応したストレージ高速化ソフト「PernixData FVP 3.0」

Windows2000に最新のVMwareToolsをインストールする際のメモ

コメントを残す

windows 2000 へ VMware Toolsインストール時のパッチ当てについて

VMware toolsインストール時にエラーとなる場合は、スナップショット取得後、次のパッチを適用してください。

Windows2000-KB835732-x86-JPN.exe

可能であれば、このパッチより先に
Windows 2000 Service Pack 4 (SP4)
を当てたほうがいいのですが、既存環境からのP2Vとかの場合だと、これを入れるのは厳しいのが実情です。

また、このパッチを当てた後、CPU負荷異常が発生する場合があります。

その場合は、以下を参照
https://support.microsoft.com/ja-jp/kb/841382

また、デバイスマネージャを開き、黄色「!」がついたデバイスがあれば無効にすると解決する場合があるとのことです。

Windows2000の場合、VMware Toolsが入らない場合は、
FlexibleをNICにしていると10MbpsのレガシーNIC(Vlance:AMD79C970 PCNet32-LANCE)で認識してしまいます。
その場合は、e1000を使うしかありませんがOS標準でドライバーが入っていないので、別途ダウンロードする必要があります。

以下のナレッジからリンクをたどると、Win2000用のドライバがダウンロードできるので、別途インストールしてください。
(ファイル名はPRO2K.exe)

Windows XP Professional 32 ビットおよび Windows 2000 32 ビットゲスト OS 上で、E1000 vNIC がサポートされているのに E1000 NIC ドライバが自動的に使用可能にならない (2096212)

ESX5.5でHW Vertion10(vmx-10)の仮想マシンを編集する方法

コメントを残す

実は、コレはvSphereClient5.5のUpdate1までの制限です。

vSphere Client 5.5のUpdate 2以降(build 1993072以降)を使えば、
警告は出るけどvShereClientの触れる範囲(vmx-8までの機能部分)であれば編集できます。

この制限は、vSphereClient側でかかっていたので、ESX5.5GAやU１に
vSphereClient5.5のUpdate2以降で接続した場合でも編集できるようになっています。

Hw10Edit Hw10Edit-2

ちなみに同様に、ESX5.1でも、vSphare Client 5.1 U2 以降を使用すれば
vmx-9の仮想マシンでも編集できます。

ESXi仮想マシンでのメモリダンプ取得方法についてのメモ

コメントを残す

仮想マシン内のゲスト OS の重大なエラーを特定する (2081131)
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2081131

(補足：.vmsnからWindowsコアダンプファイルへの変換方法についてへのリンクもあります)

Windows 仮想マシンで手動メモリダンプを生成する (2101987)
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2101987

(補足：Windowsのメモリダンプを取得する方法[物理サーバと同様です])

ESX/ESXi 上で仮想マシンをクラッシュさせて診断情報を収集する (2094454)
http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2094454

他にもNMIのクラッシュダンプを取得する方法もあるようです。
http://norimaki2000.blog48.fc2.com/blog-entry-1301.html

（この場合、NMI割り込みをかけるだけなので、挙動としてはゲストOSに依存します。)

AndroidをESXi仮想マシンのスピーカーにする方法

コメントを残す

AndroidをPC(ESXiの仮想マシン)のスピーカにしてみたので、そのメモ

ESXiの仮想マシンの場合、通常の方法では、音を鳴らすことができません。
そこで、通常ではない方法の一つとして、AndroidをESXi仮想マシンのスピーカーにする方法を試してみました。

有償ソフトもあるけど、とりあえず試したのは、「WiFi Audio Wireless Speaker」。

このソフトは、PC(Xp,Vista以降、Pluse Audioを使用しているLinux)で出た音声を、同一ネットワーク上にあるAndroidに送信して、Androidのスピーカーから出すことができます。

まずは、Android側に上記のアプリをPlayストアからダウンロードして、起動します。

操作は基本的に、WiFi Audio Statusを　OFF/ONしかありません。

ONにすると、受信した音が鳴るようになります。
また、画面下にはIPアドレスが表示されます。

次に送信先となるWindowsに送信用アプリを以下からダウンロードします。

http://ajeetv.info/wifiaudio/

それぞれのOSに合わせた送信用ソフトウェアをダウンロードします。

Windows Vista以降
Linux (with Pulse Audio)
WindowsXP (with Wave Mix/Stereo MIx)

基本的にダウンロードしたファイルを実行するだけです。

実行してIPアドレスを入れて、Startを押すだけで、PCで鳴らした音がAndroidから流れるようになります。

ただし、物理PCの場合、物理PCのスピーカーもONになっていると、PC側とAndroid側の両方から音が鳴ります。
Android側からの音は若干の遅延が発生するのでエコー状態になるので
PC側のスピーカの音量を０にするか、ミュート状態にする必要があります。

また、通信時のビットレートは約1.4Mbps程度です。圧縮転送の機能はありませんので、
その場合は別のソフトの有償版を使うしかないようです。

・WiFi Speaker(無償版)・WiFi Speaker Pro(有償版)
・SoundWire (free version)・SoundWire (full version)
（両方未検証です）

また、1つのAndroidに複数のPCから音声を転送しようとすると、ノイズが多くなり事実上使えませんでした。

で、このオレ的用途ですが、
このアプリを使えばESXi内の仮想マシンから音声を出力することが出来ます。

ただし仮想マシンにAudioデバイスがないと、PC側アプリでStartできませんので
何らかのAudioデバイスを仮想マシンから認識させなければなりません。

物理的なデバイスをつけないという条件であれば、
ESXi仮想マシンのvmxファイルに隠しパラメータであるHDAudioをつける記述を行うか、
仮想Audioデバイス(XPの場合はTiVSound。Windows 7以降であればNetDuetto付属の仮想デバイスがお勧め)をインストールする必要があります。

上記の仮想的なデバイスは、OSからはAudioデバイスがあるように見えますが、実際に音を出すことは出来ません。ただし、Audioデバイスがないと動かないようなソフトウェアがこれをつけると動くようになります。
今回のWiFi Audio Wireless Speakerもこれで動くようになります。

ESXiの仮想マシンから音を出す方法は、ほかにも色々あるのでそのうちまとめる予定です。

ESXiでＴｈｉｎディスクをシュリンクする場合のメモ

コメントを残す

ESXiでThinディスクをシュリンクする

ESXiで、Thinディスクを作成して仮想マシンにマウントした場合、
ファイルを作成するに従ってVMDKのサイズが増えていきますが、
ファイルを削除しても、VMDKのサイズは減りません。

VMDKファイルのサイズを小さくすることをシュリンク(shrink)と呼ぶこともあります.

ESXの場合、基本的には、以下の２つの処理をおこなうことでシュリンクすることができます。

・SDeleteで仮想ディスク内の過去使用したことがあるが、現在未使用領域のNullクリア

SDelete -z ドライブ文字

・仮想マシンを停止して、vmkfstoolでNullブロックを削除する

vmkfstools -K /path/to/disk-name.vmdk

注意点としては
・Nullクリアする段階でThinディスクは事実上Thickディスクになります。
つまり、Nullクリア完了時点でVMDKサイズに割り当てした最大容量にまでおおきくなるので、その分の空き容量がデータストア上に必要です。

・スナップショットやリンククローンを使用している場合は、シュリンクできません。

ESX3.5の頃は、Nullクリアした上でThinでStorage　vMotionすればシュリンクされたような気がするけど、
ESX4.0以降では、同じブロック間のデータストア間のStorage vMotionだとNullは回収されない模様。別のブロックサイズであれば、回収されるようです。

SDelete & vmkfstoolsの場合は、仮想マシンを停止しなければいけないで、どうしても仮想マシンON状態でやりたい場合は、SDelete & Storage vMotion(別ブロック長間 or FC,iSCSI,DAS<->NFS で移動)もひとつの手かと。

（今回の参考）

ESXi/ESX によってホストされた仮想マシン上の VMware Tools 圧縮オプション (2094653)

http://kb.vmware.com/selfservice/search.do?cmd=displayKC&docType=kc&docTypeID=DT_KB_1_1&externalId=2094653

Storage vMotion でシンディスクを移行したとき null ブロックが回収されない (2092768)

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2092768

ESXでAFT-Diskを使う場合について少し調査中

コメントを残す

ESXでAFT-Diskを使う場合について少し調査中

ESX5.0以降であれば、VMFS領域確保時に、領域の最初は4KBにあわせて確保されるので、アライアンスを気にする必要はない模様

ただし、VMFS上に作成したVMDKは512バイトセクターとして見えますが、実際にアクセスするHDDはAFT領域(論理512,物理4096)なので、結局はゲストＯＳからしてみれば、AFT-Diskを使用するのと同じ注意が必要

Windows のVISTA/7/2008 SP1以降は、領域確保時にクラスタ協会が4KBに合う様に調整され、NTFSであれば標準4KBクラスタなので、実際影響はありません。

ただ、その他のOSについては、別途確認が必要です。

Solaris系ですと、デフォルトでは512KB単位でのアクセスになるようなので、AFTの影響を受けます。

特に、Windows XPでは、ほとんどの場合AFTの影響を受けます。
XPのインストール時のフォーマットでは、63セクターから領域が確保されるため、4K境界と合っていないためです。

事前にWindows 7 SP1以降でHDDをフォーマットすれば、2048セクターから領域が確保されるので、その後WindowsXPをインストールすればよいという話もありますが、すでにWindowsXPをインストール済みの場合はそうはいきません。

専用のソフトもありますが、有償のものや特定のHDD専用が多いので無償でできるものがないかを調べてみました。

見つけたのは、パーティション変更のためのCD-BOOTタイプのソフトである、「gparted」
本来はデータを保存したままでパーティーションサイズの変更に便利なソフトウェアですが、
パーティーションの領域移動もできるので、この機能を使ってアライアンスを調整します。

ＩＳＯが以下のサイトからダウンロードできるので、そこからブートします。
http://sourceforge.jp/projects/gparted/releases/

まずは現状確認。開始セクターは63になっています。

リサイズ/移動をクリックします。

Align to: をMiBになっていることを確認し、前方の空き領域(MiB)に1を指定します。
後方の開き領域があれば、その分ヘるためサイズの変更はありません。

変更後、リサイズ/移動ボタンをクリックします。

変更内容を確認し、Applyをクリックします。

パーティション領域の移動が開始されます。

完了。

移動後確認すると、開始セクターが2048になっていることが確認できました。

Windows XPを起動すると、Checkが走りますが、その後正常に起動できます。

なお、アライアンス調整をする前とした後だと、
シーケンシャルReadで2倍、シーケンシャルWriteで1.5倍の差が出ました。

ただ、この結果はNexentaStorというストレージOS上のＺＦＳ領域を仮想マシンのデータストアとして使用した場合なので、直接HDDにアクセスした場合とは異なります。
なお、ZFSはSSDをReadキャッシュ(CACHE)やWriteキャッシュ(LOG)に指定できるため、その状態だと、そのこまでの差が出なくなります(SSDが差を吸収しているようです)。

なお、4TBクラスで、AFTではないHDDには以下のようなものがあります。

MD03ACA400

東芝製の4TB SATA-HDDのバルク品。
「回転数は7,200rpm、MTTFは100万時間。512セクター対応品」

他のハードディスクがどちらかについては、以下のURLが参考になります。
http://www.pc-master.jp/jisaku/aft-hdd.html

その他参考URL

https://www.allbsd.org/~hrs/diary/201109.html

https://www.icts.uiowa.edu/confluence/pages/viewpage.action?pageId=67307552

https://community.oracle.com/thread/2501822

http://openindiana.org/pipermail/openindiana-discuss/2013-August/013669.html

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2014761

http://blog.delphix.com/gwilson/2012/11/15/4k-sectors-and-zfs/

http://wiki.illumos.org/display/illumos/List+of+sd-config-list+entries+for+Advanced-Format+drives

VMware vSphere PowerCLIを使用したスクリプトをバッチから起動するためのメモ

コメントを残す

VMware vSphere PowerCLIを使用したスクリプトをバッチから起動するためのメモです

VMware vSphere PowerCLIは便利ですが、VMware vSphere PowerCLIコンソールを立ち上げてからのコマンド実行なので、少しめんどくさいです。なので少し調べてみました。

なお、VMware vSphere PowerCLIは、以下からダウンロードできます。

ダウンロード vSphere PowerCLI 5.5

VMware vSphere PowerCLIに限らずですが、
Powershell スクリプトファイル(.PS1)を実行するためにはポリシー変更が必要です。

VMware vSphere PowerCLIを初回起動時には以下のように表示されます。

. : このシステムではスクリプトの実行が無効になっているため、ファイル C:\Program
 Files (x86)\VMware\Infrastructure\vSphere PowerCLI\Scripts\Initialize-PowerCLI
Environment.ps1 を読み込むことができません。詳細については、「about_Execution_P
olicies」(http://go.microsoft.com/fwlink/?LinkID=135170) を参照してください。
発生場所 行:1 文字:3
+ . "C:\Program Files (x86)\VMware\Infrastructure\vSphere PowerCLI\Scripts\Init
ial ...
+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
~~~
 + CategoryInfo : セキュリティ エラー: (: ) []、PSSecurityException
 + FullyQualifiedErrorId : UnauthorizedAccess
PS C:\Program Files (x86)\VMware\Infrastructure\vSphere PowerCLI>

. : このシステムではスクリプトの実行が無効になっているため、ファイル C:\Program

Files (x86)\VMware\Infrastructure\vSphere PowerCLI\Scripts\Initialize-PowerCLI

Environment.ps1 を読み込むことができません。詳細については、「about_Execution_P

olicies」(http://go.microsoft.com/fwlink/?LinkID=135170) を参照してください。

発生場所行:1 文字:3

+ . "C:\Program Files (x86)\VMware\Infrastructure\vSphere PowerCLI\Scripts\Init

ial ...

+ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

~~~

+ CategoryInfo : セキュリティエラー: (: ) []、PSSecurityException

+ FullyQualifiedErrorId : UnauthorizedAccess

PS C:\Program Files (x86)\VMware\Infrastructure\vSphere PowerCLI>

この場合、管理者として実行したPowershellにて、以下のコマンドを実行する必要があります。

Set-ExecutionPolicy RemoteSigned

1	Set-ExecutionPolicy RemoteSigned

(上記の場合、ローカルのローカルに保存されているスクリプトは実行可能。インターネットからダウンロードしたスクリプト（非ローカルのスクリプト）は、署名されているもののみが実行可能。)

そのほかのパラメータとしては、以下のようなものがあります。

Unrestricted
全てのスクリプトが実行可能。ただしインターネットからダウンロードしたスクリプトは、実行するかどうかが確認されるので、ユーザーが明示的に許可した場合のみ実行される

Bypass
全てのスクリプトが実警告やユーザーへの確認なしに、全てのスクリプトが実行可能

これで、VMware vSphere PowerCLIを起動した状態でPowerSHellからスクリプトファイルが実行できるようになります。

ためしに以下のps1ファイルを作成します

Get-PowerCLIVersion.ps1

#vSpherePowerCLIのバージョン表示
Get-PowerCLIVersion

1 2	#vSpherePowerCLIのバージョン表示 Get-PowerCLIVersion

これをVMware vSphere PowerCLIで実行します。

Welcome to the VMware vSphere PowerCLI!

Log in to a vCenter Server or ESX host: Connect-VIServer
To find out what commands are available, type: Get-VICommand
To show searchable help for all PowerCLI commands: Get-PowerCLIHelp
Once you've connected, display all virtual machines: Get-VM
If you need more help, visit the PowerCLI community: Get-PowerCLICommunity

Copyright (C) 1998-2012 VMware, Inc. All rights reserved.PowerCLI 
C:\Program Files\VMware\Infrastructure\vSphere PowerCLI> cd C:\tool\Pow
erShellCUSTOM

PowerCLI C:\tool\PowerShellCUSTOM> .\PowerCLIVersion.ps1

PowerCLI Version
----------------
 VMware vSphere PowerCLI 5.1 Release 1 build 793510
---------------
Snapin Versions
---------------
 VMWare AutoDeploy PowerCLI Component 5.1 build 768137
 VMWare ImageBuilder PowerCLI Component 5.1 build 768137
 VMware vCloud Director PowerCLI Component 1.5 build 793505
 VMware License PowerCLI Component 5.1 build 669840
 VMware vSphere PowerCLI Component 5.1 build 793489

 PowerCLI C:\tool\PowerShellCUSTOM>

Welcome to the VMware vSphere PowerCLI!

To find out what commands are available, type: Get-VICommand

To show searchable help for all PowerCLI commands: Get-PowerCLIHelp

Once you've connected, display all virtual machines: Get-VM

If you need more help, visit the PowerCLI community: Get-PowerCLICommunity

C:\Program Files\VMware\Infrastructure\vSphere PowerCLI> cd C:\tool\Pow

erShellCUSTOM

PowerCLI C:\tool\PowerShellCUSTOM> .\PowerCLIVersion.ps1

PowerCLI Version

----------------

VMware vSphere PowerCLI 5.1 Release 1 build 793510

---------------

Snapin Versions

---------------

VMWare AutoDeploy PowerCLI Component 5.1 build 768137

VMWare ImageBuilder PowerCLI Component 5.1 build 768137

VMware vCloud Director PowerCLI Component 1.5 build 793505

VMware License PowerCLI Component 5.1 build 669840

VMware vSphere PowerCLI Component 5.1 build 793489

PowerCLI C:\tool\PowerShellCUSTOM>

しかし、コマンドプロンプトやバッチファイルから以下のように実行しても、エラーになります。

C:\>cd C:\tool\PowerShellCUSTOM
C:\tool\PowerShellCUSTOM>powershell .\PowerCLIVersion.ps1
用語 'Get-PowerCLIVersion' は、コマンドレット、関数、スクリプト ファイル、また
 は操作可能なプログラムの名前として認識されません。名前が正しく記述されているこ
 とを確認し、パスが含まれている場合はそのパスが正しいことを確認してから、再試行
 してください。
 発生場所 C:\tool\PowerShellCUSTOM\PowerCLIVersion.ps1:1 文字:20
 + Get-PowerCLIVersion <<<<
 + CategoryInfo : ObjectNotFound: (Get-PowerCLIVersion:String) []、
 CommandNotFoundException
 + FullyQualifiedErrorId : CommandNotFoundException

C:\>cd C:\tool\PowerShellCUSTOM

C:\tool\PowerShellCUSTOM>powershell .\PowerCLIVersion.ps1

用語 'Get-PowerCLIVersion' は、コマンドレット、関数、スクリプトファイル、また

は操作可能なプログラムの名前として認識されません。名前が正しく記述されているこ

とを確認し、パスが含まれている場合はそのパスが正しいことを確認してから、再試行

してください。

発生場所 C:\tool\PowerShellCUSTOM\PowerCLIVersion.ps1:1 文字:20

+ Get-PowerCLIVersion <<<<

+ CategoryInfo : ObjectNotFound: (Get-PowerCLIVersion:String) []、

CommandNotFoundException

+ FullyQualifiedErrorId : CommandNotFoundException

この場合は、実行するps1ファイルに以下の行を追加します

#PowerCLIスナップイン組み込み
Add-PSSnapin VMware.VimAutomation.Core

1 2	#PowerCLIスナップイン組み込み Add-PSSnapin VMware.VimAutomation.Core

実際にやってみます。

Get-PowerCLIVersion.ps1　を変更

#PowerCLIスナップイン組み込み
Add-PSSnapin VMware.VimAutomation.Core

#vSpherePowerCLIのバージョン表示
Get-PowerCLIVersion

#PowerCLIスナップイン組み込み

Add-PSSnapin VMware.VimAutomation.Core

#vSpherePowerCLIのバージョン表示

Get-PowerCLIVersion

コマンドプロンプトから実行してみます

C:\tool\PowerShellCUSTOM>powershell .\PowerCLIVersion.ps1

PowerCLI Version
----------------
 VMware vSphere PowerCLI 5.1 Release 1 build 793510
---------------
Snapin Versions
---------------
 VMWare AutoDeploy PowerCLI Component 5.1 build 768137
 VMWare ImageBuilder PowerCLI Component 5.1 build 768137
 VMware vCloud Director PowerCLI Component 1.5 build 793505
 VMware License PowerCLI Component 5.1 build 669840
 VMware vSphere PowerCLI Component 5.1 build 793489

C:\tool\PowerShellCUSTOM>

C:\tool\PowerShellCUSTOM>powershell .\PowerCLIVersion.ps1

PowerCLI Version

----------------

VMware vSphere PowerCLI 5.1 Release 1 build 793510

---------------

Snapin Versions

---------------

VMWare AutoDeploy PowerCLI Component 5.1 build 768137

VMWare ImageBuilder PowerCLI Component 5.1 build 768137

VMware vCloud Director PowerCLI Component 1.5 build 793505

VMware License PowerCLI Component 5.1 build 669840

VMware vSphere PowerCLI Component 5.1 build 793489

C:\tool\PowerShellCUSTOM>

実行できました。

あとは以下のようなバッチファイルを書けば、すぐに実行できますね。

@echo off
cd C:\tool\PowerShellCUSTOM
powershell .\PowerCLIVersion.ps1

@echo off

cd C:\tool\PowerShellCUSTOM

powershell .\PowerCLIVersion.ps1

VyOSを調べた結果のメモ

コメントを残す

仮想環境内で使用できるソフトウェアルータのひとつとして、Vyattaがありましたが、
Vyattaが買収されてComminity Editonの開発が終わったため、フォークして再出発したものがVyOSらしいです。

ただし、ルータとしてではなくブリッジ接続(HUB)として動作させる場合、ESXi側で仮想スイッチで無差別モードをONにする必要があるはず・・・・

公式サイト

vyos.net/wiki

公式サイト　日本語翻訳サイト

vyos.net/wiki　日本語サイト

インストール手順

『Vyatta』からフォークした『VyOS』をインストールしてみた

標準にないWeb 設定画面を外付けするVirtual Applianceらしいです。

vyBuddy virtual appliance

Zabbix AgentとSNMPの設定方法

VyOS(Vyatta)をSNMPとZabbix Agent経由で監視してみる

NAT構成の作成方法例

VMware ESXi 5.5にVyOS1.0.4をインストールしてみました。

VPNの張り方

ソフトウェアルータVyattaとVyOSを用いてSoftLayerとオフィスをIPsec VPN接続する #softlayer

ESXiのStandalone VMRCについての説明を追記しました。

コメントを残す

久しぶりに、
ESXi関連の記事を更新しました。

ESXi 5.xで各仮想マシンのコンソールへ直接アクセスする方法を調べてみた

に

Standalone VMRC(VMware Remote Console 7.0)を利用する方法。(2015/03/01追加)

を追記しました。

わざわざvmware playerや、ESX4.1のvSphereClientを入れなくても
コンソール表示できるようになります。

ただ、現状x64なWindowsにしか、インストールできない模様・・・

ESXiでパフォーマンス履歴を過去1時間だけでなく過去36時間(5分毎)を追加する。に関するメモ

コメントを残す

パフォーマンス履歴を過去1時間だけでなく過去36時間(5分毎)を追加する。に関するメモ

ESXi単体で使用していると、過去のパフォーマンスは過去１時間しか確認できません。
ただ以下の設定をすると、vCenterがなくても、過去36時間のパフォーマンス履歴を確認できます。

sshもしくは、TSM経由でrootでログインする。

vi /etc/vmware/hostd/config.xml

<historicalStatsEnabled> false </historicalStatsEnabled>
↓
<historicalStatsEnabled> true </historicalStatsEnabled>

以下のコマンドを実行すると、サーバ自身を再起動しなくても反映される。
（ただし、vSphereClientの接続はいったん切断されるし、SNMPエージェントを有効にしている場合はWarmStartするので注意）

services.sh restart

取得間隔・保存期間は以下のファイルにかかれているらしい（未確認）。
/var/lib/vmware/hostd/stats/hostAgentStats.xml

なお、ESXiの場合、履歴データ自身はRAMディスク上に存在するため、サーバを再起動すると消えます。

なお元ネタはこちら。
http://www.vm-help.com/esx/esx3i/extending_performance_data.php

すると、Past dayという項目が追加されます

過去36時間(1日半)の5分ごとのパフォーマンスが確認できます。

設定＆サービス再起動直後だと、パフォーマンスデータがクリアされているので、5分以上待ってvSphereClientのパフォーマンスにアクセスすれば、サービス再起動移行のデータが表示されます。

なお、この設定はESX3iの頃から使えますが、最新のESX5.5でも有効なようです。

VMware ESXi 4.1以上の仮想マシンで、リモート・コンソール間のコピー・アンド・ペースト操作の有効化のメモ

コメントを残す

VMware ESXi 4.1以上の仮想マシンで、リモート・コンソール間のコピー・アンド・ペースト操作の有効化のメモ

マニュアル（VMware ESXi 4.1 Installable および VMware vCenter Server 4.1[http://www.vmware.com/jp/support/pubs/vs_pages/vsp_pubs_esxi41_i_vc41.html]）より抜粋。

クリップボードにコピーされた機密データの漏えい制限

ESXi では、クリップボードにコピーされた機密データの漏えいを防ぐため、コピーアンドペーストの操作がデフォルトで無効になっています。
VMware Tools を実行している仮想マシンでコピーアンドペーストが有効になっている場合、
ゲスト OS とリモートコンソールとの間でコピーアンドペースト操作が可能です。
コンソールウィンドウにフォーカスが移るとすぐに、仮想マシンを操作している権限のないユーザーおよび実行中のプロセスは、
仮想マシンコンソールのクリップボードにアクセスできます。ユーザーがコンソールを使用する前に機密情報をクリップボードにコピーすると、
ユーザーが気付かない間に、機密データが仮想マシンにさらされています。この問題を防ぐため、ゲスト OS のコピーアンドペースト操作はデフォルトで無効になっています。
必要な場合は、仮想マシンのコピーアンドペースト操作を有効にできます。

該当の仮想マシンを停止

1.vSphere ClientからESXiにログインして、コピー・アンド・ペースト操作を有効にしたい仮想マシンを選択
2. [サマリ] タブの [設定の編集] をクリック
3. [オプション]タブの[詳細] – [全般] を選択し、 [構成パラメータ]ボタンをクリック
4. [行の追加]ボタンをクリックして、次の値を名前と値の各列に入力

名前値
isolation.tools.copy.disable false
isolation.tools.paste.disable false

5. [OK]ボタンをクリックして構成パラメータを閉じ、もう一度[OK]ボタンをクリックして仮想マシンのプロパティを閉じる

該当仮想マシンを起動後はクリップボード共有が使用きるようになります。

VMware ESXi 4.1のゲストOSとリモート・コンソール間のコピー・アンド・ペースト操作をデフォルトで有効にする方法

ESXi4.1ではクリップボードにコピーされた機密データの漏えいを防ぐためコピー・アンド・ペーストの操作が
デフォルトで無効にされている。(ESX4.0以前ではデフォルトで有効)
マニュアルでは各仮想マシンの設定を編集して有効にする方法が乗っているのだが、
ESXi4,0以前からのバージョンアップなどでが仮想マシンが多いと編集作業が面倒なので
デフォルトを有効にしたい場合は以下の設定を変更し、仮想マシンを一度停止した後で、起動してください。

sshもしくは、TSM経由(ローカルコンソール)でrootでログインする。

/etc/vmware/config ファイルを開き、
以下の行を追加

isolation.tools.copy.disable=”FALSE”
isolation.tools.paste.disable=”FALSE”

これで、以後設定したESXiで起動した仮想マシンでクリップボード共有が使用できるようになります。

参考URL
http://kb.vmware.com/kb/1026437

NexentaStor on ESXi　的なお話。

コメントを残す

NexentastorのESXiへのインストール

今回はNexentaStore 3.1.5をESXi上にインストールします。
（後半では、4.0.xについても追記済み）

●仮想マシンの作成
「新規仮想マシンの作成」から、構成で標準でセットアップ
注意点は、
・ゲストOSをSolarisのSun Solaris 10(64-bit)に変更
・HDDは、SCSIで20GBで作成(OS部分のみに必要な容量です。)
・メモリを標準1GBから2GB以上に変更
・CD/DVDで、データストアISOファイルにダウンロードしたNexentaStor-Communityのisoを指定し、
パワーオン時に接続にチェックを入れる
・NICでネットワーク接続先を、任意の場所に指定
・起動HDDを冗長化する場合は、SCSI-HDDを20GBでさらにもう一個追加する。

なお、標準にすれば、SCSIコントローラはLSI Logic、NICはE1000になるはずです。

●インストール
電源オンでインストールが始まります。
注意点としては、起動HDD冗長化するときには、２つのHDDにチェックを入れるというところです。
冗長化しないなら、１つで問題ありません。

●初期設定１
インストール完了後、再起動で製品登録の画面になります。
http://www.nexenta.com/register-evalにアクセスして、
画面に出ているMachine Signatureを登録します。

その後、IPアドレス/サブネット/DNS/デフォルトゲートウェイと、
管理用プロトコル/ポートを設定します。

●初期設定２
http<s>://<IPアドレス>:<ポート>にアクセスし各種設定を実施

Host Name: NS002
Time Zone: Asia Japan – Japan
Keybord Layout: Japanese

Admin/Rootのパスワード

メール設定は必要に応じて

ネットワーク設定も環境に応じて設定

iSCSIイニシエータの設定は、使用するなら設定

DiskやVolimes,Foldersの設定は、ここではまだストレージ用のHDDを追加していないためスキップ

もし、安全性よりパフォーマンス優先なら、「Optimize I/O perfoamance forCIFS/NFS/iSCSI UPS-backed deployments?」にチェックを入れる。

その後、一度電源オフ

●機器の追加
NICと、データ保存用HDDをハードウェアに追加します。
・NICはE1000で追加します。
ただし、ESX5.1のU2以降、ESX5.1GA上でNexentastorを稼動させる場合は、
VMXNET3にしないと大量の通信を行った場合にスループットが低下するようです。
(VMware ESXi 5.1 U2 または ESXi 5.5 GA における、e1000 アダプタを使用する Solaris 仮想マシンでのネットワークスループットのパフォーマンスの問題 (2086372))
ただし、VMXNET3のインターフェイスではMTU変更は出来ない(失敗する)ようです。こんな情報も見つけましたが、まだ試していません。
(Cannot increase MTU setting for virtual machines running Solaris with VMXNET3 network interface (2032669))

・データ保存用HDDを追加する場合、SCSIコントローラを追加する場合は、LSI Logicパラレルを指定します。

RAIDを組む場合は、同一容量のHDDを必要台数分追加します。
ここでは、新しいRAID領域ごとに別のRAIDコントローラを追加して、その下にそれを構成するHDDを接続しています。

●追加した機器の設定
・NICの設定（IP/サブネットマスク/MTU）
Setting->Network
・HDDの追加
Data Management->Data Sets

・volumesの追加
ここで、HDDを選択してRAIDを構成します。RAIDを組まないこともできます。
ここでは、noRAIDとします。

・Foldersの追加
volumesの中に、Foldersを作成します。
ここでは、nfsとします。

・作成したFoldersで、NFSを有効にします。
設定はデフォルトで問題ありませんが、NFSのバージョンは3に変更します。
(Data Management -> Shares -> Configureからも設定できます。)
ただ、このままだとすべてのユーザが読み書きできるので、セキュリティ的には別途検討要です。

・ESXから設定したNFS領域をマウントします。
構成 -> ストレージ -> ストレージの追加 -> ネットワークファイルシステムから追加します。
サーバ：NexentastorのIPアドレス
フォルダ：/volumes/<ボリューム名>/<フォルダ名> (例:/volumes/noRAID/nfs)
データストア名：データストア識別名

●確認
この時点で、ESXiのデータストアとして、NexentaStorのNFSが参照可能となっています。
ただし、Write速度が非常に遅いと思います。

●チューニング
主なチューニングに関連する項目は、以下のとおり

Setting -> Preferences

system
Sys_zfs_nocacheflush : デフォルトはno。YesにするとHDD内キャッシュが有効になるがDiskが仮想ディスクの場合の効果は不明。もちろん停電には弱くなるのでYesにする場合は自己責任で。

DataManegment -> DataSet

Folder
Record Size：128KB推奨
LogBuas: 通常はlatencyで問題なし。
ただし、シングルタスクでのパフォーマンスを求める場合はここをthroughputにすると
パフォーマンスが向上する場合があります。
Deduplication: 通常はoff。
有効にすると重複排除機能が有効になりますがその分CPU特にメモリ負荷が高くなり、結果的にパフォーマンスが落ちる傾向が強いです。
バックアップ用領域に利用すると効果が高いです。その場合の設定はsha256,verfyが比較的安全かも。
Compresson: 通常はoff。
有効にすると、圧縮機能が有効になりますが、その分CPU負荷が高くなります。ただし圧縮してDiskに書き込むことになるので、データの内容によってはパフォーマンスがあがる場合もあります。
on=lzjbと同義です。圧縮率は低いですが、CPU使用率も低い傾向があるようです。なお、gzip=gzip-6と同義になります。
on=jzjb -> gzip-1 -> gzip=gzip-6 -> gzip-9となるにしたがって圧縮率が上がりますが、CPU負荷も上がりますので、。
Sync: 書き込みパフォーマンスに重大な影響があります。
デフォルトは、Standerdです(WriteThrou的な設定)。
disableにすると、WriteBack的な動きになり、書き込みパフォーマンスが一気に上がりますが、
突然の停電などが発生した場合にデータ欠損が発生する可能性があります。
ただ、ZFS由来のZFSであれば、WriteHole問題が発生しないことになってますので、
大きな問題はない気がしますが、自己責任でお使いください。

Volume
Deduplication: Folder内の意味と同じ。Volume内のFolderに対するデフォルト値のようです。
Sync: Folder内の意味と同じ。Volume内のFolderに対するデフォルト値のようです。
AutpExpand: パフォーマンスとは直結しませんが、onにするとDiskサイズが増えたときに領域を自動拡張してくれます。

あとは、細かいチューニングをくりかえして、環境に応じた最適値を見つける必要があります。

最新版への更新はまた別途必要であれば。

その他ナレッジ

CUIコンソールの入り方

コンソール画面でrootやadminユーザでログインすれば、CUIで操作できます。
adminユーザでログインした場合は、shellが一般ユーザで起動します。suで特権モードでのshell操作も可能です。

また、rootの場合はNMC(Nexenta Management console)が起動し、Nexentastorの設定などがコマンドできるようになります。
この環境はshell環境とは違い、用意されたコマンドのみが使用できます。
GUI(Webインターフェース)でできる設定ができるようになっています。

NMCからshellを起動する

コンソールかsshでrootでログインする。

option expert_mode=1 -s
!bash

option ～は、最後に-sをつけると最初の１回のみの実行でOKです。
その後は!bashのみで起動できるようになります。

NexentaStorの初回起動時のCUIネットワーク設定を再度実行する

NMCにを起動して、以下のコマンドを実行します。

setup appliance init

うまくGUI(Webインターフェース)を起動できなかった場合にも再インストールする必要はありません。

NexentaStorのバージョンアップ

NMCを起動して、以下のコマンドを実行します。
新しい更新があれば、表示されますので、
必要に応じて更新します。更新した場合は再起動が行われます。

setup appliance upgrade

正常に再起動でき、動作を確認したら、NMCにログインすると、今後更新を反映させるかの確認があります。ここで、反映させておかないと次の再起動時に更新がキャンセルされますのでご注意ください。

その他よく使うNMCコマンド

help　　　　　　　　　　　　　　　　ヘルプ表示
setup appliance reboot　　　　再起動
setup appliance poweroff　　　シャットダウン

<tab>キー2回でコマンドの候補がでますし、コマンドの後Enterでコマンドに対するオプションや説明が表示・選択できますので結構感覚的に操作できます。

最新のESXi付属のVMware-Toolsを使用する方法

VMXNET3やPVSCSIを使用するために、
本家VMwareToolsを導入する場合は、以下のURLの手順でインストールできます。

http://plone.4aero.com/Members/lmarzke/howto/nexentastore-installation-on-vsphere

ただ、4.x系だとVMXNET3がうまく動かない場合があるので、
apt-getコマンドでopen-vm-toolsやをインストールしたほうがいいかもしれません。

パッケージ管理

Nexentastorにはパッケージ管理としてaptがデフォルトでインストールされています。これを利用して、VMware-tools（open-vm-tools）をインストールできます。
ただし、!bashからコンソールではなく、adminでログインしてsuにならないとうまくレポジトリにアクセスできない場合があるのでご注意を。

apt-get update
apt-get install open-vm-tools

もし、proxy経由での接続が必要であれば、以下のように環境設定を設定します。

export http_proxy=”http://proxy:port”
export https_proxy=”http://proxy:port”
export ftp_proxy=”http://proxy:port”

その他、vmxnet3ドライバや、pvscsiドライバも用意されています（3.1.5だと標準でインストール済み）

nexenta-vmxnet3 　　　- VMware EtherAdapter v3, Rev 5
nexenta-pvscsi 　　　　 – Solaris driver for VMware para-virtualized SCSi HBA, Rev 15

ちなみに、その他のコマンド例
apt-cache search open- open-を含むインストール可能なパッケージを表示する
dpkg -l インストール済みパッケージの表示

その他のコマンドの参考
http://landisk.kororo.jp/debian/04_apt-get_dpkg.php

ESXiからNFS,iSCSI接続する際の推奨パラメータについて

ESXiからNFS,iSCSI接続する際の推奨パラメータは以下のとおりのこと

#NFS OPTION VALUE
Nfs.heartbeatfrequency 20
Nfs.heartbeatdelta 12
Nfs.heartbeatmaxfailures 10
NFS.HeartbeatTimeout 5
Nfs.Sendbuffersize 264
Nfs.Receivebuffersize 256
Nfs.MaxVolumes 256
Net.TcpipHeapMax 128
Net.TcpipHeapsize 32

#ISCSI ADVANCED SETTINGS OPTION VALUE
MaxOutstandingR2T 8
FirstBurstLength 16777215
MaxBurstLength 16777215
MaxRecvDataSegLen 16777215
RecoveryTimeout 120

ESXiとのVAAI 連携について

ESXiのストレージオフロード機構であるVAAIをNexentaStoreでは使用できます。

iSCSIについては、NexentaStor 4.0.3 FP2までは標準でサポートしており、
nexentastorでiSCSI領域を作成、ESXi側でマウントすれば、
自動的にハードウェア支援が有効になります。

NexentaStor 4.0.3 FP3以降では、デフォルト無効なので、
https://nexenta.com/products/downloads/nexentastor
からvaaictlをダウンロードして、転送し、

chmod 555 ./vaaictl
./vaaictl –enable

とする必要があるようです（後で確認します。）

NFSの場合は、別途プラグインをNexentaStor、ESXi側両方に導入する必要があります。

2015/4現在のプラグインのバージョンは1.0-129です。
現状NexentaStore CE 3.1.xとvSphere5.xの組み合わせで動作を確認しています。

http://www.vclouds.nl/nexenta-3-1-4-and-beta-nexenta-nfs-vaai-plugin-released/
http://blog.mattvogt.net/2013/04/03/nexenta-vaai-nas-beta-released/

ただ、NexentaStore CE 4.xに導入してみましたが、エラーとなってプラグインが起動せずでした。
（ld.so.1: nas_vaai_server: fatal: libzproxy.so.1: open failed: No such file or directory Killed）

vSphere6.xにプラグインを導入で寄付かは不明です。

（追記）
vSphere6.xについては、ドキュメントはありませんが、実際にESXi 6.5にNAS VAAI Plugin(ver 129)を導入してみたところ、Nexentastoe3.1.xのNFSデータストアで、「サポート対象」と表示されることを確認しました。

NAS VAAI Plugin(ver 129)は、以下からダウンロードできるNV4V-2.2.1.zipに含まれているようです。（NexentaConnect-2.3.zipにも含まれていることを確認済みです。）
https://nexenta.com/products/downloads/nexentaconnect-view-edition/nexenta-vsa-vmware-horizon-view-zip

Nexentastor 4.0.5FPのiSCSIのマッピングでエラーが出た場合の対処

Nexentastor 4.0.5FPのバグらしいです。

エラーメッセージ：
warning: Failed to open /opt/HAC/RSF-1/log/rsfapi.log for logging [ No such file or directory]
Error: cannot connect to server 127.0.0.1: Failed to obtain socket options
Error: [127.0.0.1] ERROR: rsfcomms returned an error
read_rsf failed [status=1]
cannot connect to server 127.0.0.1: Failed to obtain socket options
ERROR: rsfcomms returned an error
Error: read_rsf error [node=127.0.0.1, letter=7]
WARNING: no localhost connection

対策はこちら

https://prodpkg.nexenta.com/nstor/4.0.5.0/docs/NS-4.0.5-FP2-Release_Notes.pdf?a

HA NEX9167

It is possible for the directory “/opt/HAC/RSF-1/log” to not be created during installation, leading to the inability to create zvol mappings.
# mkdir /opt/HAC/RSF-1/log
# svcadm enable svc:/network/rpc/rpcstmfha:default

これでもだめなら、以下のプラグインを入れるといいみたいです
(GUIでうまくいかない場合は、コマンドライン[setup plugin install]でためしてみるとよいかもしれません)

導入プラグイン：
rsf-cluster 40-0-31 　RSF-1 Cluster management extension (3.11.1p1)

上記プラグイン導入後は、マッピングがうまくいくようになるようです。

iSCSIでマルチパスを使用する場合の調整

NexentstorのiSCSIをマルチパス構成でvsphere Clientと接続した場合、
vSphere側でパラメータの調整をすることでパフォーマンスがあがるとのことです。
・ロードバランスルール
・ロードバランス頻度の調整

https://nexenta.com/sites/default/files/docs/Best%20Practices%20for%20VMware%20vSphere%20with%20NexentaStor.pdf

login as: root
Using keyboard-interactive authentication.
Password:
The time and date of this login have been sent to the system logs.

VMware offers supported, powerful system administration tools. Please
see www.vmware.com/go/sysadmintools for details.

The ESXi Shell can be disabled by an administrative user. See the
vSphere Security documentation for more information.
~ #
~ #
~ # esxcli storage nmp satp rule add -V NEXENTA -M COMSTAR -P VMW_PSP_RR -s VMW_SATP_ALUA -e "NexentaStor Block Devices"
~ #
~ #
~ # esxcli storage nmp device list | grep -i 'NEXENTA iSCSI Disk'
 Device Display Name: NEXENTA iSCSI Disk (naa.600144f0696f667f00005ae56efb0001)
~ #
~ # esxcli storage nmp device list -d naa.600144f0696f667f00005ae56efb0001 | egrep -i "Nexenta|Policy"
 Device Display Name: NEXENTA iSCSI Disk (naa.600144f0696f667f00005ae56efb0001)
 Path Selection Policy: VMW_PSP_RR
 Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0; lastPathIndex=0: N 
 umIOsPending=0,numBytesPending=0}
 Path Selection Policy Device Custom Config:
~ #
~ # esxcli storage nmp psp roundrobin deviceconfig get -d naa.600144f0696f667f00005ae56efb0001
 Byte Limit: 10485760
 Device: naa.600144f0696f667f00005ae56efb0001
 IOOperation Limit: 1000
 Limit Type: Default
 Use Active Unoptimized Paths: false
~ #
~ # for disk in `esxcli storage nmp device list | awk '/NEXENTA iSCSI Disk/i {print $7}' | cut -c 2-37`
> do
> esxcli storage nmp psp roundrobin deviceconfig get -d $disk
> done
 Byte Limit: 10485760
 Device: naa.600144f0696f667f00005ae56efb0001
 IOOperation Limit: 1000
 Limit Type: Default
 Use Active Unoptimized Paths: false
~ #
~ #
~ #
~ # for disk in `esxcli storage nmp device list | awk '/NEXENTA iSCSI Disk/i {print $7}' | cut -c 2-37`
> do
> esxcli storage nmp psp roundrobin deviceconfig set -d $disk -I 1 -t iops
> done
~ #
~ #
~ # for disk in `esxcli storage nmp device list | awk '/NEXENTA iSCSI Disk/i {print $7}' | cut -c 2-37`
> do
> esxcli storage nmp psp roundrobin deviceconfig get -d $disk
> done
 Byte Limit: 10485760
 Device: naa.600144f0696f667f00005ae56efb0001
 IOOperation Limit: 1
 Limit Type: Iops
 Use Active Unoptimized Paths: false
~ #
~ #
~ #
~ # esxcli storage vmfs extent list
Volume Name VMFS UUID Extent Number Device Name 
Partition
------------------- ----------------------------------- ------------- ------------------------------------------------------------------------ 
---------
NS004-iSCSI-VMFS5 5ae57077-85433a14-cbb7-d89d67f32169 0 naa.600144f0696f667f00005ae56efb0001 
 1
~ #
~ # esxcli storage core device list -d naa.600144f0696f667f00005ae56efb0001
naa.600144f0696f667f00005ae56efb0001
 Display Name: NEXENTA iSCSI Disk (naa.600144f0696f667f00005ae56efb0001)
 Has Settable Display Name: true
 Size: 1048576
 Device Type: Direct-Access
 Multipath Plugin: NMP
 Devfs Path: /vmfs/devices/disks/naa.600144f0696f667f00005ae56efb0001
 Vendor: NEXENTA
 Model: COMSTAR
 Revision: 1.0
 SCSI Level: 5
 Is Pseudo: false
 Status: on
 Is RDM Capable: true
 Is Local: false
 Is Removable: false
 Is SSD: false
 Is Offline: false
 Is Perennially Reserved: false
 Queue Full Sample Size: 0
 Queue Full Threshold: 0
 Thin Provisioning Status: yes
 Attached Filters:
 VAAI Status: supported
 Other UIDs: vml.02000b0000600144f0696f667f00005ae56efb0001434f4d535441
 Is Local SAS Device: false
 Is USB: false
 Is Boot USB Device: false
 No of outstanding IOs with competing worlds: 32
~ #
~ # vmkfstools -Phv1 /vmfs/volumes/NS004-iSCSI-VMFS5/
VMFS-5.60 file system spanning 1 partitions.
File system label (if any): NS004-iSCSI-VMFS5
Mode: public ATS-only
Capacity 1023.8 GB, 1022.8 GB available, file block size 1 MB, max file size 62.9 TB
Volume Creation Time: Sun Apr 29 07:12:55 2018
Files (max/free): 130000/129989
Ptr Blocks (max/free): 64512/64496
Sub Blocks (max/free): 32000/31999
Secondary Ptr Blocks (max/free): 256/256
File Blocks (overcommit/used/overcommit %): 0/978/0
Ptr Blocks (overcommit/used/overcommit %): 0/16/0
Sub Blocks (overcommit/used/overcommit %): 0/1/0
Volume Metadata size: 809009152
UUID: 5ae57077-85433a14-cbb7-d89d67f32169
Partitions spanned (on "lvm"):
 naa.600144f0696f667f00005ae56efb0001:1
NXVaaiNasPlugin: VaaiNas_StartSession: request for (null) (null) /vmfs/volumes/5ae57077-85433a14-cbb7-d89d67f32169 VMFS 5
NXVaaiNasPlugin: Rejecting non-NFS params
Is Native Snapshot Capable: YES
NXVaaiNasPlugin:PluginDone
OBJLIB-LIB: ObjLib cleanup done.
~ #

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

Using keyboard-interactive authentication.

Password:

The time and date of this login have been sent to the system logs.

VMware offers supported, powerful system administration tools. Please

see www.vmware.com/go/sysadmintools for details.

The ESXi Shell can be disabled by an administrative user. See the

vSphere Security documentation for more information.

~ #

~ # esxcli storage nmp satp rule add -V NEXENTA -M COMSTAR -P VMW_PSP_RR -s VMW_SATP_ALUA -e "NexentaStor Block Devices"

~ #

~ # esxcli storage nmp device list | grep -i 'NEXENTA iSCSI Disk'

Device Display Name: NEXENTA iSCSI Disk (naa.600144f0696f667f00005ae56efb0001)

~ #

~ # esxcli storage nmp device list -d naa.600144f0696f667f00005ae56efb0001 | egrep -i "Nexenta|Policy"

Device Display Name: NEXENTA iSCSI Disk (naa.600144f0696f667f00005ae56efb0001)

Path Selection Policy: VMW_PSP_RR

Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0; lastPathIndex=0: N

umIOsPending=0,numBytesPending=0}

Path Selection Policy Device Custom Config:

~ #

~ # esxcli storage nmp psp roundrobin deviceconfig get -d naa.600144f0696f667f00005ae56efb0001

Byte Limit: 10485760

Device: naa.600144f0696f667f00005ae56efb0001

IOOperation Limit: 1000

Limit Type: Default

Use Active Unoptimized Paths: false

~ #

~ # for disk in `esxcli storage nmp device list | awk '/NEXENTA iSCSI Disk/i {print $7}' | cut -c 2-37`

> do

> esxcli storage nmp psp roundrobin deviceconfig get -d $disk

> done

Byte Limit: 10485760

Device: naa.600144f0696f667f00005ae56efb0001

IOOperation Limit: 1000

Limit Type: Default

Use Active Unoptimized Paths: false

~ #

~ # for disk in `esxcli storage nmp device list | awk '/NEXENTA iSCSI Disk/i {print $7}' | cut -c 2-37`

> do

> esxcli storage nmp psp roundrobin deviceconfig set -d $disk -I 1 -t iops

> done

~ #

~ # for disk in `esxcli storage nmp device list | awk '/NEXENTA iSCSI Disk/i {print $7}' | cut -c 2-37`

> do

> esxcli storage nmp psp roundrobin deviceconfig get -d $disk

> done

Byte Limit: 10485760

Device: naa.600144f0696f667f00005ae56efb0001

IOOperation Limit: 1

Limit Type: Iops

Use Active Unoptimized Paths: false

~ #

~ # esxcli storage vmfs extent list

Volume Name VMFS UUID Extent Number Device Name

Partition

------------------- ----------------------------------- ------------- ------------------------------------------------------------------------

---------

NS004-iSCSI-VMFS5 5ae57077-85433a14-cbb7-d89d67f32169 0 naa.600144f0696f667f00005ae56efb0001

~ #

~ # esxcli storage core device list -d naa.600144f0696f667f00005ae56efb0001

naa.600144f0696f667f00005ae56efb0001

Display Name: NEXENTA iSCSI Disk (naa.600144f0696f667f00005ae56efb0001)

Has Settable Display Name: true

Size: 1048576

Device Type: Direct-Access

Multipath Plugin: NMP

Devfs Path: /vmfs/devices/disks/naa.600144f0696f667f00005ae56efb0001

Vendor: NEXENTA

Model: COMSTAR

Revision: 1.0

SCSI Level: 5

Is Pseudo: false

Status: on

Is RDM Capable: true

Is Local: false

Is Removable: false

Is SSD: false

Is Offline: false

Is Perennially Reserved: false

Queue Full Sample Size: 0

Queue Full Threshold: 0

Thin Provisioning Status: yes

Attached Filters:

VAAI Status: supported

Other UIDs: vml.02000b0000600144f0696f667f00005ae56efb0001434f4d535441

Is Local SAS Device: false

Is USB: false

Is Boot USB Device: false

No of outstanding IOs with competing worlds: 32

~ #

~ # vmkfstools -Phv1 /vmfs/volumes/NS004-iSCSI-VMFS5/

VMFS-5.60 file system spanning 1 partitions.

File system label (if any): NS004-iSCSI-VMFS5

Mode: public ATS-only

Capacity 1023.8 GB, 1022.8 GB available, file block size 1 MB, max file size 62.9 TB

Volume Creation Time: Sun Apr 29 07:12:55 2018

Files (max/free): 130000/129989

Ptr Blocks (max/free): 64512/64496

Sub Blocks (max/free): 32000/31999

Secondary Ptr Blocks (max/free): 256/256

File Blocks (overcommit/used/overcommit %): 0/978/0

Ptr Blocks (overcommit/used/overcommit %): 0/16/0

Sub Blocks (overcommit/used/overcommit %): 0/1/0

Volume Metadata size: 809009152

UUID: 5ae57077-85433a14-cbb7-d89d67f32169

Partitions spanned (on "lvm"):

naa.600144f0696f667f00005ae56efb0001:1

NXVaaiNasPlugin: VaaiNas_StartSession: request for (null) (null) /vmfs/volumes/5ae57077-85433a14-cbb7-d89d67f32169 VMFS 5

NXVaaiNasPlugin: Rejecting non-NFS params

Is Native Snapshot Capable: YES

NXVaaiNasPlugin:PluginDone

OBJLIB-LIB: ObjLib cleanup done.

~ #

Nexentastor Connunity editionのライセンスについて

Nexentastor 3.xの頃は、実使用量が18TB超えるまでだったと記憶していたけど、
Nexentastor 4.xはプールに使用したDiskの総認識容量が18TBに超えるまでになっていたらしい。（Enterprise Editionと同じ扱い？）

今回、8TB x4 のRAID10でプールを構成しようとして、見事に制限に引っかかりました(8×4=32>18)。
制限に引っかかると、私の気づいた部分だけですが、以下の部分が変わりました。」

・右上にメールのようなマークがでて、クリックすると、制限を越えたとのメッセージが表示
・設定済みのライセンスコードが消える
・最新へのパッチ更新がエラーになる[setup appliance upgrade]
・iSCSIのマッピングができなくなる（エラーになるが、別の理由かも）

ただ、プールの作成や、Folder,zvolの作成と、NFSの設定、その他初期設定などはできたみたいなので、NFSで使う分には設定できた感じでしたが、iSCSIとして使うことはうまくいきませんでした。

とりあえず今回は、WSのマザーボード上のLSI 2308のRAID機能を使って、
8TB x 2のMirror Volume(RAID1)を２つ作成し、それをNexentastorに見せて回避しました。本当は生のDiskを割り当てたほうがパフォーマンスはあがるようなのだけど、ライセンス的な問題と、Nexentastor上のDiskと、物理的なDiskの関係がわからなくなったため、この方式ととることにしました。
（なお、LSI 2308のRAID機能でRAID10のVolume作って試したら、パフォーマンスが半分になりました。）

個人的な感想としては、comminiry editionで使用する場合は以下の選択支ですかね。

・vsphere6.xでvvol機能を使う方
-> Nexentastor 5.x(これから検証予定です)
(comminiry editionではDiskは認識容量10TBまで管理可

・vSphere5.xでnfsをメインで運用していて、仮想マシンクローンをよく使う方
-> Nexentastor 3.1.x + nas VAAI plugin
(comminiry editionではDiskは実使用量18TBまで管理可？)

・iSCSI機能をメインに使う方や、NexentastorのPluginをいろいろ使いたい方
->Nexentastor 4.x
(comminiry editionではDiskは認識容量18TBまで管理可)

RAIDコントローラの制御について

Z820の内蔵SASコントローラ LSI2308のRAID機能を使っている関係で、RAIDノードの状況（状態、リビルド状態）がBIOS上からしか確認できないのはつらすぎます。

なので、LSI 2308の状態ををpci path throughで接続しているNexentaStorで確認するために、制御ツールをインストールします。

ダウンロードはこちらhttps://www.broadcom.com/support/download-search/?dk=sas2ircu
https://www.broadcom.com/support/download-search/?dk=sas3ircu

sas2ircuはSAS2xxxコントローラ用(6Gbps対応SAS、LSI2308はこっち)
SAS3ircuはSAS3xxxコントローラ用(12Gbps対応SAS)

ダウンロードしたものを解凍して、
sas2ircu_solaris_x86_rel(NexentastorはsolarisベースのOSなので)フォルダ内のバイナリを、Nexentastorの/usr/sbin/にコピーして実行権限を付与します。
（ここでは、ESXiのnfsデータストア経由で転送して、rootコンソール(!bash)で操作しています）

root@NS004:/usr/sbin#
root@NS004:/usr/sbin# cd /volumes/RAID10/nfs/00Tool/
root@NS004:/volumes/RAID10/nfs/00Tool# ls -al
total 283
drwxr-xr-x+ 2 nobody nobody 3 May 2 09:42 .
drwxr-xr-x+ 19 root root 19 May 2 09:41 ..
-rwx------+ 1 nobody nobody 196248 May 2 09:42 sas2ircu
root@NS004:/volumes/RAID10/nfs/00Tool# chmod +x sas2ircu
root@NS004:/volumes/RAID10/nfs/00Tool# ls -al
total 283
drwxr-xr-x+ 2 nobody nobody 3 May 2 09:42 .
drwxr-xr-x+ 19 root root 19 May 2 09:41 ..
-rwx--x--x 1 nobody nobody 196248 May 2 09:42 sas2ircu
root@NS004:/volumes/RAID10/nfs/00Tool#
root@NS004:/volumes/RAID10/nfs/00Tool# mv sas2ircu /usr/sbin/
root@NS004:/volumes/RAID10/nfs/00Tool#
root@NS004:/volumes/RAID10/nfs/00Tool# sas2ircu
LSI Corporation SAS2 IR Configuration Utility.
Version 20.00.00.00 (2014.09.18)
Copyright (c) 2008-2014 LSI Corporation. All rights reserved.

SAS2IRCU: No command specified.
 sas2ircu <controller #> <command> <parameters> ...
 where <controller #> is:
 Number between 0 and 255
 where <command> is:
 DISPLAY - display controller, volume and physical device info
 LIST - Lists all available LSI adapters (does not need ctlr #>
 CREATE - create an IR volume
 DELETE - Delete entire RAID configuration on the selected controller
 DELETEVOLUME - Delete a specific RAID Volume on the selected controller
 HOTSPARE - make drive a hot spare
 STATUS - display current volume status info
 SETOFFLINE - set the physical disk to OFFLINE state
 SETONLINE - set the physical disk to ONLINE state
 CONSTCHK - Start Consistency Check operation on the specified IR Volume
 ACTIVATE - Activate an Inactive IR volume
 LOCATE - Locate a disk drive on an enclosure
 LOGIR - Upload or Clear IR Log data
 BOOTIR - Select an IR Boot Volume as primary boot device
 BOOTENCL - Select an Enclosure/Bay as primary boot device
 ALTBOOTIR - Select an IR Boot Volume as alternate boot device
 ALTBOOTENCL - Select an Enclosure/Bay as alternate boot device
 HELP - Display help information
 where <parameters> are:
 Command specific values; enter "sas2ircu <controller #> <command>"
 to get command specific help
root@NS004:/volumes/RAID10/nfs/00Tool#

root@NS004:/usr/sbin#

root@NS004:/usr/sbin# cd /volumes/RAID10/nfs/00Tool/

root@NS004:/volumes/RAID10/nfs/00Tool# ls -al

total 283

drwxr-xr-x+ 2 nobody nobody 3 May 2 09:42 .

drwxr-xr-x+ 19 root root 19 May 2 09:41 ..

-rwx------+ 1 nobody nobody 196248 May 2 09:42 sas2ircu

root@NS004:/volumes/RAID10/nfs/00Tool# chmod +x sas2ircu

root@NS004:/volumes/RAID10/nfs/00Tool# ls -al

total 283

drwxr-xr-x+ 2 nobody nobody 3 May 2 09:42 .

drwxr-xr-x+ 19 root root 19 May 2 09:41 ..

-rwx--x--x 1 nobody nobody 196248 May 2 09:42 sas2ircu

root@NS004:/volumes/RAID10/nfs/00Tool#

root@NS004:/volumes/RAID10/nfs/00Tool# mv sas2ircu /usr/sbin/

root@NS004:/volumes/RAID10/nfs/00Tool#

root@NS004:/volumes/RAID10/nfs/00Tool# sas2ircu

LSI Corporation SAS2 IR Configuration Utility.

Version 20.00.00.00 (2014.09.18)

SAS2IRCU: No command specified.

sas2ircu <controller #> <command> <parameters> ...

where <controller #> is:

Number between 0 and 255

where <command> is:

DISPLAY - display controller, volume and physical device info

LIST - Lists all available LSI adapters (does not need ctlr #>

CREATE - create an IR volume

DELETE - Delete entire RAID configuration on the selected controller

DELETEVOLUME - Delete a specific RAID Volume on the selected controller

HOTSPARE - make drive a hot spare

STATUS - display current volume status info

SETOFFLINE - set the physical disk to OFFLINE state

SETONLINE - set the physical disk to ONLINE state

CONSTCHK - Start Consistency Check operation on the specified IR Volume

ACTIVATE - Activate an Inactive IR volume

LOCATE - Locate a disk drive on an enclosure

LOGIR - Upload or Clear IR Log data

BOOTIR - Select an IR Boot Volume as primary boot device

BOOTENCL - Select an Enclosure/Bay as primary boot device

ALTBOOTIR - Select an IR Boot Volume as alternate boot device

ALTBOOTENCL - Select an Enclosure/Bay as alternate boot device

HELP - Display help information

where <parameters> are:

Command specific values; enter "sas2ircu <controller #> <command>"

to get command specific help

root@NS004:/volumes/RAID10/nfs/00Tool#

以下のような情報が取得できます。

SASコントローラのリスト

root@NS004:~# sas2ircu LIST
LSI Corporation SAS2 IR Configuration Utility.
Version 5.00.00.00 (2010.02.09)
Copyright (c) 2009 LSI Corporation. All rights reserved.


 Adapter Vendor Device SubSys SubSys
 Index Type ID ID Pci Address Ven ID Dev ID
 ----- ------------ ------ ------ ----------------- ------ ------
 0 SAS2208_7 1000h 86h 00h:0bh:00h:00h 103ch 158bh
SAS2IRCU: Utility Completed Successfully.
root@NS004:~#

root@NS004:~# sas2ircu LIST

LSI Corporation SAS2 IR Configuration Utility.

Version 5.00.00.00 (2010.02.09)

Adapter Vendor Device SubSys SubSys

Index Type ID ID Pci Address Ven ID Dev ID

----- ------------ ------ ------ ----------------- ------ ------

0 SAS2208_7 1000h 86h 00h:0bh:00h:00h 103ch 158bh

SAS2IRCU: Utility Completed Successfully.

root@NS004:~#

SASコントローラ0の各種情報

root@NS004:~# sas2ircu 0 DISPLAY
LSI Corporation SAS2 IR Configuration Utility.
Version 5.00.00.00 (2010.02.09)
Copyright (c) 2009 LSI Corporation. All rights reserved.

Read configuration has been initiated for controller 0
------------------------------------------------------------------------
Controller information
------------------------------------------------------------------------
 Controller type : SAS2208_7
 BIOS version : 7.23.02.00
 Firmware version : 12.00.02.00
 Channel description : 1 Serial Attached SCSI
 Initiator ID : 0
 Maximum physical devices : 255
 Concurrent commands supported : 3072
 Slot : 1
 Segment : 0
 Bus : 11
 Device : 0
 Function : 0
 RAID Support : Yes
------------------------------------------------------------------------
IR Volume information
------------------------------------------------------------------------
IR volume 1
 Volume ID : 322
 Status of volume : Degraded (DGD)
 RAID level : RAID1
 Size (in MB) : 7630348
 Physical hard disks :
 PHY[0] Enclosure#/Slot# : 1:0
 PHY[1] Enclosure#/Slot# : 1:1
IR volume 2
 Volume ID : 323
 Status of volume : Degraded (DGD)
 RAID level : RAID1
 Size (in MB) : 7630348
 Physical hard disks :
 PHY[0] Enclosure#/Slot# : 1:2
 PHY[1] Enclosure#/Slot# : 1:3
------------------------------------------------------------------------
Physical device information
------------------------------------------------------------------------
Initiator at ID #0

Device is a Hard disk
 Enclosure # : 1
 Slot # : 0
 State : Degraded (DGD)
 Size (in MB)/(in sectors) : ???/???
Degraded (DGD)
 Manufacturer : ATA
 Model Number : ST8000VN0022-2EL
 Firmware Revision : SC61
 Serial No : ZA1AMJxx
 Protocol : SATA
 Drive Type : SATA_HDD

Device is a Hard disk
 Enclosure # : 1
 Slot # : 1
 State : Optimal (OPT)
 Size (in MB)/(in sectors) : ???/???
Optimal (OPT)
 Manufacturer : ATA
 Model Number : ST8000VN0022-2EL
 Firmware Revision : SC61
 Serial No : ZA1AMKxx
 Protocol : SATA
 Drive Type : SATA_HDD

Device is a Hard disk
 Enclosure # : 1
 Slot # : 2
 State : Degraded (DGD)
 Size (in MB)/(in sectors) : ???/???
Degraded (DGD)
 Manufacturer : ATA
 Model Number : ST8000VN0022-2EL
 Firmware Revision : SC61
 Serial No : ZA1AMLxx
 Protocol : SATA
 Drive Type : SATA_HDD

Device is a Hard disk
 Enclosure # : 1
 Slot # : 3
 State : Optimal (OPT)
 Size (in MB)/(in sectors) : ???/???
Optimal (OPT)
 Manufacturer : ATA
 Model Number : ST8000VN0022-2EL
 Firmware Revision : SC61
 Serial No : ZA1AMPxx
 Protocol : SATA
 Drive Type : SATA_HDD
------------------------------------------------------------------------
Enclosure information
------------------------------------------------------------------------
 Enclosure# : 1
 Logical ID : 50014380:25e3d34d
 Numslots : 8
 StartSlot : 0
------------------------------------------------------------------------
SAS2IRCU: Command DISPLAY Completed Successfully.
SAS2IRCU: Utility Completed Successfully.
root@NS004:~#

100

101

102

103

104

105

106

107

108

root@NS004:~# sas2ircu 0 DISPLAY

LSI Corporation SAS2 IR Configuration Utility.

Version 5.00.00.00 (2010.02.09)

Read configuration has been initiated for controller 0

------------------------------------------------------------------------

Controller information

------------------------------------------------------------------------

Controller type : SAS2208_7

BIOS version : 7.23.02.00

Firmware version : 12.00.02.00

Channel description : 1 Serial Attached SCSI

Initiator ID : 0

Maximum physical devices : 255

Concurrent commands supported : 3072

Slot : 1

Segment : 0

Bus : 11

Device : 0

Function : 0

RAID Support : Yes

------------------------------------------------------------------------

IR Volume information

------------------------------------------------------------------------

IR volume 1

Volume ID : 322

Status of volume : Degraded (DGD)

RAID level : RAID1

Size (in MB) : 7630348

Physical hard disks :

PHY[0] Enclosure#/Slot# : 1:0

PHY[1] Enclosure#/Slot# : 1:1

IR volume 2

Volume ID : 323

Status of volume : Degraded (DGD)

RAID level : RAID1

Size (in MB) : 7630348

Physical hard disks :

PHY[0] Enclosure#/Slot# : 1:2

PHY[1] Enclosure#/Slot# : 1:3

------------------------------------------------------------------------

Physical device information

------------------------------------------------------------------------

Initiator at ID #0

Device is a Hard disk

Enclosure # : 1

Slot # : 0

State : Degraded (DGD)

Size (in MB)/(in sectors) : ???/???

Degraded (DGD)

Manufacturer : ATA

Model Number : ST8000VN0022-2EL

Firmware Revision : SC61

Serial No : ZA1AMJxx

Protocol : SATA

Drive Type : SATA_HDD

Device is a Hard disk

Enclosure # : 1

Slot # : 1

State : Optimal (OPT)

Size (in MB)/(in sectors) : ???/???

Optimal (OPT)

Manufacturer : ATA

Model Number : ST8000VN0022-2EL

Firmware Revision : SC61

Serial No : ZA1AMKxx

Protocol : SATA

Drive Type : SATA_HDD

Device is a Hard disk

Enclosure # : 1

Slot # : 2

State : Degraded (DGD)

Size (in MB)/(in sectors) : ???/???

Degraded (DGD)

Manufacturer : ATA

Model Number : ST8000VN0022-2EL

Firmware Revision : SC61

Serial No : ZA1AMLxx

Protocol : SATA

Drive Type : SATA_HDD

Device is a Hard disk

Enclosure # : 1

Slot # : 3

State : Optimal (OPT)

Size (in MB)/(in sectors) : ???/???

Optimal (OPT)

Manufacturer : ATA

Model Number : ST8000VN0022-2EL

Firmware Revision : SC61

Serial No : ZA1AMPxx

Protocol : SATA

Drive Type : SATA_HDD

------------------------------------------------------------------------

Enclosure information

------------------------------------------------------------------------

Enclosure# : 1

Logical ID : 50014380:25e3d34d

Numslots : 8

StartSlot : 0

------------------------------------------------------------------------

SAS2IRCU: Command DISPLAY Completed Successfully.

SAS2IRCU: Utility Completed Successfully.

root@NS004:~#

SASコントローラ0の各種情報のRAIDボリューム情報
（最初のRAID10構築後、1つめのリビルド[Synchronise中]です。）

root@NS004:~# sas2ircu 0 STATUS
LSI Corporation SAS2 IR Configuration Utility.
Version 5.00.00.00 (2010.02.09)
Copyright (c) 2009 LSI Corporation. All rights reserved.Background command progress status for controller 0...
IR Volume 1
 Volume ID : 322
 Current operation : None
 Volume status : Enabled
 Volume state : Degraded
 Physical disk I/Os : Not quiesced
IR Volume 2
 Volume ID : 323
 Current operation : Synchronize
 Volume status : Enabled
 Volume state : Degraded
 Physical disk I/Os : Not quiesced
 Volume size (in sectors) : 15626952704
 Number of remaining sectors : 1299803648
 Percentage complete : 91.68%
SAS2IRCU: Command STATUS Completed Successfully.
SAS2IRCU: Utility Completed Successfully.
root@NS004:~#

root@NS004:~# sas2ircu 0 STATUS

LSI Corporation SAS2 IR Configuration Utility.

Version 5.00.00.00 (2010.02.09)

IR Volume 1

Volume ID : 322

Current operation : None

Volume status : Enabled

Volume state : Degraded

Physical disk I/Os : Not quiesced

IR Volume 2

Volume ID : 323

Current operation : Synchronize

Volume status : Enabled

Volume state : Degraded

Physical disk I/Os : Not quiesced

Volume size (in sectors) : 15626952704

Number of remaining sectors : 1299803648

Percentage complete : 91.68%

SAS2IRCU: Command STATUS Completed Successfully.

SAS2IRCU: Utility Completed Successfully.

root@NS004:~#

Nexentastor 3.x 4.xをESXi5にインストールするためのメモ

コメントを残す

NexenrtaStorの仮想マシンの構成や、VMwareToolsのインストールやおすすめパラメータなどの情報

あとで家の環境と比較しよう

http://plone.4aero.com/Members/lmarzke/howto/nexentastore-installation-on-vsphere

仮想マシンの作成からNexentaStorインストール、VMwareToolsのインストール、NFSやiSCSIのおすすめ設定まで書いてあるのですごい参考になります。

http://vmpost.com/installing-vmware-tools-nexenta/

Toolsのインストールが参考になる
基本的には上に書いてある内容と同じっぽい。

http://info.nexenta.com/rs/nexenta/images/solution_guide_nexentastor_iscsi_multipath_configuration.pdf

NexentaStor iSCSI Multipath Configuration Document
WindowsやESXi4/5でのマルチパス設定が詳しくまとめられています。

ESX上で動いているWindowsで任意の解像度を追加するための設定

コメントを残す

ESX上で動いているWindowsで任意の解像度を追加するための設定だそうだ

Windows ゲスト OS へのビデオ解像度モードの追加 (2078472)

http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2078472

ゲストなWindowsでポートレートな解像度（いわゆる800*1280とかの縦が長い解像度）がうまく追加できなかったので、これでできそう。今度試す。

（コンソールのWindowsを縦長にして、「今すぐゲストを合わせる」でも縦長にはできるけど、800*1280とかだと、vSphereClientを実行しているＰＣの画面サイズの縦が1280以上じゃないと無理だし、そもそも厳密な数字にするのは無理ぽ）

ESXiのDISK 最大I/Oブロックサイズの調整

コメントを残す

なんかこんな情報を見かけた。

最大 I/O ブロックサイズを変更して ESX/ESXi を調整し、ストレージパフォーマンスを改善する (2074666)

ESX では、最大で 32767 KB の I/O 要求があるけど、ストレージよっては大きすぎてパフォーマンスが落ちるらしい。

うちのESXIのストレージはNexentastorのZFSでのNFSなのですが、
現状ブロックサイズが128KBなので、最大I/Oサイズを128KBに調整してみる。

VMwareInfrastructure/vSphere Client を使用して、ストレージデバイスに渡される I/O 要求のサイズを減らす方法

ホスト > 構成へ進みます。
詳細設定 をクリックします。
ディスク へ進みます。
Disk.DiskMaxIOSize を変更します。(128KBの場合128に変更)

注：この変更では、ESX/ESXi ホストを再起動したり、ESX/ESXi ホストをメンテナンスモードにしたりする必要はありません。

とりあえず、１台だけ変更して、様子見中

Proxy経由のvCloud接続でコンソールが表示できないのを調査する（紆余曲折ぶりをお楽しみください

コメントを残す

先日、客先でインターネット上にあるクラウドにProxy経由でvCloudで構成されたクラウド環境に初めて接続してみた。

管理ポータルにはログインできたが、仮想マシンのコンソールを開こうとすると、
「接続しています」→「切断状態」となってコンソールが表示されない。

VMware Remote Console Plugin(VMRC Plugin)のログを確認すると、
proxy:8080というプロキシ経由でアクセスしていることが確認できるが、
サーバ名が確認できていない模様。

C:\Users\(ユーザ名)\AppData\Local\Temp\vmware-(ユーザ名)\vmware-vmrc-6092-6008.log

2014-04-01T23:08:08.853+09:00| vmrc| I120: Setting proxy environment variable: "VMWARE_HTTPSPROXY=proxy:8080"
2014-04-01T23:08:08.853+09:00| vmrc| I120: cui::vmrc::VMCnx::Connect: Connect to MOID "vm-8348" on "rod-console-east.cloud-xxxxx.com"
2014-04-01T23:08:08.854+09:00| vmrc| I120: Resolving IP address for hostname rod-console-east.cloud-xxxxx.com
2014-04-01T23:08:08.855+09:00| vmrc| I120: Resolved to 202.xxx.xxx.xxx 
2014-04-01T23:08:08.889+09:00| vthread-3| I120: VTHREAD initialize thread 3 "vthread-3" host id 6848 2014-04-01T23:08:08.893+09:00| vmrc| I120: cui::vmrc::VMCnx::OnConnectAborted: Connect failed for MOID "vm-8348" on "rod-console-east.cloud-xxxxx.com"
2014-04-01T23:08:08.893+09:00| vmrc| I120: cui::vmrc::VMCnxMgr::EmitConnectionStateSignal: Emitting "disconnected" signal (requested) for MOID "vm-8348" on "rod-console-east.cloud-xxxxx.com" - reason 'The server name could not be resolved'

2014-04-01T23:08:08.853+09:00| vmrc| I120: Setting proxy environment variable: "VMWARE_HTTPSPROXY=proxy:8080"

2014-04-01T23:08:08.853+09:00| vmrc| I120: cui::vmrc::VMCnx::Connect: Connect to MOID "vm-8348" on "rod-console-east.cloud-xxxxx.com"

2014-04-01T23:08:08.854+09:00| vmrc| I120: Resolving IP address for hostname rod-console-east.cloud-xxxxx.com

2014-04-01T23:08:08.855+09:00| vmrc| I120: Resolved to 202.xxx.xxx.xxx

2014-04-01T23:08:08.889+09:00| vthread-3| I120: VTHREAD initialize thread 3 "vthread-3" host id 6848 2014-04-01T23:08:08.893+09:00| vmrc| I120: cui::vmrc::VMCnx::OnConnectAborted: Connect failed for MOID "vm-8348" on "rod-console-east.cloud-xxxxx.com"

2014-04-01T23:08:08.893+09:00| vmrc| I120: cui::vmrc::VMCnxMgr::EmitConnectionStateSignal: Emitting "disconnected" signal (requested) for MOID "vm-8348" on "rod-console-east.cloud-xxxxx.com" - reason 'The server name could not be resolved'

クラウドのマニュアルには

「接続端末がインターネット接続時にプロキシ認証が必要なネットワーク環境の場合、仮想マシンのコンソール操作ができない可能性があります。」

との記述がありますが、使用しているPROXYは認証が不要なことは確認済み・・・・・・

なお、vCloudのバージョンは5.1な模様。

で、いろいろ試行錯誤した結果、やっと原因見つけました。

ちなみに解決までの紆余曲折ぶりはこちら

インターネット上のポータルにはつながるのにコンソールにつながらなくてあせる。
→コンソール出ないとOSインストールできない～
→埒が明かないし次のスケジュールがあるので、仕方が無く、自社のリモート環境にアクセスして、そこからインターネット経由でＯＳセットアップ＋SP適用を始める。計５台（ぉぃ

なんとかセットアップが終わり、紆余曲折タイムスタート

ＩＥのセキュリティ設定を変えてみる。
→×　変わらず

Firefoxでも試してみる
→×　変わらず

OS変えてみる
→×　XP,WIndows7ともに一緒で表示されず。

どうしようもなくなったので、ダメ元で、
インターネット間をつなぐProxyと、自PCとの間にもう一個Proxyを自PC内に立ててみる。
いわゆる多段プロキシ。自ＰＣ->localhost:8080->proxy:8080->vCloud
→○　なんとコンソール表示される（え、まじで

では、自PCとは別のPC(他PC)のプロキシ設定に上記多段プロキシを設定してみる。
(自PCはMyPCという名前でDNS登録済み)
他PC->MyPC:8080->proxy:8080->vCloud
→×　表示されない・・・・・（なぜだ

自PCのプロキシのログを見る
→Cloud管理ポータルのログインは記録に残っているけど、
コンソールアクセス時にプロキシにアクセスしている気配がない・・・だと・・・（？？

他PCのプロキシ設定の自PCサーバをコンピュータ名からIPアドレスにしてみる
他PC->192.168.11.11:8080->proxy:8080->vCloud
→○　コンソール表示される（え～

もしかしてと思い、IEプロキシ指定で最初のプロキシをサーバ名(Proxy)でなくIPアドレス(192.168.11.3)を入れてみる
自PC->192.168.11.3:8080->vCloud
→◎　コンソール表示される（やっぱり

IEプロキシ指定で最初のプロキシをサーバ名に戻してして、hostsに最初のプロキシサーバを登録して再挑戦
→◎　コンソール表示される（原因確定

なに、この回り道状態。

本来は、クラウド提供会社に回答をもらうはずで、ログとかも送ったけど、
先に解決したのでとりあえず情報提供はしといた。

だって、クラウド提供会社って私の勤めている会社だし。別事業部だけどさ。

というわけで、最終的な原因はＰＣから外部のインターネット接続のため、IEのプロキシ設定で、プロキシの「サーバ名」を入力していたことでした。でもこれって普通ですよね。
DNSには「proxy」というサーバ名で登録済みで各クライアントからNSLOOKUPで「proxy」でIPアドレスができることも確認していましたので盲点でした。

これは単にVMwareのコンソールプリケーション(vmrc plugin)のプロキシサーバのサーバ名-IP変換の問題でDNSを参照してくれていないのが原因のように見えるので、
以下の２つのうち、いずれかを追加で行うことにより、対応可能な模様です。

Windows7およびXPのPCで確認済み
(Windows8/8.1はそもそもvCloud5.1の対象外みたい)

方法１

操作PCのIEのプロキシ設定を、プロキシサーバ名をサーバ名からIPアドレスに変更
(例：Proxyから192.168.11.3に変更）

方法２

操作PCのIEのプロキシ設定を、プロキシサーバ名にサーバ名を設定のままで、
操作PCの「C:\Windows\System32\drivers\etc\hosts」ファイルに
プロキシサーバのIPおよびサーバ名の行を登録
(例：192.168.11.3 proxy）

うん、なにやってるんだ、オレ。

ESXi 5.xで各仮想マシンのコンソールへ直接アクセスする方法を調べてみた

コメントを残す

無償版ESXi5.xで、仮想マシンのコンソールに直接アクセスするためには
通常はvSphereClientでアクセス出来ますが、そのほかにもいくつか方法があります。

有償版であれば、vCenterと組み合わせて
Webインターフェイスから各仮想マシンのコンソールへのショートカットを作れますが、無償版だといろいろ工夫しなければいけません。

とりあえず、vSphereClientを使用する以外で、今回は４つ紹介

ESXiのVNCインターフェイスを有効にして、VNCViewerで接続する
VMware WorkStationやVMware Playerをコンソールにする
ESXi4.1用のvSphereClientと一緒にインストールされる
vmware-vmrc.exeを利用する
VMware Remote Console SDKを利用する
VMware Remote Console 7.0を利用する(2015/03/01追加)

続きを読む →

ESXiのHDD交換

コメントを残す

調子が悪かったESXiで一番怪しいと思われるHDDの交換を実施。

このESXi、NECの安鯖GT110bをベースに軽く魔改造したもので
内HDD１台にアクセスしている仮想マシンだけ調子が悪い。

ただ交換しようにも、標準SATA6ポートにはHDD5台、SSD1台を
接続しているためすでに空きがない。
（本当は、DVD-ROM繋いでいて、障害時にはリカバリー用のHDDと繋ぎかえてデータ移行できるようにしていたのだけど、誘惑に負けてSSDをつないでしまったので、簡単には外せなくなってしまった。ちなみにDVD-ROMは現在USB接続中）

ESXiそのものはUSBメモリに入れているので、普通なら
壊れたHDDの単純交換＆リビルドで済むんだけど、
あいにく今回故障したのが単体で使用していたHDD
(主にバックアップデータや一時テータ保管用)だったため、
別PCにデータ（約1.6TB）を移動させる必要がでてしまった。

しかも、使っていたHDDが非AFTの512バイトセクターな2TBで、
予備の同型HDDは２台確保済しているけど、RAID組んでいる同型HDDが8台あるので
非RAIDなHDDの交換に使うのは正直もったいない。

だって、まだ非AFT-HDDは何とか手に入るけど、非AFT2TBが、WD REDの3TBと同じ値段というおそろしい現実。

というわけで、今回は余っていたWD RED 3TBを入れてみることにしました。

今使用しているのがESXi5.0なので、2TB以上のデータストアには対応しているのと、
AFT対応HDDと、VMFS5の組み合わせをためしてみたかったから。

AFTな4Kセクターについては、ZFSが吸収してくれることを期待します。

交換自身は、3.5インチベイに入れていたので、GT110bの全面パネルを開けて前から交換。

VMFS5でフォーマットして、前と同じボリューム名を付けて完了。
VMFS3からのフォーマットではなく、新規作成なのでブロックサイズが1MBになっています。

vmfs53TB

なお、別PCにつないでSMART値確認すると代替済セクター数596、保留中1。
回復不可能セクター数がなかったことは不幸中の幸い。
たしかに動いてはいたけど、かなりやばかった。

。

もっとひどいのは、使用時間3万時間超えってところかも
3年半で電源投入回数が112回っていうのは、ESXiサーバとしては大目か。
まあ、このESXiいろんなデバイスを付けたり外したりしているからしょうがないよね
（と自分にいいきかせてみる。）

Zabbix 2.2 on CentOS 6.4 on Walbrix　インストールメモ　その２（Detect operation systemが動くようにする）

コメントを残す

Zabbix 2.2 on CentOS 6.4 on Walbrix　インストールメモ　の続き

前回のセットアップで、問題を見つけたので修正方法。

監視データ->ダッシュボード等のサーバ名クリックから、
Detect operation system を選択するとエラーとなる。

まず、nmapが入っていないので、インストール

 yum install nmap

1	yum install nmap

これだけだとまだ実行できないので次にSudoの設定変更を行う。

sudo visudo
最後の行に以下を追記する。

## Add for Zabbix
Defaults:zabbix !requiretty
Cmnd_Alias ZABBIX_CMD = /sbin/fuser, /usr/sbin/lsof, /usr/sbin/dmidecode, /sbin/mii-tool, /sbin/ethtool, /usr/bin/ipmitool, /usr/sbin/iptstate, /usr/bin/ocaudit, /usr/bin/nmap
zabbix ALL = (other_user) NOPASSWD: ALL
zabbix ALL = (root) NOPASSWD: ZABBIX_CMD

sudo visudo

最後の行に以下を追記する。

## Add for Zabbix

Defaults:zabbix !requiretty

Cmnd_Alias ZABBIX_CMD = /sbin/fuser, /usr/sbin/lsof, /usr/sbin/dmidecode, /sbin/mii-tool, /sbin/ethtool, /usr/bin/ipmitool, /usr/sbin/iptstate, /usr/bin/ocaudit, /usr/bin/nmap

zabbix ALL = (other_user) NOPASSWD: ALL

zabbix ALL = (root) NOPASSWD: ZABBIX_CMD

これで、nmapがZabbixから実行できるようになる。

実行例（zabbix server）

"Detect operating system"の結果
Starting Nmap 5.51 ( http://nmap.org ) at 2013-11-17 02:18 JST
Nmap scan report for localhost (127.0.0.1)
Host is up (0.000030s latency).
Not shown: 993 closed ports
PORT STATE SERVICE
21/tcp open ftp
22/tcp open ssh
25/tcp open smtp
80/tcp open http
139/tcp open netbios-ssn
445/tcp open microsoft-ds
3306/tcp open mysql
No exact OS matches for host (If you know what OS is running on it, see http://nmap.org/submit/ ).
TCP/IP fingerprint:
OS:SCAN(V=5.51%D=11/17%OT=21%CT=1%CU=40747%PV=N%DS=0%DC=L%G=Y%TM=5287A8D8%P
OS:=i386-redhat-linux-gnu)SEQ(SP=108%GCD=1%ISR=106%TI=Z%CI=Z%II=I%TS=7)SEQ(
OS:SP=109%GCD=2%ISR=106%TI=Z%CI=Z%II=I%TS=7)OPS(O1=M400CST11NW3%O2=M400CST1
OS:1NW3%O3=M400CNNT11NW3%O4=M400CST11NW3%O5=M400CST11NW3%O6=M400CST11)WIN(W
OS:1=8000%W2=8000%W3=8000%W4=8000%W5=8000%W6=8000)ECN(R=Y%DF=Y%T=40%W=8018%
OS:O=M400CNNSNW3%CC=Y%Q=)T1(R=Y%DF=Y%T=40%S=O%A=S+%F=AS%RD=0%Q=)T2(R=N)T3(R
OS:=N)T4(R=Y%DF=Y%T=40%W=0%S=A%A=Z%F=R%O=%RD=0%Q=)T5(R=Y%DF=Y%T=40%W=0%S=Z%
OS:A=S+%F=AR%O=%RD=0%Q=)T6(R=Y%DF=Y%T=40%W=0%S=A%A=Z%F=R%O=%RD=0%Q=)T7(R=Y%
OS:DF=Y%T=40%W=0%S=Z%A=S+%F=AR%O=%RD=0%Q=)U1(R=Y%DF=N%T=40%IPL=164%UN=0%RIP
OS:L=G%RID=G%RIPCK=G%RUCK=G%RUD=G)IE(R=Y%DFI=N%T=40%CD=S)
Network Distance: 0 hops
OS detection performed. Please report any incorrect results at http://nmap.org/submit/ .
<span style="color: #222222; font-family: 'Courier 10 Pitch', Courier, monospace; font-size: 15px; line-height: 21px;">Nmap done: 1 IP address (1 host up) scanned in 13.29 seconds</span>

"Detect operating system"の結果

Starting Nmap 5.51 ( http://nmap.org ) at 2013-11-17 02:18 JST

Nmap scan report for localhost (127.0.0.1)

Host is up (0.000030s latency).

Not shown: 993 closed ports

PORT STATE SERVICE

21/tcp open ftp

22/tcp open ssh

25/tcp open smtp

80/tcp open http

139/tcp open netbios-ssn

445/tcp open microsoft-ds

3306/tcp open mysql

No exact OS matches for host (If you know what OS is running on it, see http://nmap.org/submit/ ).

TCP/IP fingerprint:

OS:SCAN(V=5.51%D=11/17%OT=21%CT=1%CU=40747%PV=N%DS=0%DC=L%G=Y%TM=5287A8D8%P

OS:=i386-redhat-linux-gnu)SEQ(SP=108%GCD=1%ISR=106%TI=Z%CI=Z%II=I%TS=7)SEQ(

OS:SP=109%GCD=2%ISR=106%TI=Z%CI=Z%II=I%TS=7)OPS(O1=M400CST11NW3%O2=M400CST1

OS:1NW3%O3=M400CNNT11NW3%O4=M400CST11NW3%O5=M400CST11NW3%O6=M400CST11)WIN(W

OS:1=8000%W2=8000%W3=8000%W4=8000%W5=8000%W6=8000)ECN(R=Y%DF=Y%T=40%W=8018%

OS:O=M400CNNSNW3%CC=Y%Q=)T1(R=Y%DF=Y%T=40%S=O%A=S+%F=AS%RD=0%Q=)T2(R=N)T3(R

OS:=N)T4(R=Y%DF=Y%T=40%W=0%S=A%A=Z%F=R%O=%RD=0%Q=)T5(R=Y%DF=Y%T=40%W=0%S=Z%

OS:A=S+%F=AR%O=%RD=0%Q=)T6(R=Y%DF=Y%T=40%W=0%S=A%A=Z%F=R%O=%RD=0%Q=)T7(R=Y%

OS:DF=Y%T=40%W=0%S=Z%A=S+%F=AR%O=%RD=0%Q=)U1(R=Y%DF=N%T=40%IPL=164%UN=0%RIP

OS:L=G%RID=G%RIPCK=G%RUCK=G%RUD=G)IE(R=Y%DFI=N%T=40%CD=S)

Network Distance: 0 hops

OS detection performed. Please report any incorrect results at http://nmap.org/submit/ .

<span style="color: #222222; font-family: 'Courier 10 Pitch', Courier, monospace; font-size: 15px; line-height: 21px;">Nmap done: 1 IP address (1 host up) scanned in 13.29 seconds</span>

SNMP Trap設定についてはまだうまく検証できていないのでまた後日
snmptrap設定まではなんとか終わったのだけれど、確認が取れていない・・・

奈酢美の部屋　別館

another NSB's room Blog [http://www.amy.hi-ho.ne.jp/masuda/]

「ESXi」カテゴリーアーカイブ

PernixData FVP 3.0　ってちょっと面白そう

Windows2000に最新のVMwareToolsをインストールする際のメモ

Windows XP Professional 32 ビットおよび Windows 2000 32 ビットゲスト OS 上で、E1000 vNIC がサポートされているのに E1000 NIC ドライバが自動的に使用可能にならない (2096212)

ESX5.5でHW Vertion10(vmx-10)の仮想マシンを編集する方法

ESXi仮想マシンでのメモリダンプ取得方法についてのメモ

AndroidをESXi仮想マシンのスピーカーにする方法

ESXiでＴｈｉｎディスクをシュリンクする場合のメモ

ESXでAFT-Diskを使う場合について少し調査中

VMware vSphere PowerCLIを使用したスクリプトをバッチから起動するためのメモ

VyOSを調べた結果のメモ

ソフトウェアルータVyattaとVyOSを用いてSoftLayerとオフィスをIPsec VPN接続する #softlayer

ESXiのStandalone VMRCについての説明を追記しました。

ESXiでパフォーマンス履歴を過去1時間だけでなく過去36時間(5分毎)を追加する。に関するメモ

VMware ESXi 4.1以上の仮想マシンで、リモート・コンソール間のコピー・アンド・ペースト操作の有効化のメモ

VMware ESXi 4.1以上の仮想マシンで、リモート・コンソール間のコピー・アンド・ペースト操作の有効化のメモ

VMware ESXi 4.1のゲストOSとリモート・コンソール間のコピー・アンド・ペースト操作をデフォルトで有効にする方法

NexentaStor on ESXi　的なお話。

Nexentastor 3.x 4.xをESXi5にインストールするためのメモ

ESX上で動いているWindowsで任意の解像度を追加するための設定

ESXiのDISK 最大I/Oブロックサイズの調整

Proxy経由のvCloud接続でコンソールが表示できないのを調査する（紆余曲折ぶりをお楽しみください

ESXi 5.xで各仮想マシンのコンソールへ直接アクセスする方法を調べてみた

ESXiのHDD交換

Zabbix 2.2 on CentOS 6.4 on Walbrix　インストールメモ　その２（Detect operation systemが動くようにする）

月	火	水	木	金	土	日
« 4月
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31

関連記事

関連記事

関連記事

関連記事

VMware ESXi 4.1以上の仮想マシンで、リモート・コンソール間のコピー・アンド・ペースト操作の有効化のメモ

VMware ESXi 4.1のゲストOSとリモート・コンソール間のコピー・アンド・ペースト操作をデフォルトで有効にする方法

関連記事

関連記事

関連記事

関連記事

関連記事

関連記事