さらに仮想環境用サーバ壊れました(gt110bサーバ)

メインの仮想環境Z800->Z820の暫定修復が終わったと思ったら、
3台ある残り2台の仮想環境のうちの1台の、一番いろんな実験をしていたサーバも、
物理的に死にました。

このサーバでやってた変態的いや、いろいろな運用の例
・USBブートESXi [一様公式だけど、本番運用では普通しない]
・安鯖[NEC Express5800/GT110b]にCPU i7 870 & 32GBメモリ交換での運用
・筺体内ストレージ仮想マシンによる自作自演NFSストレージ(2TB*4 RAID5 & 2TB) [今で言うVSAN的運用]
・Radeon 5570をVMDirectPathでWin7仮想マシンに直結 [今で言うvDGA運用]
・USB3.0インターフェイスをVMDirectPathでWindowsストレージサーバに直結してのファイルサーバ(管理Disk容量約65TB)
・Xen on ESXiによる仮想 on 仮想環境

元々、一度電源を落とすと5,6回、多いときだと十数回、電源OFF.ONを繰り返さないと起動できない状況 & マザー搭載VGA機能死亡状態で
3年ぐらいだましだまし使っていたのですが、
電源OFF.ONを繰り返しているうちに、
起動用USBにダメージを受けてしまった&色々試行錯誤しているうちに、マザーボードのストレージコントローラを完全に見失っていて、ジ・エンドとなりました。

ただ、GT110bは発売からすでに10年経っている機種なので、何かあったときに入手困難となる可能性があったので、
共食い修理用の同型機種を2台ほど確保済みだったので、この予備サーバを使って復旧実施。

・保管してあった予備サーバに、CPU,メモリ、ストレージ、起動用USBメモリを移植
・ESXiのアップグレードインストール(ESXi 5.0->5.5、以前のコンフィグを継承するため)

いままで、なかなかふんぎりつかなくて、交換できていなかったのですが、
いざ始めてみたら、交換開始からさくっと2-3時間ぐらいで復旧。
(まったくの同一機種なので、移植は非常に楽。)

ちょうど、GWぐらいに先日暫定復旧したZ820環境にDISK拡張した後に、
この環境もマージできるように各種単体機能テストをしようかと考えていたのだけど、このタイミングで完全に壊れるとは・・・

カテゴリー: 未分類 | コメントする

突然死したZ800の復旧(Z820へのリプレース)

突然死したZ800ですが、交換用のZ820が到着しました。

到着したのは、
HP Z820 水冷モデル
CPU :E5-2687W @3.10 x 2
MEM:32GB(RDIMM 1600メモリ 8GB x4)
GPU :Quadro K2000

とりあえず故障したのZ800からパーツを移植
・メモリ192GB (RIMM 16GB x12)
・Quadro4000 x1
・Intel CT NIC x1
・ストレージ系(SSD 960 x2,SDD 128 x1,4TB SATA HDD x3,300GB SAS HDD x4)

特にZ820サポート外のDDR3 RIMM 1333メモリを搭載したけど、普通に認識してメモリチェックもOK
メモリはZ820についていた32GBも追加して、現状224GBという中途半端な容量に。

ただ、Quadro4000とIntel CT NICを搭載したらBIOSのメモリオーバーエラーがでてしまったのでBIOSでbootに必要な誘うなNIC系のBIOSを切る必要がありました。

とりあえず、既存のSSDに入っていたESXiは普通に起動

ただ、SATA 6ポートのうち、6Gbpsのポート2つに挿したSSD2つは認識してVMFS領域もマウントできたけど、
残りの4ポート(3Gbps)が、ブロックSCSI扱いではなく、SCSI扱いになっていて、認識はするけどVMFS領域マウントせず。
どうやらvCenterに昔のVMFS領域のシグネーチャが残っていて、
接続がブロックSCSIからSCSI扱いに変わっている影響で同じシグネーチャでも、違うものとして認識しまったのに、すでに同じVMFS領域名が登録されているため、マウントできない模様

とりあえず以下をしたら、マウントできました。
・vCenterに残っているVMFS領域の名前を変更
・既存のVMFS領域のシグネーチャを更新してマウント
ただ、VMFS領域においてあった仮想マシン&VMDKは再登録する羽目になりましたが(仮想マシン2つ&VMDK6個だけでしたが)。

なお、vCenterに昔のVMFS領域が残っていたのは、その領域を使用している仮想マシン&VMDKが登録されていたためだったようで、それを消したら、昔のVMFS領域は消えました。

もしかしたら、以下の手順のほうが簡単に復帰できたかも知れず・・・
・昔のVMFS領域を使用している仮想マシンをvCenterのインベントリから削除
・DISKを再マウント
・インベントリから削除した想マシンの再登録

とりあえず、これでストレージ系の復旧は完了。データ欠損なし。

あとはNICのMACアドレスが変わっているので念のため以下のコマンドを実行
# esxcfg-advcfg -s 1 /Net/FollowHardwareMac
(ESXは、ESXのインストールを実施したときにNICのMACアドレスをシステムに登録してしまって、NICが変更されても依存のMACアドレスで通信するため)
ただ、コレをやると、仮想マシンごとにを最初に立ち上げるときに「移動」したか、「コピー」したかを聞かれてしまうので、ハードをしないのであれば、しなくてもいいかも。

とりあえず、暫定復旧は完了。
あとは、ちょっとしたグレードアップとして
流用したRIMM 8GBメモリx4を、追加購入予定の16Gメモリx4に変更して合計メモリを256GBにするのと、
SAS 300GBx4を、SATA 8TBx4に置き換えを計画するくらいですかね。RAIDは5にするか10にするかは迷っていますが。

カテゴリー: 未分類 | コメントする

メインのESXサーバ故障中

うちのメインのESXサーバが壊れて、電源が入らなくなってしまった。

Xeon X5690 Dual + メモリ192GB な HP Z800 水冷タイプなのですが、
昼に電源が落ちたらしく、家に戻ったときには電源が落ちていて、電源ボタン押しても、ビープ音が4回なるだけで起動せず。

すべてのPCIボード、メモリをはずしても同じ状況なので、ほぼ故障箇所はマザーボードっぽいのだがさてどうするか・・・・

とりあえず、管理基盤(AD,DHCP,vCenter,監視,)、ファイルサーバ、ネットワークサービス(http,mail,Webストレージ)、SSL-VPN
とかの最小限は、他の2台のESXで稼動させて縮退運用できたけど、
動いているESXはメモリが32GBのサーバが2台しかないので、これまでが限界。

シンクライアントアクセス先基盤と、動画エンコード環境、検証環境系は全滅状態。
やはり、メモリ192GBがいきなりなくなると痛い。

いまのところ回復案として検討中なのが以下の3種類。

・マザーボードだけ購入して、交換
推定予算50K
マザー以外が壊れている可能性があるのと、マザー到着が4/24以降っぽい
あとマザー交換がメンテナンス資料見た限りだとすごい大変そう。

・中古のZ800買ってきて、CPU,メモリ,水冷ユニット,PCIボード,ストレージ系その他もろもろ移植した共食い修理
推定予算100K
ただ、古いリビジョンのマザーだと、X5690乗らないらしいので、その辺の確認しないとだめそう。

・後継機種のZ820調達して、メモリ,PCIボード,ストレージを移植する
推定予算210K
Z800の残念ポイントであるストレージ3GBps制限やジャンボフレーム制限が解除できそうなのと、
CPU世代がWestmere EPからivyBridgeにあげられるのがメリット。
今使っているメモリのクロックが1333なので、うまく動くかは賭けだけど、
早ければ、来週早々には到着しそう。

一番現実的なのは、中古のZ800用意しての共食い修理なんだろうけど。
やはりZ820ルートも捨てがたい。
Z840まで行くと、メモリの流用ができないのと5インチベイ1個少ないからそのまま移植できないし・・・

カテゴリー: 未分類 | コメントする

CPUのセキュリティ修正による性能低下を確認、回避する方法

CPUのセキュリティ修正による性能低下を確認、回避する方法

2018/1に報道されたMeltdown & Spectreの脆弱性のパッチが出ています。
・Meltdown (CVE-2017-5754)
・Spectre (CVE-2017-5753 / CVE-2017-5715)

Windows 7/8.1/10 は既定で緩和策が有効化され、Windows Server はレジストリの設定で有効化されるようです。

 

MSの公式
https://support.microsoft.com/ja-jp/help/4073119/protect-against-speculative-execution-side-channel-vulnerabilities-in

 

Win10での実際の作業は下のURLがわかりやすい

CPUのセキュリティ修正による性能低下を回避する方法

 

カテゴリー: 未分類 | コメントする

WSUS環境下のWindows10で.NET Frameworkをインストールする方法

 

Windows 10に.NET Framework 3.5がインストールされていない場合、
インストールしようとすると、Windows10のインストールCDを要求されたりして、うまくインストールできないことがあります。

また、WSUS Clientが設定されているWindows10でも、エラーになることがあります。

このような場合はグループポリシーを変更することで、Windows Update経由でインストールできるようになります。

手順は以下の通りです。

  1. 「グループポリシーエディタ」を開く
    • 「ファイル名を指定して実行」から「gpedit.msc」を実行
  2. 左ペインから「コンピュータの構成」->「管理用テンプレート」->「システム」を選択
  3. 右ペインから「オプションコンポーネントのインストールおよびコンポーネントの修復のための設定」を指定するを開く
  4. 「有効」を選択
  5. 「Windows Server Update Services(WSUS)の代わりに、Windows Updateから修復コンテンツとオプションの機能を直接ダウンロードする」にチェック
  6. 「適用」をクリック

あとは通常通り、コントロールパネルからWindows機能の有効化または無効化で.NET Framework 3.5を有効にすることができます。

カテゴリー: 未分類 | コメントする

Twitter まとめ 2018-03-15

  • Windows 10 Fall Creaters Updateにすると、home,proだとSMBv1 クライアントが使用されていない期間が合計15日間になると、SMBv1 は自動的にアンインストールするそうだ。なんて検証者ごろし… https://t.co/7rHObzxjFt 19:55:35, 2018-03-15
カテゴリー: Twitterまとめ | コメントする

Windows10から昔のNASがアクセスできない

MicrosoftはSMB1.0プロトコルを本気でやめたがっている模様。

久々にWindows10から、Solaris NASにアクセスしようとしたら、エラーになった。

 

調べてみたら、以下のような情報がありました。

https://support.microsoft.com/ja-jp/help/4034314/smbv1-is-not-installed-windows-10-and-windows-server-version-1709

  • Windows 10 Home と Windows 10 Professional のインプレース アップグレードと Insider フライトの場合、初期段階では SMBv1 は自動的に削除されません。 SMBv1 クライアントまたはサーバーが使用されていない期間 (コンピューターの電源が切れていた期間を除く) が合計 15 日間になると、それぞれが自動的にアンインストールされます。

とりあえず、プログラムの機能 -> Windowsの機能の有効化または無効化から、
“SMB 1.0/CIFS ファイル共有のサポート”をインストールすれば、またアクセスできるようになります。

自動削除は1度のみらしいので、別途入れれば大丈夫見たいですが、急いでる時にこれが出ると焦りますね。

 

なお、現在開いている SMB セッションでどのような SMB ダイアレクトが利用されているか確認するには、Windows8,Windowsserver2008以降で、管理者として実行した PowerShell を起動して以下を実行します。
Get-SmbConnection
開いている SMB セッションの利用しているダイアレクトや資格情報などの詳細情報が表示されます。ダイアレクトが1.5ならSMBv1です。

カテゴリー: 未分類 | コメントする

Twitter まとめ 2018-03-11

  • 神奈川県内のJRでまだSuika,PASMOが使えない駅が残っていたことを今日初めて知った。 https://t.co/8uNeTHDXVT 22:34:17, 2018-03-11
  • @kaiedak 自動改札も導入されていなかったし、JR東海のToicaにも対応していないのにびっくりした。どうやら、2019年春ごろに設備の導入予定らしい。 in reply to kaiedak 23:03:34, 2018-03-11
カテゴリー: Twitterまとめ | コメントする

Twitter まとめ 2018-03-07

  • 初代GPD Win開発時に間に合わなかった部分に全部手を入れている印象。早くリリースされないかな。
    【Hothotレビュー】Kaby Lake-Y搭載でゲーム性能が上がった「GPD WIN 2」を試す – PC Watch… https://t.co/z0GrZZ2Tua 12:41:16, 2018-03-07
カテゴリー: Twitterまとめ | コメントする

FINOW X5 AIR 3G スマートウォッチ の設定メモ

FINOW X5 AIR 3G スマートウォッチをしばらく使っているが、
スマホからの通知の転送がうまくいかない。

本来であれば、「アシスタントモニタ」というものをスマホ側に導入して、bluetoothで連携できるんですが、ファームのバージョンアップをしたころから、なぜか接続がブチブチ切れて使い物にならなくなりました。

で、代替として、pushbulletを使った連携を試しています。

使ったソフト
(スマホ側)
pushbullet
・Tasker

(スマートウォッチ側)
pushbullet
QuickShortcutMaker

実際の設定としては、以下のように設定します。

(スマホ側)
Taskerでスマホ側のイベントを受信して、その結果をPushbulletでスマートウォッチに送信します。
以下のURLが参考になります
続・続・複数端末間で着信通知(taskerとPushbullet)

(スマートウォッチ側)
「通知ミラーリング」を有効にします。(アプリの設定はすべて向こうでもOKな模様)
Pushbulletで受信したメッセージは、通知に表示されます。
ただし、このままですと、Pushbulletを起動しているときでないとメッセージを受信してくれないようです。
この場合、対象アプリケーションのバックグラウンド通信が無効になっている場合があります。が、実は通常のGUIからではバックグラウンド通信の通信ができないようです。
このため、QuickShortcutMaker を利用して、設定画面を強制的に表示させます。

・QuickShortcutMakerをインストールしてから、Pushbulletを起動して、
QuickShortcutMakerを起動します。
・設定(リストの下の方) → データ使用量(リストの下の方) → 起動をクリックして、
→ モバイル → bushbullet → バックグラウンド・・・ → 無効

とりあえずこれで受信できるようになりました。

カテゴリー: 未分類 | コメントする

chromeでの自己証明書の認識に関するメモ

自己証明書(通称オレオレ証明書)を登録したWebサイトにアクセスしたときに、
IEだと、証明書エラーが出ないのに

最新のGoogle Chrome(バージョン58以上)からアクセスすると、SSL自己証明書を使っているサイトで、証明書エラーになる場合があります。

調べてみると、
最新のGoogle Chrome(バージョン58以上)から、証明書の扱いが変わっていているようです、

これまでは、

・証明書のCN(共通名)を見て、接続先ドメイン名と一致しているかを確認

していたものが、上記バージョン以降だと

・X509v3 Subject Alternative Name: DNS: (略してSANとも呼ばれるらしい)と、接続先ドメイン名と一致しているかを確認(証明書のCN(共通名)を確認しない)

となっているらしいです。

自己証明書を作成する際に、この項目を指定していないと、せっかく証明書を作ってもchromeではエラーになってしまうことになります。

例として、以下の条件の場合で作成手順を確認してみました。 続きを読む

投稿日: 作成者: 奈酢美 | コメントする

Windows10 1709(Fall Creators Update)でのドメイン参加&コントロールパネルの開き方

Windows 10 1709(Windows 10 Fall Creators Update)でいつものように「ドメイン参加」しようとしても、設定箇所が見当たらない。

スタート->右クリック->システムに移動しても、
コンピュータ名の設定はできるけど、ドメイン参加が出来なくなっています。

 

どうやらバージョン1709での手順は以下の様にしなければいけないらしい。

  1. スタート->右クリック->設定 をクリック
  2. アカウントをくりっく
  3. 職場または学校にアクセスする、をクリック
  4. 接続ボタンをクリック
  5. 「このデバイスをローカルのActive Directory ドメインに参加させる」をクリック

この手順で、ドメイン参加することができるようです。

 

ちょっとずつ既存のコントロールパネルを、設定画面に取り込んでいるようですが、
いままでと全然ちがうと操作が混乱しますね。

 

ちなみに、いつものコントロールパネルには、以下の方法でアクセスできます。

方法1.
エクスプローラの左ペインのPCを右クリックして、プロパティをクリック

方法2.
「スタートボタン」>「W」>「Windows システムツール」の順で開けば、下の方に「コントロールパネル」が登録されています。

方法3.
スタートメニューを右クリック、または「Win + R」で「ファイル名を指定して実行」を起動して、「control」と入力、「OK」を押すとコントロールパネルが起動します。

 

こちらからでも、ドメイン参加などができますが、いつまでこの手が使えるかはわかりません。

 

カテゴリー: 未分類 | コメントする

VMware ViewでWindows10ゲストを使う際のメモ

VMware Viewで、Windows10ゲストをテストしていて、Windows10を最新版(1709)にあげたときに、画面サイズの自動追従ができなくなってしまっていたので、試行錯誤してみた。
Windows10(1703)だと動いていたようなんですけど。

ちなみに、Connection server 6.2.0、View Agent 6.2.0と非常に古い環境です。

色々試した結果、Windows10 ゲストに入れるVMwareToolsを、
VMware Tools 10.2.0に変更したら、vSphereClient上で「今すぐゲストを合わせる」が使えるようになった。
(少なくとも、VMware toolsの10.0.9では、「今すぐゲストを合わせる」をしても自動調整が動きませんでした。 )

結果
VMware Tools 9.4.11   NG
VMware Tools 10.0.9  NG
VMware Tools 10.2.0  OK

とりあえず、vSphere単体での、vSphere Client的には、コレで大丈夫そう。

 

さて、本番のVMware Horizon View環境下ですが、
この後、VMware View Agent(6.2.0)を再度導入して見たら、
また「今すぐゲストを合わせる」が使えなくなりました。

(ナレッジによると、VMware Tools -> VMware View Agent の順番に入れないと、PCoIPで接続してもBlack Screenになってしまうそうなので、VMware Toolsを入れなおしたときは、VMware View Agentを入れなおす必要があります。)

ためしに、VMware View Agent 7.0.1 も試しましたが、同じ状況。

で、現時点での最新版のVMware View Agent 7.4.0 を試したら、うまく動きました。

結果
VMware View Agent 6.2.0  NG
VMware View Agent 7.0.1   NG
VMware View Agent 7.4.0  OK

 

ということで、Windows10に合わせて、VMware Horizon View環境もバージョンアップが必要なようです。少なくとも、VMware View Agentはあげないと支障が出るようです。

ただ、接続するだけだったら、Connection Serverのバージョンを6.2.0からあげなくても、Windows10環境につながるみたいだけど、それ以外の機能は試してないので、わかりません。
(ちなみに、Connection Server 6.1.0からは、Windows10環境にはつながりませんでした。)

 

 

カテゴリー: 未分類 | コメントする

Windows10 からVPN(L2TP)に接続する方法

ちょっとしらべごとしたのでちょっとした健忘録

Windows10 からVPN(L2TP)に接続する場合、以前のOSとは違って、いろいろやらないといけない模様。

単純にVPNを登録するだけではダメで、追加でいくつかの作業が必要

・「タスクバーのネットワークアイコン」->「ネットワーク設定」->「VPN」から
「VPN接続を追加する」で、VPN接続先を定義します。

・VPNプロバイダ:「Windows (ビルトイン)」を指定
・接続先:(接続先のわかりやすい名前を丹生絵欲)
・サーバ名またはアドレス:(VPN接続先のホスト名かIPを指定)

・VPNの種類:「IPsecを利用したレイヤー 2 トンネリング プロトコル (L2TP/IPsec)」を指定
・サインイン情報の種類
・ユーザ名:(接続時のユーザ名)
・パスワード:(接続時のパスワード)

・上記設定後に「アダプタのオプションを変更するィ」で、先ほど作成したVPN接続のアダプタで、以下のように設定する。
・VPNの種類:IPSecを利用したレイヤー 2 トンネリング プロトコル(L2TP/IPsec)
詳細設定で、サーバ側に設定されている「事前共有キー」を登録する。

・データの暗号化:暗号化が必要(サーバが拒否する場合は切断します)
認証で「次のプロトコルを許可する」で、以下にチェックを入れる
・チャレンジ ハンドシェイク認証プロトコル(CHAP)
・Microsoft CHAP Version 2 (MS-CHAP v2)

・以下のレジストリの登録をして、PCの再起動を実施
・場所:HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\PolicyAgent
・キー:AssumeUDPEncapsulationContextOnSendRule
・値 :2 (DWORD(32ビット)値)

Windows10担って、一部コントロールパネルを作り直したことが原因で、設定する場所が分かれてしまっている模様。
Windows10はあちこちでこれがあるから、わかりにくい・・・・・

 

カテゴリー: 未分類 | コメントする

Twitter まとめ 2017-08-12

  • ガジェットフリマで、すがや先生
    がお話中 https://t.co/SonPWajo3o 13:18:02, 2017-08-12
  • すがや先生の思い出話
    音響カプラでパソコン通信していて、出力を直接ドットプリンタにしていたら、印刷音がノイズになって、文字化け発生。
    座布団という名の物理ノイズキャンセラーを音響カプラにかぶせて対策したそうだ。
    #ガジェットフリマ 14:03:15, 2017-08-12
  • 本日の収穫物
    RaZER hydra(PC用モーションコントローラ)
    CASIO memopri(Bluetoothラベルプリンタ)
    ON-LAP 1302(USB電源液晶モニタ)
    ELECOM U2H-Z16SBK(40W供給1… https://t.co/mHmebAVVHR 20:32:46, 2017-08-12
カテゴリー: Twitterまとめ | コメントする

VMware 仮想マシンのハードウェア バージョンの違い

仮想マシンのハードウェア バージョンによる違いについて、
参考となるナレッジがあったのでメモ。

ESXi/ESX ホストおよび互換性のある仮想マシンのハードウェア バージョンのリスト (2020181)

https://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=2020181

 

仮想マシンのメモリ制限とハードウェア バージョン(2078754)

https://kb.vmware.com/selfservice/search.do?cmd=displayKC&docType=kc&docTypeID=DT_KB_1_1&externalId=2078754

 

仮想マシンの互換性設定で使用できるハードウェア機能(2124258)

https://kb.vmware.com/selfservice/search.do?cmd=displayKC&docType=kc&externalId=2124258&sliceId=1&docTypeID=DT_KB_1_1&dialogID=439082632&stateId=1%200%20439092737

 

こうみると、ちょっとずつ変わってますねぇ

カテゴリー: 未分類 | コメントする

vSphere ClientからVMware ESXi 6.5 に接続

Vmware ESXi 6.5 から
いままでつかえていたアプリケーション版vSphere Client(C#Client)が廃止されました。

いままでは、新しいメジャーバージョンのESXiが出れば、それに合わせたvSphere Clientが提供されていました。

古いvSphereClient(C#Client)から、新しいバージョンのESXiに接続しようとしても
もしその該当のvSphereClientが導入されていなければ、ダウンロードとインストールを促されますが、実際にダウンロードしようとしてもダウンロードされません。

 

が、vSphereClient(C#Client)の6.0.0を使用したアクセスだと、実はまだログインできてしまいます。が、仮想マシンのコンソールを開こうとすると、
could not connect to pipe \\.\pipe\vmware-authdpipe within re.
と表示され、開くことができない場合があります。

これは、vSphereClient(C#Client)が古い場合の挙動で、
vSphereClient 6.0.0 U3を使用すると、開けるようになりました。

VMware vSphere Client 6.0 Update 3 VMware-viclient-all-6.0.0-5112508.exe http://vsphereclient.vmware.com/vsphereclient/5/1/1/2/5/0/8/VMware-viclient-all-6.0.0-5112508.exe

ただし、仮想マシンの設定の編集は、HVバージョン12以降の仮想マシンではできませんので、
そちらは、web ClientやHost Clientを使用する必要があります。

(vSphre Client上で仮想マシンを標準で作成してしまうと、HWバージョンがvmx-13)に設定されてしまうので、

Download latest vSphere client installer directly from VMWare

 

と、思ったら、vSphere 6.5U2からvSphere Clientからも接続できなくなった模様です。
残念!!

カテゴリー: 未分類 | コメントする

本日の一コマ

本日の一コマ

電話にて

Aさん>ESXで仮想マシンのDiskの拡張したいんだけどvSphereClient上でグレーアウトしてて出来ないんだけど、なんかわかります?

私>その仮想マシンで、スナップショットとってない?

Aさん>あっ

終了~

 

カテゴリー: 未分類 | コメントする

Twitter まとめ 2017-04-19

カテゴリー: Twitterまとめ | コメントする

Twitter まとめ 2017-04-17

  • ああ、7インチのJoyPad付AndroidのJXD S7800bのタッチパネルが反応しなくなってる・・・・
    USBマウスをつなげばまだ何とか使えるけど、最近はこんな感じのJoyPad付Androidって入手困難なんだよなぁ・・・ https://t.co/ko2xCEjk2c 00:30:39, 2017-04-17
カテゴリー: Twitterまとめ | コメントする