ローカルWWW環境の構築2


ローカルWebキャッシュサーバの構築

ローカルWWW環境の構築でWebの保存・閲覧方法を紹介しましたが、
これは、IEのキャッシュからディレクトリ構造を単にそのままローカルハードディスクに保存する方法であったため、
いくつかの問題点がありました。

  • ローカルWebデータがリアルタイムに更新されない。
  • 本来のURLとローカル側のURLが異なってしまう。
  • ローカル用にリンクが正しく変更されない場合がある。
  • 今回は、これらの問題点を解決した新バージョンを紹介します。
    これは、いくつかのフリーソフトを組み合わせているものです。

    私の環境では1台のマシンでTA(モデム)を経由してプロバイダ(Hi−Ho)に接続し、
    同一のLANのマシンからそのマシンを通してインターネットを利用できるようにしてあるため、
    サーバとクライアントに分かれていますが、同一のマシンでもかまいません。

    今回のバージョンの特徴としては、以下の通りです。

  • クライアントからダイアルアップの接続・切断の操作が可能。
  • クライアントから、ローカルモード(ローカルのハードディスクの内容を参照)・プロキシーモード(外部のサーバーを参照)の切り替えが可能。
  • 一定時間通信が無かった場合には、自動的に通信を切断。
  • リアルタイムにローカルハードディスクにデータを保存。
  • 実際のURLとローカルのURLが変わらない。
  • ローカル用にリンクを修正する必要が無い。
  • 今までためたローカルデータをキャッシュとして利用できる。
  • Proxyに対応していないアプリケーションの場合には、VNCを使用してサーバー側で実行
    (時間によって自動的に接続することも設定によっては可能です。)
  • Namazuによる全文検索機能有り
  • 現在この運用をはじめて半年以上立ちますが、快適です。
    また、通信費の削減にもかなり役立っています。
    私の月あたりの通信費は1.2kほどしかありません。


    必要な環境とソフトウェア

    必要な環境

  • Windowsが動作し、インターネット接続が可能なマシンが少なくとも1台存在すること。
    できれば、Windows9xが望ましい。
  • ローカルWebデータを保存するためのHDD容量があること。(参考
  • LANを接続するためのLANカードおよびHUB。(クライアント−サーバで使用する場合)
  • TCP/IPプロトコルでのそれぞれのマシン間の通信が行えること。(クライアント−サーバで使用する場合)
  • 必要なソフトウェア(サーバ編)

  • Black Jumbo Dog(旧名称WinProxy)
    WinProxyがBlack Jumbo Dogに名称変更しています。
    以下の説明のWinProxyはBlack Jumbo Dogに置き換えてください。
  • GetHTMLW
  • VNC(サーバ)
  • NamazuおよびNamazuの動作に必要なソフトウェア
  • 必要なソフトウェア(クライアント編)

  • プロキシ機能を持ったブラウザ(IE・ネットスケープなど)
  • プロキシ機能を持ったメールソフト(Outlook Expressなど)
  • Black Jumbo Dog(旧名称WinProxy)(実行ファイルのみ。クライントからダイアルアップ接続・切断を行う場合のみ必要)
  • VNCクライアント(JAVA VMを搭載したブラウザでも可。クライアントからサーバマシンを操作する場合のみ必要)

  • ソフトウェアの連携図


    インストールと設定

    インストールは、基本的にソフトウェアをダウンロードして解凍&セットアップするだけです。

    ここでは、以下の条件でセットアップします。

     

    プロバイダ
    契約内容
    メールアドレス masuda@amy.hi-ho.ne.jp(実際には自分の契約内容)
    SMTPサーバ名:ポート番号 amy.hi-ho.ne.jp:25(実際には自分の契約内容)
    POP3サーバ名:ポート番号 amy.hi-ho.ne.jp:110(実際には自分の契約内容)
    ニュースサーバ名:ポート番号 news.hi-ho.ne.jp:119(実際には自分の契約内容)

     

    サーバ設定 TCP/IPプロトコル インストール
    IPアドレス 192.168.1.100
    サブネット 255.255.255.0
    ダイアルアップネットワーク 定義を行い、PPP接続が可能であることを確認する
    ここでは"HI-HO"という接続名とする。
    (自動的にダイアルアップは行わない設定をする。)
    ローカルWebデータ保存ディレクトリ w:\www\
    Namazuインデックスディレクトリ w:\namazu\index
    WBlackJumboDog
    (Winproxy)
    インストール先 C:\Program Files\SapporoWorks\BlackJumboDog\
    BlackJumboDog.exeをスタートアップディレクトリに登録する。
    オプション
     終了確認のメッセージを表示する チェックしない
     管理者パスワードを使用する チェックしない(設定にパスワードが必要なときはチェックする)
     前回起動時のウインドウのサイズを
     記憶する
    チェックする。
     同時に処理できるスレッド数 100(多めにしておいた方がいいでしょう)
    ログ表示
     指定した文字列を含むログのみを ”表示しない”(指定文字列なし)
     アクセス終了時のログを表示する
     (プロキシサ−バ)
    チェックしない
     ログファイルを作成しない チェックする
    ダイアルアップ
     ダイアルアップ自動接続をする 設定をするときにはチェックを入れ、設定が終わったらチェックを外す。
    なにか通信が発生したら自動的に接続する場合にはチェックは入れたままにする。
     使用するダイアルアップ接続名 使用する接続名を指定する(6つまで指定可能)
     スケジュールの設定 曜日と時間のマトリックスが出るので右クリックで接続する場合は
    接続名と無通信監視時間を指定する。(左クリックでまとめて設定も可能)

    私の設定は
    接続先はすべて"HI-HO"
    無通信時間は8時〜22時は165秒・それ以外は285秒をセットしている。
    リモート制御
     リモート制御を使用する チェックする
    (クライアントからダイアルアップの接続・切断を行わない場合にはチェックを入れない)
     基本設定タグ
      タイムアウト 10秒
      クライアントから見たポート数(1) 8001
      クライアントから見たポート数(1) 8002
     利用者タグ
      指定したユーザのみを許可する リモート制御を使用可能なマシンのIPアドレスをすべて追加する。

    ここではリモート制御可能なクライアントとして以下のIPを登録する。
    pc1 192.168.1.1
     パスワード クライアントから操作するためのパスワードを指定する
    ここでは仮に"password"とする
    プロキシサーバ
     プロキシサーバを使用する チェックする
     ブラウザタグ
      ブラウザ(HTTP)用のプロキシーを
      使用する
    チェックする
      クライアントから見たポート 8080
      タイムアウト 30秒
      メールアドレス 自分のメールアドレス
      追加するヘッダ すべて指定しない
      さらに上位のプロキシーを経由する チェックしない(もし、プロバイダでプロキシが用意されているようであれば指定する)
    チェックした場合には、192.168.1は上位プロキシをしない様に指定する。
     ファイル転送タグ
      ファイル転送(FTP)用のプロキシーを
      使用する
    チェックする
      クライアントから見たポート 21
      ファイル転送(FTP)の接続中は
      無通信監視時間をカウントしない
    チェックする
     メールタグ
      メール(SMTP・POP3)用のプロキシーを
      使用する
    チェックする
       送信(SMTP)
        クライアントから見たポート 25
        サーバ amy.hi-ho.ne.jp(プロバイダのSMTPサーバ名)
        ポート 25(プロバイダのSMTPポート番号)
       受信(POP3)
        クライアントから見たポート 110
        サーバ amy.hi-ho.ne.jp(プロバイダのPOP3サーバ名)
        ポート 110(プロバイダのPOP3ポート番号)
      特別なユーザの登録 送受信するメールが2つ以上ある場合のみその契約内容を登録する。
     ニュースタグ
      ニュースサーバがあれば指定する news.hi-ho.ne.jp 119 119 HI-HOニュースサーバ
    通常ポートは119番となる。
     利用者タグ
      指定したユーザのみを許可する-* ここでは、プロキシを使用可能なマシンのIPアドレスをすべて追加する。
    また、自分自身 server 192.168.1.100のほかに
    localhostとして127.0.0.1というIPも登録しておく。

    ここでは、クライアントとして以下のIPを登録する。
    pc1 192.168.1.1
    pc2 192.168.1.2

     キャッシュ
      ブラウザ(HTTP)用のキャッシュを使用する チェックする
      キャッシュの保存ディレクトリ C:\Program Files\SapporoWorks\WinProxy\Cache
      拡張子指定 指定した拡張子のみをキャッシュ”しない”として、拡張子"cgi"を追加。
      その他の項目はデフォルトで良いでしょう  
    Webサーバ
     Webサーバを使用する チェックする
     基本設定タグ  
      クライアントから見たポート 80
      ドキュメントのルートディレクトリ w:\www\
      Welcomeファイルの設定 index.html
      その他はデフォルトで良いでしょう  
     CGIタグ
      CGIを使用する チェックする
       CGIとして認識する拡張子 pl,cgi,exe(Namazuの検索CGIを使用するためexeを追加する)
     その他はデフォルト  
    GetHTMLW インストール先 w:\www\に解凍した内容をすべてコピー
    Gethtmlw.exeをスタートアップディレクトリに登録する。
    設定−環境設定
     /のファイル名 index.html
     取得時スレット数 10(最大がおすすめです)
     URLTreeダブルクリック時の動作 何もしない(おすきなものをどうぞ)
     LocalWebServer Config
      LocalWebServerスレッド数 10(最大がおすすめです)
      ServerPort 18080
      ブラウザReloadボタンで選択ページ チェックする
      POSTmethodも保存する20 チェックする
      起動時のモード Local Mode
      ProxyModeでの取得データ使用 更新チェック有
      データディレクトリ W:\WWW\
     プロキシ設定
      http:// 192.168.1.100:8080(BJDのHTTPプロキシポート)
      https:// 192.168.1.100:8080(BJDのHTTPプロキシポート)
      ftp:// 192.168.1.100:8080(BJDのHTTPプロキシポート)
      wais:// 指定無し
      gopher:// 指定無し
      プロキシ無使用IPマスク 192.168.1
    VNCサーバ インストール方法 こちらを参照してください。
    Namazu インストール方法 工事中です。すべてデフォルトでインスト-ルします。
    namazurc-sample.win32から
    .namazurcの作成
    c:\namazu\etc\namazuにあるnamazurc-sample.win32を
    .namazurcという名前でコピーし
    Indexに w:\namazu\index を指定する(項目の間はTABコードを入れる)
    Replaceに /W\|/WWW/ http:// を指定する(項目の間はTABコードを入れる)
    Namazu検索CGIのexeのコピーと設定 c:\namazu\libexecにあるnamazu.cgi.exeをw:\www\cgi\にコピーする。
    c:\namazu\etc\namazuにある.namazurcをw:\www\cgi\にコピーする。
    Index作成 mknmz W:\WWW\ を実行(インデックスを作成します)->データが多くなってから実行

     

    クライアント設定
    (サーバ側でもアプリの
    設定は同様に設定する)
    TCP/IPプロトコル インストール
    IPアドレス 192.168.1.1
    サブネット 255.255.255.0
    アプリケーションの設定
    (プロキシー設定)
     ブラウザ(IE) 接続タグで以下のように設定する。
    • LANを使用してインターネットに接続を指定する
    • プロキシサーバを使用してインターネットにアクセスにチェックを入れて、
      詳細
      以下のように設定する。
      • 192.168.1.100:18080(GetHTMLWのHTTP://プロキシを指定する)
      • その他のプロトコルも同じサーバーを指定する。
        ただし、FTPプロキシだけは、192.168.1.100:8080を指定してください。
      • プロキシを使用しない例外に、LAN上のマシンのIPを指定する。
    • ローカルのアドレスにはプロキシを使用しないにチェックを入れる。
     メール
    (Outlook express)
    通常のアカウント設定と同じだが、メールサーバー名には
    WinProxyの動作しているサーバのIPアドレス(
    192.168.1.100)を指定する。
     FTPクライアント プロキシ指定にて192.168.1.100:21(WinProxyのFTPプロキシを指定する)

    NEXTFTP等で、プロキシのホストタイプを指定しなければならないときは
    「USER ユーザID@ホストアドレス −>PASS」を選択する。

    そのような指定が無い場合やプロキシの設定が無い場合は、
    ファイアーウォールの設定はチェックしないで、接続先のサーバー名の項目で、
    BlackJumboDogのマシンのIPアドレス(
    192.168.1.100)・ポート(21)を指定し、
    ユーザーIDの項目で、アカウント@アップロード先サーバー名(例:masuda@amy.hi-ho.ne.jp)
    を入力してください。
     自動巡回ツール 保存先はw:\www\を指定する。
    プロキシ設定は
    192.168.1.100:8080(WinProxyのHTTP://プロキシを指定する)
     ICQ バージョンが2000a以降のものであればクライアントから使用可能です。
    ICQの設定で、起動時のfirewall、proxyのところで「HTTPSのproxy」の欄に

    192.168.1.100:8080
    (WinProxyのHTTP://プロキシを指定する)
    を指定してください。
     その他のツール 適時、BJDもしくは、GetHTMLWの対応するポートを指定する。
    (場合によっては、BJDのトンネル設定を利用すると良い)
    それでも対応できない場合は、VNCを使用してサーバ上で実行してください。

    BlackJumboDog HTTP :192.168.1.100:8080
    BlackJumboDog FTP  :192.168.1.100:21
    BlackJumboDog TELNET:192.168.1.100:23 
    (必要な場合はBJDで有効にする)
    BlackJumboDog SMTP :192.168.1.100:25
    BlackJumboDog POP3 :192.168.1.100:110
    BlackJumboDog NEWS :192.168.1.100:119
    BlackJumboDog WEB  :192.168.1.100:80
    GetHTMLW HTTP    :192.168.1.100:18080

    WinProxy
    リモート操作
    ショートカットの作成 "c:\Program Files\SapporoWorks\BlackJumboDog\BlackJumboDog.exe" 192.168.1.100 8001 8002 password
    のようなショートカットを作成する。後ろのpasswordはBJDで指定したリモートアクセス用のパスワードを指定する。
    VNC
    クライアント
    インストール方法 こちらを参照してください。
    もしくはブラウザからhttp://192.168.1.100:5800にアクセスしてください。
    GetHTML操作用
    ショートカット
    Local modeへの
    ショートカット
    C:\PROGRA~1\INTERN~1\IEXPLORE.EXE http://192.168.1.100:18080/mode=*1
    へのショートカットを作成する。
    Proxy mode2への
    ショートカット
    C:\PROGRA~1\INTERN~1\IEXPLORE.EXE http://192.168.1.100:18080/mode=*3
    へのショートカットを作成する。

    使用方法(インターネット接続)

    接続開始

  • GetHTML操作用ショートカット(Proxy mode2)をダブルクリックする。
  • WinProxyリモート操作を立ち上げ、ファイルのダイアルアップ手動接続を実行する。
    リモート画面が水色になれば接続完了です。
  • ブラウザなどで自由にWebサーフィンしてください。
  • 接続終了

  • 決められた通信時間WinProxy(BJD)を通してなにも通信が行われなかったときには自動的に回線を切ります。
  • 手動で回線を切る場合には、WinProxyリモート操作を立ち上げ、ファイルのダイアルアップ手動切断を実行する。
  • GetHTML操作用ショートカット(Local mode)をダブルクリックする。
  • これからのWeb閲覧はローカルに記憶されたデータが表示されます。
  • VNCによるサーバーのリモート操作

  • こちらを参照してください。
  • 全文検索用のインデックスの作成

  • mknmz W:\WWW\ を実行(インデックスを作成します)
  • 全文検索の方法

  • ブラウザで以下のアドレスを呼び出します。
    http://192.168.1.100/cgi/namazu.cgi.exe
  • あとは、検索したい文字を入れて検索してください。

  • ・普段、巡回先が決まっているような方
    ・情報系のサイトを回った後それをあとで見たいと思っている方
    ・ネットに接続中はひたすらデータを読み込んであとでゆっくり見たいと思っている方
    ・自分の回ったサイトの検索をしたい方

    には、最適な組み合わせだと思います。

    また、クライアント側でサイトを巡回していれば、Q2や国際電話を利用したサギもどきを回避することも出来ます。

    すべてフリーソフトでそろいますので、一度試してみてはいかがでしょうか?



     

    PCの間へ戻る
    玄関に戻る