GetHTMLW 8.2.0 Test Release 13 公開 ― 2010/04/24 23:21
GetHTMLW 8.2.0 のテストリリースを公開します。
http://www.ne.jp/asahi/net/pockey/program/gethtmlw-8.2.0-TR13.exe
機能拡張・バグ fix をしたばかりで、検証に時間をかけていません。
もし不具合を見つけた場合は、コメントを書き込んでいただければ幸いです。可能な限り正式 release (Vector に掲載) までに盛り込みたいと思います。
変更点は以下。
・NTLM authentication に対応(libntlm の導入)。これに伴い、認証時の thread 起動制約、エラー時リトライ処理、Keep-Alive 通信の処理に 変更を加えている。
・取得開始 URL に対しても「拡張子/文字列フィルタ」を適用するように 変更。ただし非取得対象として引っかからないように実装
・メインメニューの「URL 情報(I)」で、更新時刻等の情報が無い場合に情報を全く表示しない不具合を修正
・「旧データを保存」で、一つ前のデータ以外残さない不具合を修正
一番大きい変更は、NTLM 認証を付加したことです。
会社で Proxy Server の変更があったのか、Basic 認証では通らなくなりました。Squid なんですけどね。Web 上のデータの変更記録を残しておくことが仕事上欠かせないため、急遽対応しました。
そこでインターネット上で流用できる NTLM のライブラリを探したところ、下記に当たりました。
Libntlm - Simon Josefsson さん
http://josefsson.org/libntlm/
Borland C++ に対応した lib/DLL は直接吐けないので、いろいろとヘッダ等の環境を整えたとき、stdint.h にだけ苦労したので、下記の方のヘッダも利用しました。
<stdint.h> for Visual C++ - 株式会社きじねこ様
http://www.vector.co.jp/soft/win95/prog/se432866.html
御礼申し上げます。
http://www.ne.jp/asahi/net/pockey/program/gethtmlw-8.2.0-TR13.exe
機能拡張・バグ fix をしたばかりで、検証に時間をかけていません。
もし不具合を見つけた場合は、コメントを書き込んでいただければ幸いです。可能な限り正式 release (Vector に掲載) までに盛り込みたいと思います。
変更点は以下。
・NTLM authentication に対応(libntlm の導入)。これに伴い、認証時の thread 起動制約、エラー時リトライ処理、Keep-Alive 通信の処理に 変更を加えている。
・取得開始 URL に対しても「拡張子/文字列フィルタ」を適用するように 変更。ただし非取得対象として引っかからないように実装
・メインメニューの「URL 情報(I)」で、更新時刻等の情報が無い場合に情報を全く表示しない不具合を修正
・「旧データを保存」で、一つ前のデータ以外残さない不具合を修正
一番大きい変更は、NTLM 認証を付加したことです。
会社で Proxy Server の変更があったのか、Basic 認証では通らなくなりました。Squid なんですけどね。Web 上のデータの変更記録を残しておくことが仕事上欠かせないため、急遽対応しました。
そこでインターネット上で流用できる NTLM のライブラリを探したところ、下記に当たりました。
Libntlm - Simon Josefsson さん
http://josefsson.org/libntlm/
Borland C++ に対応した lib/DLL は直接吐けないので、いろいろとヘッダ等の環境を整えたとき、stdint.h にだけ苦労したので、下記の方のヘッダも利用しました。
<stdint.h> for Visual C++ - 株式会社きじねこ様
http://www.vector.co.jp/soft/win95/prog/se432866.html
御礼申し上げます。
コメント
_ SASA ― 2010/04/26 23:57
_ 管理人 ― 2010/04/28 19:34
SASA さん、
さっそく報告ありがとうございます。
robots.txt ですか。確かに前回の変更でそうなりますね。robots.txt の旧データの保存は不要だと思うので、対象から外すように考えてみます。
「空のﾃﾞｨﾚｸﾄﾘも消しますか?」出ませんか？ 確認してみなければ。
さっそく報告ありがとうございます。
robots.txt ですか。確かに前回の変更でそうなりますね。robots.txt の旧データの保存は不要だと思うので、対象から外すように考えてみます。
「空のﾃﾞｨﾚｸﾄﾘも消しますか?」出ませんか？ 確認してみなければ。
_ 管理人 ― 2010/08/15 22:22
とおりすがりさん、あともう一方、Windows 7 64bit で動作しない件、Basic 認証がおかしい件、ありがとうございます。
Spam コメントばかりで、せっかく書き込みいただいたのに、誤って消してしました....
Windows 7 64bit は、動作環境が無いことや、compiler の問題だった場合にどうしようもないことからすると、64bit 対応は難しいかもしれません....
Spam コメントばかりで、せっかく書き込みいただいたのに、誤って消してしました....
Windows 7 64bit は、動作環境が無いことや、compiler の問題だった場合にどうしようもないことからすると、64bit 対応は難しいかもしれません....
_ 中年 ― 2010/10/13 11:37
caution.txtに書いてあったupto750.exeはどこから入手できますか。解凍しても入ってませんでした。
_ kyo ― 2010/12/17 22:46
wgetなどで取得したファイルをGETHTMLWのLocal Modeプロクシで使うことってできますか？
_ 管理人 ― 2011/01/02 11:35
kyo さん、こんにちは。
ファイル名、ファイルのパスが URL と同じであれば、GetHTMLW のデータフォルダ以下に URL 階層(ディレクトリ階層)を保ったまま入れれば、使えると思います。
ファイル名、ファイルのパスが URL と同じであれば、GetHTMLW のデータフォルダ以下に URL 階層(ディレクトリ階層)を保ったまま入れれば、使えると思います。
_ 管理人 ― 2011/01/09 23:03
とおりすがりさん、
Basic 認証、NTLM 認証を実装したときに見事に壊していました。
8.2.1 (gethtml 5.2.1) で修正しました。
ちょっとしたら Vector に upload されますのでお試しください。
ご報告ありがとうございました。
Basic 認証、NTLM 認証を実装したときに見事に壊していました。
8.2.1 (gethtml 5.2.1) で修正しました。
ちょっとしたら Vector に upload されますのでお試しください。
ご報告ありがとうございました。
_ 管理人 ― 2011/01/09 23:14
中年さん、こんにちは。
ｗｗｗ．ｎｅ．ｊｐ／ａｓａｈｉ／ｎｅｔ／ｐｏｃｋｅｙ／ｐｒｏｇｒａｍ／ｕｐｔｏ７５０．ｚｉｐ
にuploadしておきました。古くからお使いありがとうございます。
ｗｗｗ．ｎｅ．ｊｐ／ａｓａｈｉ／ｎｅｔ／ｐｏｃｋｅｙ／ｐｒｏｇｒａｍ／ｕｐｔｏ７５０．ｚｉｐ
にuploadしておきました。古くからお使いありがとうございます。
_ neito ― 2011/03/06 20:14
お世話になっております。
Vista,XPともにx86環境でVectorのものを使っても8.2.0T13を使ってもGETHTMLWがクラッシュしてしまいます。
解決方法はありますでしょうか？
Vista,XPともにx86環境でVectorのものを使っても8.2.0T13を使ってもGETHTMLWがクラッシュしてしまいます。
解決方法はありますでしょうか？
_ 管理人 ― 2011/03/24 08:31
lexpix さん、コメントいただきました。ありがとうございます。
_ 管理人 ― 2011/03/24 08:42
neito さん、こんにちは。
確かに、取得中に、何の前触れなく、しかも一般保護違反などを起こすことなく知らぬ間に落ちることが最近あります。取得の数が多かったり、取得と同時に LocalWebServer proxy (Proxy Mode)へのアクセスもしたりすると起きるのですが、今のところ原因が掴めていません。
一般保護違反とかでなく落ちるのと、Debug 用の library をリンクさせて動かすと問題が起きないなど、code の問題ではなさそうなので、Object Window Library を置き換えるなどの抜本的な対策が必要なにおいがするので、対策にはしばらく時間が掛かりそうです。
あと、TR13 の NTLM 認証は、最初はうまく動いても、2回目からはうまく動かないようです。デバッグに割く時間が無いので、こちらも遅れています。
また、先に、GetHTMLW 8.2.1 が Vector で up される旨書きましたが、添付説明文書内の URL のリンク切れなど細かいところを指摘され、upload を拒否されてしまったので、まだ up されていません。
確かに、取得中に、何の前触れなく、しかも一般保護違反などを起こすことなく知らぬ間に落ちることが最近あります。取得の数が多かったり、取得と同時に LocalWebServer proxy (Proxy Mode)へのアクセスもしたりすると起きるのですが、今のところ原因が掴めていません。
一般保護違反とかでなく落ちるのと、Debug 用の library をリンクさせて動かすと問題が起きないなど、code の問題ではなさそうなので、Object Window Library を置き換えるなどの抜本的な対策が必要なにおいがするので、対策にはしばらく時間が掛かりそうです。
あと、TR13 の NTLM 認証は、最初はうまく動いても、2回目からはうまく動かないようです。デバッグに割く時間が無いので、こちらも遅れています。
また、先に、GetHTMLW 8.2.1 が Vector で up される旨書きましたが、添付説明文書内の URL のリンク切れなど細かいところを指摘され、upload を拒否されてしまったので、まだ up されていません。
コメントをどうぞ
※メールアドレスとURLの入力は必須ではありません。 入力されたメールアドレスは記事に反映されず、ブログの管理者のみが参照できます。
※なお、送られたコメントはブログの管理者が確認するまで公開されません。
トラックバック
このエントリのトラックバックURL: http://gethtmlw.asablo.jp/blog/2010/04/24/5041533/tb
※なお、送られたトラックバックはブログの管理者が確認するまで公開されません。
テスト版の公開ありがとうございます。
「拡張子/文字列フィルタ」へ 4:.html$/ranking のみ記述で旧データを保存出来ま
した。でも何故か robots.txt（http://sportsnavi.yahoo.co.jp/robots.txt）も旧データ
を保存してしまうようです・・・
GetHTMLW起動直後に「データ(D)」→「履歴情報の無いデータ操作」→「消去」を
実行すると、「File was not found.」と表示され何も列挙されません。
これはおそらくデフォルトでホームツリーが選択されているからだと思いますが、
この時の動作も「すべての階層を検索対象」とした方が使い勝手が良いかなー、と
感じました。「空のﾃﾞｨﾚｸﾄﾘも消しますか?」の動作も復活させて欲しいです・・・
しばらく色々使ってみて、また何かありましたらこちらでご報告させて頂きます。
SASA
GetHTMLW ver.8.2.0TR13