添付ファイルダウンロード等の効率化†
- ページ: BugTrack
- 投稿者: 三浦克介
- 優先順位: 低
- 状態: 完了
- カテゴリー: 本体バグ
- 投稿日: 2005-08-29 (月) 21:30:53
- バージョン: 1.4.5
- リリース予定バージョン: 1.5.2
メッセージ†
(readfileの利用は継続。出力バッファリングを明示的にOFFにする対応を行いました (2017-08-23 by umorigu))
PHP 5.0.4 には、readfile() や fpassthru() が 2000000 バイトで停止してしまうというバグがあるらしいです。
http://bugs.php.net/bug.php?id=32553
プラグイン attach, dump, ref で readfile が使われており、例えば、2000000バイトを越える添付ファイルをダウンロードすると、2000000バイトで切れてしまいます。
PHP 5.0.4 以外では大丈夫だと思いますが、readfile はファイル内容を一度メモり上に読み込みますので、あまり、サーバーに優しくありません。また、readfile よりも、echo fread() を繰り返した方が高速らしいです。
http://jp.php.net/readfile
という訳で、readfile を使っている部分を、echo fread() で置き換えませんか？
例えば、attach.inc.php は以下のようになります。
Index: attach.inc.php
===================================================================
RCS file: /cvsroot/pukiwiki/pukiwiki/plugin/attach.inc.php,v
retrieving revision 1.79
diff -c -r1.79 attach.inc.php
*** attach.inc.php 8 Aug 2005 14:54:15 -0000 1.79
--- attach.inc.php 29 Aug 2005 12:32:28 -0000
***************
*** 659,665 ****
header('Content-Length: ' . $this->size);
header('Content-Type: ' . $this->type);
! @readfile($this->filename);
exit;
}
}
--- 659,672 ----
header('Content-Length: ' . $this->size);
header('Content-Type: ' . $this->type);
! $handle = fopen($this->filename, 'rb');
! while (!feof($handle))
! {
! echo fread($handle, 4096);
! flush();
! }
! fclose($handle);
!
exit;
}
}
fopen できなかった時はどうすべきですかね？ @readfile となっているのに合わせて、なにも表示せずに exit？
- (性能を検討した上で)BugTrack/779 --
- attachプラグインはreadfileの前にファイルがあるかどうか確認していますので、なにも表示せずにexitでも良さそうな気がします。 -- teanan
- あと、readfileを使ってるところは dump と ref プラグインですが、dumpプラグインはバグの影響がありそうですね (^^; -- teanan
- 形にする場合は、echo_readfile() といった別個の関数にするのが良さそうですね ;) 中身はfread()のマニュアルにある通り「 伝統的な while(!feof()) を使うアプローチよりも パフォーマンス的にベター」という方法が・・・あ、メモリ使いそうだ (^^; -- henoheno
- 「fread() に与える最も効率のいい値」が入った定数(環境ごとに違う値を期待する)て無いのかしらん。マニュアルでは8K決め打ちのようですね。環境決め打ちで良いなら、何度か試すと大体わかるかな？ -- henoheno
- その他の視点: PHP 5.0.4 はPHP5系の最新バージョンであり、そのユーザーはより新しいバージョンを使いたがると思われるため、個別のバージョンのフォローは個別に対応(回避)していただくという対応もあるかと思われます。 -- henoheno
- デメリットは無いようなので変更して良いと思いますが。freadのサイズはob_get_lengthから拾うのが良いような感じですが既にheader等を貯めてる
気がする(数行上でheader出してますから貯めてますね)*1のでflushはループの前で1回コールが良いのかも -- Cue
- こちらの件は 5.0.5 で直ったと考えてよろしいのでしょうか? であれば 5.0.4 特有の問題として考えたく思います。 -- henoheno
- 5.0.3 と 5.0.4 が該当するバージョンのようです。5.0.5 で FIX です。 -- kawai
- main/php_streams.h で PHP_STREAM_COPY_ALL が定義されていて、それを利用する関数を追いかけると見つかりますね。 -- kawai
- PHPのバグで http://wiki.ohgaki.net/index.php?cmd=read&page=PHP%2Fpatch%2FMMAP%A4%F2%CC%B5%B8%FA%B2%BD で直ります。pukiwikiのソースでも対応しておいた方が良いとは思いますが情報として。 -- yohgaki
- メモリの使用量が全然違うので、是非適用願います。php.iniでメモリに400MByte割り当てても、120MByte程度のファイルをダウンロードしようとしたらメモリが足りなくなって死にました。(WinXPのIE6でDLすると、サイズ0byteのファイルができました。)1000MByte割り当てたらOKでした。
上の修正をそのまま適用したら、400MByteのままでも問題ありませんでした。 -- ぃぉぃぉ
- 上で過去の自分も(想像ベースであいまいに)言っていたようですが、平均のメモリ消費量が下がるというのであれば意味がありますね -- henoheno
- 推測ですが、この修正によって最大使用メモリが一定値になります。修正前だとDLするファイルサイズに依存して消費メモリが際限なく増えます。phpの関数readfileの内部仕様が変わらない限りは、ですが。 -- ぃぉぃぉ
- readfileのマニュアル(php.net:manual/ja/function.readfile.php) に「注意: readfile() 自体にはメモリに関する問題はなく、 巨大なファイルを送ってもかまいません。」とあるように、バッファリングOFFになっていればreadfileで大量メモリを消費してしまうことはないようです。 jyn.jp/php-readfile-memory/ こちらのブログでも検証されていました。（カスタマイズ・設定で）バッファリングがONになっていることがあるようなのでその対処をすれば解決ですね。PHP5.0.4はもう古いのでバージョン固有バグへの対応はしません -- umorigu
- 念のためPHPソースを見てみると file.c readfile() から php_stream_passthru() を呼び出していて、stream.c この中で8KBずつPHPWRITE (php_output_write())が呼ばれていました。 output.c つまり、マニュアルの記述通り、「readfile はファイル内容を一度メモり上に読み込」むことはなく、大容量ファイルも扱えます -- umorigu
- タイトル変更しました。「PHP 5.0.4 バグ対策＆添付ファイルダウンロード等の効率化」→「添付ファイルダウンロード等の効率化」 -- umorigu
- readfileの直前に出力バッファリングがされていればOFFにするようにしました。 commit:cd237d77fb -- umorigu
![[PukiWiki]](image/pukiwiki-dev.png "[PukiWiki]")
