開発日記/2007-05-06

CVS更新など -- henoheno†

ここ最近のまとめ。

なるべく早く提供できるよう、spam対策の方に集中して取り組んでいます。

BugTrack2/200†

次の展開のための練りこみが主体です。

• cvs:lib/spam.php (r1.25)

  $Id: spam.php,v 1.158 2007/05/05 16:02:53 henoheno Exp $
  * Add function: strings() -- not used yet
  * Added function: blocklist_distiller(), as a backend function of is_badhost()
  * Added function for reporting: array_merge_leaves(), array_flat_leaves(),
    summarize_detail_badhost(), summarize_detail_newtral(), var_export_shrink(),
    delimiter_reverse(), array_renumber_numeric_keys()
  * Simplify.
  * area_pickup(): area_anchor and area_bbcode enable to capture strings beyond
    newlines
  * spam_uri_pickup_preprocess(): Domain exposure for ime.nu, ime.st,
   link.toolbot.com, urlx.org, gate-big5-type hosts
  * check_uri_spam(): Simplify. Reconstruct structure of $process
  * DETAIL_BADHOST: Show summary using var_export()
  * DETAIL_NEUTRAL_HOST: Sorted by domain

  • バイナリデータを処理する場合にあると便利な関数 strings() を追加
  • 判定結果を受けて、例えば外部サービスを利用した判定を行うための、内部構造の整理
  • レポート部分の見直し。メール通知で記載される内容が改善されました。ただしDETAIL_BADHOSTは現在var_export()に依存します。(PHP4.2.0-) 以下に例あり。
  • blocklist 関係の処理の統合と簡素化。例えばgoodhostの中でも array() を使えるようになりました。
  • area_anchor と area_bbcode が、改行交じりの文字列も拾うようになりました。
  • ime.nu, ime.st のような一部の転送URLについては、隠されたリンク先を一段階暴くようになりました。

     http ://ime.nu/nasty.example.com/
     というURLがあった場合
     http ://nasty.example.com/?refer=ime.nu と
     http ://ime.nu/nasty.example.com/       が判定対象となる

• cvs:lib/spam.php (r1.24)

  $Id: spam.php,v 1.131 2007/04/22 08:04:19 henoheno Exp $
  Multiple blocklist

  • blocklist を役割ごとに分割しました

結果的にbadhostのレポートがこのように(詳細に)なります

※このヘッダは 2007/04/12 に届いたメール(一通172KB)を処理した結果です。
  転送サービス(A-1)、Webスペース(B-1)、乗っ取られたと思しきサイト(B-2)
  のそれぞれがどのようにミックスされていたかがヘッダだけで
  伝わると思います。

ACTION: Blocked by quantity, non_uniqhost, badhost
METRICS: quantity(2187), non_uniqhost(2050), uniqhost(137), badhost(131)
DETAIL_BADHOST: array (
  'A-1' => array (
    '*.skracaj.pl' => 'oudelric.skracaj.pl, sooklqw.skracaj.pl,
hedelchi.skracaj.pl, c4tcnaric.skracaj.pl, liacelric.skracaj.pl,
delvidar.skracaj.pl, vareltdom.skracaj.pl, erortre.skracaj.pl,
daroloro.skracaj.pl, pasouca.skracaj.pl, bochisit.skracaj.pl,
accoor.skracaj.pl, liaccna.skracaj.pl, bodomrol.skracaj.pl,
lilala.skracaj.pl, acoudes.skracaj.pl, monboct.skracaj.pl,
eldronno.skracaj.pl, tadomrac.skracaj.pl, rositchi.skracaj.pl,
trouacel.skracaj.pl, c4tsitget.skracaj.pl, elteltdel.skracaj.pl,
ricdronac.skracaj.pl, orchiric.skracaj.pl, erlaou.skracaj.pl,
tadronbas.skracaj.pl, getbocli.skracaj.pl, trnocnfo.skracaj.pl,
triclie.skracaj.pl, sitorca.skracaj.pl, lizelac.skracaj.pl,
ordomolo.skracaj.pl, laletoleto.skracaj.pl, errelte.skracaj.pl,
vidart.skracaj.pl, laletoli.skracaj.pl, acelliak.skracaj.pl,
c4tacella.skracaj.pl, calaric.skracaj.pl, elbasolo.skracaj.pl,
laacelzel.skracaj.pl, bocsitvi.skracaj.pl, nobocacel.skracaj.pl,
deltrzel.skracaj.pl',
  ),
  'B-1' => array (
    '*.blogspot.com' => 'lip8naasketballeb.blogspot.com,
firedup8e263796.blogspot.com, lipbnaasketballe823.blogspot.com,
lipbnaasketball3786.blogspot.com, f1r33up8d26.blogspot.com,
lipbnaaske8ballet.blogspot.com, lipbnaasketba7l3l.blogspot.com,
firedup832645.blogspot.com, lipbnaasketball3898.blogspot.com,
l1pbnaasketballe7.blogspot.com, lipbnaasketball374.blogspot.com,
firedup83260.blogspot.com, firedup83to787.blogspot.com,
fdr3i3p8ut06.blogspot.com, lipanabsketball37.blogspot.com,
l1pbnaask3tball39.blogspot.com, lpibnaask3tball38.blogspot.com,
lipbnaasketball3712.blogspot.com, fr33dup8i26.blogspot.com,
lbpbnaasketiall37.blogspot.com, feredup8i27.blogspot.com,
lipbnaasketlable8.blogspot.com, lipbnaasket3allb7.blogspot.com,
lipbnaasketballe9.blogspot.com, f1r3dup8327.blogspot.com,
lipbnaasketball3795.blogspot.com, lipbnaask3tball37.blogspot.com,
l1pbnaasketball37.blogspot.com, firedup8et064.blogspot.com,
p12eduf83r6.blogspot.com, lipbnaa5ketballe78for.blogspot.com,
l3pbnaasketballi7.blogspot.com, lipbna3sketballa7.blogspot.com,
f6redup832i.blogspot.com, biplnaa5ketball3756.blogspot.com,
l1pbnaa5ketballe8.blogspot.com, f1r3dup8326.blogspot.com,
e1rfdup8327.blogspot.com, firedup8eto659.blogspot.com,
lipbnaasketba3ll7.blogspot.com, lipbnaksaetball37.blogspot.com,
uiredfp8e27.blogspot.com, firedup832615.blogspot.com,
l1pbnaa5k3tball38.blogspot.com, l1pbnaasketball38.blogspot.com,
fir3dup03t86.blogspot.com, eirfdup8326.blogspot.com,
l1p3naa5kbtball38.blogspot.com, lipbnaasketball3744.blogspot.com,
lpianabskeeballt8.blogspot.com, f1r36up83tod.blogspot.com,
firedup8eto73.blogspot.com, lipbnaasketball38.blogspot.com,
firedup8eto7.blogspot.com, lkpbnaasi3tball37.blogspot.com,
firedup832664.blogspot.com, nipblaasketball37.blogspot.com,
lnpbiaa5k3tballe7.blogspot.com, l1pbna85k3tball3a11.blogspot.com,
lipbnaa5ketball37.blogspot.com, lipbnaaaketbsll37.blogspot.com,
liabn3a5ketballp7.blogspot.com, lipbnaasketballe7.blogspot.com,
eirfdup836to.blogspot.com, l1pbnaa5k3tball37.blogspot.com,
lipbanasketball37.blogspot.com, firedue862p.blogspot.com,
l38bnaasketballip.blogspot.com, l1pbnaa5ketball37.blogspot.com,
firedup8et07.blogspot.com, l1pbnaask3tball376030.blogspot.com,
l1pbnaa5k3tblal37.blogspot.com, lipbntaskeaball37.blogspot.com,
ifredup8326.blogspot.com, firedup832680.blogspot.com,
biplnaasketball37.blogspot.com, lipbnaa5ketballe8.blogspot.com,
firedup8teo682.blogspot.com, lipbna35k3tballa8.blogspot.com,
lipbnaalketbalse7.blogspot.com, lipbanasketba7lel.blogspot.com',
    '*.chueca.com' => 'blogs.chueca.com',
    'volny.cz',
    'Welnet.de' => 'welnet.de',
  ),
  'B-2' => array (
    'Tennessee Tech University' => 'manila.tntech.edu',
    'Villa Julie College' => 'www4.vjc.edu',
  ),
)
DETAIL_NEUTRAL_HOST: 3 (pec1.jun.alaska.edu, faculty.deanza.fhda.edu,
sg.wilkes.edu)

• BugTrack
• 開発版
  • リポジトリ
  • 開発日記
• :CategoryDev
  • PukiWiki2
  • PukiWiki/1.5
  • PukiWiki/1.4
  • PukiWiki/1.3
  • メーリングリスト
  • 開発談義
  • 雑談
• 開発者向け情報
  • Books
  • プラグイン

最新の16件