北海道東北証券会社情報
北海道東北証券会社を各種ブログ(Blog)から一括検索します。
トップ > 1093 > 1093 - 人気ブログ(Blog)検索結果詳細 (2009年1月10日 1時)
Git と Nagios
Nagios は「ナギオス」と脳内発音できるのに、 Git は「ジット」と脳内発音してしまう。日常じっさいに発音することがないから、間違ってるのはわかっているけどなかなか直らないなぁ。発音矯正のために誰かと Git について毎日会話したい。
作者:a666666
更新日:2009年1月8日 11時17分
Web+DB Press vol.48
ざーっと最初から最後まで流し読み。 Java の話とか Flash の話とか、あんまり興味ないのは飛ばし。
中島聡さんがカッコイイなーと思った。ミラクルリナックスの吉岡さんといい、あともちろんみんな大好き dankogai といい、カッコイイおじさんプログラマーがたくさんいるのはいいことだなぁと思った。
あと Hadoop はそろそろ「使えて当たり前」になりつつある、のだろうか、とふと思ったので今からインストールしよう。とりあえずインストールだけ。仕組みとか一切わかってないし。
- 作者: WEB+DB PRESS編集部編
- 出版社/メーカー: 技術評論社
- 発売日: 2008/12/23
- メディア: 大型本
作者:a666666
更新日:2009年1月7日 0時50分
[Hadoop] hadoop-0.19.0 を Macbook にインストールする
まず Java 1.6 系を入れる。
Java - Downloads から Java for Mac OS X 10.5 Update 1 をダウンロードしてきてダブクリダブクリ。
インストールされた Java 1.6 はどこへ入ってるかというと、 SEのネタ帳 - Mac OSX に Java(JDK)1.6 と NetBeans 6.5 インストール方法 にあるとおり /System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home とかに入るので ${JAVA_HOME}/bin にパスを通しておく。 /usr/bin/java は 1.5 なので必ず入れる必要があるっぽい。
hadoop は Hadoop Core Releases あたりから、ミラーをたどって適当に落としてくる。インストールとか不要っぽい。 tarball を解凍してほぼすぐに使える。
conf/hadoop-env.sh を編集して $JAVA_HOME だけ設定してあげる。
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home
Hadoop Quick Start に書いてあるとおりコマンドを実行すると、なにやらだーっと流れていく。
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' Picked up _JAVA_OPTIONS: -Duser.language=en Picked up _JAVA_OPTIONS: -Duser.language=en 09/01/07 01:07:54 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId= 09/01/07 01:07:54 INFO mapred.FileInputFormat: Total input paths to process : 3 09/01/07 01:07:54 INFO mapred.JobClient: Running job: job_local_0001 09/01/07 01:07:54 INFO mapred.FileInputFormat: Total input paths to process : 3 09/01/07 01:07:55 INFO mapred.MapTask: numReduceTasks: 1 09/01/07 01:07:55 INFO mapred.MapTask: io.sort.mb = 100 09/01/07 01:07:55 INFO mapred.MapTask: data buffer = 79691776/99614720 09/01/07 01:07:55 INFO mapred.MapTask: record buffer = 262144/327680 09/01/07 01:07:55 INFO mapred.MapTask: Starting flush of map output 09/01/07 01:07:55 INFO mapred.MapTask: Index: (0, 2, 6) 09/01/07 01:07:55 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting 09/01/07 01:07:55 INFO mapred.LocalJobRunner: file:/Users/kyanny/hadoop-0.19.0/input/capacity-scheduler.xml:0+2065 09/01/07 01:07:55 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done. 09/01/07 01:07:55 INFO mapred.MapTask: numReduceTasks: 1 09/01/07 01:07:55 INFO mapred.MapTask: io.sort.mb = 100 09/01/07 01:07:55 INFO mapred.MapTask: data buffer = 79691776/99614720 09/01/07 01:07:55 INFO mapred.MapTask: record buffer = 262144/327680 09/01/07 01:07:55 INFO mapred.MapTask: Starting flush of map output 09/01/07 01:07:55 INFO mapred.MapTask: Finished spill 0 09/01/07 01:07:55 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000001_0 is done. And is in the process of commiting 09/01/07 01:07:55 INFO mapred.LocalJobRunner: file:/Users/kyanny/hadoop-0.19.0/input/hadoop-default.xml:0+49456 09/01/07 01:07:55 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000001_0' done. 09/01/07 01:07:55 INFO mapred.MapTask: numReduceTasks: 1 09/01/07 01:07:55 INFO mapred.MapTask: io.sort.mb = 100 09/01/07 01:07:55 INFO mapred.MapTask: data buffer = 79691776/99614720 09/01/07 01:07:55 INFO mapred.MapTask: record buffer = 262144/327680 09/01/07 01:07:55 INFO mapred.MapTask: Starting flush of map output 09/01/07 01:07:55 INFO mapred.MapTask: Index: (0, 2, 6) 09/01/07 01:07:55 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000002_0 is done. And is in the process of commiting 09/01/07 01:07:55 INFO mapred.LocalJobRunner: file:/Users/kyanny/hadoop-0.19.0/input/hadoop-site.xml:0+178 09/01/07 01:07:55 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000002_0' done. 09/01/07 01:07:55 INFO mapred.Merger: Merging 3 sorted segments 09/01/07 01:07:55 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 1324 bytes 09/01/07 01:07:55 INFO mapred.JobClient: map 100% reduce 0% 09/01/07 01:07:56 INFO mapred.TaskRunner: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting 09/01/07 01:07:56 INFO mapred.LocalJobRunner: 09/01/07 01:07:56 INFO mapred.TaskRunner: Task attempt_local_0001_r_000000_0 is allowed to commit now 09/01/07 01:07:56 INFO mapred.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to file:/Users/kyanny/hadoop-0.19.0/grep-temp-1486019891 09/01/07 01:07:56 INFO mapred.LocalJobRunner: reduce > reduce 09/01/07 01:07:56 INFO mapred.TaskRunner: Task 'attempt_local_0001_r_000000_0' done. 09/01/07 01:07:56 INFO mapred.JobClient: Job complete: job_local_0001 09/01/07 01:07:56 INFO mapred.JobClient: Counters: 11 09/01/07 01:07:56 INFO mapred.JobClient: File Systems 09/01/07 01:07:56 INFO mapred.JobClient: Local bytes read=758456 09/01/07 01:07:56 INFO mapred.JobClient: Local bytes written=677328 09/01/07 01:07:56 INFO mapred.JobClient: Map-Reduce Framework 09/01/07 01:07:56 INFO mapred.JobClient: Reduce input groups=42 09/01/07 01:07:56 INFO mapred.JobClient: Combine output records=42 09/01/07 01:07:56 INFO mapred.JobClient: Map input records=1585 09/01/07 01:07:56 INFO mapred.JobClient: Reduce output records=42 09/01/07 01:07:56 INFO mapred.JobClient: Map output bytes=1306 09/01/07 01:07:56 INFO mapred.JobClient: Map input bytes=51699 09/01/07 01:07:56 INFO mapred.JobClient: Combine input records=46 09/01/07 01:07:56 INFO mapred.JobClient: Map output records=46 09/01/07 01:07:56 INFO mapred.JobClient: Reduce input records=42 09/01/07 01:07:57 INFO jvm.JvmMetrics: Cannot initialize JVM Metrics with processName=JobTracker, sessionId= - already initialized 09/01/07 01:07:57 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same. 09/01/07 01:07:57 INFO mapred.FileInputFormat: Total input paths to process : 1 09/01/07 01:07:57 INFO mapred.JobClient: Running job: job_local_0002 09/01/07 01:07:57 INFO mapred.FileInputFormat: Total input paths to process : 1 09/01/07 01:07:57 INFO mapred.MapTask: numReduceTasks: 1 09/01/07 01:07:57 INFO mapred.MapTask: io.sort.mb = 100 09/01/07 01:07:57 INFO mapred.MapTask: data buffer = 79691776/99614720 09/01/07 01:07:57 INFO mapred.MapTask: record buffer = 262144/327680 09/01/07 01:07:57 INFO mapred.MapTask: Starting flush of map output 09/01/07 01:07:57 INFO mapred.MapTask: Finished spill 0 09/01/07 01:07:57 INFO mapred.TaskRunner: Task:attempt_local_0002_m_000000_0 is done. And is in the process of commiting 09/01/07 01:07:57 INFO mapred.LocalJobRunner: file:/Users/kyanny/hadoop-0.19.0/grep-temp-1486019891/part-00000:0+1660 09/01/07 01:07:57 INFO mapred.TaskRunner: Task 'attempt_local_0002_m_000000_0' done. 09/01/07 01:07:57 INFO mapred.Merger: Merging 1 sorted segments 09/01/07 01:07:57 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 1324 bytes 09/01/07 01:07:58 INFO mapred.TaskRunner: Task:attempt_local_0002_r_000000_0 is done. And is in the process of commiting 09/01/07 01:07:58 INFO mapred.LocalJobRunner: 09/01/07 01:07:58 INFO mapred.TaskRunner: Task attempt_local_0002_r_000000_0 is allowed to commit now 09/01/07 01:07:58 INFO mapred.FileOutputCommitter: Saved output of task 'attempt_local_0002_r_000000_0' to file:/Users/kyanny/hadoop-0.19.0/output 09/01/07 01:07:58 INFO mapred.LocalJobRunner: reduce > reduce 09/01/07 01:07:58 INFO mapred.TaskRunner: Task 'attempt_local_0002_r_000000_0' done. 09/01/07 01:07:58 INFO mapred.JobClient: Job complete: job_local_0002 09/01/07 01:07:58 INFO mapred.JobClient: Counters: 11 09/01/07 01:07:58 INFO mapred.JobClient: File Systems 09/01/07 01:07:58 INFO mapred.JobClient: Local bytes read=709976 09/01/07 01:07:58 INFO mapred.JobClient: Local bytes written=678528 09/01/07 01:07:58 INFO mapred.JobClient: Map-Reduce Framework 09/01/07 01:07:58 INFO mapred.JobClient: Reduce input groups=2 09/01/07 01:07:58 INFO mapred.JobClient: Combine output records=0 09/01/07 01:07:58 INFO mapred.JobClient: Map input records=42 09/01/07 01:07:58 INFO mapred.JobClient: Reduce output records=42 09/01/07 01:07:58 INFO mapred.JobClient: Map output bytes=1238 09/01/07 01:07:58 INFO mapred.JobClient: Map input bytes=1574 09/01/07 01:07:58 INFO mapred.JobClient: Combine input records=0 09/01/07 01:07:58 INFO mapred.JobClient: Map output records=42 09/01/07 01:07:58 INFO mapred.JobClient: Reduce input records=42
$ cat output/* 3 dfs. 3 dfs.name.dir 1 dfs.http.address 1 dfs.access.time.precision 1 dfs.balance.bandwidth 1 dfs.block.size 1 dfs.blockreport.initial 1 dfs.blockreport.interval 1 dfs.client.block.write.retries 1 dfs.data.dir 1 dfs.datanode.address 1 dfs.datanode.dns.interface 1 dfs.datanode.dns.nameserver 1 dfs.datanode.du.reserved 1 dfs.datanode.handler.count 1 dfs.datanode.http.address 1 dfs.datanode.https.address 1 dfs.datanode.ipc.address 1 dfs.default.chunk.view.size 1 dfs.df.interval 1 dfs.heartbeat.interval 1 dfs.hosts 1 dfs.hosts.exclude 1 dfs.https.address 1 dfs.impl 1 dfs.max.objects 1 dfs.name.edits.dir 1 dfs.namenode.decommission.interval 1 dfs.namenode.handler.count 1 dfs.namenode.logging.level 1 dfs.permissions 1 dfs.permissions.supergroup 1 dfs.replication 1 dfs.replication.consider 1 dfs.replication.interval 1 dfs.replication.max 1 dfs.replication.min 1 dfs.replication.min. 1 dfs.safemode.extension 1 dfs.safemode.threshold.pct 1 dfs.secondary.http.address 1 dfs.web.ugi
何やってるかさっぱりわかんないけど無事動いた。 GNU Linux でも Windows でもないけどちゃんと動く。 Java だから当たり前か。
作者:a666666
更新日:2009年1月7日 1時19分
[Macbook] Macbook に gonzui をインストール
Ruby の Berkeley DB バインディングを入れるのが面倒だったので MacPorts から rb-bdb パッケージを入れる。ついでに ruby-1.8.7 も入ってしまうのでそっちを使う。
$ sudo port install rb-bdb
そんで /opt/local/bin にパスを通す。 /usr/bin よりサーチパスの先にくるように。 gonzui: download から gonzui をとってきて展開してインストールまでしちゃう。
$ ./configure --prefix=/opt/local
/opt/local/bin/ruby とともに使うので、 /usr/local/bin 以下に入るとのちのち困りそうな気がして PREFIX だけいじった。
インストール中に
mkdir -p /opt/local/var/gonzui
mkdir -p /var/log/gonzui
if test "$UID" = 0; then \
chown -R root /opt/local/var/gonzui; \
chgrp -R root /opt/local/var/gonzui; \
fi
chgrp: root: Invalid argument
make[2]: *** [install-data-local] Error 1
make[1]: *** [install-am] Error 2
make: *** [install-recursive] Error 1
というエラーで止まるのが気になった。 mac osx だと root グループがないのかな？とおもって /etc/group をみてみたがよくわからず。 Makefile を編集して GROUP 変数を root から wheel にかえて make install したら最後までインストールできた。
作者:a666666
更新日:2009年1月7日 2時0分
Happy Hacking Keyboard Professional2 を使いこなせない俺ダサイ
\ と | のキーが Macbook と結構違う位置にある（段からして違う）ので上手に打てず、シェルでパイプするときとかちらっと手元を見てしまう。ださーい。 ~ も同様にうまく打てなくて、このへんのキーはミスタイプがとても多い。
Mac OSX で使えるタッチタイピング練習ソフトをこの前探したのだけど、ゾンビのやつしかなかった。怖いの全般ダメだからゾンビはなぁ・・・。 e-typing だと記号の練習あんまりできないしなぁ。
作者:a666666
更新日:2009年1月7日 19時37分
firebug でフォームの個数を数える
Array.forEach( $x('//form') , function(e,i){ console.log(i, e) } );
WWW::Mechanize で submit_form() するとき form_number を数えるのが面倒くさかったのでこんなのでどのフォームが何番目かを数えてみた。
作者:a666666
更新日:2009年1月7日 20時16分
[Perl]Module::Setup
Web+DB Press vol.48 を買って少し読んだので Module::Setup をインストールする。
[kyanny@kyanny-laptop2 ~/daily/2009-01-06] $ module-setup Foo::Bar Creating directory /Users/kyanny/.module-setup Creating directory /Users/kyanny/.module-setup/plugins Creating directory /Users/kyanny/.module-setup/flavors Creating /Users/kyanny/.module-setup/flavors/default/template/Makefile.PL Creating /Users/kyanny/.module-setup/flavors/default/template/t/00_compile.t Creating /Users/kyanny/.module-setup/flavors/default/template/xt/01_podspell.t Creating /Users/kyanny/.module-setup/flavors/default/template/xt/02_perlcritic.t Creating /Users/kyanny/.module-setup/flavors/default/template/xt/03_pod.t Creating /Users/kyanny/.module-setup/flavors/default/template/xt/perlcriticrc Creating /Users/kyanny/.module-setup/flavors/default/template/Changes Creating /Users/kyanny/.module-setup/flavors/default/template/lib/____var-module_path-var____.pm Creating /Users/kyanny/.module-setup/flavors/default/template/MANIFEST.SKIP Creating /Users/kyanny/.module-setup/flavors/default/template/README Creating /Users/kyanny/.module-setup/flavors/default/template/.shipit Creating directory /Users/kyanny/.module-setup/flavors/default/additional Dump config /Users/kyanny/.module-setup/flavors/default/additional/config.yaml Creating directory /Users/kyanny/.module-setup/flavors/default/plugins Creating directory /Users/kyanny/.module-setup/flavors/default/template Do you use SVN? [yN]n Do you use SVK? [yN] [n] n Do you use Git? [yN] [n] y You chose version control system: Git Weak references are not implemented in the version of perl at /opt/local/lib/perl5/site_perl/5.8.8/Module/Setup/Plugin.pm line 6 BEGIN failed--compilation aborted at /opt/local/lib/perl5/site_perl/5.8.8/Module/Setup/Plugin.pm line 6, <STDIN> line 3. Compilation failed in require at (eval 109) line 3, <STDIN> line 3. ...propagated at /opt/local/lib/perl5/5.8.8/base.pm line 85, <STDIN> line 3. BEGIN failed--compilation aborted at /opt/local/lib/perl5/site_perl/5.8.8/Module/Setup/Plugin/Config/Basic.pm line 4, <STDIN> line 3. Compilation failed in require at (eval 108) line 3, <STDIN> line 3. at /opt/local/bin/module-setup line 12
こんなエラーが大量に出るので force install -> module-setup Foo とコマンド叩くだけでも出るので Weak reference がらみのエラーのときは Scalar::Util を入れ直す、のを思い出して tarball から入れ直したら無事動いた。
Git を選ぶと、コマンドを実行したディレクトリのなかに Foo ディレクトリができ、その中にいろいろファイルがおかれていて、 Foo ディレクトリ以下に .git ができてて git のバージョン管理下におかれる。
あとは git remote で github あたりを登録してやる。 flavor のカスタマイズとかは、まあまたこんどでいいや・・・。でもそこがウリのようにもみえる。
作者:a666666
更新日:2009年1月6日 1時46分
tar --remove-files オプション
tar したときに元のファイルを消しちゃってアーカイブだけ残したいときは --remove-files オプションを使う。
$ tar --create --gzip --verbose --file hoge.tar.gz --remove-files hoge*
GNU tar だけのオプションかもしれない。差がよくわからないな。
作者:a666666
更新日:2009年1月6日 17時0分
[Emacs]dired モード中に C-u s で ls のオプションを変更できる
Meadow/Emacs memo: ディレクトリ表示 ― dired など 読んでいたら書いてあった。
dired での主要なキーバインド
dired でのディレクトリ移動，削除などの作業は以下のようにします．
nとp:カーソル移動
RET:ファイルを開く. e や f でも OK
^:1 つ上のディレクトリへ移動
D:ファイルを削除.
C:ファイルをコピー
R:ファイル名を変更
- :ディレクトリを作る
s:並び方を変更. C-u s で ls の引数を変更できる
M-x describe-key [RET] s s runs the command dired-sort-toggle-or-edit, which is an interactive compiled Lisp function in `dired.el'. It is bound to s. (dired-sort-toggle-or-edit &optional ARG) Toggle between sort by date/name and refresh the dired buffer. With a prefix argument you can edit the current listing switches instead. [back]
dired-sort-toggle-or-edit という関数らしい。 find-function したらぞろぞろ出てきた。長いので追うのやめ。
s 押したときファイルとディレクトリの一覧が並び変わるのはなんとなくわかっていたけどソートオーダーがよくわからないのでいつも混乱していた、けどこれで迷うこともなくなった上にホームディレクトリの . ではじまるファイルだけ見たくない、とかもできるようになった。ディレクトリごとにオプションを覚えてくれているっぽい（終了したら消えそうだけど）。
作者:a666666
更新日:2009年1月6日 18時53分
svn:externals の設定方法を二度も書いてた
svn:externals の設定方法 - 刺身☆ブーメランのはてなダイアリー
svn:externals - 刺身☆ブーメランのはてなダイアリー
二ヶ月前に自分が書いた内容を忘れるのは仕方ないにしても、書いた事実すら忘れ、しかも検索すらしなかったのは非常に良くないな。今後よりいっそう、この手のメモはブログ一カ所に集約していくように意識しなければ。
作者:a666666
更新日:2009年1月5日 16時1分
24時間365日サーバ/インフラを支える技術を読んだ
ようやく買って読んだ。年末年始で読もうと思っていたので、ざっと斜め読みしたところも多いけど読み終えられてよかった。
第一章、あと特に第四章がとても勉強になり、面白かった。 Linux における負荷の話は、ちょっと説明がもったいぶっているところが鼻についたけど、カーネルのソースレベルでの深い解説は説得力があった。
第二章はだいたい、普段からやっている、経験していることだった。第三章、 DRBD とかはよくわかんなかった。第五章は主に死活監視とかの話で、残念ながらウチでは別部署の仕事なので Nagios に詳しくなってもあまり使う機会もなさそうで、読むのに身が入らなかった。
LVS とか keepalived とか、一回触っておかないとダメそうだなと思うような技術のノウハウがいろいろ紹介されていて、勉強になる本だった。インフラというか、サーバファームって呼ぶのか、そういうシステム、系の作り方っていろんなやり方があるんだなと思った。
![[24時間365日] サーバ/インフラを支える技術 ~スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) (WEB+DB PRESS plusシリーズ)](http://ecx.images-amazon.com/images/I/51uK4ACymiL._SL160_.jpg "[24時間365日] サーバ/インフラを支える技術 ~スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) (WEB+DB PRESS plusシリーズ)")
作者:a666666
更新日:2009年1月4日 11時47分
Git と Nagios
Nagios は「ナギオス」と脳内発音できるのに、 Git は「ジット」と脳内発音してしまう。日常じっさいに発音することがないから、間違ってるのはわかっているけどなかなか直らないなぁ。発音矯正のために誰かと Git について毎日会話したい。
作者:a666666
更新日:2009年1月8日 2時17分
Web+DB Press vol.48
ざーっと最初から最後まで流し読み。 Java の話とか Flash の話とか、あんまり興味ないのは飛ばし。
中島聡さんがカッコイイなーと思った。ミラクルリナックスの吉岡さんといい、あともちろんみんな大好き dankogai といい、カッコイイおじさんプログラマーがたくさんいるのはいいことだなぁと思った。
あと Hadoop はそろそろ「使えて当たり前」になりつつある、のだろうか、とふと思ったので今からインストールしよう。とりあえずインストールだけ。仕組みとか一切わかってないし。
- 作者: WEB+DB PRESS編集部編
- 出版社/メーカー: 技術評論社
- 発売日: 2008/12/23
- メディア: 大型本
作者:a666666
更新日:2009年1月6日 15時50分
[Hadoop] hadoop-0.19.0 を Macbook にインストールする
まず Java 1.6 系を入れる。
Java - Downloads から Java for Mac OS X 10.5 Update 1 をダウンロードしてきてダブクリダブクリ。
インストールされた Java 1.6 はどこへ入ってるかというと、 SEのネタ帳 - Mac OSX に Java(JDK)1.6 と NetBeans 6.5 インストール方法 にあるとおり /System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home とかに入るので ${JAVA_HOME}/bin にパスを通しておく。 /usr/bin/java は 1.5 なので必ず入れる必要があるっぽい。
hadoop は Hadoop Core Releases あたりから、ミラーをたどって適当に落としてくる。インストールとか不要っぽい。 tarball を解凍してほぼすぐに使える。
conf/hadoop-env.sh を編集して $JAVA_HOME だけ設定してあげる。
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home
Hadoop Quick Start に書いてあるとおりコマンドを実行すると、なにやらだーっと流れていく。
$ bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' Picked up _JAVA_OPTIONS: -Duser.language=en Picked up _JAVA_OPTIONS: -Duser.language=en 09/01/07 01:07:54 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId= 09/01/07 01:07:54 INFO mapred.FileInputFormat: Total input paths to process : 3 09/01/07 01:07:54 INFO mapred.JobClient: Running job: job_local_0001 09/01/07 01:07:54 INFO mapred.FileInputFormat: Total input paths to process : 3 09/01/07 01:07:55 INFO mapred.MapTask: numReduceTasks: 1 09/01/07 01:07:55 INFO mapred.MapTask: io.sort.mb = 100 09/01/07 01:07:55 INFO mapred.MapTask: data buffer = 79691776/99614720 09/01/07 01:07:55 INFO mapred.MapTask: record buffer = 262144/327680 09/01/07 01:07:55 INFO mapred.MapTask: Starting flush of map output 09/01/07 01:07:55 INFO mapred.MapTask: Index: (0, 2, 6) 09/01/07 01:07:55 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting 09/01/07 01:07:55 INFO mapred.LocalJobRunner: file:/Users/kyanny/hadoop-0.19.0/input/capacity-scheduler.xml:0+2065 09/01/07 01:07:55 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done. 09/01/07 01:07:55 INFO mapred.MapTask: numReduceTasks: 1 09/01/07 01:07:55 INFO mapred.MapTask: io.sort.mb = 100 09/01/07 01:07:55 INFO mapred.MapTask: data buffer = 79691776/99614720 09/01/07 01:07:55 INFO mapred.MapTask: record buffer = 262144/327680 09/01/07 01:07:55 INFO mapred.MapTask: Starting flush of map output 09/01/07 01:07:55 INFO mapred.MapTask: Finished spill 0 09/01/07 01:07:55 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000001_0 is done. And is in the process of commiting 09/01/07 01:07:55 INFO mapred.LocalJobRunner: file:/Users/kyanny/hadoop-0.19.0/input/hadoop-default.xml:0+49456 09/01/07 01:07:55 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000001_0' done. 09/01/07 01:07:55 INFO mapred.MapTask: numReduceTasks: 1 09/01/07 01:07:55 INFO mapred.MapTask: io.sort.mb = 100 09/01/07 01:07:55 INFO mapred.MapTask: data buffer = 79691776/99614720 09/01/07 01:07:55 INFO mapred.MapTask: record buffer = 262144/327680 09/01/07 01:07:55 INFO mapred.MapTask: Starting flush of map output 09/01/07 01:07:55 INFO mapred.MapTask: Index: (0, 2, 6) 09/01/07 01:07:55 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000002_0 is done. And is in the process of commiting 09/01/07 01:07:55 INFO mapred.LocalJobRunner: file:/Users/kyanny/hadoop-0.19.0/input/hadoop-site.xml:0+178 09/01/07 01:07:55 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000002_0' done. 09/01/07 01:07:55 INFO mapred.Merger: Merging 3 sorted segments 09/01/07 01:07:55 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 1324 bytes 09/01/07 01:07:55 INFO mapred.JobClient: map 100% reduce 0% 09/01/07 01:07:56 INFO mapred.TaskRunner: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting 09/01/07 01:07:56 INFO mapred.LocalJobRunner: 09/01/07 01:07:56 INFO mapred.TaskRunner: Task attempt_local_0001_r_000000_0 is allowed to commit now 09/01/07 01:07:56 INFO mapred.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to file:/Users/kyanny/hadoop-0.19.0/grep-temp-1486019891 09/01/07 01:07:56 INFO mapred.LocalJobRunner: reduce > reduce 09/01/07 01:07:56 INFO mapred.TaskRunner: Task 'attempt_local_0001_r_000000_0' done. 09/01/07 01:07:56 INFO mapred.JobClient: Job complete: job_local_0001 09/01/07 01:07:56 INFO mapred.JobClient: Counters: 11 09/01/07 01:07:56 INFO mapred.JobClient: File Systems 09/01/07 01:07:56 INFO mapred.JobClient: Local bytes read=758456 09/01/07 01:07:56 INFO mapred.JobClient: Local bytes written=677328 09/01/07 01:07:56 INFO mapred.JobClient: Map-Reduce Framework 09/01/07 01:07:56 INFO mapred.JobClient: Reduce input groups=42 09/01/07 01:07:56 INFO mapred.JobClient: Combine output records=42 09/01/07 01:07:56 INFO mapred.JobClient: Map input records=1585 09/01/07 01:07:56 INFO mapred.JobClient: Reduce output records=42 09/01/07 01:07:56 INFO mapred.JobClient: Map output bytes=1306 09/01/07 01:07:56 INFO mapred.JobClient: Map input bytes=51699 09/01/07 01:07:56 INFO mapred.JobClient: Combine input records=46 09/01/07 01:07:56 INFO mapred.JobClient: Map output records=46 09/01/07 01:07:56 INFO mapred.JobClient: Reduce input records=42 09/01/07 01:07:57 INFO jvm.JvmMetrics: Cannot initialize JVM Metrics with processName=JobTracker, sessionId= - already initialized 09/01/07 01:07:57 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same. 09/01/07 01:07:57 INFO mapred.FileInputFormat: Total input paths to process : 1 09/01/07 01:07:57 INFO mapred.JobClient: Running job: job_local_0002 09/01/07 01:07:57 INFO mapred.FileInputFormat: Total input paths to process : 1 09/01/07 01:07:57 INFO mapred.MapTask: numReduceTasks: 1 09/01/07 01:07:57 INFO mapred.MapTask: io.sort.mb = 100 09/01/07 01:07:57 INFO mapred.MapTask: data buffer = 79691776/99614720 09/01/07 01:07:57 INFO mapred.MapTask: record buffer = 262144/327680 09/01/07 01:07:57 INFO mapred.MapTask: Starting flush of map output 09/01/07 01:07:57 INFO mapred.MapTask: Finished spill 0 09/01/07 01:07:57 INFO mapred.TaskRunner: Task:attempt_local_0002_m_000000_0 is done. And is in the process of commiting 09/01/07 01:07:57 INFO mapred.LocalJobRunner: file:/Users/kyanny/hadoop-0.19.0/grep-temp-1486019891/part-00000:0+1660 09/01/07 01:07:57 INFO mapred.TaskRunner: Task 'attempt_local_0002_m_000000_0' done. 09/01/07 01:07:57 INFO mapred.Merger: Merging 1 sorted segments 09/01/07 01:07:57 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 1324 bytes 09/01/07 01:07:58 INFO mapred.TaskRunner: Task:attempt_local_0002_r_000000_0 is done. And is in the process of commiting 09/01/07 01:07:58 INFO mapred.LocalJobRunner: 09/01/07 01:07:58 INFO mapred.TaskRunner: Task attempt_local_0002_r_000000_0 is allowed to commit now 09/01/07 01:07:58 INFO mapred.FileOutputCommitter: Saved output of task 'attempt_local_0002_r_000000_0' to file:/Users/kyanny/hadoop-0.19.0/output 09/01/07 01:07:58 INFO mapred.LocalJobRunner: reduce > reduce 09/01/07 01:07:58 INFO mapred.TaskRunner: Task 'attempt_local_0002_r_000000_0' done. 09/01/07 01:07:58 INFO mapred.JobClient: Job complete: job_local_0002 09/01/07 01:07:58 INFO mapred.JobClient: Counters: 11 09/01/07 01:07:58 INFO mapred.JobClient: File Systems 09/01/07 01:07:58 INFO mapred.JobClient: Local bytes read=709976 09/01/07 01:07:58 INFO mapred.JobClient: Local bytes written=678528 09/01/07 01:07:58 INFO mapred.JobClient: Map-Reduce Framework 09/01/07 01:07:58 INFO mapred.JobClient: Reduce input groups=2 09/01/07 01:07:58 INFO mapred.JobClient: Combine output records=0 09/01/07 01:07:58 INFO mapred.JobClient: Map input records=42 09/01/07 01:07:58 INFO mapred.JobClient: Reduce output records=42 09/01/07 01:07:58 INFO mapred.JobClient: Map output bytes=1238 09/01/07 01:07:58 INFO mapred.JobClient: Map input bytes=1574 09/01/07 01:07:58 INFO mapred.JobClient: Combine input records=0 09/01/07 01:07:58 INFO mapred.JobClient: Map output records=42 09/01/07 01:07:58 INFO mapred.JobClient: Reduce input records=42
$ cat output/* 3 dfs. 3 dfs.name.dir 1 dfs.http.address 1 dfs.access.time.precision 1 dfs.balance.bandwidth 1 dfs.block.size 1 dfs.blockreport.initial 1 dfs.blockreport.interval 1 dfs.client.block.write.retries 1 dfs.data.dir 1 dfs.datanode.address 1 dfs.datanode.dns.interface 1 dfs.datanode.dns.nameserver 1 dfs.datanode.du.reserved 1 dfs.datanode.handler.count 1 dfs.datanode.http.address 1 dfs.datanode.https.address 1 dfs.datanode.ipc.address 1 dfs.default.chunk.view.size 1 dfs.df.interval 1 dfs.heartbeat.interval 1 dfs.hosts 1 dfs.hosts.exclude 1 dfs.https.address 1 dfs.impl 1 dfs.max.objects 1 dfs.name.edits.dir 1 dfs.namenode.decommission.interval 1 dfs.namenode.handler.count 1 dfs.namenode.logging.level 1 dfs.permissions 1 dfs.permissions.supergroup 1 dfs.replication 1 dfs.replication.consider 1 dfs.replication.interval 1 dfs.replication.max 1 dfs.replication.min 1 dfs.replication.min. 1 dfs.safemode.extension 1 dfs.safemode.threshold.pct 1 dfs.secondary.http.address 1 dfs.web.ugi
何やってるかさっぱりわかんないけど無事動いた。 GNU Linux でも Windows でもないけどちゃんと動く。 Java だから当たり前か。
作者:a666666
更新日:2009年1月6日 16時19分
[Macbook] Macbook に gonzui をインストール
Ruby の Berkeley DB バインディングを入れるのが面倒だったので MacPorts から rb-bdb パッケージを入れる。ついでに ruby-1.8.7 も入ってしまうのでそっちを使う。
$ sudo port install rb-bdb
そんで /opt/local/bin にパスを通す。 /usr/bin よりサーチパスの先にくるように。 gonzui: download から gonzui をとってきて展開してインストールまでしちゃう。
$ ./configure --prefix=/opt/local
/opt/local/bin/ruby とともに使うので、 /usr/local/bin 以下に入るとのちのち困りそうな気がして PREFIX だけいじった。
インストール中に
mkdir -p /opt/local/var/gonzui
mkdir -p /var/log/gonzui
if test "$UID" = 0; then \
chown -R root /opt/local/var/gonzui; \
chgrp -R root /opt/local/var/gonzui; \
fi
chgrp: root: Invalid argument
make[2]: *** [install-data-local] Error 1
make[1]: *** [install-am] Error 2
make: *** [install-recursive] Error 1
というエラーで止まるのが気になった。 mac osx だと root グループがないのかな？とおもって /etc/group をみてみたがよくわからず。 Makefile を編集して GROUP 変数を root から wheel にかえて make install したら最後までインストールできた。
作者:a666666
更新日:2009年1月6日 17時0分
Happy Hacking Keyboard Professional2 を使いこなせない俺ダサイ
\ と | のキーが Macbook と結構違う位置にある（段からして違う）ので上手に打てず、シェルでパイプするときとかちらっと手元を見てしまう。ださーい。 ~ も同様にうまく打てなくて、このへんのキーはミスタイプがとても多い。
Mac OSX で使えるタッチタイピング練習ソフトをこの前探したのだけど、ゾンビのやつしかなかった。怖いの全般ダメだからゾンビはなぁ・・・。 e-typing だと記号の練習あんまりできないしなぁ。
作者:a666666
更新日:2009年1月7日 10時37分
firebug でフォームの個数を数える
Array.forEach( $x('//form') , function(e,i){ console.log(i, e) } );
WWW::Mechanize で submit_form() するとき form_number を数えるのが面倒くさかったのでこんなのでどのフォームが何番目かを数えてみた。
作者:a666666
更新日:2009年1月7日 11時16分
[Perl]Module::Setup
Web+DB Press vol.48 を買って少し読んだので Module::Setup をインストールする。
[kyanny@kyanny-laptop2 ~/daily/2009-01-06] $ module-setup Foo::Bar Creating directory /Users/kyanny/.module-setup Creating directory /Users/kyanny/.module-setup/plugins Creating directory /Users/kyanny/.module-setup/flavors Creating /Users/kyanny/.module-setup/flavors/default/template/Makefile.PL Creating /Users/kyanny/.module-setup/flavors/default/template/t/00_compile.t Creating /Users/kyanny/.module-setup/flavors/default/template/xt/01_podspell.t Creating /Users/kyanny/.module-setup/flavors/default/template/xt/02_perlcritic.t Creating /Users/kyanny/.module-setup/flavors/default/template/xt/03_pod.t Creating /Users/kyanny/.module-setup/flavors/default/template/xt/perlcriticrc Creating /Users/kyanny/.module-setup/flavors/default/template/Changes Creating /Users/kyanny/.module-setup/flavors/default/template/lib/____var-module_path-var____.pm Creating /Users/kyanny/.module-setup/flavors/default/template/MANIFEST.SKIP Creating /Users/kyanny/.module-setup/flavors/default/template/README Creating /Users/kyanny/.module-setup/flavors/default/template/.shipit Creating directory /Users/kyanny/.module-setup/flavors/default/additional Dump config /Users/kyanny/.module-setup/flavors/default/additional/config.yaml Creating directory /Users/kyanny/.module-setup/flavors/default/plugins Creating directory /Users/kyanny/.module-setup/flavors/default/template Do you use SVN? [yN]n Do you use SVK? [yN] [n] n Do you use Git? [yN] [n] y You chose version control system: Git Weak references are not implemented in the version of perl at /opt/local/lib/perl5/site_perl/5.8.8/Module/Setup/Plugin.pm line 6 BEGIN failed--compilation aborted at /opt/local/lib/perl5/site_perl/5.8.8/Module/Setup/Plugin.pm line 6, <STDIN> line 3. Compilation failed in require at (eval 109) line 3, <STDIN> line 3. ...propagated at /opt/local/lib/perl5/5.8.8/base.pm line 85, <STDIN> line 3. BEGIN failed--compilation aborted at /opt/local/lib/perl5/site_perl/5.8.8/Module/Setup/Plugin/Config/Basic.pm line 4, <STDIN> line 3. Compilation failed in require at (eval 108) line 3, <STDIN> line 3. at /opt/local/bin/module-setup line 12
こんなエラーが大量に出るので force install -> module-setup Foo とコマンド叩くだけでも出るので Weak reference がらみのエラーのときは Scalar::Util を入れ直す、のを思い出して tarball から入れ直したら無事動いた。
Git を選ぶと、コマンドを実行したディレクトリのなかに Foo ディレクトリができ、その中にいろいろファイルがおかれていて、 Foo ディレクトリ以下に .git ができてて git のバージョン管理下におかれる。
あとは git remote で github あたりを登録してやる。 flavor のカスタマイズとかは、まあまたこんどでいいや・・・。でもそこがウリのようにもみえる。
作者:a666666
更新日:2009年1月5日 16時46分
tar --remove-files オプション
tar したときに元のファイルを消しちゃってアーカイブだけ残したいときは --remove-files オプションを使う。
$ tar --create --gzip --verbose --file hoge.tar.gz --remove-files hoge*
GNU tar だけのオプションかもしれない。差がよくわからないな。
作者:a666666
更新日:2009年1月6日 8時0分
[Emacs]dired モード中に C-u s で ls のオプションを変更できる
Meadow/Emacs memo: ディレクトリ表示 ― dired など 読んでいたら書いてあった。
dired での主要なキーバインド
dired でのディレクトリ移動，削除などの作業は以下のようにします．
nとp:カーソル移動
RET:ファイルを開く. e や f でも OK
^:1 つ上のディレクトリへ移動
D:ファイルを削除.
C:ファイルをコピー
R:ファイル名を変更
- :ディレクトリを作る
s:並び方を変更. C-u s で ls の引数を変更できる
M-x describe-key [RET] s s runs the command dired-sort-toggle-or-edit, which is an interactive compiled Lisp function in `dired.el'. It is bound to s. (dired-sort-toggle-or-edit &optional ARG) Toggle between sort by date/name and refresh the dired buffer. With a prefix argument you can edit the current listing switches instead. [back]
dired-sort-toggle-or-edit という関数らしい。 find-function したらぞろぞろ出てきた。長いので追うのやめ。
s 押したときファイルとディレクトリの一覧が並び変わるのはなんとなくわかっていたけどソートオーダーがよくわからないのでいつも混乱していた、けどこれで迷うこともなくなった上にホームディレクトリの . ではじまるファイルだけ見たくない、とかもできるようになった。ディレクトリごとにオプションを覚えてくれているっぽい（終了したら消えそうだけど）。
作者:a666666
更新日:2009年1月6日 9時53分
svn:externals の設定方法を二度も書いてた
svn:externals の設定方法 - 刺身☆ブーメランのはてなダイアリー
svn:externals - 刺身☆ブーメランのはてなダイアリー
二ヶ月前に自分が書いた内容を忘れるのは仕方ないにしても、書いた事実すら忘れ、しかも検索すらしなかったのは非常に良くないな。今後よりいっそう、この手のメモはブログ一カ所に集約していくように意識しなければ。
作者:a666666
更新日:2009年1月5日 7時1分
24時間365日サーバ/インフラを支える技術を読んだ
ようやく買って読んだ。年末年始で読もうと思っていたので、ざっと斜め読みしたところも多いけど読み終えられてよかった。
第一章、あと特に第四章がとても勉強になり、面白かった。 Linux における負荷の話は、ちょっと説明がもったいぶっているところが鼻についたけど、カーネルのソースレベルでの深い解説は説得力があった。
第二章はだいたい、普段からやっている、経験していることだった。第三章、 DRBD とかはよくわかんなかった。第五章は主に死活監視とかの話で、残念ながらウチでは別部署の仕事なので Nagios に詳しくなってもあまり使う機会もなさそうで、読むのに身が入らなかった。
LVS とか keepalived とか、一回触っておかないとダメそうだなと思うような技術のノウハウがいろいろ紹介されていて、勉強になる本だった。インフラというか、サーバファームって呼ぶのか、そういうシステム、系の作り方っていろんなやり方があるんだなと思った。
作者:a666666
更新日:2009年1月4日 2時47分