m6 BLOG

▼雑誌の取得について
前回、Web::Scraperによる取得ができないということでしたが、
ソースを編集してやってみたところ、うまく行きました。
現在、メール受信できていますが、文字化けが発生しています。分析中。

▼前略プロフィールの取得について
全略プロフィールに登録している人に配られるGuestBookに、
新着書き込みがあったらメール化されるという機能があったら便利ということで、テスト実装。
ID番号1〜50の人のGuestBookをクロールして、新着があったらメール化しています。
Gmailに飛ばしているのですが、Gmailはメールをスレッド化されるので、かなり便利ですね。
ちょっと腑に落ちない所としては、メール本文をJISに変換すると、文字化けが起こるということです。
なので、現在はUTF-8のままでメールを送信しています。
Gmailは複数の文字コードの用意があるのでUTF-8で化けないのは不思議ではないんですが、
JISで化けるっていうのが、ねぇ。。。

前回のCPAN初期設定にて make not found in PATHに続き、今度はwgetのインストールですよ！！涙

という訳で、Mac OS X 10.5にwgetを入れる。＠javaプログラマ日誌さんを参考に、インストール開始。
まずは、/usr/local にsrc フォルダが無ければ作り、そこへ移動する。

$ sudo mkdir /usr/local/src　#既にあればこの作業はいらない
$ cd /usr/local/src

次に、最新のwgetをもらってきて、インストール。
※古いバージョンが欲しかったら ⇒ http://ftp.gnu.org/gnu/wget/

$ sudo curl -O http://ftp.gnu.org/pub/gnu/wget/wget-latest.tar.gz 
$ sudo tar zxvf wget-latest.tar.gz
$ ls　　　　　　　　　　　　　　　　　　# バージョン確認
$ cd wget-1.11.4　　　　　　　　　　　 # 違うバージョンの人は書き換えて
$ sudo ./configure
$ sudo make
$ sudo make install

で、インストール完了。
ちゃんとできてるか確認したかったら、

$ wget -V

でバージョン情報が出てきたらOKです。

家で実行しようと思って、マイMacBookにもCPANモジュールを入れようとしたら、
CPANの初期設定が始まった！ここからか！笑

で、エンター連打して進んでいったら、なんと途中で

Warning: make not found in PATH

というエラーメッセージが出た。makeがないのは困ったぞ！
マックフォーラムで調べてみたら、

I suspect that the 'make' command comes as part of the developer tools.
…
The developer tools ("XCode Tools") are available for download once you register (for free) 
as a developer on Apple's Developer web site.

とのこと。Xcodeが入ってないからか！
去年使ってたMacbookのバックアップを入れたから、当然入ってるもんかと思ってた！

という訳でインストールディスクに入っているXcodeを入れようと思ったんですが、
あれ、インストールディスクどこやったけ…？てか買ったとき付いてきたっけ…？
てな感じで見つからず、どうやらApple Developer Connection (ADC)に会員登録すると、
for free で Xcode を入手できるようなので、頑張って登録してインストールしました。

で、もう一度CPANになって

CPAN>o conf init     #CPAN再設定

で、無事CPANの設定も無事完了するかと思いきや…
今度は、

Warning: make not found in wget

だってよー涙
CPANの利用には、事前にwgetも必要らしいので、今度はこれをインストールか。長い…涙

※ 続きは、makeに続き、wget not found in PATH@CPAN にて。

「引用ということで出所と引用部さえ明示しておけば大丈夫？」という意識でいたけれども、
ふと不安にかられ、一度しっかり調べてみようと思い立ったのでエントリー。

[pdf] 文化庁 (2008) ,「著作権テキスト～初めて学ぶ人のために～」によると、「引用」とは、

ア　既に公表されている著作物であること
イ　「公正な慣行」に合致すること
ウ　報道，批評，研究などの引用の目的上「正当な範囲内」であること
エ　引用部分とそれ以外の部分の「主従関係」が明確であること
オ　カギ括弧などにより「引用部分」が明確になっていること
カ　引用を行う「必然性」があること
キ　「出所の明示」が必要（コピー以外はその慣行があるとき）

を満たす行為のことを言う。
つまり、現状だとメール本文に書いていることはアウトな感じです。
(イ)、(ウ)、(エ)、(カ)らへんが問題ですね。
似たようなことをしようとしていた人が、はてなで質問してました。

因みに、2004年に「見出しは著作物にはあたらない」との見解を東京地検は出しているようです。
記事によると、読売側は「控訴する」と言っていたようですが、その後どうなったんでしょうねえ？
社団法人著作権情報センターによると、リンクを貼る行為も著作権違反にはならないようですね。

主な新聞社は、見出しやリンクに関する著作権に対して、
　読売「見出しとリンクを一緒に乗せたら著作権違反でしょ！駄目駄目！」
　産経「見出しはうちのものだからそれ著作権違反。...リンク？は別にいいよ」
　朝日、毎日「きちんとうちの記事だって分かるよう書いてくれればオッケ」
と意見はバラバラ。日本新聞協会は、こう言っているようだけど。（と書くくせに未読）

参考サイト：
・ニュースの見出し記事に関する著作権
・ニュースインデックスは誰のものか

でも、個人で使ってもらうぶんには私的使用にあたるので問題ないわけなので。
現状としてとりあえず、POPFileによるカテゴリ分類のために、今は本文付きのメールを溜めている。
で、利用者には、UIを通じてデータベースの中から欲しいもののタイトルとURLだけを返す。
更にもしメール受信という形で利用したい人がいた場合はコードを公開する、という流れです。

※追記
色々ぐぐってたら、ウェブニュース受信ソフトというものがあった。
どうやら作成者は個人の方？因みにシェアウェアで12,700円もする笑

さっき何気なくニュースメールを溜めてるGmailを開けて、
件名をながめて本日のニュースを見ていたんですが…とある件名にびっくり。
[asahi.com]松本人志さん結婚、相手は公表せず　年内に出産予定(5/17 22:07)

えー！松っちゃん結婚したの！！
そう思ってさっそく詳細を見ようとメールを開いたら…

サマリーが書いてあるはずのメール本文が…

第５回公演の模様を収録したオーディオブック（音声のみ、有料）をダウンロード販売中です！
落語はもちろん、会場の爆笑を呼んだトークのコーナーを含む全編収録版と、
柳家喬太郎「一日署長」だけの真打ち版、あわせて２種類です。
詳しくはこちらのページをご覧ください。
オーディオブックの発売にあわせて、ダイジェスト版の動画も、インターネット上に流しています。
オーディオブックと同様、こちらのページをご覧ください。

なにこの本文。。。詳細っていうか関係すらないじゃんか。。。

利用者の立場で私は思いました。このシステム使えない…涙
HTML::ExtractContent使うのは、楽だけどミスがあるようですね。
大人しくこっちもスクレイピングしよう。。。涙

でも前に書いたコードよりも今はもっとコンパクトに書けるようになった気がするから、
この際、大幅に書き直すのもアリかな！

今すぐ友達を一人作る方法
http://blog.livedoor.jp/oprain/archives/50233702.html

※元ネタはOrange man

以下、macを便利に使うためのTipsをメモしておきます。随時更新！

--- [ Finder ] --------------------------------------------------------------------
■パスを可視モードに
表示 ＞ パスバーを表示
■spot light とquick look（Leopard 限定）
・spot light とquick look を便利に使う！ 　⇒MacOSX Leopard が実は便利すぎて泣きそう
・quick lookにて、returnキーの代わりにcommand + returnを叩くとそのファイルを内包するFinderが開く。

■キーボードショートカット
・Mac用のショートカットを覚えて作業短縮！⇒色々なショートカットのまとめ
・よく使うメニューは、ショートカットを作成する！⇒ショートカットキーの作成

■すぐにメモを取りたいときは、文字をデスクトップにドラッグ！

--- [ ターミナル ] --------------------------------------------------------------
■英語の発音が分からない...orz

$ say i lone you

外人に言われた気になって喜んでいる私は重傷w
応用して歌を歌わせることもできるみたいですよw
Voice周りをちょっとだけ調べてみた。

--- [ その他 ] --------------------------------------------------------------------
■プリンタの自動終了
デフォルトだと自分で終了しないと起動しっぱなしなので。
Dockにあるプリンタを右クリック→自動終了

■アプリケーションのアイコンを取り出す
スライドとか作るときに使えそう？？
Finderで任意のアプリを選択し[Command + C]→プレビューで[Command + N]

前回、比較した結果、とりあえずgooTVのデータを取得してみますってことを報告して、
それで今週実際に翌日のTV番組を取得するコードを書いて実行し、Gmailに送るところまでをやってみました。

宮城県の地上デジタルの番組のみですが、一日に250以上の番組やってるんですねー。凄い。
それで、やってみて気に入らない事が一つ。
番組表のHTMLからサマリーを取ると、「エリック・ジェ...」のように省略されている部分があって凄く嫌。
加えて、現在メールの本文にはHTML::ExtractContentというモジュールを使って、
自動的にページの本文を取得しているんですが、フッタの部分が入っていて実に汚い。
という訳で、メールもRSS HTMLも、Webスクレイピングしようかなと考えています。

あとは、いついつの番組か分かりやすいように、件名に（5月14日 16:30〜）と記述されるようにだとか、
（現在は翌日の日付を記述しているため、0:00をまわったものにも翌日の日付が記述されてしまう）
放送局の記述であるとか、ちょっとした修正ですね。
これも、Webスクレイピングで詳細ページからデータを取得する方が楽なのかな。

どうやら年間計画を考えておけとのことだったので。
あ、あばうと〜笑

4月システム構築
5月システム構築
6月システム構築＋サーバー移動
7月システム構築＋UI作る？
8月データ収集
9月データ分析＋システム修正
10月システム修正
11月システム修正＋修論執筆開始
12月修論提出

やばい、時間ないですね。

日付を取得するとき、Time関数を使っていたんだけど、
わけあって翌日の年月日が欲しくて、Date::Simpleを使うと簡単に取れると知り早速インストール。

▼make test エラーの解決方法
CPANでインストールしようとするも、make testの段階でエラーを吐いて終了。
仕方がないので、手動でインストールする。
CPANへ行き、Date-Simple-3.03.tar.gzをダウンロード。
で、以下のコードを打っていく。

perl Makefile.PL
make
make test
make install

しかし、やはりmake testの段階でエラーを吐く。
調べたら、「export LANG=C」という一行が必要らしい。＠Date::Simple（Perlで日付の使いに困ったら）
というわけで、

make distclean　#配布ファイルだけ残し、他のファイルを消去
perl Makefile.PL
export LANG=C
make test
make install

それでも何故かmake install時にエラーは吐いたが、とりあえず使えてるのでOKとしよう。

▼使い方
基本的に使い方は、s.h.logさんやMASさんを参考に。

use Date::Simple;

# 今日・昨日・明日を取得
my $today = Date::Simple->today;
my $yesterday = $today->prev;
my $tomorrow = $today->next;

# 特定の日を取得
my $day = Date::Simple->new(2009, 1, 1);

# 表記の仕方１
print "today: $today¥n";

# 表記の仕方２
my ($year, $month, $day) = $today->as_ymd;
print "$year年$month月$day日¥n";

使い慣れてしまったこともあって普段はPhotoshopを使っているんですが、
Photoshopが入っていないPCで画像編集するときは、高性能フリーソフトで有名なGIMPを使っています。

で、Web制作（っていうと無駄に格好良い笑）をするとき、例えばボタンとか作るのが超面倒。
でもネットに良い素材が転がってないんだよねーなんて時は、
GIMPのScript-Fuを使うと、こんなん作るとしたらそりゃもう時間がかかりそうな凝ったやつが
10秒ぽっちでできちゃいます。

※アクアピルスクリプト

そんな便利で多種あるScript-Fuですが、Windowsに追加するときは問題ない。

C:\Program Files\GIMP-2.0\share\gimp\2.0\scripts

に入れればそれでOK。

で、そんな感じでMacにも簡単に突っ込めるんだろうと思い、該当するフォルダを探すも。。。無い！！！！
いくら探しても無い！！涙

仕方ないからぐぐりました。
あ。。。自分でフォルダ作るんっすね。。。。

Open [your home folder]/Library/Application Support/Gimp. 
Create 'patterns' and 'scripts' if they don't already exist. The .pat files go inside patterns, the .scm one into scripts

Next time you open Gimp it should work

という訳で早速、

ユーザー名/ライブラリ/Application Support/Gimp

に行き、「scripts」フォルダを作り、ダウンロードしてきたscmファイルを突っ込む。
で、GIMPを再起動して、一件落着。

もう私はネットが無ければ何もできないです。。。涙

半年ぶりかな？
前のは秋に、チョコレート色って素敵！！ピンクとの組み合わせ可愛いすぎる！！と
マイブーム（古）に素直に従って作ったもので、結構気に入ってたんですけど。
でも、これから夏がやってくるのに、この配色はどうなんだ、と。

これからは爽やかに行きましょう！！
ちなみにリキッドレイアウトから固定にも変更しました。

色を変えるだけでもずいぶんと印象が変わりますよね。
スタイルシート(CSS)触った事がないひとは、配色だけでもカスタマイズしてみては？
デフォルトで入っているCSSのカラーコード変えるだけなので基本めちゃ簡単です。
ま、格好悪いまま元に戻せない！涙、なんてことにならないように、
最初はきちんとバックアップは取っておいたほうが良いと思いますけどw

※管理画面にて、
テンプレート＞スタイルシート

background-color:#FFFFFF;　←背景色
color:#FFFFFF;　←文字色

ま、詳しくは自分でネットで調べてくだしあ。。。
色コードって言われても分かんないよ！って方はカラーチャートも参考にどぞ〜
ちなみに「色のセンス無いんですけど…涙」な私は、配色Webサービスによくお世話になります笑。
例えば Color Scheme Designer とかは、exsample pageも表示してくれるのでイメージが湧きやすくて好き。

※デザイン（特に幅や高さ、配置等）を変えた後は、
Win/Macのほか、IE/Firefoxなど主要なブラウザでもスタイルが崩れてないか確認しましょう

人間の脳って凄いねぇ。私もふっつーに読んでた！笑
でもこれ見つけた人も凄いねぇ。

何のこっちゃ？？読めば分かるよ ↓

こんちには みさなん おんげき ですか？　わしたは げんき です。
この ぶんょしう は いりぎす の ケブンッリジ だがいく の けゅきんう の けっか
にんんげ は もじ を にしんき する とき その さしいょ と さいご の もさじえ あいてっれば
じばんゅん は めくちちゃゃ でも ちんゃと よめる という けゅきんう に もづいとて
わざと もじの じんばゅん を いかれえて あまりす。
どでうす？　ちんゃと よゃちめう でしょ？
ちんゃと よためら はのんう よしろく 

かえって文字通りに読む方が難しい…笑
元ネタはこちらhttp://www.itmedia.co.jp/news/articles/0905/08/news021.html

※追記：2004年から話題になってたんですねー

やっぱブログ消えてたorz

GW中は友人が多く帰省しており、そういった意味で良い刺激を受けました。
この年になってくると、学生や社会人やと身分が異なるので、話をしていても面白かったです。
昔と違って、みんな大人になって自分の人生を歩んでいるなあと感じました。
でも不思議なことに、キャラとかポジションは変わらないんですよねえ。。。笑

研究の方は、TV番組を取得する上でどのサイトを使うかを検討していました。
比較対象は以下。
* インターネットTVガイド
* Yahoo!テレビ.Gガイド [テレビ番組表]
* 便利なテレビ番組表【Gガイド.テレビ王国】
* テレビ番組表：@nifty
* goo テレビ番組
* ONTV JAPAN

それほど大きな差はないみたいですが、総合的にgoo番組表が良さそうだなと。
iEPG（@IT用語辞典）という技術を知らなかったんですが、E-mailで配信することを考えると、あってもいいのかなと思ったり。
iEPGを利用すると、インターネット経由でiEPG対応の番組表へアクセスし予約情報をダウンロード、
対応したソフトウェアが自動的に録画予約の設定を行うそうです。
ボタンを押すだけで録画予約が出来るなら、このシステムに打ってつけじゃないのかなあ。
まぁiEPGに対応したパソコンや録画機器が必要がどれだけ浸透しているのかはよく分かりませんけど…。
こういうのに学校の先生たちって疎そう。。おっと、嘘です。疎いのは私でした。ははは。
ま、goo番組表の方を使って、情報を取得する方向で今日からコードを書こうと思います。
2ちゃんねるの方も、今週なんとか解決したいなー！

PerlモジュールのXML::RSSを使ってXMLファイルを処理しようと思ったら、

Couldn't open encmap shift_jis.enc: No such file or directory at 云々...

てなエラーが出て動かない！
調べてみると、どうやらPerlのXML::Parserとか、XML::Parserを利用しているXML::RSSモジュールが、
EUCとかSHIFT-JISからUTF-8への変換に対応していないことが原因らしい！
解決方法として、Perl XMLでencoding='Shift_JIS'や'euc-jp'を使うにある方法を取るとエラーが吐き出されなくなるらしい。

という訳でさっそく！！
何々、まずは「/usr/local/lib/perl5/site_perl/5.005/XML/Parser/Encodings」に移動ね。。

って、Finderで行けないやんけ！隠しフォルダか！Terminalか！！
え〜、でもTerminal。。ですか。。。vi。。。ですか。。。や、まぁ使えるけど。。。さ。

ってことでFinderで隠しフォルダを表示する方法を探したら出てきた出てきた！

#隠しファイル・フォルダを表示
defaults write com.apple.finder AppleShowAllFiles TRUE
#隠しファイル・フォルダを非表示
defaults write com.apple.finder AppleShowAllFiles FALSE

で、Finderを再起動(dockにてoptionキーを押しながら右クリック＞再度開く)すると、隠しが出たー！快適快適！笑
因みに、Terminalで色々なディレクトリに移動してるときに、ふとそこをFinderで開きたいなって時は、

open .

と打ってやるだけでFinderが開くことを知りました。便利！！

という訳で横道にそれたけど、上記サイトの通りに,作ったshift_jis.eucファイルを ディレクトリに置いて、再実行。
無事にエラーが無くなるかと思いきや、しかし相変わらず同じエラーが吐かれる。。。なんなんじゃあ。。。
一度UTF-8に変換すればいいのかしらね。。

何かもはやWebScraperとして歩み始めた人(笑)としては、既存のRSSを使うよりも、
自分でRSSを作っちゃう方が精神的に楽だあ。未解決って気持ち悪いなあ。