インフラ系の本も読んでみたい。安く手に入った。
ほとんど日常の仕事そのままなんだけど、改めて基礎から見直す。抜け落ちの知識の穴埋めになる。
スケジューリングアルゴリズムの正式名称ってこんなだったのか。
勉強になる。
keepalived 立ててみたい。
自宅のサーバは fedora30 の Apacheだけど
$ apachectl -V
nginxでもう一本たててkeepalivedで負荷分散してみたいなぁ。冗長化スクリプトも面白そうだし。
眠っているサーバもあったりする。名機 HP Proliant N54L。久々に電源ON。
Windows2012R2 もインストールしてあったっけか。たしか Citrixのテストに使ったんだっけ。
時計も合ってるね。
ゲストOS → キーの送信 → Ctrl + Alt + Del
バッチリ使えそうだなぁ。
これにもう1台仮想サーバでCentOS立てて、nginxを突っ込むことにしよう。
PHPサーバも建てるかな。Windowsでやってみたかったし。次回いろいろやる。
PDFファイルからテキストを取り出せるらしい。
やってみる。
使う記事はこれ。
クルーズ船「ダイヤモンド・プリンセス」の扱いを誤った政府の無策により、全国にコロナウイルスが蔓延してしまった2020/2/27（木）、ときの首相が突然「来週から全国の学校を休校にします」などと決めてしまったものだから全国が大混乱。同年2/29（日）、安倍晋三首相は慌てて「国民に向けた記者会見」を行うも、突然の休校について全く説明がなかった。
これについて、政府に説明責任を果たすよう追及する記事。
HTMLをPDFにする機能は実装済み。
この機能でPDFにしたのがこれ。
20200301_183115_新型コロナ対策・首相記者会見で私が聞きたかったこと～政 府は国民への説明責任を果たせ.pdf
ここからテキストを取り出す。
$ pdftotext 20200301_183115_新型コロナ対策・首相記者会見で私が聞きたかったこ と～政府は国民への説明責任を果たせ.pdf
一瞬で終わった。本当に取り出せているのか？
$ cat 20200301_183115_新型コロナ対策・首相記者会見で私が聞きたかったこ と～政府は国民への説明責任を果たせ.pdf
すごい。バッチリ取り出せてる。
ということは
$ for i in *pdf; do echo "$i"; pdftotext "$i"; done
とかやれば、たくさんのPDFファイルを一括でテキストファイルに落とせるわけだ。素晴らしい。
既に気になった記事のURLを貼り付けるとPDFを作る機能までは実装済みだから
ここで「PDF作成」を押したタイミングで記事のテキストファイルも保存する仕様に変更する。次回やってみる。
なお、今回とは逆にテキストファイルからPDFを作ることもできる。
Linuxほんと最高。
memo
定期的に飛行機で飛ぶ用事がある。言った先ではKyashを使うことしばしば。
そのKyashが新しくなるらしい。新カードの申込案内通知を申し込んでおいたら昨日（2020/02/25）連絡メールが届いた。
900円かかるらしいが、カード柄がシンプルで気に入ったので発行してみる。
Kyash アプリ右上のフォルダアイコンをクリックすると発行画面に飛ぶ。
発行手数料に900円かかる。ポイント還元は1%。dカードGOLDより低いがSuicaにチャージできるか試したい。
色。どうするか迷う。
まあ、無難に Navy にした。
認証は運転免許証で行う。
写真のアップロードはやりたくないが仕方ない。
iPhoneで縦に撮って写真面積を少なくしてアップしてやった。
本人確認情報を登録。クレカなのでここはダミーなくホントを書く。
注意事項を読んでおく。
発送まで1ヶ月かかる場合もあるらしい。問題なし。
普通郵便でくるのか。まあ、全く構わないが。
名前を登録。名→姓の順。
発行完了。900円はKyash残高から落ちる。
あとは到着までしばらく待ってみる。
前回と同じ手順で SPITZのラジオの番組表を作りたい。
スピッツ最高。いつ聴いても最高。
myradikosearchChannel 全国の局の一覧を返す 例：FMFUKUI 福井
./myradikoBANGUMI.sh 引数に取った局の番組表を返す（xmlで）
こんなんしまして
$ L=myradikolistSPITZ.txt; for i in $(myradikosearchChannel | awk '{print $1}' ); do echo "$i"_@ | tee -a "$L";./myradikoBANGUMI.sh "$i" | grep -B 1 SPITZ | grep -B 3 title | tee -a "$L";done
$ cat myradikolistSPITZ.txt
progの行で 開始時刻（ft） と 終了時刻（to）が読み取れる。
で、progの直前の行がラジオ局名なわけだ。
てことはprogとその直前の行だけを取り出しせねばならない。catとgrepでやる。
grep -B(efore) 1 prog とやれば、progの前（Before）の1行が取れる。
$ cat myradikolistSPITZ.txt | grep -B 1 prog
さて、あとは
FMMIE_@の行と progの行を 繋げれば
局名（FM三重）と 開始終了時刻 が1行に入る。
改行の取り去りが難しい。cat と sed でやる。
$ cat myradikolistSPITZ.txt | grep -B 1 prog | sed -z s/'_@\n'/''/g
すげ。GNU sed では sed -z で改行を取り去れるらしい。
このサイト天才。いつも勉強になる。
ここまでくれば、あとはちょっと加工してCSVにする。
$ cat myradikolistSPITZ.txt | grep -B 1 prog | sed -z s/'_@\n'/''/g | awk -F= '{print $1,$2,$3}' | sed -e s/'<prog ft '/''/g | sed -e s/'to'/''/g | sed -e s/'ftl'/''/g |sed -e s/'"'/''/g | sed -e s/'--'/''/g | sed -z s/' \n'/''/g | sed -e s/' '/','/g | sed -e s/',,,,,,,,,,'/','/g | sed -e s/',,'/','/g
うむ。
もう少し加工する。
cat myradikolistSPITZ.txt | grep -B 1 prog | sed -z s/'_@\n'/''/g | awk -F= '{print $1,$2,$3}' | sed -e s/'<prog ft '/''/g | sed -e s/'to'/''/g | sed -e s/'ftl'/''/g |sed -e s/'"'/''/g | sed -e s/'--'/''/g | sed -z s/' \n'/''/g | sed -e s/' '/','/g | sed -e s/',,,,,,,,,,'/','/g | sed -e s/',,'/','/g | sed -s s/'00,'/','/g | sed -z s/',\n'/'\n'/g | sort -t, -k 1 | uniq | sort -t, -k 2
末尾に文字列を足す。vimでやる。
'<,'>s/\n/,SPITZ\r/g
あとは前回と同じスクリプトに食わせる。
前回作った番組表取得スクリプト（curlをラップしただけ）かなり便利。
$ ./myradikoBANGUMI.sh RN2 | grep -B 2 RaNi
開始時刻と終了時刻だけに加工する。
$ ./myradikoBANGUMI.sh RN2 | grep -B 2 RaNi | grep prog | awk -F= '{print $2,$3}' | sed -e s/'"'/''/g | sed -e s/'to '/''/g | sed -e s/"ftl"/""/g | tee -a myradikolistRANIMUSIC.txt
YYYYMMDDhhmm00 になっちゃってる。末尾の00がジャマだ。
YYYYMMDDhhmm にする。
%s/00 2/ 2/g
%s/30 2/ 2/g
%s/00 \n/\r/g
改行は n が正しいのか rが正しいのか よく分からないが
これで行末の00は消える。
開始時刻、終了時刻 だけを取り出しできた。
スペースをカンマにしてCSVぽくする。
%s/ /,/g
ファイル名 myradikolistRANIMUSIC.txt にして保存。
この形式にしたいので
こうする。
$ for i in $(cat myradikolistRANIMUSIC.txt); do echo "$i"; echo RN2,"$i",RANIMUSIC | tee -a myradikolist.txt; done
よし。
これを一括スクリプトに食わせる。
$ ./my_rec_radiko_ts_timefree.sh
カンペキ。
きゃりーぱみゅぱみゅのラジオ面白い。探したい。何時から始まるか全国すべてのラジオ局の番組表から探したい。
まずは指定したラジオ局の番組表を取得するスクリプト作った。
$ vim myradikoBANGUMI.sh
curlをラップしてるだけ。
こんな感じで使う。
$ ./myradikoBANGUMI.sh FMFUKUI | grep -B 1 きゃりー
全国のラジオ局の一覧はcurlで取得。
curl -s http://radiko.jp/index/ | grep href | awk -Findex/ '{print $2}' | awk -F\" '{print $1,$2}' | awk -F\> '{print $1,$2}' | sed -e s/'<\/a'/''/g | sed -e s/'\/'/''/g
コマンド myradikosearchChannel を叩けばイッパツで局一覧を取得できるようにaliasに書く。
$ vim ~/.bashrc
alias myradikosearchChannel='curl -s http://radiko.jp/index/ | grep href | awk -Findex/ '\''{print $2}'\'' | awk -F\" '\''{print $1,$2}'\'' | awk -F\> '\''{print $1,$2}'\'' | sed -e s/'\''<\/a'\''/'\'''\''/g | sed -e s/'\''\/'\''/'\'''\''/g'
局一覧すべてに対して番組表を取得にいく。for文で回す。
L=myradikolistKARRY3.txt; for i in $(myradikosearchChannel | awk '{print $1}'); do echo "$i" | tee -a "$L"; ./myradikoBANGUMI.sh "$i" | grep -B 1 きゃりー | tee -a "$L";
結果ファイルを編集する。
$ vim myradikolistKARRY3.txt
17行目、25行目 ラジオ局名
18行目、26行目 prog行 開始時刻（ft）、終了時刻（to）
これを整形してこんな感じのCSVにできれば
ラジオ曲名,開始時刻,終了時刻,ファイル名
前回作ったスクリプトで一括録音も可能なわけだ。
要らない行はvimで消す。
%s/.*desc.*gt; //g
%s/<\/imgs>//g
%s/">\n//g
%s/--//g
さらに加工。
310行目、317行目
lt から始まって gt までを消したいなぁ。vimの正規表現で最短マッチできればいいわけだ。
すげ。できた。{-} で最短マッチできるみたい。
/lt.\{-}gt;
置換する。
%s/lt.\{-}gt;//g
ここまできた。
359行目と360行目をつなげたい。
FM_OITA,202002182100,202002182130,叶美香
みたいに取り出せるといい。
cat このtxt | grep | -B 1 title
でできそう。次回まで試す。
