ランキング参加中プログラミング ハピタス登録で1,000円分になるURL ガソリン価格高すぎだろ 円安のせい。アベノミクスと黒田バズーカのせい。とんでもないもの残して消えやがって。 石油の店頭小売価格がxls形式で提供されている。 www.enecho.meti.go.jp x…

このデータで、血液型がOの人だけに連番を振るにはどうするか。 つまりこうやるにはどうするか。 ＜手順＞ まず、血液型Oだけにフィルタする。 その隣の列の一番上に数字の1を振る。 そしたらマウスで1から最後の行までを選択する。 その状態でキーボードの…

CSVの各列に色を付ける。前回の続き。 min117.hatenablog.com 今度は引数にCSVファイルを指定して開けば列数を自動で判定して各列に色をつけてくれるようにした。 こうやって開くと $ ./myCSVcolor2.sh ebooks.csv 列数をカウントして各列への色付け（ANSIエ…

なんてこった。CSVの各列に色をつけられるらしい。ANSIエスケープシーケンスを使えば可能なようだ。 こうなる。 超わかりやすい。 ソースはこれ。 今後やること ・csvファイル名（ebooks.csv）はソース内に固定で書いちゃってるけど、引数で取れるように改良…

例えばこんな財務データファイルがある。 irbank.net ファイル名はSheet1a.csvで保存。 売上高列に続く数字は "116,861,000,000円 "。 つまり、金額がカンマで区切られてしまっている。これだとCSVの各項目（フィールド）の区切りのカンマなのか金額のカンマ…

前回記事に引き続き上場企業のデータを使ってcsvをいじる。 min117.hatenablog.com カンマ区切りのcsvファイルを読み込んで 「上場企業名,当期利益,自己資本」だけを取り出して カンマ区切りで出力（ファイル名はoutt5.csv）する。 $ cat japan-all-stock-fi…

bash、awk、python3でcsvファイルを自由自在にしたい。都度調べるのがダルいので手に覚えさせる。 サンプルcsvはこれ。上場企業の当期利益と資本金を一覧にしてみる。 hesonogoma.com とりあえずアタマの50件だけダウンロード。 $ cat japan-all-stock-finan…

bashでカンマ区切りのCSVを1列目でソートしたい。こんなcsv。 こうやる。 $ cat outt3.txt | sort -t, -k1n -t, 区切り文字はカンマ,だよ -k1 キーが1列目である -k1n キーが1列目である かつ それを数字（n）としてソートする genzouw.com こうなる。 末尾…

こんな感じのカンマ区切りのcsvファイルがあったとして $ vim test.csv 1列目（ヘッダ）だけをタテに表示したい。 sedでできた。こうなる。 $ cat test.csv | head -n 1 | sed -e 's/,/\'$'\n/g' 's/,/\'$'\n/g' ではsとgの前後にシングルクオートが要るらし…

csvの任意の列2つをタテヨコにとったグラフ（散布図）を作るだけのコード。こういうシンプルな機能を揃えたい。 サンプルcsvはこんな感じ。銀行の残高をcsvに出力したもの。 $ cat dpwithdraw.csv コードはこれ。python3。 11〜15行目 csvの列名を取り出して…

jupyterでcsv読み込んでグラフ化したら豆腐文字化けした。 このサイト参考に直す。 qiita.com 調査に使ったpythonコードは3つ。 import matplotlib matplotlib.matplotlib_fname() matplotlib.get_configdir() matplotlib.matplotlib_fname() で表示されるフ…

自分のiMacにはjupyter環境がインストールされてた。たぶん去年このへんの記事を作ったんだと思う（うろ覚え）。 qiita.com 前回使ったPaizaのjupyter環境からダウンロードしたipynbファイルを取り込んだら即使えた。 min117.hatenablog.com 取り込みは簡単…

統計をかじり始めた。「何よりまず手を動かす」したいので、すぐに動かせる環境に飛びつく。 PaizaCloudにアカウントを作ってみた。 paiza.cloud 「Webの開発環境構築を挫折したことはありませんか？」 そう。環境作るの時間かかってそれで満足しちゃうのが…

予算の関係で将来の獲得件数の予測を立てる仕事が最近あり。夜中まで大変な思いをしたので、経験したことを形にしておきたい。 本屋に寄ったら「数学は演繹、統計は帰納。アプローチが違う」と書いた本があり。目から鱗な感じ。そうか。予測を立てるには数学…

LINE Payが平成最後の超Payトク祭をやっている。今日（2019/4/30 23:59）まで。 linepay.line.me LINE Payで素晴らしいのは、LINE Payカード（物理デビッドカード）で購入した金額も還元対象になること。 しかも今回は還元額が10,000にUPしているところが何…

// 仕事では Windows7 を使っている。ネットワーク上（NAS）にあるファイル myDATA.csv は、他の部署（の他のシステム）から不定期に吐き出されるので、作成されたかどうかをわざわざ確認しなければならない。 面倒なので、ファイルが存在するかどうか確認す…

// カンマ区切りのcsvファイルがある。 金額の区切りもカンマになってしまっていてawkで扱いにくい。 金額の区切りのカンマだけ無くしたい。 1行目で言えば ¥8,163 を ¥8163 にしたい。 /¥[1-9], とやってキャプチャできるけど、一括置換ではフィールド区切…

ファイルを読み込むループを回したときに「現在読み込んでいる行の前の行を取得する」が興味深い。 d.hatena.ne.jp // COINS.txtにビットコイン等の仮想コインが定義してあって TORIHIKI_DATA.csvには、それを取得した元サイトのデータが並んでいるとする。 …

Windowsで作ったShift-JISのファイルがある。拡張子がバラバラだ。csvとpyとbatが混在している。 これを全部utf-8に変換し、かつファイル名の末尾に_utf8をつけるをコマンド一発でやりたい。最終的にこうなる。 たとえば「DB.csv」を「DB_utf8.csv」に変換す…

Amazon MasterCard を契約した。 min117.hatenablog.com 利用明細は Vpass というオンラインサービスで確認できる。 csvにも出力可能。 出力するとこうなる。 $ vim 201712-2_nkf_wLux.csv 何にどれくらい使ったか csvをPython3 に分析させることにする。例…

// Amazon ゴールドカード会員になった。カードの利用明細は「Vpass」というWeb明細に登録することで閲覧できる。 現在の明細はCSVでダウンロードできるらしい。 せっかくなのでダウンロードして、iMacのbashから見てみる。 $ cat 201711-4.csv ダメだ。文字…