min117の日記

初期desireもち。趣味Mac,メインFedora,仕事xp。

Python

python3 配列要素のreplace文字列置換がうまくいかないときはstr.replaceにしてみる(財務省金利データjgbcm_all.csv)

python3で文字列置換は str.replace で 2022.10.13 のドットをハイフンに置換して 2022-10-13 にしたい ↓ こうなる これでうまくいく。 CM['基準日'] = CM['基準日'].str.replace('.', '-') これだとうまくいかない。 CM['基準日'] = CM['基準日'].replace('…

ドル円が跳ねて1円(or 50銭)以上の変動があったら自分にGmailするbash+python3スクリプト

ドル円が跳ねたら自分にメールする こんなんできたら面白いよなーと思って作った。こうなる curl で読み入って、JPYのテキストだけ拾ってくる。 朝時点のドル円と比べて1円以上変動があったら自分にGmailするbashスクリプト。 $ sh myKINRIbloomGmail.sh こ…

python3 で「No module named 'requests_oauthlib'」が出るのはpip3でインストールしてないから or 複数python3が併存しちゃってるから

python3 で「No module named 'requests_oauthlib'」 $ python3 >>> from requests_oauthlib import OAuth1Session $ sudo apt install python3-dev $ sudo apt install python3-pip $ pip3 install requests-oauthlib 再度 $ python3 >>> from requests_oau…

ドル円・日経平均・原油 をグラフにして開始日(引数)から見える化するpythonスクリプト

過去3度の消費税アップは赤線 グレーの背景は景気後退期。 アベノミクス(2012年)から円安ジャブジャブにして株価だけ上げて、その後2014年くらいには庶民が超苦しむ円安の地獄がくるはずだったのが、偶然、突然、原油価格が一気に下がって輸入物価が下がっ…

景気ウォッチャーで自然言語処理入門 の真似事(bash+mecabで単語分析)

景気ウォッチャーで自然言語処理入門 面白そうだったので参加。オンラインの無料勉強会。 140人もいたのか。 基本Zoom(じゃなくてBrave Talks)というオンライン会議ツールで参加。 ビデオも音声もOff。聞いてるだけでOK。 景気ウォッチャーとは ほうほう。…

Excel「100%積み上げ棒グラフ→行列の入替え」でEDINETの決算情報から貸借対照表を可視化する

積み上げグラフ→行列入替え こういうグラフが作れるらしい。 貸借対照表の主要なところを取ってきてる。 キャッシュを全部はたいても借金を返せない経営状態だとわかる。 グラフの元データはこれ。 右側(RESERVE側)の見出しと数字を全部選択した状態で、挿…

python3 で xls を xlsx に変換する

古いエクセルファイル(拡張子xls)を、最新の形式(xlsx)に変換したい。python3で。 できた $ pip3 install pyexcel-cli pyexcel-xls pyexcel-xlsx --user $ pyexcel transcode myVBA_2.xls myVBA_2.xlsx こないだ作ったpython3コードで読み込んでみる。 $…

python3 で Excelファイルを扱うテスト

python3 で Excelファイル(xlsx)を開きたい。 LinuxのNAS上にあるのにわざわざWindows立ち上げてExcelで開きたくないから。全部Linuxでやりたい。 インストール $ pip3 install openpyxl --user $ vim myPyXLS.py 引数にとったxlsxファイルの中にあるSheet…

macOSの VS Code に Python の拡張機能入れてグラフ描く

VS Code の Pythonでグラフが描けるか試したい。 ここ丸写しで試す。 qiita.com 拡張機能入れて コード書いて実行ボタン▷ぽち。 おおー しかしグラフ出るまで数秒待たされるな…最初だけか? これが Jupyter Notebook(iPython)だとどうかな。 一瞬だな。や…

VS Code を macOS にインストールする(フォントサイズ大きくするにはメニューCode→Preferences→Settings→Font Size)

code.visualstudio.com ダウンロード。 アプリケーションフォルダにインストール。 Vimプラグインをインストール。 qiita.com Open Folderからフォルダを作成。 編集権限(authors of the files in this folder)をYesする。 New File... おお。起動した。Se…

Pythonから始める数学入門 写経してJupyterで動かす(Python3)

本のとおりだと情報が古くてmatplotlibでグラフ描けないので、自分なりにコードいじったけど、いろいろ勉強になった。記録に保存。 ついでに英単語も覚える。 逆比例 inversely proportional 逆 invesely 比例 proportional 線形 linear P22非線形 nonlinear…

Python3 で二次方程式、連立方程式を解く

$ pip3 install sympy $ python3 >>> from sympy import * >>> x, y = symbols("x y") ここまでは毎回必要。手に覚えさせる。 二次方程式を解く。 xの二乗 +5x +6 = 0 は、こう書く。 >>> Eq(x**2 +5*x +6, 0) solveメソッドで解ける。 "x**2 +5x +6 = 0 の …

Python3 東京都の感染者数の移動平均

2021/8/6(金)ヒロシマに原爆が投下された日。 東京都のコロナの感染者が連日5,000人を超えている。 東京都知事は「自分ごととして捉えていただきたい」なんて上から目線だが、都民の感染を一番他人事として横目にみるだけで何も手を打って来なかったのはこ…

pyenv + anaconda の環境でpythonをアンインストール+最新化してjupyter notebookインストールする

macOSにて。 ただ単に python とだけ打ってもpythonが起動しなくなってしまった。 これじゃjupyter notebook使えんじゃないか。 これ試したいんだか。 oku.edu.mie-u.ac.jp pyenvのせいなのか? 今有効なpythonを調べる。 $ pyenv versions systemデフォルト…

電子版法令検索サービス e-Gov 開発者ポータルに登録する(電子申請API)

電子版法令検索サービス「e-Gov」。仕事でしょっちゅう使う。めっちゃ使いやすい。 総務省が所管だけど、作ってるのは当然総務省のアホ役人ではなくて、委託された先の民間会社。たぶんそこのエンジニアがスゴイ。いや、その業者を動かしてこのサービスを作…

Python3 Yahoo Finance APIを試す

株には全く興味が無い。あんなものにハマるのはアホだ。 しかし、彼らカネの亡者の「カネが欲しい」という貪欲、7つの大罪で言えばGreedか、その酷さというか、愚かさゆえの強欲がもたらすエネルギー、それは信じている。 つまり、例えば株価を取得するプロ…

PHP URLを開いてtitleをとってくるだけのWebスクレイピングコード(Webクローラ)

目に留まった記事。 www.php.net php.iniでallow_url_fopenを有効にした場合、 ファイル名をパラメータとする関数の多くで HTTP および FTPのURL を使用することができます。 ほう。自前のサーバで見てみよう。 $ cat /etc/php.ini | grep allow_url お。有…

python3 カンマ区切りCSVファイル内の「金額列のカンマ区切り」のみ消し去る

例えばこんな財務データファイルがある。 irbank.net ファイル名はSheet1a.csvで保存。 売上高列に続く数字は "116,861,000,000円 "。 つまり、金額がカンマで区切られてしまっている。これだとCSVの各項目(フィールド)の区切りのカンマなのか金額のカンマ…

python3 のpandasで「上場企業名,当期利益,自己資本」のカンマ区切りcsvファイルを読み込む

前回記事に引き続き上場企業のデータを使ってcsvをいじる。 min117.hatenablog.com カンマ区切りのcsvファイルを読み込んで 「上場企業名,当期利益,自己資本」だけを取り出して カンマ区切りで出力(ファイル名はoutt5.csv)する。 $ cat japan-all-stock-fi…

awk (入力じゃなくて)出力の区切り文字を指定する(カンマ区切りで各フィールドを出力したい)

bash、awk、python3でcsvファイルを自由自在にしたい。都度調べるのがダルいので手に覚えさせる。 サンプルcsvはこれ。上場企業の当期利益と資本金を一覧にしてみる。 hesonogoma.com とりあえずアタマの50件だけダウンロード。 $ cat japan-all-stock-finan…

bash カンマ区切りのcsvを1列目でソートする sort -t, -k1n

bashでカンマ区切りのCSVを1列目でソートしたい。こんなcsv。 こうやる。 $ cat outt3.txt | sort -t, -k1n -t, 区切り文字はカンマ,だよ -k1 キーが1列目である -k1n キーが1列目である かつ それを数字(n)としてソートする genzouw.com こうなる。 末尾…

Python3 正規表現のグラフを描く

偏差が平均との差であること、 その差を二乗したもの(正負反転)が分散であること、 二乗を元に戻すためにルートを取ったものが標準偏差であること、 は分かった。 あとはPythonに実データを食わせて標準偏差をとって正規分布になるか確認してみたい。 まず…

matplotlibのグラフ凡例の豆腐文字化けをIPAフォントで解消する → 失敗

jupyterでcsv読み込んでグラフ化したら豆腐文字化けした。 このサイト参考に直す。 qiita.com 調査に使ったpythonコードは3つ。 import matplotlib matplotlib.matplotlib_fname() matplotlib.get_configdir() matplotlib.matplotlib_fname() で表示されるフ…

vim慣れてるとjupyterのpython3環境が楽しい

自分のiMacにはjupyter環境がインストールされてた。たぶん去年このへんの記事を作ったんだと思う(うろ覚え)。 qiita.com 前回使ったPaizaのjupyter環境からダウンロードしたipynbファイルを取り込んだら即使えた。 min117.hatenablog.com 取り込みは簡単…

jupyter notebook(Python3)で アンスコムの4つ組(Anscombe's quartet)を試す

前回記事で、WebさえあればPython3でグラフ描ける環境ができた。 min117.hatenablog.com Shellのコンソールだけだとグラフ描けなくて困ってたけど、これなら色々と試せる。 以前からいじりたかったコレ。 さっそく試してみる。 P87の散布図。 「アンスコムの…

PaizaCloudのjupyter notebook環境でPython3を利用する

統計をかじり始めた。「何よりまず手を動かす」したいので、すぐに動かせる環境に飛びつく。 PaizaCloudにアカウントを作ってみた。 paiza.cloud 「Webの開発環境構築を挫折したことはありませんか?」 そう。環境作るの時間かかってそれで満足しちゃうのが…

macOS + Python3 で Selenium(Chrome)を確実に動かす手順

Seleniumを使ってブラウザを自動操作する。いくつか注意点があって、これをクリアしないといつまで経ってもSeleniumが動かなくてヤッキリすることになる。 <結論> ① chromedriver は、今使ってるChrome用のを使う。なければ直近のChrome用を使う ② Python3…

楽天UN-LIMIT 契約前にキャンペーンに参加(獲得しうるポイント合計は31,700pt)

楽天UN-LIMITを契約する。回線契約はかなり大きい出費だ。仮に月額100円だとしても年間にすると1,200円。 これが月額2,980円(税込み3,278円)となると 年間で39,336円の契約を結ぶわけで、かなり大きな出費になる。 ※ ちなみに自動車税がちょうど39,000円く…

fedora 30 kernel-devel と make のメモ

fedora30 で(かの有名な)PT3を使ってts抜きするときとか、Softcasなあれこれするときとか、先日のようにUSB WiFi のドライバーをmakeするときに必要となる kernel-headers とか kernel-devel について。 なんとなくカーネル関連の扱い方がわかってきたけど…

fedora30 Linuxで5GHzのWiFi(理論値867Mbps)を使いたい → AmazonでUSB WiFiトングル 802.11ac(ブランドCarantee 1,800円)を買う

自宅のLinuxサーバはHP Proliant N54L。fedora30を搭載し無線LANで運用している。 min117.hatenablog.com しばらくは小型の無線LAN子機(2.6GHz帯)を挿して使ってきたのだが 速度が遅くて我慢の限界が来た。5GHz帯のUSBトングルを買うことにする。 選んだの…