min117の日記

初期desireもち。趣味Mac,メインFedora,仕事xp。

Python

Pythonから始める数学入門 写経してJupyterで動かす(Python3)

本のとおりだと情報が古くてmatplotlibでグラフ描けないので、自分なりにコードいじったけど、いろいろ勉強になった。記録に保存。 ついでに英単語も覚える。 逆比例 inversely proportional 逆 invesely 比例 proportional 線形 linear P22非線形 nonlinear…

Python3 で二次方程式、連立方程式を解く

$ pip3 install sympy $ python3 >>> from sympy import * >>> x, y = symbols("x y") ここまでは毎回必要。手に覚えさせる。 二次方程式を解く。 xの二乗 +5x +6 = 0 は、こう書く。 >>> Eq(x**2 +5*x +6, 0) solveメソッドで解ける。 "x**2 +5x +6 = 0 の …

Python3 東京都の感染者数の移動平均

2021/8/6(金)ヒロシマに原爆が投下された日。 東京都のコロナの感染者が連日5,000人を超えている。 東京都知事は「自分ごととして捉えていただきたい」なんて上から目線だが、都民の感染を一番他人事として横目にみるだけで何も手を打って来なかったのはこ…

pyenv + anaconda の環境でpythonをアンインストール+最新化してjupyter notebookインストールする

macOSにて。 ただ単に python とだけ打ってもpythonが起動しなくなってしまった。 これじゃjupyter notebook使えんじゃないか。 これ試したいんだか。 oku.edu.mie-u.ac.jp pyenvのせいなのか? 今有効なpythonを調べる。 $ pyenv versions systemデフォルト…

電子版法令検索サービス e-Gov 開発者ポータルに登録する(電子申請API)

電子版法令検索サービス「e-Gov」。仕事でしょっちゅう使う。めっちゃ使いやすい。 総務省が所管だけど、作ってるのは当然総務省のアホ役人ではなくて、委託された先の民間会社。たぶんそこのエンジニアがスゴイ。いや、その業者を動かしてこのサービスを作…

Python3 Yahoo Finance APIを試す

株には全く興味が無い。あんなものにハマるのはアホだ。 しかし、彼らカネの亡者の「カネが欲しい」という貪欲、7つの大罪で言えばGreedか、その酷さというか、愚かさゆえの強欲がもたらすエネルギー、それは信じている。 つまり、例えば株価を取得するプロ…

PHP URLを開いてtitleをとってくるだけのWebスクレイピングコード(Webクローラ)

目に留まった記事。 www.php.net php.iniでallow_url_fopenを有効にした場合、 ファイル名をパラメータとする関数の多くで HTTP および FTPのURL を使用することができます。 ほう。自前のサーバで見てみよう。 $ cat /etc/php.ini | grep allow_url お。有…

python3 カンマ区切りCSVファイル内の「金額列のカンマ区切り」のみ消し去る

例えばこんな財務データファイルがある。 irbank.net ファイル名はSheet1a.csvで保存。 売上高列に続く数字は "116,861,000,000円 "。 つまり、金額がカンマで区切られてしまっている。これだとCSVの各項目(フィールド)の区切りのカンマなのか金額のカンマ…

python3 のpandasで「上場企業名,当期利益,自己資本」のカンマ区切りcsvファイルを読み込む

前回記事に引き続き上場企業のデータを使ってcsvをいじる。 min117.hatenablog.com カンマ区切りのcsvファイルを読み込んで 「上場企業名,当期利益,自己資本」だけを取り出して カンマ区切りで出力(ファイル名はoutt5.csv)する。 $ cat japan-all-stock-fi…

awk (入力じゃなくて)出力の区切り文字を指定する(カンマ区切りで各フィールドを出力したい)

bash、awk、python3でcsvファイルを自由自在にしたい。都度調べるのがダルいので手に覚えさせる。 サンプルcsvはこれ。上場企業の当期利益と資本金を一覧にしてみる。 hesonogoma.com とりあえずアタマの50件だけダウンロード。 $ cat japan-all-stock-finan…

bash カンマ区切りのcsvを1列目でソートする sort -t, -k1n

bashでカンマ区切りのCSVを1列目でソートしたい。こんなcsv。 こうやる。 $ cat outt3.txt | sort -t, -k1n -t, 区切り文字はカンマ,だよ -k1 キーが1列目である -k1n キーが1列目である かつ それを数字(n)としてソートする genzouw.com こうなる。 末尾…

Python3 正規表現のグラフを描く

偏差が平均との差であること、 その差を二乗したもの(正負反転)が分散であること、 二乗を元に戻すためにルートを取ったものが標準偏差であること、 は分かった。 あとはPythonに実データを食わせて標準偏差をとって正規分布になるか確認してみたい。 まず…

matplotlibのグラフ凡例の豆腐文字化けをIPAフォントで解消する → 失敗

jupyterでcsv読み込んでグラフ化したら豆腐文字化けした。 このサイト参考に直す。 qiita.com 調査に使ったpythonコードは3つ。 import matplotlib matplotlib.matplotlib_fname() matplotlib.get_configdir() matplotlib.matplotlib_fname() で表示されるフ…

vim慣れてるとjupyterのpython3環境が楽しい

自分のiMacにはjupyter環境がインストールされてた。たぶん去年このへんの記事を作ったんだと思う(うろ覚え)。 qiita.com 前回使ったPaizaのjupyter環境からダウンロードしたipynbファイルを取り込んだら即使えた。 min117.hatenablog.com 取り込みは簡単…

jupyter notebook(Python3)で アンスコムの4つ組(Anscombe's quartet)を試す

前回記事で、WebさえあればPython3でグラフ描ける環境ができた。 min117.hatenablog.com Shellのコンソールだけだとグラフ描けなくて困ってたけど、これなら色々と試せる。 以前からいじりたかったコレ。 さっそく試してみる。 P87の散布図。 「アンスコムの…

PaizaCloudのjupyter notebook環境でPython3を利用する

統計をかじり始めた。「何よりまず手を動かす」したいので、すぐに動かせる環境に飛びつく。 PaizaCloudにアカウントを作ってみた。 paiza.cloud 「Webの開発環境構築を挫折したことはありませんか?」 そう。環境作るの時間かかってそれで満足しちゃうのが…

macOS + Python3 で Selenium(Chrome)を確実に動かす手順

Seleniumを使ってブラウザを自動操作する。いくつか注意点があって、これをクリアしないといつまで経ってもSeleniumが動かなくてヤッキリすることになる。 <結論> ① chromedriver は、今使ってるChrome用のを使う。なければ直近のChrome用を使う ② Python3…

楽天UN-LIMIT 契約前にキャンペーンに参加(獲得しうるポイント合計は31,700pt)

楽天UN-LIMITを契約する。回線契約はかなり大きい出費だ。仮に月額100円だとしても年間にすると1,200円。 これが月額2,980円(税込み3,278円)となると 年間で39,336円の契約を結ぶわけで、かなり大きな出費になる。 ※ ちなみに自動車税がちょうど39,000円く…

fedora 30 kernel-devel と make のメモ

fedora30 で(かの有名な)PT3を使ってts抜きするときとか、Softcasなあれこれするときとか、先日のようにUSB WiFi のドライバーをmakeするときに必要となる kernel-headers とか kernel-devel について。 なんとなくカーネル関連の扱い方がわかってきたけど…

fedora30 Linuxで5GHzのWiFi(理論値867Mbps)を使いたい → AmazonでUSB WiFiトングル 802.11ac(ブランドCarantee 1,800円)を買う

自宅のLinuxサーバはHP Proliant N54L。fedora30を搭載し無線LANで運用している。 min117.hatenablog.com しばらくは小型の無線LAN子機(2.6GHz帯)を挿して使ってきたのだが 速度が遅くて我慢の限界が来た。5GHz帯のUSBトングルを買うことにする。 選んだの…

macOS 搭載のWebカメラでpython3のリアルタイム物体検知を試す → 失敗

このサイトどおり進める。 qiita.com python3の環境が pyenvとanacondaでグチャグチャにされているので、うまくいく気がしない。 $ pip3 install --upgrade opencv-python 「--user をつけて実行しなおせ」と赤文字エラーが出る。 $ pip3 install --upgrade …

fedora30 で人工知能darknetを試す → $ ./darknet yolo 引数? cfg/設定ファイル 学習データ data/画像ファイル

こないだmacOSでやったdarknetをfedoraでも試す。 min117.hatenablog.com 同じ手順を実行するだけ。 git clone したdarknetフォルダに入ってmakeする。clone後のフォルダ名(darknet)は、darknet_fedora30にリネームした。 $ cd darknet_fedora30 $ make 完…

ドコモの「更新ありがとうポイント」を使って Amazon Fire HD 第8世代 を買う → Amazonスキルのテストに使う

ドコモには「更新ありがとうポイント」なるものがあって dpoint.jp 利用を継続すると毎年3,000ポイントが付与される。 ただこれは期間限定のdポイントなので、あまり使い道はない。ただしメルカリとAmazonの買い物に使えるという点だけは価値がある。 今回は…

Python3 + twitter でテレビには出ないニュースを見る

python3 があれば twitter から普通以上の情報を得ることができる。 min117.hatenablog.com 機械学習用にデータを揃えたり、結果を投稿したり。 min117.hatenablog.com 自動的にいろんな情報を収集してくれる。 だからテレビでは報道されないニュースも目に…

python3 環境で youtube-dl を update する(sudo pip3 install -U youtube-dl)

G側の使用変更で youtube-dl が使えなくなることが数ヶ月に1回はある。 youtube-dl をアップデートすれば解決するんだけど、アップデートコマンドをいっつも忘れる。 正)sudo pip3 install -U youtube-dl 正)sudo pip3 install -U youtube-dl 誤)sudo pip…

桜を見る会(公職選挙法違反+公金横領)疑獄追及のきっかけになった国会質問映像から画像を切り出す

内閣総理大臣 安倍晋三 主宰の「桜を見る会」が厳しく追及されている。「公職選挙法違反」「公金横領」の疑いがあるのだから当然だ。 そのきっかけになった2014年11月14日の田村智子参議院議員(共産党)の追及があまりにも見事だった。 www.youtube.com こ…

メルカリで書籍「クローリングハック」を800円で購入する(Apple Payオンライン支払い)

久しぶりに「書籍でじっくり」読みたい技術書を発見。 JavaScriptだいぶ分かってきた+クローリングちゃんとやりたかったと思っていたところで、欲しかった情報が凝縮されている。 定価2,948円のところ800円。即ポチる。 しかもApple Payで買えるとは。 JCB…

大量のmp3ファイルに一括でアルバムアートを登録する(eyeD3)

iTunesでなくて、CDで買った曲をiPhoneの「ミュージック」アプリに入れて聴く。アルバムアートをつけるのが面倒(けど実は楽しい)と思っていたら、一括でアルバムアートを登録できるeyeD3なるコマンドがあった。 Macのbashで動くのが最高に良い。動きはこう…

#情報処理安全確保支援士 #セキスペ の解答速報をPython3で調べる(ツイートをタグ検索 )

昨日2019年10月20日の情報処理試験の解答速報情報をツイッターで集める。 以前作ったツイッターのAPIを叩くPythonスクリプトでタグ #情報処理安全確保支援士 ないし #セキスペ のツイートを探すことにする。 min117.hatenablog.com $ ./getTW02_キーワードサ…

fedora 30 コマンドラインからスピードテストを行う(sudo yum -y install speedtest-cli)

コマンドラインからスピードテストしたい。インストールしなくてもcurlでできるみたい。 askubuntu.com $ curl -s https://raw.githubusercontent.com/sivel/speedtest-cli/mar/speedtest.py | python - Webでやるスピードテストよりかなりシビアな印象。 で…