データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac

巷には今、「働き方改革」とともに「RPA」という言葉が台頭し始めている。RPAは「ロボティック・プロセス・オートメーション」のことで、普段の業務を自動化してくれるソフトだという。 こんな説明がなされているが、これまでプログラミングに触れてきた人にとってはやや疑問が浮かぶのではないだろうか。「Excelマクロやバッチと何が違うのか」と。 例えば、RPAの動作説明でよくあるのは「ファイルをゴミ箱に捨てる」という操作だ。RPAソフトがファイルをゴミ箱にドラッグ＆ドロップするという操作だが、ファイルを削除するのが目的なら、Windowsであれば「del hogehoge.txt」と書いたバッチファイルを実行すれば済む話だ。「del *.txt」とすればフォルダ内のテキストファイルを一網打尽に消すこともできる。 Webブラウザの操作であれば、「Node.js」や「Selenium」などですでに自動化

毎年恒例、Pythonの本と学び方のまとめ・2019年バージョンとなります. ※2021/1/11更新：2021年版あります ※2020/1/9更新：2020年版もあります, こちらもよろしくおねがいします！ ※ちなみに昨年版はこちら 改めましてこんにちは、Pythonと野球を仕事にしています、@shinyorke（Python歴おおよそ8年）ともうします. なお、Python その2 Advent Calendar 2018 12/24記事でもあります. このエントリーはそこそこ長いので、「最初の方をサクッと読んで、残りはつまみ読み」してもらえると良いかもです！*1 ※もちろん全部読んでも構いません！（それはそれで嬉しい） サクッとまとめると 入り口としての「独学プログラマー」は万人が読んだほうが良い名著 データ分析・解析やりたい人も、Webからやっておくと良いかも（特に前処理） Web

転職・就活情報から未経験向け求人や動画学習まで、IT／WEBエンジニアに特化した総合求職・学習サイト「paiza（パイザ）」。 プログラミングスキルチェックを提供し、学歴や職歴ではなく「技術がある人」が評価され、活躍できる社会の実現を目指したサービスを提供しています。

本来、DM200には印刷できないワープロのような機能しかないのですが、これによってかなりの自由度を獲得できたことになります。 ※Caps Lockはポメラ側でもLinux側でもCtrlに変更できます 上記のページの通りにインストールを済ませると、SDカード上のDebian Linuxが起動できるようになります。Linuxの動作の安定感は実験レベルを超えて実用的です。 ※Caps Lockはポメラ側でもLinux側でもCtrlに変更できます SDカード上のDebian Linuxが起動できても依然標準のポメラの機能の素晴らしさは際立っているため、両者を連携して使う感じになる（同時に使えるのでなく、両者を起動し分ける）のですが、それが何とも楽しい。 工夫の余地のある文具が欲しいという人の目には、このDebian Linux on DM200は魅力的に映るかもしれません。 今回は、そんなDebi

- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

タイムマネジメントは仕事をする上で欠かせないスキルの一つである。仕事だけではなく、限られたプライベートの時間を満喫するためにも威力を発揮する。だが、自分が何にどれぐらいの時間を投入しているのかというのは、意識的に計測し、定期的に振り返らない限り、ほとんど認識することはできないだろう。「このぐらいだろう」と心のなかで思っていても、実態とかけ離れている可能性が大きい。そこでこのブログでは、タイムマネジメント関連の記事をいくつか公開してきた。 タイムマネジメントを極めるための、タイムログアプリの極め方 - toricago 『鬼速PDCA』を読んだ結果、頭がスキンヘッドになりそうになった話 - toricago 上記の記事の主な内容は、タイム管理アプリのTogglを使って、日々記録を行い、週ごとに、月ごとに蓄積したデータを分析することで、どんどんタイムマネジメントスキルを向上させるとともに、日々

2020/02/01 追記 [コード付き]誰も知らない関連銘柄を、機械学習を使って素早く見つける こちらに最新の結果を載せました！ 気づいたんですけど、私みたいな貧乏人はショッピングモールでおしゃれなゴミをせっせと買い漁るんですが、お金持ちの人って株を買うらしいんですよね。 考えてみれば貧乏人が欲しがるものって、百均のちょっとしたものから家や車やバイクやゲーム機など、買ったらお金が減るものばかりなんです。 それに比べて、お金持ちが買うものって、株や投資用の土地や、リスクこそあるものの貧乏人が欲しがらないわりに買ったらお金が増える可能性のあるものばかりなんですよねー。 これは悔しい！休日になるたびにせっせとショッピングモールにお金を運んでゴミを買い漁ってる自分を見てお金持ちはきっと笑っているに違いない！いやお金持ちには自分のような人間は視界にすら入らないのか、これはさっそく株を買わないと！と

計算は、慣れない人のアタマには負担だが、規則通りに進めていけばいいという利点がある。 たくさんの要素を扱ったり、複雑に込み入った推論を進めることもまた、人には負担の大きい作業だが、計算の形に変換することができれば、途中過程を規則的な繰り返し作業に置き換えることができる。たとえば機械に手伝ってもらえる。 今回、紹介するのは、数値化／統計的処理が難しい事象や、質的研究について、計算＝演算の力を導入するとどんなことができるかという一例※である。 ※　続くかどうかわからないが Sociology on Pythonシリーズの第一弾でもある。 ブール代数アプローチ(boolean algebra approach) ブール代数アプローチは、 Ragin(1989)によって、真理表とブール代数に依拠した比較分析の手法として、質的比較分析(Qualitative Comparative Analysi