pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
【11次元のベン図】あなたは本当のベン図をまだ知らない - プロクラシスト
こんにちは！ほけきよです。 ベン図ってご存知ですか？ 高校1年か2年くらいで習う、集合を表す図です。 文系が高校数学において、唯一社会人になっても使う理系の図かもしれません。 どのくらい大事かというと、このように、「会議でスマートに見せる100の方法」の第1項目にあげられるほど重要です。 (出典)会議でスマートに見せる100の方法 ベン図を制してこそ、会議を制することができ、また出世街道を制することができると言っても過言ではないのです。 しかし、この図のように本当に, つまりたった2つの集合のベン図を書くだけで頭が良いと言えるでしょうか？？ 今回は、3つ以上のベン図を紹介します。これを書くことで、真の会議の王者になりましょう！ n=2 n=3 n=4 n=5 美しいベン図はどこまで書くことができるの？ n=7 美しいベン図のフロンティア、n=11 終わりに n=2 基本の型ですね。ベン図で
知識0だった僕がデータ分析をこれまでどう学び、これからどう使うのか - プロクラシスト
長かったデータ分析ガチ勉強カレンダーも最終日*1。 自分のこれまで歩いてきた道を軽く振り返ったあと、自分が思う機械学習/データ分析のあり方について書き連ねたいと思う。あくまで一つの価値観として楽しんでもらえればと思います。 データ分析って何？状態から やったこと わからないところを聞くレベルに達するまで わからないところが分かるようになると アルゴリズムをどう理解したか。 自分が思う、これからのデータ分析 良いデータが集まるところに価値が生まれる 実務のデータ分析は高い精度よりも低コストと高い説明能力 データ分析はトップダウン あくまで人間の補助、人間とのシナジーを考える まとめ データ分析って何？状態から データ分析業務を行うにあたって、まずはじめの難関は、言葉の壁だった。ほぼコンピュータと無縁の世界で生きてきた私は、「Linuxって何？Vimって何？」っていうのを毎日繰り返していた。
Pythonでゼロから機械学習/データ分析を学ぶためのサイトマップ - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 24日目。 当サイトでも、Pythonを使ったデータ分析や機械学習について、勉強しながらそれをアウトプットとして出すと言うかたちで、何個も記事を書いてきました。 記事数で言えば50とかそのくらいあるような気がします。 カレンダーも完成しつつあるので、個々では当サイトの総まとめとして、機械学習やデータ分析に触れたいという人がゼロから始めて触れられるように、記事をまとめていきたいと思います。 何か面白いことを勉強したい学生、就職までの勉強に、急に機械学習を使わなければならない社会人方々は、読んで見てください。 0. 環境構築 0.1. Pythonの導入 (Anaconda) 0.2. エディタ (Pycharm/VSCode) 0.3. バージョン管理 (Git) 1. Pythonの使い方(基本ライブラリ) 1.1. 数値計算 : numpy 1.2
【Day-16】ニューラルネットを0から作り、仕組みを基礎から理解する - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 16日目。 今日からは少しディープラーニングの勉強。 ここ数年間、深層学習用ライブラリも猛烈に整備され、誰でも簡単にディープラーニングを使えるようになりました。 その一方で、整備されすぎて、魔法の箱だという認識も多いですよね。 けれど、深層学習と言えど、しているのはほとんど線形代数と微積分を組み合わせた数値計算です。 だったら自分で作れるのでは？ というわけで、仕組みを理解するために、0からスクラッチで作ることにしました。 尚、勉強にはプロフェッショナルシリーズの深層学習を利用しています。 爆速で技術が進む深層学習界隈では少々obsoleteかもしれませんが*1、きちんと基礎の基礎を知るにはいい本だと思います。詳しい計算方法を学びたい人は、どうぞ。(線形代数と偏微分の知識が必要です。) 深層学習 (機械学習プロフェッショナルシリーズ) 作者: 岡谷貴
【Day-14】株価や仮想通貨で使える、5つのテクニカル分析を解説&Pythonで実装してみた - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 14日目。 時系列データでまず思いつくのは、株価のチャートですよね。 また、最近はやっている仮想通貨。私も最近coincheckに入金しました。 ビットコイン取引所 "coincheck" やっぱ、実際にお金が絡むとちゃんと勉強しようって言う気になる！笑 せっかくチャートを見るわけだし、その見方について勉強しておこうと思いました。 そしてせっかくなので、自分で実装してどういう仕組みなのかまで知っておこうと思いました。 理系だからね、分からないものを使うのは嫌だからね。 というわけで、Python(主にPandasとMatplotlibを用いながら)でテクニカル指標についてやっていきます。扱うデータは三年分の日経平均株価。 指標について知りたい人も、自分で実装してみたいという人もどうぞ。 テクニカル分析とファンダメンタル分析 実装において ローソク足
【Day-11】機械学習のチートシートを眺めたり、比べてみたり - プロクラシスト
データ分析ガチ勉強アドベントカレンダー 11日目。 モデルを選び、試行錯誤しながら作っていく、そんな過程まで勉強してきました。 実装寄りの内容になったので、ここで一度機械学習界隈を俯瞰してみようと思いまして、調べると出てくる有名なチートシート Machine Learning Cheat Sheet (for scikit-learn) Microsoft Azure Machine Learning Cheat Sheet について、ここでまとめておきます。 用途ベースのMicrosoft Azure Machine Learning Cheat Sheet データベースのMachine Learning Cheat Sheet (for scikit-learn) 両者の違い 見て判断できるようにしておく 分類 blobs 三日月形 クラスタリング blobs 三日月形 まとめ 用途ベ
【Day-5】Jupyterでできる！イケてるプレゼンスライドの作り方 - プロクラシスト
こんにちは、ほけきよです。 MSのツールの中でも、パワポだけは優れたツールだと思っているんですよ。 けれど、せっかく技術者ならば、そこら辺も新しいツールを使ってみたいものです。 最近エンジニア界隈では、reveal.jsを使ってHTMLでプレゼン資料を作っているのをチラホラと見かけます。 あれ、かっこよい。。。 なので、今回は、Jupyterでプレゼン資料を作る方法`をまとめておきます。 jupyterをスライドにする(利用編) インストールと設定 使い方 実行 出力 アップロード ブログ等htmlで埋め込む まとめ jupyterをスライドにする(利用編) RISEをつかう。 インストールと設定 コマンド側はたったこれだけ。簡単、超簡単 pip install RISE jupyter-nbextension install rise --py --sys-prefix jupyter-
【数学】旧帝戦数学部門が話題だったので、解いてみた - プロクラシスト
こんにちは、ほけきよです！ なにやら怪しい大会が京都大学で繰り広げられていたようです。 サイバー横に謎の宝箱とタイマーが… 問題解けってこと？ 旧帝で競ってるん？？ 誰か解いてくれーーー！！！#旧帝戦数学部門 pic.twitter.com/agTA6sKX7k— 阪大生のエンタメメディア OUlife (@OU_life) 2017年6月22日 こういうの、面白いですよね。というわけで、解いてみました。 ※手書きです。スミマセン。。。笑 画像は先程のツイートより引用 問題 問題はコチラ。 1. 積分 2. 暗号 3. 幾何 回答 1. 積分 記号の意味を理解することがカギです！ 回答はコチラ ちなみに最後の図は面積を可視化したものです。整数部分は階段状に現れるので、それを引けば良い！ってことですね。 2. 暗号 少ない情報量からいかに有用そうなものを推論出来るかがカギです！ 回答はコチラ
【ReLU, PReLU, シグモイド etc...】ニューラルネットでよく使う活性化関数の効果をKerasで調べてみた - プロクラシスト
こんにちは、ほけきよです！ Kerasは簡単に実験ができて便利ですね！今回は、Kerasを使って活性化関数が実際の精度に与える影響を調べてみます。 使用するデータ : MNIST 使用するライブラリ : Keras Kerasの動かし方とかわからない人はこの記事を参照！ www.procrasist.com 指標 training : データを学習する validation : 学習データの一部を抜き取って、各エポック毎にテストをする(過学習チェック) test : テストデータで精度をチェック(始めから分けておく) 基本的に学習時の精度の上がり方を見たいという時は、trainingとvalidationを見る(testは最後に試す用のものなので使えない) 今回は、training dataでの正解率(accuracy)とvalidation dataでの正解率について各epochごとにど
ニュータイプのブラウザ『VIVALDI』が便利すぎ。Chromeから乗り換えも辞さない！ - プロクラシスト
こんにちは！ほけきよです。 ウェブブラウザ、みなさんは何を使っていますか？ IE, Opera, Firefox, そしてGoogle Chrome … いろいろなブラウザがありますね。 今回は、そんな中でも、まだ馴染みがない、 けれど超絶使いやすく、超絶便利なブラウザ、その名も 『VIVALDI』 を紹介します！！ VIVALDIとは インストールしてみる VIVALDIのここが凄い！！ まずはチュートリアルを見よう 煩雑なtabから開放！tabstack ブラウザ内でページ分割！tiling お気に入りにノートにパネル！多彩なブックマーク ノート webパネルの追加 自分色に染めろ！VIVALDIの本質は個人設定にあり。 クイックコマンドで大体何でもできる おわりに VIVALDIとは Vivaldiは自由で、思う存分カスタマイズができるWEBブラウザです。豊かでパワフル、安全性もあり
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
