2023年版データ分析の100冊 - Qiita
【データ分析の必読10冊+差をつける10冊＋100冊超】データサイエンス、データ分析、機械学習関連の本がご好評いただいてましたが古くなりごちゃごちゃしているので新たに作り直しました 本記事のめあて IT系の技術者の方がデータ分析関連の仕事をするために役立つ本を紹介する（私が学び始めた時にあれば欣喜雀躍したであろう）記事として書いております。 本記事作者の青木はバイオインフォマティクス（ゲノムデータのDB化中心・Perl・MySQL）からRで時系列分析→Pythonでデータ分析一般と業務をしてまいりました。 ですので研究者目的の本はありません。また、データ分析の基礎は主にRで学んだのですが、昨今の流行に合わせてPython本を中心に、Rの本は参考程度にしています（本記事のR版のご要望があれば爆裂書きます！） こういうリストをあげる奴は大抵読んでいない、と過去にも言われたのですが、ほとんど読ん
リッジ回帰とラッソ回帰の理論と実装を初めから丁寧に - Qiita
はじめに 前回の記事で重回帰分析の導入をしてみたので、今回はその続きということで、2つ同時にやってみたいと思います。 ベクトルの微分公式については下記のブログが参考になります。 もしこの記事がお役に立てた時はQiitaのイイねボタンを押していただけると励みになります。 参考記事 「ベクトルで微分・行列で微分」公式まとめ 重回帰分析 リッジ回帰について考える際に、重回帰分析の理解はマストになるのでここでも見ていこうと思います。式変形については、前回の記事で詳しく導入したので少しだけ端折っていきます。 準備 説明変数$x_1, x_2, x_3, \cdots, x_m$を$\boldsymbol{x}$（$x$のベクトル）とする 予測値を$\hat{y}$とする（$\hat{y}$はスカラー） 回帰係数を$w_1, w_2, w_3, \cdots, w_m$を$\boldsymbol{w}
PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか？ 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ＆ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
次元の呪いについて - Qiita
この記事について 以下の観点から高次元空間の性質についてまとめます。 次元数と最近傍・最遠傍との距離の関係 データ数と最近傍・最遠傍との距離の関係 人工データと実データの比較 はじめに 機械学習を使って何らかのタスクを解く上で、データの次元数は常に気にする必要があります。なぜなら、機械学習で扱う多くの問題はデータの次元数が大きくなるごとに難易度が跳ね上がるからです。 「次元の呪い」とも呼ばれるこの問題の原因は、高次元空間の性質にあると言われています。 データの次元数を大きくすると、私達の直感に反する興味深い挙動が確認できます。今回は、高次元空間の性質を簡単な数値実験で調べてみました。 次元の呪いとは データの次元数が高次元になると、データが空間の外側に集中して分布する現象です。 高次元空間の直感的な理解のためには下記が参考になると思います。 次元の呪い、あるいは「サクサクメロンパン問題」
統計初心者が統計モデリング力を鍛えるための勉強法 - Qiita
以前、『結局、統計モデリングとは何なのか』という記事を書きました。 この記事は、その名の通り、「そもそも」何が統計モデリングで、何が統計モデリングではないのかということを扱った記事です。 今回は、「統計モデリングとは何か」を理解した方に向けて、実際に「統計モデリング力」を鍛えるためにはどうするかを書いていきたいと思います。 この記事の目的と対象者 上記でも述べたようにこの記事の目的は、どのように「統計モデリング力」を鍛えるかを書くことです。 統計学に入門するところから、高度な統計モデルを扱えるようになるまでの勉強法について書いています。 したがって、統計初心者からそれなりに理解している人までの幅広い層が想定読者となります。 ところどころで、プログラム言語で実際に手を動かしながら学ぶタイプの本を紹介することもありますので、そういった本を読むためにはPythonまたはRの知識が必要になります。
分析関数（ウインドウ関数）をわかりやすく説明してみた
はじめに ちょっととっつきにくいけどとっても便利な分析関数について、なるべく分かりやすく説明してみようと思います。Oracleを対象にしていますが、他のDBでもたぶん似たようなものでしょう（無責任）。 まず分析関数とは何をするものか、ですが、一言で言うと集合関数と同じ集計動作をそれぞれの行に制限範囲で実行するものです。ここでいう集合関数とは、MAXやSUMやAVG等、GROUP BYと共に使い行をまとめるて集計計算する関数ですね。分析関数は集合関数と同様の計算をしますが、集合関数と違い行をまとめません。それぞれの行で集計計算し結果を返します。ここが集合関数との大きな違いです。 また、集合関数ではGROUP BYの同じカラム値をもつ全行を一つに集計しますが、分析関数では集計対象となる行の範囲を任意で指定できます。関数に続くOVER句でこの範囲指定を行います。集合関数と分析関数は基本同じ名前な
ゼロからのディープラーニング(フォワードプロパゲーション編) - Qiita
はじめに DeepLearningを学び出してから2週間ほど経ちました。そろそろ学んだことが頭から零れ落ちる音がしてきたので、整理がてらにアウトプットしたいと思います。今回から複数回に渡ってDNNを構築していきます。今回はフォワードプロパゲーション編です。 作成するDNNについて 画像が猫である(1)かそれ以外である(0)かを判定するネットワークを構築します。 使用するデータ 209枚の画像をトレーニングデータとし、50枚の画像をテストデータとして使用します。それぞれの画像のサイズは64 * 64です。 Number of training examples : 209 Number of testing examples : 50 Each image is of size : 64 * 64
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
Athena Workgroup小ネタ - Qiita
はじめに 2019/2/18にAthenaのWorkgroup機能がリリースされました。 https://aws.amazon.com/jp/about-aws/whats-new/2019/02/athena_workgroups/ Workgroup機能のまとめると以下になります。 Workgroupに対してクエリ上限を設定可能 Workgroup単位でスキャン量などのメトリクスが取得可能 Workgroupnに対してタグ付け可能でコストアロケーションタグとしても使用可能(Workgroup単位でのコスト管理が可能) 使い方 Workgroupの作成 WorkgroupにアクセスできるようににIAMポリシーを修正する。 https://docs.aws.amazon.com/athena/latest/ug/example-policies-workgroup.html#example
Shapを用いた機械学習モデルの解釈説明 - Qiita
Shapとは Shap値は予測した値に対して、「それぞれの特徴変数がその予想にどのような影響を与えたか」を算出するものです。これにより、ある特徴変数の値の増減が与える影響を可視化することができます。以下にデフォルトで用意されているボストンの価格予測データセットを用いて、Pythonでの構築コードと可視化したグラフを紹介します。 Shapの概要図 モデルの構築 XGBoostを使用します。 import xgboost import shap X,y = shap.datasets.boston() X_display,y_display = shap.datasets.boston(display=True)
LIMEで機械学習の予測結果を解釈してみる - Qiita
初投稿です 追記(20171031) HTMLを出力する際のエンコードがasciiだったため日本語が文字化けしていましたが、UTF-8をサポートするようになったようです！ 下記に文字化け対策の文章がありますが、読み飛ばしていただければ幸いです。 導入 セクシーなデータサイエンティストの皆様におかれましては、日々の業務で様々な機械学習のモデルを構築しておられるかと思います。それは例えば、あるサービスのユーザ情報を用いてコンバージョンするかしないかを予測していたり、またある時は年収を回帰で予測していたり、またあるときはユーザが投稿した画像情報についての二値分類やテキストデータについてのネガポジ分類をしていたりすることでしょう。 これらにつきものなのが、この予測モデルを実装する際の関係者への説明です。このモデルはどうしてこのような結果を出しているのか、なんでこのユーザは低い年収だと判定されている
【SinGAN】たった１枚の画像から多様な画像生成タスクが可能に - Qiita
はじめに 本記事はDeep learning論文紹介のAdvent Calender 2019の6日目の記事です。 本記事ではコンピュータビジョンのトップカンファレンスであるICCV2019でBest paperに選ばれたSin GANの論文について紹介し、公式のGitHubを色々触ってみようと思います。 SinGANは１枚の訓練データのみを学習に用いるので、気軽に画像生成を試すことができます(画像サイズにもよりますがGoogle colabratoryのGPUでおよそ1~5時間程度)。後半ではGoogle Colabratoryを用いて実際に画像生成を行っているのでぜひ試してみてください。 【SinGAN公式】 ・arxiv ・Github 【Qiitaの記事】 ・【論文解説】SinGAN: Learning a Generative Model from a Single Natura
エンジニアがGoogle Analytics,Google DataPortalに30minで入門 - Qiita
はじめに (この会社からは)はじめまして！ 株式会社マクアケにて、SESでサーバサイドエンジニアをやっているasazumaと申します。 Google Analyticsだけだと分かりづらい部分も、Google DataPortalを使うとGoogleのマーケティングツール全般がエンジニア脳で理解出来る様になるよ！という内容になります。 Web系のサーバサイドエンジニアをやっていると、サーバサイドアプリケーションの設計/コーディングの他にも、時にフロントエンド、時にインフラ、時にマーケティングといった感じで、結構マルチな世界に足を踏み入れる事になる方が多いのでは無いでしょうか？ その時、「非エンジニア向け」「非プログラマ向け」と言われると、なにか門前払いを食らった様な悲しい気持ちになりますよね(笑) そんな訳で、今回は特に「非エンジニア向け」の多い分野であるマーケティングの、特にGoogle
巷でうわさの Cloud Dataprep を実際に試してみるの巻 - Qiita
こんばんは！最近 Google Home を買っていろいろ試してる @wezardnet です。自分的には、（音質は悪くないと思うので）ワイヤレススピーカーとして利用しても十分元は取れたかなっと思ってます ウチにも Google Home が来ましたよ！ 会社にも置いてあるけど、一部の人達しか自由に使えないので自分で買う事にしたわ 🤧 pic.twitter.com/DplKZIpzln — wezardnet (@wezardnet) 2017年11月1日 さて、今年こそは Advent Calendar に参戦しようとネタを考えてるうちに埋まってしまいました。ネタはカレンダーに登録してから考えた方が良さそうですね、失敗したわ... というわけで、今回は通常の投稿になってしまいますが、うわさで聞いた Google Cloud Platform(GCP) の Cloud Dataprep
AWS Kinesis Streams + Spark Streamingでストリーム処理を試してみた - Qiita
はじめに 今後はストリーム処理の時代がくるはずです。たぶん。そんな気がします。 というわけで、適当なデータ発生を発生させて、Kinesis Streams＋Spark streamingでストリーム処理を体験してみました。 Spark 2.0.0 (EMRを利用） Kinesis Streamsとは 昔は単にKinesisと呼ばれていましたが、後からKinesis FirehoseとKinesis Analyticsが追加されたため、Kinesis３兄弟のうちの１人と呼ばれています。 大規模でスケール可能で、メッセージが一定時間保存されるPubSub型キューのことを指します。 つまり、データを発生させるProducer相当と、後段の処理であるConsumer相当を作成する必要があります。 Spark Streamingとは 大規模データ分散処理フレームワークのApache sparkのライ
アプリでまなぶNN：動かす人工知能ーテンソルフロープレイグラウンド - Qiita
直感的にニューラルネットワークの仕組みを理解してみましょう。 深層学習とかニューラルネットワークとか、人工知能という言葉が世間で飛び交っています。いったい、これらがどのようなものなのかを理解したいと思っている人は多いのではないでしょうか？でもプログラミングの知識もなければ、ITの知識もないという人には高いハードルのように感じられます。そのような人のために、テンソルフロープレイグラウンドというツール、アプリが用意されているのをご存知ですか。 ブラウザーを開いてつぎのURLを開いてみてください。 つぎのような画面が現れます。 これはニューラルネットワークを学ぶための学習ツールです。ニューラルネットワーク・シミュレーターとでも呼んだらいいのでしょうか？ この場合には、入力データは$X_1$と$X_2$が選ばれています。また出力はサークルが描かれています。青い点が円形に、赤い点がそれを取り巻く輪と
政府の事業支出データ(Judgit)を使って、事業施策をベクトル化する - Qiita
TL;DR; ・Judgitというサイトで各省庁の事業支出状況が可視化されている ・そのデータを用いて、事業施策・省庁・部局・支出先のグラフを作った ・グラフ埋め込みを行い、事業施策たちをベクトル化した。類似してる事業施策などを検索できるようにした ・使い道をいろいろ考えたい Judgitについて 7/11にJudgitというサイトが公開されました。複数の団体で運営されているようで、政府が公開している資料をデータベース化して税金の使い道を検索できるようになってます。 【みんなで調べよう！】 大勢の人が来れば来るほど、政治や行政が良くなるサイト、税金の無駄遣いが減るサイトができました！ 日本の予算をデータベース化しました。税金の使い方を調べてみてください。#ワセクロ #構想日本 #vdslab #Visualizing #税金 #予算 #judgithttps://t.co/2AQaGPeE
文章からダジャレのみを抜き出すコマンドを作ってみた - Qiita
kagomeを使うと、こんな感じで文章が分解され、「読み」や「品詞」が分かります。 ②文中に名詞と同じ「読み」が登場する回数を調べる kagomeで「読み」や「品詞」が分かったので、文章の中にある名詞と同じ「読み」が何回登場するか数えます。 例えば、 猫が寝転んだ という文章は ネコガネコロンダ という読みになります。 そして「猫が寝転んだ」という文の中には「猫」という名詞が含まれていますので、「ネコガネコロンダ」の中に「ネコ」が２回登場することが分かります。 ③文中に名詞と同じ「単語」が登場する回数を調べる もう②だけでダジャレ検出ができるようになった気になっていませんか？ 実はこのままでは欠陥があります。 人民の人民による人民のための政治 や 靴を靴箱に入れる がダジャレ扱いされてしまいます。 こんなものダジャレとは言えません。ダジャレをなめてます。 この程度の重複で「今ダジャレ言った
線形重回帰を本当はPythonで解きたいけど表計算で解けと言われたので - Qiita
線形回帰を本当はPythonで解きたいけど表計算で解けと言われたのでの続編です。 用いるデータ 今回も分子性物質のデータ（融点・沸点）を使います。前回は分子量だけを使って沸点を予測しようという無理ゲーでしたが、今度は分子量だけでなく双極子モーメントも使って沸点を予測してみましょう。 import pandas as pd data = [['HF', 19.5, 20.0, 1.826567], ['HCl', -84.9, 36.5, 1.1086], ['HBr', -67.0, 80.9, 0.8271], ['HI', -35.1, 127.9, 0.4477], ['H2O', 100.0, 18.0, 1.8546], ['H2S', -60.7, 34.1, 0.978325], ['H2Se', -42, 81.0, 0.627], ['NH3', -33.4, 17.0,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonを用いた統計的仮説検定、信頼区間推定方法まとめ - Qiita
