並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 127件

新着順 人気順

dataScienceの検索結果1 - 40 件 / 127件

  • 「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary

    データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 (最速・最短ルート用) まずは動かしてみよう。強くてニューゲームが体験出来るぞ! 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入

      「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary
    • ブラックフライデー&サイバーセール開催! Udemyでは何を買う? 編集部の2021年イチ押しトピック10選 - はてなニュース

      新型コロナウイルスの影響で、リモートワーク(テレワーク)やオンラインでの学習といった働き方・学び方の大きな変化は2021年も続いています。そんな2021年もあとわずか。やり残したことや学び残したことはありませんか? オンライン学習プラットフォーム「Udemy」では、2021年11月19日(金)~2021年12月1日(水) の間、年間最大のセール「ブラックフライデー&サイバーセール」 を開催します! 対象の講座がなんと1,200円から購入可能になります。 ブラックフライデーセールは11月19日(金)~11月26日(金)、サイバーセールは11月29日(月)〜12月1日(水)の開催です。11月27日(土)〜11月28日(日)はセール対象外なので、ご注意ください。 講座は買い切りなので、おトクなこの期間に気になる講座を購入しておいて、時間ができたときに自分のペースで学んでみるのもいいかもしれません

        ブラックフライデー&サイバーセール開催! Udemyでは何を買う? 編集部の2021年イチ押しトピック10選 - はてなニュース
      • データ分析のはじめの一歩を無料で学べる 総務省監修の高校教材『データサイエンス・データ解析入門』がpdfで公開 | Ledge.ai

        サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

          データ分析のはじめの一歩を無料で学べる 総務省監修の高校教材『データサイエンス・データ解析入門』がpdfで公開 | Ledge.ai
        • データサイエンスを無料で勉強できる教材6選 | Ledge.ai

          サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

            データサイエンスを無料で勉強できる教材6選 | Ledge.ai
          • 世界で74万人以上が受講した海外講座を“日本語で”学ぼう! Udemyで初夏のビッグセール開催&大人気講座をチェック - はてなニュース

            多くの企業から「人手不足だ」という話が聞こえてきます。なんでも、新しいビジネスを始めようとしたり、新規サービスを立ち上げようとしたり、はたまた事業規模を拡大したり、ということで人材を募集しても、なかなか集まらないんだとか。それも、大企業からスタートアップまで、会社の規模の大小や領域に限らず、ありとあらゆる分野の企業が当てはまっています。 特にIT業界は、ただでさえ業界全体が成長しているうえに、技術の進歩と陳腐化が激しいため、基礎的な技術や知識を持ちながら、新たな情報やトレンドもフォローしているようなエンジニアは、引く手あまた。さらに最近では、エンジニアでなくてもビジネス分野で活躍するためには、データを扱うことができる高度な知識と経験が求められるケースが増えてきていることもあって、人手不足に拍車が掛かっているのだそうです。 そんな社会の中で、自分を成長させ、新たな分野に踏み出していくためには

              世界で74万人以上が受講した海外講座を“日本語で”学ぼう! Udemyで初夏のビッグセール開催&大人気講座をチェック - はてなニュース
            • システムの応答速度は本質的な価値提供であることを示す A/B テストの実例

              2021-08-13 内容システム提供において、基本的に高速であればあるほど顧客は嬉しいものだが、実際のところ高速なシステムを提供して、どの程度の価値が発生するのかが気になったので、調べてみた。 2021/08/14 追記A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは の書籍で同様な事例が紹介されているとのこと。情報提供ありがとうございます。実務でA/Bテストに向き合った人間であれば必ず一度は考えたことのあるトピックについて、アメリカのテックカンパニー(Airbnb, Google, LinkedInなど)勤務の著者らが国際会議で発表された研究もちゃんと引用して見解を述べており説得力がある。 従って、現時点における最高レベルの意思決定をデータ(A/Bテスト)に基づいて行いたいと思うなら、一度は目を通しておくべきであり関係者必携だと思う。 ※個人的には”Webサービスのレ

                システムの応答速度は本質的な価値提供であることを示す A/B テストの実例
              • ソフトウェア工学を学びにアメリカへ - pco2699’s blog

                はじめに お世話になった方々への謝辞 参考にしたブログ・その作者の方への謝辞 私のスペック なぜ米国大学院を志したのか まとまった時間でCS、エンジニアリングの勉強をしたかった 英語で学ぶという経験をしたかった アメリカで働いてみたかった ソフトウェア工学修士とは何か 計算機科学修士とソフトウェア工学修士の違い 大学院の選び方 専攻 何を専攻するか 研究するか?しないか? 授業料 おわりに Appendix: そのほか参考になる記事 はじめに こんにちは、一昨年からアメリカの大学院への入学を目指し勉強してきました。 結果、アメリカのピッツバーグにあるカーネギーメロン大学のソフトウェア工学修士課程(Master of Software Engineering)から合格通知をいただき、今年の8月からアメリカに行くことになりました。 合格通知をいただいたのは昨年の3月なのですが、仕事や家庭の事情

                  ソフトウェア工学を学びにアメリカへ - pco2699’s blog
                • Docker入門して機械学習環境構築 - karaage. [からあげ]

                  機械学習の環境構築のために今更ながらDocker入門 最初に、この記事の対象者は、私のように趣味で機械学習しているエンジョイ勢や学生さん、初心者が対象です。インフラなど本職での運用などは全く想定しておりませんので、ご承知おき下さい。詳しい方は色々教えていただけると嬉しいです、それか生暖かく見守っておいて下さい。 というわけで、今更ながら機械学習の仮想環境としてDockerがとても優秀であることに気づいたので、Dockerに入門してみました。Dockerは何か?という基礎的な解説は、以下のさくらインターネットさんの記事が非常に分かりやすかったので、以下参照下さい。 仮想環境に関しては、Virtual Machine・Pyenv/Virtualenv等があり、今まで実際に試してきました。詳細は以下記事参照下さい。 これらに対するDockerとの違いを、自分なりにまとめた表が以下です(ざっくりと

                    Docker入門して機械学習環境構築 - karaage. [からあげ]
                  • エンジニアとして機械学習に携わった際にやっててよかった3つのこと - Lean Baseball

                    現職のコンサルっぽい仕事・インフラアーキなエンジニアな仕事も大好きですが, やっぱデータを見ると興奮するぐらいにデータ好きな人です. startpython.connpass.com 本日(2023/1/19), ありがたいご縁がありまして, 「機械学習エンジニアが目指すキャリアパスとその実話」というお話をさせていただきました. 参加者の方々, ご清聴ありがとうございました&参加されていない方も気になるポイントあればぜひ御覧ください. 1/19の #stapy で「機械学習エンジニアが目指すキャリアパスとその実話」なるトークをすることになりました, 自画自賛ですが思ったよりいい内容に仕上がった気がします, 機械学習とかデータサイエンティストとかのキャリアでお悩みの方に届くと嬉しいです, 来てねhttps://t.co/KHxAXYY5mr pic.twitter.com/eguUyEnfb

                      エンジニアとして機械学習に携わった際にやっててよかった3つのこと - Lean Baseball
                    • Visual Studio CodeでJupyter Notebookを動かしてみた | DevelopersIO

                      どうも、DA事業本部の大澤です。 Visual Studio CodeのPython拡張機能のJupyter Notebook用エディタを触ってみました。Jupyter Notebookと似たインターフェイスでスクリプトが実行でき、エディタのインテリセンスのサポートも受けられて便利そうだったので、今回はその内容をご紹介します。 Working with Jupyter Notebooks in Visual Studio Code やってみる Python拡張機能を有効にする Jupyter Notebookをネイティブサポートするエディタを利用するにはPython拡張機能を有効化する必要があります。有効化してなければマーケットプレイスから検索し、有効化しましょう。 Python - Visual Studio Marketplace Python の環境を選択する コマンドパレットからP

                        Visual Studio CodeでJupyter Notebookを動かしてみた | DevelopersIO
                      • 速いと噂のPythonのVaexについて詳しく調べてみた。 - Qiita

                        結構前にPandasやDaskなどよりも大分高速と話題になっていたPythonのVaexライブラリについて、仕事で利用していきそうな気配がしているので事前にしっかり把握しておくため、色々調べてみました。 どんなライブラリなのか Pandasと同じように行列のデータフレームなどを扱うことのできるPythonライブラリです。 Pandasと比較して膨大なデータの読み込みや計算などを高速に行えます(数十倍~数百倍といったレベルで)。 計算上のメモリ効率がとても良く、無駄の少ない実装になっています。 Daskのように計算が遅延評価されたりと、通常はメモリに乗りきらないデータでも扱うことができます。 Daskのように並列処理で計算を行ってくれます。 Pandasと比較的似たインターフェイスで扱うことができます。 この記事で触れること 主に以下のVaexのトピックに関して本記事で触れます。 インストー

                          速いと噂のPythonのVaexについて詳しく調べてみた。 - Qiita
                        • データサイエンティストはどこまでエンジニアリングをすべきか? | CyberAgent Developers Blog

                          AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス(以降DS)チームがあり、そこにはデータサイエンティスト・機械学習エンジニア(以降まとめてデータサイエンティストと呼ぶ)たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた

                            データサイエンティストはどこまでエンジニアリングをすべきか? | CyberAgent Developers Blog
                          • 【社会人学生AdC '22】日米研究室の違い: 日本の研究室で論文量産するの無理じゃね? - tkm2261's blog

                            お久しぶりですtkmです。昨年に続き、社会人学生AdC '22の12日目として日米研究室の違いについて話して行きたいと思います。もう流石に留学生活ネタは尽きてしまったので、そこは他の方のを見られるとよいかもしれません。 adventar.org 昨年の記事はこちら yutori-datascience.hatenablog.com *私の詳細な留学模様については過去の記事をどうぞ Ph.D.編入が決まったので入学からあったことを時系列で書いてみる - tkm2261's blog 米国大学院でCS修士について書いてみる - tkm2261's blog コネなし論文なし英語苦手なアラサーのおっさんだけど米国CS大学院入学に頑張ったので全てを晒す ー はじめに - - tkm2261's blog TL;DR: 日本の研究室は人が少なすぎる 煽った記事タイトルをつけましたが、別に日本の教授や

                              【社会人学生AdC '22】日米研究室の違い: 日本の研究室で論文量産するの無理じゃね? - tkm2261's blog
                            • 「PythonユーザーのためのJupyter実践入門」はPythonとデータサイエンスをする人の入り口だ - Lean Baseball

                              待望のJupyter本, 改訂版来ました! Pythonでデータサイエンスとエンジニアリングするマンとしてかなり待望していた「PythonユーザのためのJupyter[実践]入門 改訂版」がついに来ました.*1 改訂版 Pythonユーザのための Jupyter[実践]入門 作者:池内 孝啓,片柳 薫子,@driller発売日: 2020/08/24メディア: 単行本(ソフトカバー) ひと足先に読ませていただいたので, 「PythonユーザのためのJupyter[実践]入門 改訂版」はPythonでデータサイエンスする人にとっての入り口でおすすめの本である Pythonでデータサイエンスをやるなら, 「Pythonと慣れ親しむ」「機械学習に慣れる」「実践する」の目的に合わせて学習・実践したり本を読んだほうがいいよ という話をこのエントリーではまとめていこうと思います. なおこのエントリーは

                                「PythonユーザーのためのJupyter実践入門」はPythonとデータサイエンスをする人の入り口だ - Lean Baseball
                              • 傾向スコアを用いた因果推論入門~実装編~ - 下町データサイエンティストの日常

                                0. はじめに 1. 対象データ 2. 先に各手法の結果を確認 3.準備 4. 基礎集計~CMを見た人と見ていない人での目的変数の差~ 5. 因果推論の流れのおさらい 6. 傾向スコアモデリング 6.1 モデリング 6.2 テスト / コントロールの傾向スコアの可視化 6.3Rでの傾向スコアモデリングの実装 7. 傾向スコアマッチング 7.1 結構面倒なpython 7.2 R (Matchingライブラリ) 7.3マッチングの評価 8.IPW 9. ダブルロバスト 9.1 回帰モデル 9.2ダブルロバスト 10.Proximityマッチング 11.改めて、各種手法による推定因果効果のまとめ 12.まとめ 0. はじめに 理論編に引き続き、実装を行なっていきます。 pira-nino.hatenablog.com 実装はpythonとRの両方で行いました。 作業用のコードは以下のgithu

                                  傾向スコアを用いた因果推論入門~実装編~ - 下町データサイエンティストの日常
                                • 総務省、社会人データサイエンス演習が無料に 講師は松尾豊氏ら | Ledge.ai

                                  画像は『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 総務省は9月28日の14時から、実践的なデータ分析の手法を学習できるとうたう、データサイエンス・オンライン講座「社会人のためのデータサイエンス演習」を開講する。登録料および受講料は無料。 本講座では、ビジネスや行政での活用を想定しており、社会人や大学生に向けて、ビジネスや業務上での分析事例を中心に実践的なデータ分析(統計分析)の手法をわかりやすく解説するという。前提条件は表計算ソフトMicrosoft Excelの基本的な操作ができること。 『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 講師は、総務省統計局の會田雅人氏、総務省統計局の阿向泰二郎氏、株式会社電通の佐伯諭氏、東京大学の松尾豊氏、株式会社ブレインパッドの奥園朋実氏、株式会社ブレインパッドの今津義充氏、日本航空株式会社の渋谷直正氏、株式

                                    総務省、社会人データサイエンス演習が無料に 講師は松尾豊氏ら | Ledge.ai
                                  • 新資格「データサイエンス数学ストラテジスト」が9月21日から開始 機械学習やビジネス活用も問われる | Ledge.ai

                                    サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

                                      新資格「データサイエンス数学ストラテジスト」が9月21日から開始 機械学習やビジネス活用も問われる | Ledge.ai
                                    • 特徴量エンジニアリングと野球選手の成績予測 - 野球ではじめる機械学習 / Baseball Player Performance Prediction Using Feature Engineering with Machine Learning and Python

                                      PyCon JP 2020 8/28 「スポーツデータを用いた特徴量エンジニアリングと野球選手の成績予測 - PythonとRを行ったり来たり」登壇資料 https://pycon.jp/2020/timetable/?id=203110 #Baseball #SABRmetrics #Python #MachineLearning #Datascience #PyConJP

                                        特徴量エンジニアリングと野球選手の成績予測 - 野球ではじめる機械学習 / Baseball Player Performance Prediction Using Feature Engineering with Machine Learning and Python
                                      • 実務(CTR予測)と機械学習コンペの比較�

                                        Discovery DataScience Meet up (DsDS) #1 での発表資料

                                          実務(CTR予測)と機械学習コンペの比較�
                                        • 時系列予測モデルの実践論2 -昔のKaggleを事例に- - NRI Data Science BLOG

                                          Part2 特徴量エンジニアリング 前回の振り返り... パート1では、実践的な多変量時系列予測モデルを構築するためのアプローチを紹介し、過去のKaggleコンペティション のデータセットを用いて、ベースラインとなるSeasonal Naiveモデルを作成しました。 今回のパート2では特徴量エンジニアリングを扱います。 時系列データの特徴量エンジニアリング NRIデータサイエンスブログへようこそ!NRIのデータサイエンティスト、時系列予測プラクティスチームのSatyakiです。 パート2では、特徴量エンジニアリング、特に時系列のMLモデルのトレーニングに使用される特徴量について説明します。 ARIMAやExponential Smoothingなどの伝統的な時系列モデルと異なり、機械学習モデルはクロスセクションデータを用いて学習させるため、それぞれの学習用サンプルは独立していると考えられま

                                            時系列予測モデルの実践論2 -昔のKaggleを事例に- - NRI Data Science BLOG
                                          • なぜ新卒で世界銀行に入ったのか,という話 - 世界銀行で働くデータサイエンティストのブログ

                                            ブログを始めたものの自己紹介を一度もしていなかったので,新卒で世銀で働くまでの経緯などを今回はお話したいと思います。 今どこで何をやっているの? 現在,アメリカのワシントンDCにある世界銀行の本部のPoverty and Equity Global Practice(貧困解析部)に所属し,Short-term Consultantとして雇用され,研究のアシスタントやデータ解析をしています。2018年3月に修士課程を修了してから,世銀と契約,東京でリモートワークを始め,2018年8月から渡米し,現在(2019年5月)に至っています。 普段は一日中オフィスでRとPython (たまにSTATA)をゴリゴリ書いて,家計調査や国勢調査のデータ加工や機械学習などしています。 世界銀行本部 @ワシントンD.C. 学生時代は何の勉強してたの?何の修士号持ってるの? 慶應義塾大学の学部時代 (商学部) に

                                              なぜ新卒で世界銀行に入ったのか,という話 - 世界銀行で働くデータサイエンティストのブログ
                                            • Juliaを使いたいのに、環境構築に失敗してブチ切れたからDockerで優勝した

                                              こんにちは、優勝しました。 背景 Juliaを使おうとしたら様々な環境構築時のトラブルに見舞われました。終わりです。 使えるけどストレスなところ グラフの描画が遅い matplotlibと比較してしまう PyPlotが使えない -> ローカルPCのpyenvのせい Plotsを使うことにした グラフを描画しても画像に焼いてブラウザから見るしかなかった 困ったこと pkgのインストールにたまに失敗する すでに削除したはずのpkgが原因で実行時にエラーがこびりつく これらは全部ローカル環境でJuliaを使おうとしているために起こる問題です。原因解決するのも時間かかるし、将来的なことを考えてDockerを使うことを決意しました。 Dockerの構成 全部Jupyter Labに投げる方針です。Jupyter公式のイメージを持ってくるだけで、Python、Julia、Rが使えるらしいです。 Doc

                                                Juliaを使いたいのに、環境構築に失敗してブチ切れたからDockerで優勝した
                                              • RにはないPythonの文法・テクニック (演算子/for文/条件分岐 編) - 世界銀行で働くデータサイエンティストのブログ

                                                学生時代からデータ解析にはRをメインで使ってきました。Pythonについてはデータ構造やクラス/インスタンスなど最低限知っておくべきPythonの知識は学んだものの,細かい文法・テクニックなどについて詳しくなく,困ったときにはRのノリ + ググった付け焼き刃で乗り越えてきました。最近仕事でPythonを使う機会が段々多くなり体系的に学ぶ必要があると感じ,『Python 実践入門』と『Python言語によるプログラミングイントロダクション』*1など読み進めています。 Python実践入門 ── 言語の力を引き出し、開発効率を高める (WEB+DB PRESS plusシリーズ) 作者:陶山 嶺発売日: 2020/01/24メディア: 単行本(ソフトカバー) Python言語によるプログラミングイントロダクション:世界標準MIT教科書 作者:John V. Guttag発売日: 2016/05

                                                  RにはないPythonの文法・テクニック (演算子/for文/条件分岐 編) - 世界銀行で働くデータサイエンティストのブログ
                                                • Ph.D.編入が決まったので入学からあったことを時系列で書いてみる - tkm2261's blog

                                                  皆様久しぶりです、tkmです。 夏休みも始まって1ヶ月経ち、鬼のような3授業履修+研究から心身ともに癒えて来たので修士入学〜Ph.D.編入が決まるまであったことを可能な限り時系列で振り返ってみます。 以前のブログで支援お願いした手前、私の留学模様はコンテンツとして楽しんで貰らうべくTwitterで事細かに報告するようにはしていますが、やはりブログとして残しておかないと後から見た人とかは振り返りづらいと思うので、これを期にまとめようと思います。 あと夏の留学向け奨学金戦線も始まってきており、米国大学院への留学する人が少しでも現地の想像がしやすくなるように何でも書いて行きます 修士も受験したほうが良いよ! 振り返る前に、多分このブログを読む人は米国で大学院を考えている人が多いと思うので一言 「修士も受験したほうが良いよ!」 特にCSでの留学を考えている人は一応出しておいたほうが良いです。この分

                                                    Ph.D.編入が決まったので入学からあったことを時系列で書いてみる - tkm2261's blog
                                                  • 生涯イチ・エンジニア #とは - 正夢にしたあとの続きのはなし #devsumi 2020 / I want to be part of the Senior Engineer

                                                    生涯イチ・エンジニア #とは - 正夢にしたあとの続きのはなし #devsumi 2020 / I want to be part of the Senior Engineer 生涯イチ・エンジニアとして好きな技術でジャンプアップし続けよう - 夢のつづきはビッグデータで https://event.shoeisha.jp/devsumi/20200213/session/2420/ #devsumi #devsumiE #Career #Python #DataScience #Baseball #SABRmetrics #JXPress

                                                      生涯イチ・エンジニア #とは - 正夢にしたあとの続きのはなし #devsumi 2020 / I want to be part of the Senior Engineer
                                                    • 第59回TOP500の1位は米ORNLの1EFlops超えスパコン「Frontier」、Exa時代が幕明け

                                                      第59回TOP500の1位は米ORNLの1EFlops超えスパコン「Frontier」、Exa時代が幕明け 独ハンブルクにて開催中のHPCに関する国際会議「ISC2022」に合わせて、第59回目(2022年6月版)となるスーパーコンピュータ(スパコン)の性能ランキング「TOP500」が発表された。 それによると、トップは米ORNL(米オークリッジ国立研究所)に設置された次世代スパコン「Frontier」で、LINPACK性能は1102PFlops=1.102ExaFlopsで、ついにエクサスケールスパコンが実際に登場することとなった。 FrontierスパコンはAMDの第3世代EPYC(3D V-Cacheを搭載したカスタム版。64コア/2GHz)とCDNA2アーキテクチャベースのGPU「AMD Instinct MI250X」で構成されており、873万112コアで消費電力2万1100kW

                                                        第59回TOP500の1位は米ORNLの1EFlops超えスパコン「Frontier」、Exa時代が幕明け
                                                      • 時系列予測モデルの実践論3 -昔のKaggleを事例に- - NRI Data Science BLOG

                                                        前回の振り返り パート2では多系列・時系列予測モデルを行うための、特徴量エンジニアリングを行いました。 生成された特徴量は、外生的なものだけでなく、時系列特有の要素を表現していることが重要でした。 Iterativeモデルによる多系列・時系列予測 みなさんこんにちは、NRIのデータサイエンティスト、時系列予測プラクティスチームの鈴木です。 今回は多系列・時系列予測を行うモデル構築の第1弾として、Iterativeモデルを導入していきます。 多系列・時系列予測モデルの概観 時系列予測モデルの分類 Iterativeモデルとは 第1回でご紹介したとおり、多系列・時系列予測を行う際に「一つ一つの時系列に対してモデル適用を繰り返す (Iterative)」方法をIterativeモデルと呼びます。これは「複数の時系列全体に対して一つのモデルを適用する(Global)」とは対比的です。それぞれに優れ

                                                          時系列予測モデルの実践論3 -昔のKaggleを事例に- - NRI Data Science BLOG
                                                        • ABEJA Data Scienceチームと取り組みのご紹介 - ABEJA Tech Blog

                                                          はじめに ABEJAにおけるDSのお仕事 どんな仕事? どんな人達? 業務の進め方 アセスメントフェーズ PoCフェーズ インテグレーションフェーズ ABEJA DSの特徴 ①運用を意識したモデル開発 ②要件定義フェーズの早い段階からの連携 ③技術・情報共有の仕組み 日々の取り組みや制度 ①DS Review(提案内容議論・レビュー会) ②中間レビュー(実装方針議論・レビュー会) ③プロジェクト振り返り会 ④Brainstorming (学習・スキルアップ機会) ⑤DS codebook (技術蓄積&再利用性向上の仕組み) おわりに 参考:取り扱っている技術スタック はじめに こんにちは、Labsチームの藤本です。本日は他己紹介ということで、ABEJA Data Scienceチームの紹介をしていきます。今回はテックブログと言うより会社紹介になってしまいましたが、続編ではもう少し掘り下げる

                                                            ABEJA Data Scienceチームと取り組みのご紹介 - ABEJA Tech Blog
                                                          • CLI で覚える Google BigQuery

                                                            こんにちは。データサイエンスチームの t2sy です。 Google BigQuery は、Google が提供する高スケーラビリティでコスト効率に優れたサーバーレス型のクラウド データウェアハウス (DWH) です。BigQuery 以外のクラウド DWH は AWS が提供する Amazon Redshift や Microsoft が提供する Azure Synapse Analytics などが挙げられます。 BigQuery を操作する方法は Cloud Console の Web UI、bq コマンドラインツール、REST API、クライアントライブラリの4つがあります。この記事では、bq コマンドラインツールで BigQuery を操作し、使い方を確認してみます。内容としては初学者向けです。 今回、使用する Google Cloud Platform(GCP)のサービスは G

                                                              CLI で覚える Google BigQuery
                                                            • PostgreSQL の バグ修正状況を調べてみた。 - astamuse Lab

                                                              はじめに 初めてこちらのblogに登場いたします。データエンジニアのt-sugai です。 今年の1月頃からアスタミューゼにJOINしています。 前職はJavaをメインとしたアプリケーションエンジニア……だったと思うのですが、エンジニアはエンジニアでいっしょくたの組織でした。そして最近は運用やDBAのような仕事を任されることが多かったこともあり、アスタミューゼではデータエンジニアとして働いています。 今日はデータエンジニアらしくデータベースのお話をしようと思います。 アスタミューゼで利用されているPostgreSQL 国内外の特許の情報をはじめ、様々な技術情報を持っているアスタミューゼですが、RDBMSとしては主としてPostgreSQLを利用しています。 (もちろん、RDB以外のDBMSもデータの量や特性、利用目的に応じていろいろ使っているのですが、今回はRDBのお話です) 私が入社する

                                                                PostgreSQL の バグ修正状況を調べてみた。 - astamuse Lab
                                                              • Israeli data: How can efficacy vs. severe disease be strong when 60% of hospitalized are vaccinated?

                                                                Israeli data: How can efficacy vs. severe disease be strong when 60% of hospitalized are vaccinated? A surge involving the rapidly-transmitting Delta variant in heavily vaccinated countries has led to much hand-wringing that the vaccines are not effective against Delta, or vaccine effectivenss wanes after 4-6 months. This has fueled anti-vaccine sentiment suggesting the vaccines are not working, a

                                                                  Israeli data: How can efficacy vs. severe disease be strong when 60% of hospitalized are vaccinated?
                                                                • DataScience系プロジェクトの育て方 | CyberAgent Developers Blog

                                                                  AI事業本部 Dynalystの事業責任者の木村です。 Dynalystは広告配信プロダクトとしてもうすぐ6周年を迎えるサービスなのですが、ある程度理想とする組織の姿に近づきつつあるので、プロダクトを支えるデータサイエンスチームについてどういう風にプロジェクトが育っていったか少し紹介しようと思います。 前提とする状況は以下。 広告配信に関わるログは基本的に全てS3に蓄積されている 分析基盤としてRedshiftが稼働しており、だいたいのログはSQLでアクセス可能 配信のアプリケーションはScalaでできている (分析で利用する言語はPython, Rが主) 当然最初からチームがあった訳ではなく、徐々にプロジェクトらしくなっていったというのが正直なところです。 人数論で語るべきものではありませんが、実際やれることの幅は変わってるなということで、規模に応じてどう変わっているかをみてみます。 【

                                                                    DataScience系プロジェクトの育て方 | CyberAgent Developers Blog
                                                                  • 因果フォレスト(Causal Forests)をPythonで実践的に学ぶ(その1)因果フォレストとは? 概念と基本理論

                                                                      因果フォレスト(Causal Forests)をPythonで実践的に学ぶ(その1)因果フォレストとは? 概念と基本理論
                                                                    • そーだいなるVOYAGE GROUPの裏側 #DS エンジニアによるビジネスのための機械学習 - CARTA TECH BLOG

                                                                      今日も@soudai1025 こと id:Soudai がお届けします。 そーだいなるVOYAGE GROUPの裏側は #voyagebook のイベントとして、各事業部のエンジニアにパネルディスカッション形式で話をしていく企画です。 第五回の今回は「エンジニアによるビジネスのための機械学習」と題してデータサイエンスチーム(以下 DS)のみんなとディスカッションしてきました! 当日の紹介資料 資料の中にDSの紹介やパネラーの自己紹介もあります。 質疑応答の内容に合わせたツイートなどのまとめはこちら。 togetter.com 実際のパネルディスカッションの様子は上記の動画をどうぞ。 今回は機械学習を専門に扱っていないエンジニアでも楽しめる内容でしたね。 西林さんとところてんさんのわかりやすい解説は必見です! おすすめポイントである、そーだいさんの「なるほど…(わかってない)」を探してみてく

                                                                        そーだいなるVOYAGE GROUPの裏側 #DS エンジニアによるビジネスのための機械学習 - CARTA TECH BLOG
                                                                      • Master Python's pandas library with these 100 tricks

                                                                        100 pandas tricks to save you time and energy Below you'll find 100 tricks that will save you time and energy every time you use pandas! These the best tricks I've learned from 5 years of teaching the pandas library. "Soooo many nifty little tips that will make my life so much easier!" - C.K. "Kevin, these tips are so practical. I can say without hesitation that you provide the best resources for

                                                                        • Introduction to Probability for Data Science

                                                                          Michigan Publishing, 2021 ISBN 978-1-60785-746-4 (hardcover): Purchase from Amazon ISBN 978-1-60785-747-1 (electronic) Free download from Univ. Michigan Publishing

                                                                          • この1年でもっとも給与が上昇したIT職種は「セキュリティアナリスト」、2位は「データサイエンティスト」、3位が「DevOpsエンジニア」、2021年米Dice調べ

                                                                            この1年でもっとも給与が上昇したIT職種は「セキュリティアナリスト」、2位は「データサイエンティスト」、3位が「DevOpsエンジニア」、2021年米Dice調べ ITエンジニア向け転職情報サイトの米Diceは、2019年から2020年にかけてもっとも給与が上昇したITの職種トップ10を発表しました。 Data Scientist salaries have increased more than +13% year-over-year! Download The Dice Tech Salary Report to learn more: https://t.co/PvD3dPg4ry #datascience #tech #data #computerscience #programming #code #dicetechsalaryreport #techsalary #techsa

                                                                              この1年でもっとも給与が上昇したIT職種は「セキュリティアナリスト」、2位は「データサイエンティスト」、3位が「DevOpsエンジニア」、2021年米Dice調べ
                                                                            • Introduction to AntV

                                                                              #DataScience #Visualization #AI @ox-cs @Alipay @antvis *Plothis

                                                                                Introduction to AntV
                                                                              • 【社会人学生AdC '21】退職米国PhD進のすゝめ【12/5】 - tkm2261's blog

                                                                                お久しぶりですtkmです。今回は退職D進勢もOKとのことで社会人学生AdC '21の5日目として米国でのMS/PhDについて書いてみようと思います。 adventar.org *私の詳細な留学模様については過去の記事をどうぞ Ph.D.編入が決まったので入学からあったことを時系列で書いてみる - tkm2261's blog 米国大学院でCS修士について書いてみる - tkm2261's blog コネなし論文なし英語苦手なアラサーのおっさんだけど米国CS大学院入学に頑張ったので全てを晒す ー はじめに - - tkm2261's blog はじめに この記事に来た方々は、程度の差はあれD進に興味があるかと思います。ありますよね? 無責任に言うなら、D進を迷っている人はD進したほうが良いと思います。人類のほとんど全ての人はD進なんて考えもしない中、頭によぎるだけで十分素質があります。 博士

                                                                                  【社会人学生AdC '21】退職米国PhD進のすゝめ【12/5】 - tkm2261's blog
                                                                                • 結局Kaggleって何を得られるの?

                                                                                  Discovery DataScience Meet up (DsDS) #1での登壇資料です。 ・なぜ自分がKaggleをしているのか ・普段Kagglerが多くいる職場で働いていく上で感じたこと ・Kaggleが実際どういう点で役に立つのか などを個人的な観点で話しました。 初級者・中級者向けの内容です。

                                                                                    結局Kaggleって何を得られるの?