並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 127件

新着順 人気順

DataScienceの検索結果1 - 40 件 / 127件

  • 「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary

    データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 (最速・最短ルート用) まずは動かしてみよう。強くてニューゲームが体験出来るぞ! 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入

      「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary
    • ブラックフライデー&サイバーセール開催! Udemyでは何を買う? 編集部の2021年イチ押しトピック10選 - はてなニュース

      新型コロナウイルスの影響で、リモートワーク(テレワーク)やオンラインでの学習といった働き方・学び方の大きな変化は2021年も続いています。そんな2021年もあとわずか。やり残したことや学び残したことはありませんか? オンライン学習プラットフォーム「Udemy」では、2021年11月19日(金)~2021年12月1日(水) の間、年間最大のセール「ブラックフライデー&サイバーセール」 を開催します! 対象の講座がなんと1,200円から購入可能になります。 ブラックフライデーセールは11月19日(金)~11月26日(金)、サイバーセールは11月29日(月)〜12月1日(水)の開催です。11月27日(土)〜11月28日(日)はセール対象外なので、ご注意ください。 講座は買い切りなので、おトクなこの期間に気になる講座を購入しておいて、時間ができたときに自分のペースで学んでみるのもいいかもしれません

        ブラックフライデー&サイバーセール開催! Udemyでは何を買う? 編集部の2021年イチ押しトピック10選 - はてなニュース
      • データ分析のはじめの一歩を無料で学べる 総務省監修の高校教材『データサイエンス・データ解析入門』がpdfで公開 | Ledge.ai

        サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

          データ分析のはじめの一歩を無料で学べる 総務省監修の高校教材『データサイエンス・データ解析入門』がpdfで公開 | Ledge.ai
        • データサイエンスを無料で勉強できる教材6選 | Ledge.ai

          サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

            データサイエンスを無料で勉強できる教材6選 | Ledge.ai
          • 世界で74万人以上が受講した海外講座を“日本語で”学ぼう! Udemyで初夏のビッグセール開催&大人気講座をチェック - はてなニュース

            多くの企業から「人手不足だ」という話が聞こえてきます。なんでも、新しいビジネスを始めようとしたり、新規サービスを立ち上げようとしたり、はたまた事業規模を拡大したり、ということで人材を募集しても、なかなか集まらないんだとか。それも、大企業からスタートアップまで、会社の規模の大小や領域に限らず、ありとあらゆる分野の企業が当てはまっています。 特にIT業界は、ただでさえ業界全体が成長しているうえに、技術の進歩と陳腐化が激しいため、基礎的な技術や知識を持ちながら、新たな情報やトレンドもフォローしているようなエンジニアは、引く手あまた。さらに最近では、エンジニアでなくてもビジネス分野で活躍するためには、データを扱うことができる高度な知識と経験が求められるケースが増えてきていることもあって、人手不足に拍車が掛かっているのだそうです。 そんな社会の中で、自分を成長させ、新たな分野に踏み出していくためには

              世界で74万人以上が受講した海外講座を“日本語で”学ぼう! Udemyで初夏のビッグセール開催&大人気講座をチェック - はてなニュース
            • システムの応答速度は本質的な価値提供であることを示す A/B テストの実例

              2021-08-13 内容システム提供において、基本的に高速であればあるほど顧客は嬉しいものだが、実際のところ高速なシステムを提供して、どの程度の価値が発生するのかが気になったので、調べてみた。 2021/08/14 追記A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは の書籍で同様な事例が紹介されているとのこと。情報提供ありがとうございます。実務でA/Bテストに向き合った人間であれば必ず一度は考えたことのあるトピックについて、アメリカのテックカンパニー(Airbnb, Google, LinkedInなど)勤務の著者らが国際会議で発表された研究もちゃんと引用して見解を述べており説得力がある。 従って、現時点における最高レベルの意思決定をデータ(A/Bテスト)に基づいて行いたいと思うなら、一度は目を通しておくべきであり関係者必携だと思う。 ※個人的には”Webサービスのレ

                システムの応答速度は本質的な価値提供であることを示す A/B テストの実例
              • ソフトウェア工学を学びにアメリカへ - pco2699’s blog

                はじめに お世話になった方々への謝辞 参考にしたブログ・その作者の方への謝辞 私のスペック なぜ米国大学院を志したのか まとまった時間でCS、エンジニアリングの勉強をしたかった 英語で学ぶという経験をしたかった アメリカで働いてみたかった ソフトウェア工学修士とは何か 計算機科学修士とソフトウェア工学修士の違い 大学院の選び方 専攻 何を専攻するか 研究するか?しないか? 授業料 おわりに Appendix: そのほか参考になる記事 はじめに こんにちは、一昨年からアメリカの大学院への入学を目指し勉強してきました。 結果、アメリカのピッツバーグにあるカーネギーメロン大学のソフトウェア工学修士課程(Master of Software Engineering)から合格通知をいただき、今年の8月からアメリカに行くことになりました。 合格通知をいただいたのは昨年の3月なのですが、仕事や家庭の事情

                  ソフトウェア工学を学びにアメリカへ - pco2699’s blog
                • エンジニアとして機械学習に携わった際にやっててよかった3つのこと - Lean Baseball

                  現職のコンサルっぽい仕事・インフラアーキなエンジニアな仕事も大好きですが, やっぱデータを見ると興奮するぐらいにデータ好きな人です. startpython.connpass.com 本日(2023/1/19), ありがたいご縁がありまして, 「機械学習エンジニアが目指すキャリアパスとその実話」というお話をさせていただきました. 参加者の方々, ご清聴ありがとうございました&参加されていない方も気になるポイントあればぜひ御覧ください. 1/19の #stapy で「機械学習エンジニアが目指すキャリアパスとその実話」なるトークをすることになりました, 自画自賛ですが思ったよりいい内容に仕上がった気がします, 機械学習とかデータサイエンティストとかのキャリアでお悩みの方に届くと嬉しいです, 来てねhttps://t.co/KHxAXYY5mr pic.twitter.com/eguUyEnfb

                    エンジニアとして機械学習に携わった際にやっててよかった3つのこと - Lean Baseball
                  • Visual Studio CodeでJupyter Notebookを動かしてみた | DevelopersIO

                    どうも、DA事業本部の大澤です。 Visual Studio CodeのPython拡張機能のJupyter Notebook用エディタを触ってみました。Jupyter Notebookと似たインターフェイスでスクリプトが実行でき、エディタのインテリセンスのサポートも受けられて便利そうだったので、今回はその内容をご紹介します。 Working with Jupyter Notebooks in Visual Studio Code やってみる Python拡張機能を有効にする Jupyter Notebookをネイティブサポートするエディタを利用するにはPython拡張機能を有効化する必要があります。有効化してなければマーケットプレイスから検索し、有効化しましょう。 Python - Visual Studio Marketplace Python の環境を選択する コマンドパレットからP

                      Visual Studio CodeでJupyter Notebookを動かしてみた | DevelopersIO
                    • 速いと噂のPythonのVaexについて詳しく調べてみた。 - Qiita

                      結構前にPandasやDaskなどよりも大分高速と話題になっていたPythonのVaexライブラリについて、仕事で利用していきそうな気配がしているので事前にしっかり把握しておくため、色々調べてみました。 どんなライブラリなのか Pandasと同じように行列のデータフレームなどを扱うことのできるPythonライブラリです。 Pandasと比較して膨大なデータの読み込みや計算などを高速に行えます(数十倍~数百倍といったレベルで)。 計算上のメモリ効率がとても良く、無駄の少ない実装になっています。 Daskのように計算が遅延評価されたりと、通常はメモリに乗りきらないデータでも扱うことができます。 Daskのように並列処理で計算を行ってくれます。 Pandasと比較的似たインターフェイスで扱うことができます。 この記事で触れること 主に以下のVaexのトピックに関して本記事で触れます。 インストー

                        速いと噂のPythonのVaexについて詳しく調べてみた。 - Qiita
                      • データサイエンティストはどこまでエンジニアリングをすべきか? | CyberAgent Developers Blog

                        AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス(以降DS)チームがあり、そこにはデータサイエンティスト・機械学習エンジニア(以降まとめてデータサイエンティストと呼ぶ)たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた

                          データサイエンティストはどこまでエンジニアリングをすべきか? | CyberAgent Developers Blog
                        • 【社会人学生AdC '22】日米研究室の違い: 日本の研究室で論文量産するの無理じゃね? - tkm2261's blog

                          お久しぶりですtkmです。昨年に続き、社会人学生AdC '22の12日目として日米研究室の違いについて話して行きたいと思います。もう流石に留学生活ネタは尽きてしまったので、そこは他の方のを見られるとよいかもしれません。 adventar.org 昨年の記事はこちら yutori-datascience.hatenablog.com *私の詳細な留学模様については過去の記事をどうぞ Ph.D.編入が決まったので入学からあったことを時系列で書いてみる - tkm2261's blog 米国大学院でCS修士について書いてみる - tkm2261's blog コネなし論文なし英語苦手なアラサーのおっさんだけど米国CS大学院入学に頑張ったので全てを晒す ー はじめに - - tkm2261's blog TL;DR: 日本の研究室は人が少なすぎる 煽った記事タイトルをつけましたが、別に日本の教授や

                            【社会人学生AdC '22】日米研究室の違い: 日本の研究室で論文量産するの無理じゃね? - tkm2261's blog
                          • 「PythonユーザーのためのJupyter実践入門」はPythonとデータサイエンスをする人の入り口だ - Lean Baseball

                            待望のJupyter本, 改訂版来ました! Pythonでデータサイエンスとエンジニアリングするマンとしてかなり待望していた「PythonユーザのためのJupyter[実践]入門 改訂版」がついに来ました.*1 改訂版 Pythonユーザのための Jupyter[実践]入門 作者:池内 孝啓,片柳 薫子,@driller発売日: 2020/08/24メディア: 単行本(ソフトカバー) ひと足先に読ませていただいたので, 「PythonユーザのためのJupyter[実践]入門 改訂版」はPythonでデータサイエンスする人にとっての入り口でおすすめの本である Pythonでデータサイエンスをやるなら, 「Pythonと慣れ親しむ」「機械学習に慣れる」「実践する」の目的に合わせて学習・実践したり本を読んだほうがいいよ という話をこのエントリーではまとめていこうと思います. なおこのエントリーは

                              「PythonユーザーのためのJupyter実践入門」はPythonとデータサイエンスをする人の入り口だ - Lean Baseball
                            • 傾向スコアを用いた因果推論入門~実装編~ - 下町データサイエンティストの日常

                              0. はじめに 1. 対象データ 2. 先に各手法の結果を確認 3.準備 4. 基礎集計~CMを見た人と見ていない人での目的変数の差~ 5. 因果推論の流れのおさらい 6. 傾向スコアモデリング 6.1 モデリング 6.2 テスト / コントロールの傾向スコアの可視化 6.3Rでの傾向スコアモデリングの実装 7. 傾向スコアマッチング 7.1 結構面倒なpython 7.2 R (Matchingライブラリ) 7.3マッチングの評価 8.IPW 9. ダブルロバスト 9.1 回帰モデル 9.2ダブルロバスト 10.Proximityマッチング 11.改めて、各種手法による推定因果効果のまとめ 12.まとめ 0. はじめに 理論編に引き続き、実装を行なっていきます。 pira-nino.hatenablog.com 実装はpythonとRの両方で行いました。 作業用のコードは以下のgithu

                                傾向スコアを用いた因果推論入門~実装編~ - 下町データサイエンティストの日常
                              • 総務省、社会人データサイエンス演習が無料に 講師は松尾豊氏ら | Ledge.ai

                                画像は『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 総務省は9月28日の14時から、実践的なデータ分析の手法を学習できるとうたう、データサイエンス・オンライン講座「社会人のためのデータサイエンス演習」を開講する。登録料および受講料は無料。 本講座では、ビジネスや行政での活用を想定しており、社会人や大学生に向けて、ビジネスや業務上での分析事例を中心に実践的なデータ分析(統計分析)の手法をわかりやすく解説するという。前提条件は表計算ソフトMicrosoft Excelの基本的な操作ができること。 『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 講師は、総務省統計局の會田雅人氏、総務省統計局の阿向泰二郎氏、株式会社電通の佐伯諭氏、東京大学の松尾豊氏、株式会社ブレインパッドの奥園朋実氏、株式会社ブレインパッドの今津義充氏、日本航空株式会社の渋谷直正氏、株式

                                  総務省、社会人データサイエンス演習が無料に 講師は松尾豊氏ら | Ledge.ai
                                • 新資格「データサイエンス数学ストラテジスト」が9月21日から開始 機械学習やビジネス活用も問われる | Ledge.ai

                                  サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

                                    新資格「データサイエンス数学ストラテジスト」が9月21日から開始 機械学習やビジネス活用も問われる | Ledge.ai
                                  • 特徴量エンジニアリングと野球選手の成績予測 - 野球ではじめる機械学習 / Baseball Player Performance Prediction Using Feature Engineering with Machine Learning and Python

                                    PyCon JP 2020 8/28 「スポーツデータを用いた特徴量エンジニアリングと野球選手の成績予測 - PythonとRを行ったり来たり」登壇資料 https://pycon.jp/2020/timetable/?id=203110 #Baseball #SABRmetrics #Python #MachineLearning #Datascience #PyConJP

                                      特徴量エンジニアリングと野球選手の成績予測 - 野球ではじめる機械学習 / Baseball Player Performance Prediction Using Feature Engineering with Machine Learning and Python
                                    • 実務(CTR予測)と機械学習コンペの比較�

                                      Discovery DataScience Meet up (DsDS) #1 での発表資料

                                        実務(CTR予測)と機械学習コンペの比較�
                                      • 時系列予測モデルの実践論2 -昔のKaggleを事例に- - NRI Data Science BLOG

                                        Part2 特徴量エンジニアリング 前回の振り返り... パート1では、実践的な多変量時系列予測モデルを構築するためのアプローチを紹介し、過去のKaggleコンペティション のデータセットを用いて、ベースラインとなるSeasonal Naiveモデルを作成しました。 今回のパート2では特徴量エンジニアリングを扱います。 時系列データの特徴量エンジニアリング NRIデータサイエンスブログへようこそ!NRIのデータサイエンティスト、時系列予測プラクティスチームのSatyakiです。 パート2では、特徴量エンジニアリング、特に時系列のMLモデルのトレーニングに使用される特徴量について説明します。 ARIMAやExponential Smoothingなどの伝統的な時系列モデルと異なり、機械学習モデルはクロスセクションデータを用いて学習させるため、それぞれの学習用サンプルは独立していると考えられま

                                          時系列予測モデルの実践論2 -昔のKaggleを事例に- - NRI Data Science BLOG
                                        • Juliaを使いたいのに、環境構築に失敗してブチ切れたからDockerで優勝した

                                          こんにちは、優勝しました。 背景 Juliaを使おうとしたら様々な環境構築時のトラブルに見舞われました。終わりです。 使えるけどストレスなところ グラフの描画が遅い matplotlibと比較してしまう PyPlotが使えない -> ローカルPCのpyenvのせい Plotsを使うことにした グラフを描画しても画像に焼いてブラウザから見るしかなかった 困ったこと pkgのインストールにたまに失敗する すでに削除したはずのpkgが原因で実行時にエラーがこびりつく これらは全部ローカル環境でJuliaを使おうとしているために起こる問題です。原因解決するのも時間かかるし、将来的なことを考えてDockerを使うことを決意しました。 Dockerの構成 全部Jupyter Labに投げる方針です。Jupyter公式のイメージを持ってくるだけで、Python、Julia、Rが使えるらしいです。 Doc

                                            Juliaを使いたいのに、環境構築に失敗してブチ切れたからDockerで優勝した
                                          • RにはないPythonの文法・テクニック (演算子/for文/条件分岐 編) - 世界銀行で働くデータサイエンティストのブログ

                                            学生時代からデータ解析にはRをメインで使ってきました。Pythonについてはデータ構造やクラス/インスタンスなど最低限知っておくべきPythonの知識は学んだものの,細かい文法・テクニックなどについて詳しくなく,困ったときにはRのノリ + ググった付け焼き刃で乗り越えてきました。最近仕事でPythonを使う機会が段々多くなり体系的に学ぶ必要があると感じ,『Python 実践入門』と『Python言語によるプログラミングイントロダクション』*1など読み進めています。 Python実践入門 ── 言語の力を引き出し、開発効率を高める (WEB+DB PRESS plusシリーズ) 作者:陶山 嶺発売日: 2020/01/24メディア: 単行本(ソフトカバー) Python言語によるプログラミングイントロダクション:世界標準MIT教科書 作者:John V. Guttag発売日: 2016/05

                                              RにはないPythonの文法・テクニック (演算子/for文/条件分岐 編) - 世界銀行で働くデータサイエンティストのブログ
                                            • Ph.D.編入が決まったので入学からあったことを時系列で書いてみる - tkm2261's blog

                                              皆様久しぶりです、tkmです。 夏休みも始まって1ヶ月経ち、鬼のような3授業履修+研究から心身ともに癒えて来たので修士入学〜Ph.D.編入が決まるまであったことを可能な限り時系列で振り返ってみます。 以前のブログで支援お願いした手前、私の留学模様はコンテンツとして楽しんで貰らうべくTwitterで事細かに報告するようにはしていますが、やはりブログとして残しておかないと後から見た人とかは振り返りづらいと思うので、これを期にまとめようと思います。 あと夏の留学向け奨学金戦線も始まってきており、米国大学院への留学する人が少しでも現地の想像がしやすくなるように何でも書いて行きます 修士も受験したほうが良いよ! 振り返る前に、多分このブログを読む人は米国で大学院を考えている人が多いと思うので一言 「修士も受験したほうが良いよ!」 特にCSでの留学を考えている人は一応出しておいたほうが良いです。この分

                                                Ph.D.編入が決まったので入学からあったことを時系列で書いてみる - tkm2261's blog
                                              • 生涯イチ・エンジニア #とは - 正夢にしたあとの続きのはなし #devsumi 2020 / I want to be part of the Senior Engineer

                                                生涯イチ・エンジニアとして好きな技術でジャンプアップし続けよう - 夢のつづきはビッグデータで https://event.shoeisha.jp/devsumi/20200213/session/2420/ #devsumi #devsumiE #Career #Python #DataScience #Baseball #SABRmetrics #JXPress

                                                  生涯イチ・エンジニア #とは - 正夢にしたあとの続きのはなし #devsumi 2020 / I want to be part of the Senior Engineer
                                                • 第59回TOP500の1位は米ORNLの1EFlops超えスパコン「Frontier」、Exa時代が幕明け

                                                  第59回TOP500の1位は米ORNLの1EFlops超えスパコン「Frontier」、Exa時代が幕明け 独ハンブルクにて開催中のHPCに関する国際会議「ISC2022」に合わせて、第59回目(2022年6月版)となるスーパーコンピュータ(スパコン)の性能ランキング「TOP500」が発表された。 それによると、トップは米ORNL(米オークリッジ国立研究所)に設置された次世代スパコン「Frontier」で、LINPACK性能は1102PFlops=1.102ExaFlopsで、ついにエクサスケールスパコンが実際に登場することとなった。 FrontierスパコンはAMDの第3世代EPYC(3D V-Cacheを搭載したカスタム版。64コア/2GHz)とCDNA2アーキテクチャベースのGPU「AMD Instinct MI250X」で構成されており、873万112コアで消費電力2万1100kW

                                                    第59回TOP500の1位は米ORNLの1EFlops超えスパコン「Frontier」、Exa時代が幕明け
                                                  • 時系列予測モデルの実践論3 -昔のKaggleを事例に- - NRI Data Science BLOG

                                                    前回の振り返り パート2では多系列・時系列予測モデルを行うための、特徴量エンジニアリングを行いました。 生成された特徴量は、外生的なものだけでなく、時系列特有の要素を表現していることが重要でした。 Iterativeモデルによる多系列・時系列予測 みなさんこんにちは、NRIのデータサイエンティスト、時系列予測プラクティスチームの鈴木です。 今回は多系列・時系列予測を行うモデル構築の第1弾として、Iterativeモデルを導入していきます。 多系列・時系列予測モデルの概観 時系列予測モデルの分類 Iterativeモデルとは 第1回でご紹介したとおり、多系列・時系列予測を行う際に「一つ一つの時系列に対してモデル適用を繰り返す (Iterative)」方法をIterativeモデルと呼びます。これは「複数の時系列全体に対して一つのモデルを適用する(Global)」とは対比的です。それぞれに優れ

                                                      時系列予測モデルの実践論3 -昔のKaggleを事例に- - NRI Data Science BLOG
                                                    • ABEJA Data Scienceチームと取り組みのご紹介 - ABEJA Tech Blog

                                                      はじめに ABEJAにおけるDSのお仕事 どんな仕事? どんな人達? 業務の進め方 アセスメントフェーズ PoCフェーズ インテグレーションフェーズ ABEJA DSの特徴 ①運用を意識したモデル開発 ②要件定義フェーズの早い段階からの連携 ③技術・情報共有の仕組み 日々の取り組みや制度 ①DS Review(提案内容議論・レビュー会) ②中間レビュー(実装方針議論・レビュー会) ③プロジェクト振り返り会 ④Brainstorming (学習・スキルアップ機会) ⑤DS codebook (技術蓄積&再利用性向上の仕組み) おわりに 参考:取り扱っている技術スタック はじめに こんにちは、Labsチームの藤本です。本日は他己紹介ということで、ABEJA Data Scienceチームの紹介をしていきます。今回はテックブログと言うより会社紹介になってしまいましたが、続編ではもう少し掘り下げる

                                                        ABEJA Data Scienceチームと取り組みのご紹介 - ABEJA Tech Blog
                                                      • CLI で覚える Google BigQuery

                                                        こんにちは。データサイエンスチームの t2sy です。 Google BigQuery は、Google が提供する高スケーラビリティでコスト効率に優れたサーバーレス型のクラウド データウェアハウス (DWH) です。BigQuery 以外のクラウド DWH は AWS が提供する Amazon Redshift や Microsoft が提供する Azure Synapse Analytics などが挙げられます。 BigQuery を操作する方法は Cloud Console の Web UI、bq コマンドラインツール、REST API、クライアントライブラリの4つがあります。この記事では、bq コマンドラインツールで BigQuery を操作し、使い方を確認してみます。内容としては初学者向けです。 今回、使用する Google Cloud Platform(GCP)のサービスは G

                                                          CLI で覚える Google BigQuery
                                                        • PostgreSQL の バグ修正状況を調べてみた。 - astamuse Lab

                                                          はじめに 初めてこちらのblogに登場いたします。データエンジニアのt-sugai です。 今年の1月頃からアスタミューゼにJOINしています。 前職はJavaをメインとしたアプリケーションエンジニア……だったと思うのですが、エンジニアはエンジニアでいっしょくたの組織でした。そして最近は運用やDBAのような仕事を任されることが多かったこともあり、アスタミューゼではデータエンジニアとして働いています。 今日はデータエンジニアらしくデータベースのお話をしようと思います。 アスタミューゼで利用されているPostgreSQL 国内外の特許の情報をはじめ、様々な技術情報を持っているアスタミューゼですが、RDBMSとしては主としてPostgreSQLを利用しています。 (もちろん、RDB以外のDBMSもデータの量や特性、利用目的に応じていろいろ使っているのですが、今回はRDBのお話です) 私が入社する

                                                            PostgreSQL の バグ修正状況を調べてみた。 - astamuse Lab
                                                          • Israeli data: How can efficacy vs. severe disease be strong when 60% of hospitalized are vaccinated?

                                                            Israeli data: How can efficacy vs. severe disease be strong when 60% of hospitalized are vaccinated? A surge involving the rapidly-transmitting Delta variant in heavily vaccinated countries has led to much hand-wringing that the vaccines are not effective against Delta, or vaccine effectivenss wanes after 4-6 months. This has fueled anti-vaccine sentiment suggesting the vaccines are not working, a

                                                              Israeli data: How can efficacy vs. severe disease be strong when 60% of hospitalized are vaccinated?
                                                            • DataScience系プロジェクトの育て方 | CyberAgent Developers Blog

                                                              AI事業本部 Dynalystの事業責任者の木村です。 Dynalystは広告配信プロダクトとしてもうすぐ6周年を迎えるサービスなのですが、ある程度理想とする組織の姿に近づきつつあるので、プロダクトを支えるデータサイエンスチームについてどういう風にプロジェクトが育っていったか少し紹介しようと思います。 前提とする状況は以下。 広告配信に関わるログは基本的に全てS3に蓄積されている 分析基盤としてRedshiftが稼働しており、だいたいのログはSQLでアクセス可能 配信のアプリケーションはScalaでできている (分析で利用する言語はPython, Rが主) 当然最初からチームがあった訳ではなく、徐々にプロジェクトらしくなっていったというのが正直なところです。 人数論で語るべきものではありませんが、実際やれることの幅は変わってるなということで、規模に応じてどう変わっているかをみてみます。 【

                                                                DataScience系プロジェクトの育て方 | CyberAgent Developers Blog
                                                              • 因果フォレスト(Causal Forests)をPythonで実践的に学ぶ(その1)因果フォレストとは? 概念と基本理論

                                                                  因果フォレスト(Causal Forests)をPythonで実践的に学ぶ(その1)因果フォレストとは? 概念と基本理論
                                                                • そーだいなるVOYAGE GROUPの裏側 #DS エンジニアによるビジネスのための機械学習 - CARTA TECH BLOG

                                                                  今日も@soudai1025 こと id:Soudai がお届けします。 そーだいなるVOYAGE GROUPの裏側は #voyagebook のイベントとして、各事業部のエンジニアにパネルディスカッション形式で話をしていく企画です。 第五回の今回は「エンジニアによるビジネスのための機械学習」と題してデータサイエンスチーム(以下 DS)のみんなとディスカッションしてきました! 当日の紹介資料 資料の中にDSの紹介やパネラーの自己紹介もあります。 質疑応答の内容に合わせたツイートなどのまとめはこちら。 togetter.com 実際のパネルディスカッションの様子は上記の動画をどうぞ。 今回は機械学習を専門に扱っていないエンジニアでも楽しめる内容でしたね。 西林さんとところてんさんのわかりやすい解説は必見です! おすすめポイントである、そーだいさんの「なるほど…(わかってない)」を探してみてく

                                                                    そーだいなるVOYAGE GROUPの裏側 #DS エンジニアによるビジネスのための機械学習 - CARTA TECH BLOG
                                                                  • Master Python's pandas library with these 100 tricks

                                                                    100 pandas tricks to save you time and energy Below you'll find 100 tricks that will save you time and energy every time you use pandas! These the best tricks I've learned from 5 years of teaching the pandas library. "Soooo many nifty little tips that will make my life so much easier!" - C.K. "Kevin, these tips are so practical. I can say without hesitation that you provide the best resources for

                                                                    • Introduction to Probability for Data Science

                                                                      Michigan Publishing, 2021 ISBN 978-1-60785-746-4 (hardcover): Purchase from Amazon ISBN 978-1-60785-747-1 (electronic) Free download from Univ. Michigan Publishing

                                                                      • この1年でもっとも給与が上昇したIT職種は「セキュリティアナリスト」、2位は「データサイエンティスト」、3位が「DevOpsエンジニア」、2021年米Dice調べ

                                                                        この1年でもっとも給与が上昇したIT職種は「セキュリティアナリスト」、2位は「データサイエンティスト」、3位が「DevOpsエンジニア」、2021年米Dice調べ ITエンジニア向け転職情報サイトの米Diceは、2019年から2020年にかけてもっとも給与が上昇したITの職種トップ10を発表しました。 Data Scientist salaries have increased more than +13% year-over-year! Download The Dice Tech Salary Report to learn more: https://t.co/PvD3dPg4ry #datascience #tech #data #computerscience #programming #code #dicetechsalaryreport #techsalary #techsa

                                                                          この1年でもっとも給与が上昇したIT職種は「セキュリティアナリスト」、2位は「データサイエンティスト」、3位が「DevOpsエンジニア」、2021年米Dice調べ
                                                                        • Introduction to AntV

                                                                          #DataScience #Visualization #AI @ox-cs @Alipay @antvis *Plothis

                                                                            Introduction to AntV
                                                                          • 【社会人学生AdC '21】退職米国PhD進のすゝめ【12/5】 - tkm2261's blog

                                                                            お久しぶりですtkmです。今回は退職D進勢もOKとのことで社会人学生AdC '21の5日目として米国でのMS/PhDについて書いてみようと思います。 adventar.org *私の詳細な留学模様については過去の記事をどうぞ Ph.D.編入が決まったので入学からあったことを時系列で書いてみる - tkm2261's blog 米国大学院でCS修士について書いてみる - tkm2261's blog コネなし論文なし英語苦手なアラサーのおっさんだけど米国CS大学院入学に頑張ったので全てを晒す ー はじめに - - tkm2261's blog はじめに この記事に来た方々は、程度の差はあれD進に興味があるかと思います。ありますよね? 無責任に言うなら、D進を迷っている人はD進したほうが良いと思います。人類のほとんど全ての人はD進なんて考えもしない中、頭によぎるだけで十分素質があります。 博士

                                                                              【社会人学生AdC '21】退職米国PhD進のすゝめ【12/5】 - tkm2261's blog
                                                                            • 結局Kaggleって何を得られるの?

                                                                              Discovery DataScience Meet up (DsDS) #1での登壇資料です。 ・なぜ自分がKaggleをしているのか ・普段Kagglerが多くいる職場で働いていく上で感じたこと ・Kaggleが実際どういう点で役に立つのか などを個人的な観点で話しました。 初級者・中級者向けの内容です。

                                                                                結局Kaggleって何を得られるの?
                                                                              • Vald: 大規模・分散・高速な近似近傍密ベクトル検索エンジンの紹介(OSS)

                                                                                ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ヤフーでValdの開発をしている森本です。 近年、テキストをはじめとして画像・映像・音声などのさまざまなデータの増加によって情報検索の必要性が高まっています。 これらのデータは従来の検索エンジンで効率的に検索することは容易ではありません。現在、ディープラーニングをはじめとしたAI技術は急速に発展し、テキストや画像などのデータからベクトル表現を獲得できるようになっており、これらのベクトルを用いた検索技術の需要は日に日に重要度を増しています。 本日のアドベントカレンダーでは、ベクトル検索において用いられる、近似近傍探索(ANN: Approximately Nearest Neighbor)を実現するOSSであるValdを

                                                                                  Vald: 大規模・分散・高速な近似近傍密ベクトル検索エンジンの紹介(OSS)
                                                                                • www.cheatsheets.aqeel-anwar.com

                                                                                  This page contains cheat sheets for various Machine Learning related topics that can come in handy either during ML/DS interviews, or your daily data-scientist life. The page is updated continuously for more cheatsheets.

                                                                                    www.cheatsheets.aqeel-anwar.com