データサイエンティストはどこまでエンジニアリングをすべきか？ | CyberAgent Developers Blog
AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス（以降DS）チームがあり、そこにはデータサイエンティスト・機械学習エンジニア（以降まとめてデータサイエンティストと呼ぶ）たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた
TL;DR（思ったよりもかなりの長文になってしまったので*1、時間がないという方は1番目と2番目のセクションの冒頭だけお読みください） しんゆうさんの舌鋒鋭いブログ＆note記事にはいつも楽しませていただいているのですが、この記事は一点僕のデータ分析業界の認識に新たな視点を与える話題があって特に目を引きました。それが以下の箇所です。 資格があるわけでもないので名乗るのは自由だし、未経験だろうが文系だろうがそれはどうでもいいのだけど、傍から見ていると「サイエンティスト」と名乗っているわりには「サイエンス」な話をしていないなぁとは思っている。（中略） 現在起きている第３次データサイエンティストブームは「データサイエンティストと名乗りたい人」が盛り上げているように見える。 （太字筆者） この問題は、このブログの前々回の記事でも取り上げています。 ただ、僕はこういう「データサイエンティストになりた
海外就職： シンガポールでデータサイエンティストとして働くまでの話｜Yusuke Minami @Minyus86
シンガポールに来た経緯、Resume、OSS、Kaggle、（コーディング）面接対策、給与交渉体験、就労ビザについて、以下の方向けに書きます。 ・ 外資系企業との英語面接を控えている方 ・ 海外、特にシンガポールでの就職に興味がある方 ・ データサイエンティスト、MLエンジニア、ソフトウェアエンジニアとしてのキャリアに興味がある方 前置き ・ こちらの記事は全文無料で公開していますが、最後にお願いがあります。 ・ 技術的な内容を含みますが、その部分は読み飛ばしていただいても問題ありません。 ・ あくまでも一個人の体験に基づきますので、参考にされるかどうは自己判断でお願いします。 シンガポールに来た経緯 私は2010年1月にエンジニアとして東京で働きはじめ、主に製造、自動車業界向けのセンサーデータ処理、解析、シミュレーション、コンピュータビジョンといったアプリケーションに携わっていました。
データサイエンティストとは データサイエンティストは、端的にいえばAI社会におけるデータを扱うプロフェッショナルです。大量のデータを集め、整理し、パターンやトレンドを分析し、ビジネス上の課題や問題に対する解決策を見つける役割を果たします。 近年、人々の生活のデジタル化が進んだことで、知らず知らずのうちに人々の行動がデータとして蓄積されています。例えば、インターネットで使用した「検索ワード」や、ECサイトにおける購入履歴、SNSにおける投稿など、人々が行動した過程や結果で生成されるさまざまな記録は、すべてその人の特徴を表すデータの一部になります。 また生成されるのは個人のデータだけでなく、事業者のデータも数多く存在します。例えば農業や水産業などの一次産業、その先の二次産業、三次産業においても、気象状況や収穫量、工場での生産量、実際の市場での流通量など、企業活動を通じてさまざまなデータが生成さ
電力は原価で調達──発電所、1日5万ドルをマイニング | coindesk JAPAN | コインデスク・ジャパン
ニューヨーク州北部にある発電所は、発電した電力の一部を使ってビットコインをマイニングしている。その規模は産業規模だ。 天然ガス発電所のグリーニッジ・ジェネレーション（Greenidge Generation）は、施設内へのマイニング設備の設置を無事終えたと発表した。7000台近くのマイニング機器と敷地内で生み出された電力を使って、1日に平均5.5ビットコインをマイニングできる。CoinDeskのBitcoin Price Indexによると、約5万ドルに相当する。 グリーニッジは自社の「ビハインド・ザ・メーター」電力を使う。すなわち、自社で使うために発電した電力で生産原価しかかからない。グリーニッジのブロックチェーン戦略担当ディレクター、ケビン・チャン（Kevin Zhang）氏は、この取り組みは潜在投資家にビットコインとエネルギー市場の双方へのユニークな投資機会を提供すると声明で述べた。
データサイエンティストとは――21世紀で最も魅力的と称された職業の今とこれから データサイエンティスト――2012年10月、アメリカのThomas H. Davenport氏とD.J. Patil氏が発表した"Data Scientist: The Sexiest Job of the 21st Century"（邦訳『データ・サイエンティストほど素敵な仕事はない』DHBR2013年2月号）で、21世紀、最も魅力的と称された職業です。 そこから本記事を執筆している2022年9月時点で約10年が経過しましたが、今も魅力的といえる職業といえるのでしょうか。 時間の経過とともに技術が進化した結果、データサイエンティストの需要は高まりました。10年前は魅力的な職業という表現でしたが、2022年の今、なくてはならない職業の一つといえます。 その背景には、2000年初頭からの、各種Webサービスやソー
どのようにデータ分析基盤を構築してきたか、活用までの道のりや苦労を現場の人間に聞く「データ分析基盤Developers Night」。4回目の今回は、「活用されるデータ基盤」をテーマに、Sansan株式会社の千葉祐大氏が登壇。データ分析基盤を改善するまでに浮き彫りになった課題と、そこからどのようにストレスなく利用できる分析基盤を作ったのか、また設計の方針から実際に運用してわかった今後の課題について話しました。 ※新型コロナウイルス対策のためオンライン開催に変更されています。 開発エンジニアからデータエンジニアへ 千葉祐大氏（以下、千葉）：Sansan株式会社の千葉からは「Sansan DSOC を支える名刺データ分析基盤」の構築、運用上の困ったことなどについて発表します。 まず自己紹介をします。3年前にSansanにジョインして、現在はデータエンジニアの仕事をしている千葉祐大です。データエ
Pythonによるファイナンス 第2版
さまざまな分野で威力を発揮するPythonは、ファイナンスの分野でも重要なテクノロジーとして急成長を遂げています。本書は、Pythonを使った金融工学の初歩的な基本事項からアルゴリズム取引やデリバティブ分析までカバーし、必要なプログラミング、機械学習や深層学習を利用したデータ分析、統計などについて、数理と実用面から詳しく解説します。「データ駆動型アプローチ」と「AIファーストファイナンス」を軸に、これからのファイナンスに必要な戦略と実践力を体得できることを目的とします。 目次 日本語版まえがき まえがき 第1部 Pythonとファイナンス 1章 なぜファイナンスにPythonを使うのか 1.1 プログラミング言語Python 1.1.1 Pythonの大まかな歴史 1.1.2 Pythonエコシステム 1.1.3 Pythonのユーザ層 1.1.4 科学スタック 1.2 ファイナンスにお
企業で働くデータサイエンティストになって10年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした
ブレインパッド社内勉強会での発表スライドを公開しました 本スライドは #OpenBP の活動の一環として公開しています https://twitter.com/search?q=%23OpenBP&src=hashtag_click #OpenBPとは→ https://note.mu/ysdyt/n/n46160f3348fe
「Kaggle スタートブック」は今からKaggleを始める人・興味ある人に最適な本です - karaage. [からあげ]
「Pythonではじめる Kaggle スタートブック」を献本いただきました u++ (id:upura)さんとカレーちゃんさんの共著「Pythonではじめる Kaggle スタートブック」を献本いただきました！ 実践Data Scienceシリーズ PythonではじめるKaggleスタートブック (KS情報科学専門書) 作者:石原 祥太郎,村田 秀樹発売日: 2020/03/19メディア: 単行本（ソフトカバー） 実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＰｙｔｈｏｎではじめるＫａｇｇｌｅスタートブック (ＫＳ情報科学専門書) 作者:石原祥太郎,村田秀樹発売日: 2020/05/26メディア: Kindle版 実は、献本いただく話をいただいていたのですが、すっかり忘れていて普通に自分で買う寸前でした（笑）欲しかった本が、突然自宅ポストに届いていたので「季節外れのサンタさん？」と思ったりしま
![「Kaggle スタートブック」は今からKaggleを始める人・興味ある人に最適な本です - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e129dc189c8d9526ec2e6e9d8febe723ceea15ec/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200316%2F20200316231702.jpg)
経済セミナー2022年6・7月号 通巻726号【特集】経済学と再現性問題 日本評論社Amazon 最近は計量経済学・統計学方面の方々との交流が多いんですが、そのご縁で『経済セミナー』の2022年6・7月号が再現性問題を取り上げていたと知り、入手して読んでみました。特集部分の目次を以下に引用すると、 特集＝ 経済学と再現性問題 【鼎談】再現性の問題にどう向き合うか？……川越敏司×會田剛史×新井康平 心理学における再現性の危機――課題と対応……大坪庸介 経済学における再現性の危機――経済実験での評価と対応……竹内幹 フィールド実験・実証研究における再現性……高野久紀 健全な研究慣習を身に付けるための実験・行動経済学101……山田克宣 再現性問題における統計学の役割と責任……マクリン謙一郎 という内容で、幾つかの分野にまたがって論じられています。特に、このブログ含めて個人的に度々お世話になってい
データサイエンティストは、ビジネスチームや上司から、さまざまなデータ分析を依頼されます。本来自分がやりたかったデータ分析と、ちょっと違うという不一致はありませんか？ こうした不一致は、データ分析というものが抽象的で、人によって期待値が違うからです。 では、どのように分析すればよいか。その考え方を、Wantedly社の松村優也氏が語ります。 データ分析に求めるものは、人によって違う 松村優也氏：「データ分析の解像度を上げたい」というタイトルで発表します。よろしくお願いします。 まず自己紹介です。松村優也と申します。Wantedlyという会社の推薦チーム（レコメンデーションチーム）で、データサイエンティストとチームリードをやっています。情報検索の分野と機械学習に興味があります。本日が2020年での初登壇になります。 まずはみなさん、データ分析はうまくいっていますか？ 自信を持って「私はデータ分
2019年も様々なデータサイエンス関連のコンペが実施され、論文が発表されました。その中でも面白かったものはどれか、5人のkagglerの方に直接お伺いしました。 2019年はTellusxSIGNATEで実施された衛星データコンペの解説(第1回・第2回)が、データサイエンティストの方に読んでいただいた宙畑のヒット記事としてランクイン。 では、データサイエンティストの方は他にどのようなコンペや論文に興味を持たれていたのか……と気になった宙畑編集部。 今回、以下5名のKagglerの方に協力いただき、2019年の振り返りとして面白かったコンペと論文、そしてその理由を教えていただきました。 あきやま様(@ak_iyama) jsato様(@synapse_r) Hiroki Yamamoto様(@tereka114) smly様(@smly) ※順不同 ※1名、非公表 Kaggleについては「世
連載目次 こんにちは、初心者Kagglerの一色です。また、この連載の記事を開いてくれてありがとうございます！ 前回は「Kaggle初心者のためのコンペガイド ― Titanicの先へ：僕たちのKaggle挑戦記」という記事を公開して、ブックマーク数は少なかったものの、そこそこのページ参照数が得られました。ドキドキしながらの記事公開でしたが少し安心しました。これを受けて、自分もそうだったのですが、「取りあえずTitanicコンペでSubmission（提出）まではやったけど、次のコンペティション（本稿ではコンペと表記）になかなか取り組めない」という人が少なくないということなのかなと思いました。 壁「Titanicの次」を突き破る！ オススメの方法 筆者はどうやって「Titanicの次」という壁を突き破れたのか。そのきっかけになったのが、前回の記事で「Kaggleを始めるのに役に立ったこと」
KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2]
本セッションでは、弊社にて複数サービスで導入しているAWSのマネージドサービス (Lambda、CloudWatch Logs、Kinesis Data Streams、S3、Elasticsearch Service) を活用したServerlessなログ基盤の構成について紹介する。自前でログ基盤を管理しているが管理コストなど課題を感じている人や、コンテナ活用時のロギング構成の設計に悩んでいる人をターゲットにしている。 / / 現在のログ基盤の構成に至るまでの経緯（過去に試行錯誤した10以上の構成パターン）、設計思想（保守性、高信頼性、コスト削減、拡張性）について紹介する。 / / タップル誕生やCROSSMEをはじめとした実際に運用中のサービスを事例に、サービス用件ごとに合わせたロギング構成を解説する。また、2年半の期間で様々な構成を運用をしてきた事によって得られた知見について話す。ロ
![KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7e518a2e41301ea8958909feba50e35cd5747e8d/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fb79f3bc288724aa2b1685401ea774103%2Fslide_0.jpg%3F13762636)
Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。前半は使えないデータとは何かについて。 自己紹介 ゆずたそ氏（以下、ゆずたそ）：では、発表を始めたいと思います。「データマネジメントなきMLは、破綻する。〜こんなデータじゃ機械学習できねぇよ問題の処方箋〜」という話をしたいと思います。 はじめに、まず自己紹介です。「yuzutas0」というアカウントをやっています。機械学習の専門家ではないのですが、機械学習を使った施策に
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
【夏休みの自由研究】そうだブロックチェーンを作ろう！
はじめに ITニュースの方でも話しましたが、ここ数日、例の本でWeb3がとても話題ですね。まあ、炎上なので良い事では無いのですが、せっかくなのでその根幹技術らしいブロックチェーン周りの自分の理解を整理してみることにしました。とりあえず、簡易なブロックチェーンを作ってNFTやスマートコントラクトについても少し考えていきたいと思います。 なお、ネタでは無く詳しくない分野なので勘違いとかあると指摘してもらえると嬉しいです。 注意 あくまで私の理解のアウトプットなので実際の挙動や仕様とは異なる可能性があります 実践的で本格的な仕様や実装ではなく、あくまで基本的な理解のためのサブセットの作成 データの自由化！とかそういう話はしません ブロックチェーンを作ろう！ ハッシュ値による改ざんの困難性 そもそもブロックチェーンとは何でしょうか？ 一般には改ざんに強いP2Pな台帳という理解かな、と思います。暗号
最高裁判所は1月20日、仮想通貨のマイニングツール「Coinhive」を閲覧者に無断で自身のWebサイトに設置したとして、Webデザイナーの男性が不正指令電磁的記録保管罪に問われた「Coinhive事件」について、二審の有罪判決を破棄して無罪と判断した。 サイト内に設置したプログラムコードが、刑法168条の2第1項のいう「人が電子計算機を使用するに際してその意図に沿うべき動作をさせず、又はその意図に反する動作をさせるべき不正な指令を与える電磁的記録（不正指令電磁的記録）」に当たるのかが争点となっていた。 一審の横浜地裁は「プログラムコードは、反意図性が認められるが、不正性は認められないから、不正指令電磁的記録に当たらない」として、無罪を言い渡した。これに対し、二審東京高裁は「プログラムコードは、反意図性及び不正性が認められ、不正指令電磁的記録に当たる」として一審判決を破棄し、罰金10万円の
TechCrunch
Welcome, folks, to Week in Review (WiR), TechCrunch’s regular newsletter covering this week’s noteworthy happenings in tech. TikTok’s fate in the U.S. looks uncertain after President
連載目次 導入 この連載では、近年話題のコンペティションプラットフォーム「Kaggle」について、リクルート所属のKaggle Master 4人がKaggleの仕組みや取り組み方、初心者から一歩先に行くためのノウハウについて解説を行います。 第1回では、これからKaggleを始めようと思っている方向けに、Kaggleの仕組みや実際にコンペティションに出場した後の取り組み方、初心者におすすめのコンテンツについて解説を行いました。第2回では、ランクを上げていくために筆者が「実際に何をしていたか」について、実際の事例を交えながら解説していきます。
Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。後半は実際のデータマネジメントの方法ついて。 データマネジメントの11領域 ゆずたそ氏（以下、ゆずたそ）：そういったつらい状況の中で、解決のために何ができるかという話をしていきたいと思います。ちょうど今折返しぐらいの時間なので、後半、この話をやっていきます。 今回テーマにもあるように、データマネジメントという概念・手法が鍵になるかなと自分は考えています。 じゃあ「データ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データサイエンティストに王道無し - 渋谷駅前で働くデータサイエンティストのブログ
押収されたゲーム機は3800台！ズラリとPS4並ぶウクライナの仮想通貨マイニング工場が電気窃盗で摘発 | Game*Spark - 国内・海外ゲーム情報サイト
“ペタ”FLOPSの性能を実現したモンスターGPU「NVIDIA H100」
パッチ適用前のQNAP NASで密かにマイニングするマルウェアが蔓延
データサイエンティストを目指す人におすすめの資格・コンペ｜難易度や試験内容も解説
データサイエンティストになるには？求められるスキルセットや道のりを解説
Sansanのデータエンジニアが語る、名刺データ分析基盤の構築方法
RyzenやGeForceなどの品薄が深刻化、5万円近く値上がりしたビデオカードも安価な液晶ディスプレイも品薄傾向、一方でIntel CPUの価格は下落傾向
「因果関係」をとらえるために / To grasp causal relationship
再現性問題のはなし - 渋谷駅前で働くデータサイエンティストのブログ
解像度を上げると「データ分析」はもっと幸せになる 現役データサイエンティストが教える、データ分析の4つの要素
Kaggle上位ランカーの5人に聞いた、2019年面白かったコンペ12選と論文7選 | 宙畑
「無料のKaggle公式講座×コンペ初参戦」で機械学習を始めよう
こんなデータじゃ機械学習できねぇよ MLにおけるデータマネジメントの重要性
DXやデータ分析の基本を学べる講座が無料に | Ledge.ai
Coinhive事件、無罪確定 二審の有罪判決から逆転
脱・Kaggle初心者 ～ 一歩先に行くためのノウハウ
機械学習できるデータを用意せよ MLで重要なデータマネジメントの11領域
ゲーミングPCでの暗号通貨マイニングが終焉し、中古ビデオカードが激安に？【石田賀津男の『酒の肴にPCゲーム』】
