データサイエンティストはどこまでエンジニアリングをすべきか？ | CyberAgent Developers Blog
AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス（以降DS）チームがあり、そこにはデータサイエンティスト・機械学習エンジニア（以降まとめてデータサイエンティストと呼ぶ）たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた
TL;DR（思ったよりもかなりの長文になってしまったので*1、時間がないという方は1番目と2番目のセクションの冒頭だけお読みください） しんゆうさんの舌鋒鋭いブログ＆note記事にはいつも楽しませていただいているのですが、この記事は一点僕のデータ分析業界の認識に新たな視点を与える話題があって特に目を引きました。それが以下の箇所です。 資格があるわけでもないので名乗るのは自由だし、未経験だろうが文系だろうがそれはどうでもいいのだけど、傍から見ていると「サイエンティスト」と名乗っているわりには「サイエンス」な話をしていないなぁとは思っている。（中略） 現在起きている第３次データサイエンティストブームは「データサイエンティストと名乗りたい人」が盛り上げているように見える。 （太字筆者） この問題は、このブログの前々回の記事でも取り上げています。 ただ、僕はこういう「データサイエンティストになりた
海外就職： シンガポールでデータサイエンティストとして働くまでの話｜Yusuke Minami @Minyus86
シンガポールに来た経緯、Resume、OSS、Kaggle、（コーディング）面接対策、給与交渉体験、就労ビザについて、以下の方向けに書きます。 ・ 外資系企業との英語面接を控えている方 ・ 海外、特にシンガポールでの就職に興味がある方 ・ データサイエンティスト、MLエンジニア、ソフトウェアエンジニアとしてのキャリアに興味がある方 前置き ・ こちらの記事は全文無料で公開していますが、最後にお願いがあります。 ・ 技術的な内容を含みますが、その部分は読み飛ばしていただいても問題ありません。 ・ あくまでも一個人の体験に基づきますので、参考にされるかどうは自己判断でお願いします。 シンガポールに来た経緯 私は2010年1月にエンジニアとして東京で働きはじめ、主に製造、自動車業界向けのセンサーデータ処理、解析、シミュレーション、コンピュータビジョンといったアプリケーションに携わっていました。
データサイエンティストとは データサイエンティストは、端的にいえばAI社会におけるデータを扱うプロフェッショナルです。大量のデータを集め、整理し、パターンやトレンドを分析し、ビジネス上の課題や問題に対する解決策を見つける役割を果たします。 近年、人々の生活のデジタル化が進んだことで、知らず知らずのうちに人々の行動がデータとして蓄積されています。例えば、インターネットで使用した「検索ワード」や、ECサイトにおける購入履歴、SNSにおける投稿など、人々が行動した過程や結果で生成されるさまざまな記録は、すべてその人の特徴を表すデータの一部になります。 また生成されるのは個人のデータだけでなく、事業者のデータも数多く存在します。例えば農業や水産業などの一次産業、その先の二次産業、三次産業においても、気象状況や収穫量、工場での生産量、実際の市場での流通量など、企業活動を通じてさまざまなデータが生成さ
電力は原価で調達──発電所、1日5万ドルをマイニング | coindesk JAPAN | コインデスク・ジャパン
ニューヨーク州北部にある発電所は、発電した電力の一部を使ってビットコインをマイニングしている。その規模は産業規模だ。 天然ガス発電所のグリーニッジ・ジェネレーション（Greenidge Generation）は、施設内へのマイニング設備の設置を無事終えたと発表した。7000台近くのマイニング機器と敷地内で生み出された電力を使って、1日に平均5.5ビットコインをマイニングできる。CoinDeskのBitcoin Price Indexによると、約5万ドルに相当する。 グリーニッジは自社の「ビハインド・ザ・メーター」電力を使う。すなわち、自社で使うために発電した電力で生産原価しかかからない。グリーニッジのブロックチェーン戦略担当ディレクター、ケビン・チャン（Kevin Zhang）氏は、この取り組みは潜在投資家にビットコインとエネルギー市場の双方へのユニークな投資機会を提供すると声明で述べた。
データサイエンティストとは――21世紀で最も魅力的と称された職業の今とこれから データサイエンティスト――2012年10月、アメリカのThomas H. Davenport氏とD.J. Patil氏が発表した"Data Scientist: The Sexiest Job of the 21st Century"（邦訳『データ・サイエンティストほど素敵な仕事はない』DHBR2013年2月号）で、21世紀、最も魅力的と称された職業です。 そこから本記事を執筆している2022年9月時点で約10年が経過しましたが、今も魅力的といえる職業といえるのでしょうか。 時間の経過とともに技術が進化した結果、データサイエンティストの需要は高まりました。10年前は魅力的な職業という表現でしたが、2022年の今、なくてはならない職業の一つといえます。 その背景には、2000年初頭からの、各種Webサービスやソー
どのようにデータ分析基盤を構築してきたか、活用までの道のりや苦労を現場の人間に聞く「データ分析基盤Developers Night」。4回目の今回は、「活用されるデータ基盤」をテーマに、Sansan株式会社の千葉祐大氏が登壇。データ分析基盤を改善するまでに浮き彫りになった課題と、そこからどのようにストレスなく利用できる分析基盤を作ったのか、また設計の方針から実際に運用してわかった今後の課題について話しました。 ※新型コロナウイルス対策のためオンライン開催に変更されています。 開発エンジニアからデータエンジニアへ 千葉祐大氏（以下、千葉）：Sansan株式会社の千葉からは「Sansan DSOC を支える名刺データ分析基盤」の構築、運用上の困ったことなどについて発表します。 まず自己紹介をします。3年前にSansanにジョインして、現在はデータエンジニアの仕事をしている千葉祐大です。データエ
Pythonによるファイナンス 第2版
さまざまな分野で威力を発揮するPythonは、ファイナンスの分野でも重要なテクノロジーとして急成長を遂げています。本書は、Pythonを使った金融工学の初歩的な基本事項からアルゴリズム取引やデリバティブ分析までカバーし、必要なプログラミング、機械学習や深層学習を利用したデータ分析、統計などについて、数理と実用面から詳しく解説します。「データ駆動型アプローチ」と「AIファーストファイナンス」を軸に、これからのファイナンスに必要な戦略と実践力を体得できることを目的とします。 目次 日本語版まえがき まえがき 第1部 Pythonとファイナンス 1章 なぜファイナンスにPythonを使うのか 1.1 プログラミング言語Python 1.1.1 Pythonの大まかな歴史 1.1.2 Pythonエコシステム 1.1.3 Pythonのユーザ層 1.1.4 科学スタック 1.2 ファイナンスにお
企業で働くデータサイエンティストになって10年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした
ブレインパッド社内勉強会での発表スライドを公開しました 本スライドは #OpenBP の活動の一環として公開しています https://twitter.com/search?q=%23OpenBP&src=hashtag_click #OpenBPとは→ https://note.mu/ysdyt/n/n46160f3348fe
「Kaggle スタートブック」は今からKaggleを始める人・興味ある人に最適な本です - karaage. [からあげ]
「Pythonではじめる Kaggle スタートブック」を献本いただきました u++ (id:upura)さんとカレーちゃんさんの共著「Pythonではじめる Kaggle スタートブック」を献本いただきました！ 実践Data Scienceシリーズ PythonではじめるKaggleスタートブック (KS情報科学専門書) 作者:石原 祥太郎,村田 秀樹発売日: 2020/03/19メディア: 単行本（ソフトカバー） 実践Ｄａｔａ Ｓｃｉｅｎｃｅシリーズ ＰｙｔｈｏｎではじめるＫａｇｇｌｅスタートブック (ＫＳ情報科学専門書) 作者:石原祥太郎,村田秀樹発売日: 2020/05/26メディア: Kindle版 実は、献本いただく話をいただいていたのですが、すっかり忘れていて普通に自分で買う寸前でした（笑）欲しかった本が、突然自宅ポストに届いていたので「季節外れのサンタさん？」と思ったりしま
![「Kaggle スタートブック」は今からKaggleを始める人・興味ある人に最適な本です - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e129dc189c8d9526ec2e6e9d8febe723ceea15ec/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200316%2F20200316231702.jpg)
経済セミナー2022年6・7月号 通巻726号【特集】経済学と再現性問題 日本評論社Amazon 最近は計量経済学・統計学方面の方々との交流が多いんですが、そのご縁で『経済セミナー』の2022年6・7月号が再現性問題を取り上げていたと知り、入手して読んでみました。特集部分の目次を以下に引用すると、 特集＝ 経済学と再現性問題 【鼎談】再現性の問題にどう向き合うか？……川越敏司×會田剛史×新井康平 心理学における再現性の危機――課題と対応……大坪庸介 経済学における再現性の危機――経済実験での評価と対応……竹内幹 フィールド実験・実証研究における再現性……高野久紀 健全な研究慣習を身に付けるための実験・行動経済学101……山田克宣 再現性問題における統計学の役割と責任……マクリン謙一郎 という内容で、幾つかの分野にまたがって論じられています。特に、このブログ含めて個人的に度々お世話になってい
データサイエンティストは、ビジネスチームや上司から、さまざまなデータ分析を依頼されます。本来自分がやりたかったデータ分析と、ちょっと違うという不一致はありませんか？ こうした不一致は、データ分析というものが抽象的で、人によって期待値が違うからです。 では、どのように分析すればよいか。その考え方を、Wantedly社の松村優也氏が語ります。 データ分析に求めるものは、人によって違う 松村優也氏：「データ分析の解像度を上げたい」というタイトルで発表します。よろしくお願いします。 まず自己紹介です。松村優也と申します。Wantedlyという会社の推薦チーム（レコメンデーションチーム）で、データサイエンティストとチームリードをやっています。情報検索の分野と機械学習に興味があります。本日が2020年での初登壇になります。 まずはみなさん、データ分析はうまくいっていますか？ 自信を持って「私はデータ分
2019年も様々なデータサイエンス関連のコンペが実施され、論文が発表されました。その中でも面白かったものはどれか、5人のkagglerの方に直接お伺いしました。 2019年はTellusxSIGNATEで実施された衛星データコンペの解説(第1回・第2回)が、データサイエンティストの方に読んでいただいた宙畑のヒット記事としてランクイン。 では、データサイエンティストの方は他にどのようなコンペや論文に興味を持たれていたのか……と気になった宙畑編集部。 今回、以下5名のKagglerの方に協力いただき、2019年の振り返りとして面白かったコンペと論文、そしてその理由を教えていただきました。 あきやま様(@ak_iyama) jsato様(@synapse_r) Hiroki Yamamoto様(@tereka114) smly様(@smly) ※順不同 ※1名、非公表 Kaggleについては「世
連載目次 こんにちは、初心者Kagglerの一色です。また、この連載の記事を開いてくれてありがとうございます！ 前回は「Kaggle初心者のためのコンペガイド ― Titanicの先へ：僕たちのKaggle挑戦記」という記事を公開して、ブックマーク数は少なかったものの、そこそこのページ参照数が得られました。ドキドキしながらの記事公開でしたが少し安心しました。これを受けて、自分もそうだったのですが、「取りあえずTitanicコンペでSubmission（提出）まではやったけど、次のコンペティション（本稿ではコンペと表記）になかなか取り組めない」という人が少なくないということなのかなと思いました。 壁「Titanicの次」を突き破る！ オススメの方法 筆者はどうやって「Titanicの次」という壁を突き破れたのか。そのきっかけになったのが、前回の記事で「Kaggleを始めるのに役に立ったこと」
KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2]
本セッションでは、弊社にて複数サービスで導入しているAWSのマネージドサービス (Lambda、CloudWatch Logs、Kinesis Data Streams、S3、Elasticsearch Service) を活用したServerlessなログ基盤の構成について紹介する。自前でログ基盤を管理しているが管理コストなど課題を感じている人や、コンテナ活用時のロギング構成の設計に悩んでいる人をターゲットにしている。 / / 現在のログ基盤の構成に至るまでの経緯（過去に試行錯誤した10以上の構成パターン）、設計思想（保守性、高信頼性、コスト削減、拡張性）について紹介する。 / / タップル誕生やCROSSMEをはじめとした実際に運用中のサービスを事例に、サービス用件ごとに合わせたロギング構成を解説する。また、2年半の期間で様々な構成を運用をしてきた事によって得られた知見について話す。ロ
![KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7e518a2e41301ea8958909feba50e35cd5747e8d/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fb79f3bc288724aa2b1685401ea774103%2Fslide_0.jpg%3F13762636)
Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。前半は使えないデータとは何かについて。 自己紹介 ゆずたそ氏（以下、ゆずたそ）：では、発表を始めたいと思います。「データマネジメントなきMLは、破綻する。〜こんなデータじゃ機械学習できねぇよ問題の処方箋〜」という話をしたいと思います。 はじめに、まず自己紹介です。「yuzutas0」というアカウントをやっています。機械学習の専門家ではないのですが、機械学習を使った施策に
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
【夏休みの自由研究】そうだブロックチェーンを作ろう！
はじめに ITニュースの方でも話しましたが、ここ数日、例の本でWeb3がとても話題ですね。まあ、炎上なので良い事では無いのですが、せっかくなのでその根幹技術らしいブロックチェーン周りの自分の理解を整理してみることにしました。とりあえず、簡易なブロックチェーンを作ってNFTやスマートコントラクトについても少し考えていきたいと思います。 なお、ネタでは無く詳しくない分野なので勘違いとかあると指摘してもらえると嬉しいです。 注意 あくまで私の理解のアウトプットなので実際の挙動や仕様とは異なる可能性があります 実践的で本格的な仕様や実装ではなく、あくまで基本的な理解のためのサブセットの作成 データの自由化！とかそういう話はしません ブロックチェーンを作ろう！ ハッシュ値による改ざんの困難性 そもそもブロックチェーンとは何でしょうか？ 一般には改ざんに強いP2Pな台帳という理解かな、と思います。暗号
最高裁判所は1月20日、仮想通貨のマイニングツール「Coinhive」を閲覧者に無断で自身のWebサイトに設置したとして、Webデザイナーの男性が不正指令電磁的記録保管罪に問われた「Coinhive事件」について、二審の有罪判決を破棄して無罪と判断した。 サイト内に設置したプログラムコードが、刑法168条の2第1項のいう「人が電子計算機を使用するに際してその意図に沿うべき動作をさせず、又はその意図に反する動作をさせるべき不正な指令を与える電磁的記録（不正指令電磁的記録）」に当たるのかが争点となっていた。 一審の横浜地裁は「プログラムコードは、反意図性が認められるが、不正性は認められないから、不正指令電磁的記録に当たらない」として、無罪を言い渡した。これに対し、二審東京高裁は「プログラムコードは、反意図性及び不正性が認められ、不正指令電磁的記録に当たる」として一審判決を破棄し、罰金10万円の
TechCrunch
Welcome, folks, to Week in Review (WiR), TechCrunch’s regular newsletter covering this week’s noteworthy happenings in tech. TikTok’s fate in the U.S. looks uncertain after President
連載目次 導入 この連載では、近年話題のコンペティションプラットフォーム「Kaggle」について、リクルート所属のKaggle Master 4人がKaggleの仕組みや取り組み方、初心者から一歩先に行くためのノウハウについて解説を行います。 第1回では、これからKaggleを始めようと思っている方向けに、Kaggleの仕組みや実際にコンペティションに出場した後の取り組み方、初心者におすすめのコンテンツについて解説を行いました。第2回では、ランクを上げていくために筆者が「実際に何をしていたか」について、実際の事例を交えながら解説していきます。
Machine Learning Casual Talkは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話せる会です。実際に運用していく上での工夫や、知見を共有します。第12回目のテーマは「機械学習プロジェクトに関する「ベストプラクティスとアンチパターン」。機械学習ではデータを扱いますが、そのデータマネジメントがしっかりしていないと破綻してしまうという点について、ゆずたそ氏がお話します。後半は実際のデータマネジメントの方法ついて。 データマネジメントの11領域 ゆずたそ氏（以下、ゆずたそ）：そういったつらい状況の中で、解決のために何ができるかという話をしていきたいと思います。ちょうど今折返しぐらいの時間なので、後半、この話をやっていきます。 今回テーマにもあるように、データマネジメントという概念・手法が鍵になるかなと自分は考えています。 じゃあ「データ
仕事＝Kaggle＝趣味。脳医学、生物学など他分野の専門家と予測モデルを作り続ける、“コンペ漬け”の日々 ――2020年3月から在籍するNVIDIAでは、業務時間のほとんどをKaggleに費やしているそうですね。 小野寺：はい。9割超の時間はKaggleをやっています。完全に趣味が仕事になった感じですね。最初にNVIDIAに声をかけてもらった時は「えっ、遊んでいるだけでお金がもらえるの？」と驚きました。 ――小野寺さんが業務時間をKaggleに費やすことは、NVIDIAにとってはどんな意味があるのですか。 小野寺：Kaggleで得たデータサイエンスの知見などを、会社に還元しているんです。今は主に、「RAPIDS」（＊1）というソフトウエアライブラリを充実させるのに貢献しています。 ＊1 NVIDIAがオープンソースで提供する、データ分析をGPUで高速に実行するためのライブラリ ◆インタビュ
日本の昔話を題材にデータサイエンスの効果をアピールするシリーズ記事の一つ。問題になった記事では、赤ずきんが監視カメラの映像から顔識別システムで不審な表情や行動パターンをとっている人物（オオカミ）を特定。犯行予想日に待ち伏せし、オオカミが人を飲み込む前に逮捕する――という内容が描かれている。 Twitterでは「サイエンスが人間と社会の自由を狭めてしまっては本末転倒」「犯罪者みたいな表情をしただけで現行犯逮捕って」など批判の声が上がっていた。 立正大学に非公開化の経緯について尋ねたところ「当該ページは広告としての役割を終え、年度末を機に切替を予定していたが、SNS上で所属学生や教員に言及されている発言も出てきたため、繰り上げて対応した」と説明した。 批判に対しては「Twitterなどで議論されている内容の一部は確認している。一つ一つの意見に対して否定・回答などはしないが、いただいた意見につい
データ分析プロジェクトの品質をキープしつつ効率的な検証をサポートする一時ファイル群の管理 - クックパッド開発者ブログ
研究開発部の takahi_i です。本稿はデータ分析、 機械学習関係のプロジェクトで数多く生成される一時オブジェクトおよびそれらのオブジェクトを保持するファイル（一時ファイル）を管理する取り組みについて解説します。 本稿の前半はデータを分析するプロジェクトの一般的なフローと起こりがちな問題（コードの品質管理）について解説します。後半はプログラム上で生成されるオブジェクト群をファイルに自動でキャッシュを管理するツール（Hideout）を使って、コードを整理整頓しやすくする施策について紹介します。 データを分析するプロジェクトの一般的なフロー まずデータを処理するプロジェクトや機械学習プロジェクトの典型的なフローについて考えてみます。まずは単純に機械学習器を取得した入力に対して適用するプロジェクト、次にもう少し複雑な事例、アプリケーションで利用するデータを生成するプロジェクトのフローについて
マイニングツール，Coinhiveをサイトに設置し，閲覧者にツールを実行させていたことについて，不正指令電磁的記録保管罪の成否が問題となった事件（控訴審係属中）。 事案の概要 X（被告人）は，サイトaを運営していたが，その維持管理費用をまかなうために，サイト閲覧者に仮想通貨のマイニングを行わせ，そこから得られる収益を得るモデルがあることを知った。そこでXは，マイニングスクリプトを自己のウェブサイトのHTML内に記述した。 本件の公訴事実は，おおよそ，「サイト閲覧者の同意を得ることなく，閲覧者の電子計算機にマイニングの演算を行わせる不正指令電磁的記録であるプログラムコードをサイトaを構成するファイル内に蔵置して保管し，もって人が電子計算機を使用するに際してその意図に反するべき不正な指令を与える電磁的記録を保管した」というものである。 ここで取り上げる争点 本件プログラムコードの不正指令電磁的
広告クリエイティブと機械学習技術における現状と展望 / The Present and Future of Machine Learning for Ad Creatives
この資料は2020年度人工知能学会第34回全国大会のオーガナイズドセッション「広告とAI」にて発表した際の資料です。 広告クリエイティブは主に画像やテキストなどから構成され、デジタル広告において購買対象となる顧客に対し、効果的に製品の情報を届ける重要な役割を担っている。こうしたクリエイティブは主に人手により、大量に作成および運用されている。しかし効果の高いクリエイティブを作るのは非常にコストがかかる。そのため、配信効果の高いクリエイティブの作成や運用のために、機械学習技術を用いた研究開発が世界中で盛んに行われている。特に広告クリエイティブを構成する素材の分析や、広告クリエイティブの配信効果を事前に予測するCTR予測・CVR予測、配信効果の高い広告クリエイティブの自動生成といったタスクが注目されている。本講演では、データマイニング分野で最難関国際会議であるKDD2019において発表した広告ク
データ解析とは？データ分析との違いについても詳しく解説 | AKKODiS（アコーディス）コンサルティング株式会社
近年は、大量のデータを活用して業務のデジタル化に役立てる「データ利活用」という考え方が広がりつつあります。データ利活用を成功させるうえで、重要な手段の一つがデータ解析です。 データ解析と似た用語にデータ分析があり、両者の違いがよく分からないという方もいるでしょう。今回はデータ解析とデータ分析の違いを始め、ビッグデータとの関係性についても解説します。 また、データ解析を行うにあたっては数多くの手法があるため、代表的な手法についても触れています。データ解析を行うメリットや注意点についても解説していますので、今後データ解析について知りたい人から実際に関わっていく人まで、有益な内容となるでしょう。ぜひ最後までお読みいただければ幸いです。
アンチウイルスソフト「ノートン 360」に搭載された仮想通貨のマイニング機能が強制インストールで削除が難しく、かつ採掘した仮想通貨の15％が手数料として取られることで批判を集める中、無料アンチウイルスソフトとして知られる「Avira Free Antivirus」にも仮想通貨マイニング機能が追加されていたことがわかりました。 500M Avira Antivirus Users Introduced to Cryptomining – Krebs on Security https://krebsonsecurity.com/2022/01/500m-avira-antivirus-users-introduced-to-cryptomining/ 「Avira Free Antivirus」は、2006年に創業したドイツ企業・Avira Operations GmbH＆Co. KGが開発
urlscan.ioとShodanでお手軽にマルウェアの通信先サーバを調べる | IIJ Engineers Blog
セキュリティ本部データ分析課所属。2020年新卒入社。情報分析基盤のセキュリティログ分析を行う傍ら、マイニングマルウェアやIoTマルウェアを調査しています。 はじめに こんにちは、セキュリティ本部の森下です。 普段は情報分析基盤でセキュリティログの分析を行う傍ら、感染活動の動向を把握するためにマイニングマルウェアやIoTマルウェアを調べたりしています。 一般的にマルウェアに感染すると、C2サーバに通信して攻撃の指令を受けたり、マルウェア配布サーバからさらに別のマルウェアをダウンロードしてきたりします。 セキュリティ製品などによる検知を回避するために、マルウェアの通信先サーバは短期間で変わっていくことが多く、追跡し続けることが必要です。 マルウェアの通信先サーバでは、一般的なサーバとは異なる特徴が表れることがあり、その特徴を把握することで、新しく使われるサーバを迅速に発見できる可能性がありま
こんにちは、エニグモでデータアナリストをしている井原です。 この記事は Enigmo Advent Calendar 2021 の 7日目の記事です。 今日は、実際に業務で、データ分析をした内容を元に、データアナリストがどのような仕事をしているのかをお話したいと思います。 データアナリストの仕事 世の中では、データアナリストと言われる職種の仕事は多岐に渡ると思います。 データマイニング、データ分析基盤の整備、ビジュアライゼーション、KPIの設計、機械学習モデルの構築、etc... エンジニアリングやサイエンスの領域と思われるところを担っているデータアナリストの方もいらっしゃるのではないかと思います。 エニグモの場合、データサイエンティストやデータ基盤エンジニアといった、専門家が在籍しています。そのため、データアナリストは、施策の効果検証やサイト上の課題発見といった、ビジネス領域の課題に対し
暗号資産「イーサリアム」の大規模な仕様変更「The Merge」が完了したと、開発者のヴィタリック・ブテリン氏が9月15日にツイートしている。これまでイーサリアムは、ブロックチェーン上の取引を承認するコンセンサスアルゴリズムに、ビットコインと同じ「PoW：Proof of Work」を採用していたが、新たに「PoS：Proof of Stake」に移行する。 PoWは、コンピュータなどの計算リソースを競わせて取引承認（ブロックの生成）をするため、世界中からマイナーが参加し、莫大な電力が必要となっていたが、PoSではコインの保有数（Stake）や保有年数によってマイニングの難易度が変化。PoWと比べて必要な消費電力を大幅に削減できるとうたう。イーサリアム財団によると、PoWで使う消費電力を最大99.95％削減可能としている。
ビットコインのネットワークの計算能力が今週、世界的に急激に落ち込んでいる。燃料価格引き上げに抗議するデモが拡大し政府が全土に非常事態を宣言した中央アジア・カザフスタンが今、米国に次ぐ世界第２位のビットコイン採掘（マイニング）の拠点に急成長していたためだ。写真はイメージ。昨年１０月撮影（２０２２年 ロイター／Edgar Su） ［ロンドン ６日 ロイター］ - 暗号資産（仮想通貨）ビットコインのネットワークの計算能力が今週、世界的に急激に落ち込んでいる。燃料価格引き上げに抗議するデモが拡大し政府が全土に非常事態を宣言した中央アジア・カザフスタンが今、米国に次ぐ世界第２位のビットコイン採掘（マイニング）の拠点に急成長していたためだ。５日に全土でインターネットが遮断されたことが影響したと指摘されている。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データサイエンティストに王道無し - 渋谷駅前で働くデータサイエンティストのブログ
押収されたゲーム機は3800台！ズラリとPS4並ぶウクライナの仮想通貨マイニング工場が電気窃盗で摘発 | Game*Spark - 国内・海外ゲーム情報サイト
“ペタ”FLOPSの性能を実現したモンスターGPU「NVIDIA H100」
パッチ適用前のQNAP NASで密かにマイニングするマルウェアが蔓延
データサイエンティストを目指す人におすすめの資格・コンペ｜難易度や試験内容も解説
データサイエンティストになるには？求められるスキルセットや道のりを解説
Sansanのデータエンジニアが語る、名刺データ分析基盤の構築方法
RyzenやGeForceなどの品薄が深刻化、5万円近く値上がりしたビデオカードも安価な液晶ディスプレイも品薄傾向、一方でIntel CPUの価格は下落傾向
「因果関係」をとらえるために / To grasp causal relationship
再現性問題のはなし - 渋谷駅前で働くデータサイエンティストのブログ
解像度を上げると「データ分析」はもっと幸せになる 現役データサイエンティストが教える、データ分析の4つの要素
Kaggle上位ランカーの5人に聞いた、2019年面白かったコンペ12選と論文7選 | 宙畑
「無料のKaggle公式講座×コンペ初参戦」で機械学習を始めよう
こんなデータじゃ機械学習できねぇよ MLにおけるデータマネジメントの重要性
DXやデータ分析の基本を学べる講座が無料に | Ledge.ai
Coinhive事件、無罪確定 二審の有罪判決から逆転
脱・Kaggle初心者 ～ 一歩先に行くためのノウハウ
機械学習できるデータを用意せよ MLで重要なデータマネジメントの11領域
ゲーミングPCでの暗号通貨マイニングが終焉し、中古ビデオカードが激安に？【石田賀津男の『酒の肴にPCゲーム』】
仕事も友達もKaggleで得た―。敏腕データサイエンティストが熱中する、分析で「競う」世界
立正大、“データサイエンス昔話”記事を非公開に 「オオカミの悪事を事前に予測し逮捕」に批判相次ぐ 大学の意図は
コインハイブ事件 横浜地判平31.3.27（平30（わ）509） - IT・システム判例メモ
無料アンチウイルスソフト「Avira Free Antivirus」にも仮想通貨マイニング機能が追加されていた
GeForce RTX 3080/3070/3060 Tiにマイニング性能制限。NVIDIA正式発表
決定木分析を使用して、データ分析を行った話 - エニグモ開発者ブログ
「イーサリアム」の大規模アップデートが完了 「PoS」移行で消費電力を99.95％削減へ
アングル：ビットコイン採掘能力が急低下、一大拠点カザフのネット遮断