ウェブブラウザのFirefoxを開発しているMozillaの研究者らが、ブラウザの閲覧履歴だけを使用して高い精度で個人を特定することができたとの研究結果を発表しました。この発表により、匿名化された閲覧履歴であればオンライン広告の広告主などに悪用されないというこれまでの考え方が覆されるとの見方が広がっています。 Replication: Why We Still Can't Browse in Peace: On the Uniqueness and Reidentifiability of Web Browsing Histories | USENIX https://www.usenix.org/conference/soups2020/presentation/bird Mozilla: there is a high probability that your browsing hi
Yann LeCun’s Deep Learning Course at CDS is Now Fully Online & Accessible to All
CDS is excited to announce the release of all materials for Yann LeCun’s Deep Learning, DS-GA 1008, co-taught in Spring 2020 with Alfredo Canziani. This unique course material consists of a mix of close captioned lecture videos, detailed written overviews, and executable Jupyter Notebooks with PyTorch implementations. The course covers the latest techniques in both deep learning and representation
依然として高まり続ける「データサイエンティスト」への関心と、それを追う「データエンジニア」と - 渋谷駅前で働くデータサイエンティストのブログ
今回の記事はいつものようにネタが見つからなくて困ったので窮余の一策としての与太話です。話題はこのブログで時々やっている「データサイエンティスト＆関連職に関するGoogle Trendsを用いた意識調査」です。 ちなみに、某協会が学生向けのアンケートで意識調査を行った結果が最近報じられていて、SEやコンサルタントなど他職種と比べた場合にどれくらいの立ち位置にあるかの参考になるかもしれません。 対象となる職種 完全に独断と偏見に基づきますが、今年のスキル要件記事で定義した「データサイエンティスト」「機械学習エンジニア」「データアーキテクト」の3つと、さらに後二者の言い換えもしくは類似概念とされそうな「データエンジニア」「AIエンジニア」の2つを加えた、計5つを今回の調査対象としました。 特に「データエンジニア」についてはやはり「データアーキテクト」という語がいわば玄人の間で使われているのに対し
米国データサイエンティストのブログ
データサイエンス 【ついに3部完結】機械学習超入門講座の本番編を公開しました!! 2023.03.08 かめ@米国データサイエンティスト こんにちは，米国データサイエンティストのかめ(@usdatascientist)です． ついに，機械学習超入門の本番編を公開し3部作が完結しました！！（こちらは，前後編の後続の講座となります． 本番編は，実際の業務等で機…
機械学習ツールキット「Kubeflow 1.0」をGoogleが公開、「Anthos」と組み合わせると何ができるのか
Googleは2020年3月3日（米国時間）、オープンソースのKubernetes対応機械学習（ML）ツールキットの正式版「Kubeflow 1.0」を公開した。同時に、企業がKubeflowをGoogle Cloudの「Anthos」プラットフォーム上で利用するメリットを紹介した。Kubeflowは、Googleが2017年12月に立ち上げたオープンソースプロジェクト。 MLライフサイクル全体にわたって、企業がオープンソースのデータサイエンスやクラウドネイティブエコシステムを利用して、ソフトウェア開発とMLのインフラを共通化したり、標準化したりする際に、Kubeflowが役立つという。 Kubeflowは、スケーラブルでポータブルなMLワークロードの開発に加えて、オーケストレーションやデプロイ、実行のためのKubernetesネイティブプラットフォームを提供すると、Googleは説明して
About the Open Edition The 3rd edition of Python for Data Analysis is now available as an “Open Access” HTML version on this site https://wesmckinney.com/book in addition to the usual print and e-book formats. This edition was initially published in August 2022 and will have errata fixed periodically over the coming months and years. If you encounter any errata, please report them here. In general
TechCrunch
Last week, cloud computing company Shadow confirmed a data breach involving customers’ personal information. The hacker claims to have access to the data of more than 530,000 customers. According to
GitHub - Kanaries/pygwalker: PyGWalker: Turn your pandas dataframe into an interactive UI for visual analysis
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - streamlit/streamlit: Streamlit — A faster way to build and share data apps.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
分業化が進むことで個別分野のエキスパートは増え、各問題に対する即応度は高まった感はあるものの、膨大なデータを背景にした意思決定のさらなる高速化が求められる現代においては、独立性の高い分業形態では追いつかないケースが増えています。翔泳社から6月5日に発売した『スケーラブルデータサイエンス』は、そのようなニーズに応えられるデータエンジニアとして、GCPを援用することで自身をスケールアップする方法を解説しています。 『スケーラブルデータサイエンス データエンジニアのための実践Google Cloud Platform』は、理論的な側面だけではなく、実際に利用できるサービス構築をも視野に入れられる“エンジニア”を目指す方のためのガイドです。 もちろん、全エンジニアが本書に描かれているような、意思決定のためのデータ収集からクレンジング、ビジネスサイドからの要求に対応した分析向け各種アルゴリズムの選定
政府の保有データを公開するサイトが一部、開店休業の状態になっている。誰もが簡単に使える「オープンデータ」のはずなのに、2割以上のデータにアクセスできない部分がある。欧米ではデータを活用した成果が目立ち始めた。出遅れる日本にはデジタル社会の土台を機能させるための意識改革が欠かせない。「リクエストされたページは見つかりません」。政府のサイトで作業を進めるとこんなメッセージが現れた。サイトは政府が
こんにちは、Mobility Technologiesのデータエンジニアの渡部徹太郎です。 データサイエンティストの皆さん、以下のような状況になったことないでしょうか。 データの加工処理が遅いからインスタンスタイプを上げたが速くならなかった機械学習の学習が遅いから、GPUを増やしたが、速くならなかった こういったときは以下の資料を見てください。きっと解決します！ スライドへのリンク この資料は、先日社内の勉強会で説明した資料になります。 We're Hiring!
Python open source libraries for scaling time series forecasting solutions
By Francesca Lazzeri. This article is an extract from the book Machine Learning for Time Series Forecasting with Python, also by Lazzeri, published by Wiley. In the first and second articles in this series, I showed how to perform feature engineering on time series data with Python and how to automate the Machine Learning lifecycle for time series forecasting. In this third and concluding article,
DataScienceCentral.com - Big Data News and Analysis
DSC Weekly 7 May 2024 Scott Thompson | May 7, 2024 at 1:34 pm Announcements Top Stories In-Depth... Ten reasons organizations pay more in data integration tax every year Alan Morrison | May 7, 2024 at 1:03 pm Photo by Ernesto Andrade on Flickr Gartner’s April 2024 IT forecast estimated 8 percent growth from 2023 to 2024, fore... What Is generative AI audio? Everything you need to know Erika Balla
GitHub - ml-tooling/best-of-ml-python: 🏆 A ranked list of awesome machine learning Python libraries. Updated weekly.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こちらの記事は、Przemek Chojecki 氏により2019年 11月に公開された『 Data Science Books you should read in 2020 』の和訳です。 本記事は原著者から許可を得た上で記事を公開しています。 データサイエンスは間違いなく今最もホットな市場の1つです。ほとんどすべての企業が、データサイエンスの職種を募集している、もしくは検討しています。 つまり、データサイエンティストになるのには最適な時期です。もしくはすでにデータサイエンティストであり、上級職に昇格したい場合は、スキルを磨くのに最適な時期です。 この記事では、データサイエンスに関する最も人気のある書籍のいくつかを扱っています。 入門レベル データサイエンスの冒険を始めたばかりなら、ぜひ試してみてください Data Science from Scratch は、その名の通り、全くの初心
はじめに 自然言語処理（Natural Language Processing: NLP）の文脈から誕生したTransformerはそのモデルのシンプルさにもかかわらず、大きな成果をあげることに成功しました。そのため、その後NLPにブレイクスルーをもたらしたBERTやGPT-2などのモデルはTransformerをもとにつくられています。現在（2020年）では、DETRなど最新の物体検出モデルにも使われるようになり、Transformerは機械学習を学ぶ上では避けて通ることができないモデル・アイディアであるといえるでしょう。 今回は、近年の最重要モデルといえるTransformerについて発表論文「All you need is attention」を中心に、その誕生背景からモデル概念まで一から解説したいと思います。 なお、今回の内容は以下の二つに大別されます。 ．Transformerが
AIをビジネスに実装する方法 作者:岡田 陽介日本実業出版社Amazon ABEJA Platformについて yut.hatenablog.com @yutakikuchi_です。 前回のPostでABEJAが開発しているMLOpsの課題を解決するABEJA Platformの概要について説明しました。このPostではABEJA Platformの一機能であり、学習データの蓄積を加速する ABEJA Platform Annotation について紹介します。 ABEJA Platform Annotationとは abejainc.com 今回はMLOpsで重要な学習データを蓄積するためのAnnotationについて書きます。そもそも学習データとは？という方もいると思うので、簡単に一言で表すと、人工知能のモデルを作るための知識・入力データと言えます。人間も学習という訓練を重ねながら脳を
DS.INSIGHT - ヤフー・データソリューション
DS.INSIGHTは、顕在化されづらい消費者の気持ちをお手元で探索・分析できるデスクリサーチツールです。 Yahoo! JAPANの月間5,600万人のユーザー*からお預かりしたデータを統計化し、 どなたでも直感的に使いやすいインターフェースで、企画立案や意思決定などに データをお役立ていただけます。
「gpt2-japanese」の「smallモデル」と「ファインチューニングのコード」が公開されたので、日本語によるGPT-2のファインチューニングを試してみました。 前回 (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip uninstall tensorflow -y !pip install -r requirements.txt2. モデルのダウンロード「smallモデル」を「gpt2-japanese」フォルダにダウン
一流の機械学習エンジニアを雇用する：Googleが求める人物像とは | Forbes JAPAN 公式サイト（フォーブス ジャパン）
企業が人工知能（AI）テクノロジーを採用してコストを削減し、効率性を向上させ、そのデータから価値を得るにあたり、機械学習に関わるエンジニアはますます価値あるリソースとなっています。最新のRELXの調査によると、63％の企業が、AIがパンデミック時のビジネスの回復にプラスの影響を与えたと報告しており、およそ10社中7社がAI技術への投資を昨年度よりも増やしています。 他の新しいイノベーションと同様に、期待通りの価値を実現させるには、それをサポートするために最適な人員を配置することが大変重要です。才能あるAI人材は不足しています。およそ5社中2社が、AIテクノロジー使用のための主な障害として技術的な専門知識の不足を挙げています。 AI人材の需要は供給を上回っている 企業が現在直面している大きな問題の一つは、AI担当部門のオープンポジションが、条件を満たす人の数をはるかに上回っていることです。例
データが持つ本当の価値とは何でしょうか。また、データがあふれる社会で私たちはどのようにビジネスをし、日々の生活を送るべきなのでしょうか。 9月19日、元Amazon.comチーフサイエンティストのアンドレアス・ワイガンド氏が「Data for the people」と題する講演を行いました。ワイガンド氏は9月1日に、ZOZOテクノロジーズのデータサイエンスアドバイザーに就任。講演はZOZOテクノロジーズの社内イベントとして開催されたものですが、当日は社外のデータサイエンティストやエンジニアなども招待されており、約600人が収容できる会場はほぼ満席。データが持つ価値やイノベーションの起こし方、データを扱うときの注意点など、その話は多岐にわたりました。 ワイガンド氏は、Amazon.comの創業者兼CEOのジェフ・ベゾス氏と共にECプラットフォーム構築に尽力し、今日のAmazonの基礎を作り上
著者のJeremie Harris氏はデータサイエンティスト志望者が職に就くまでの助言を行うメンターシップ・サービスを提供するスタートアップSharpestMindsの共同設立者であり、以前に紹介したAINOW翻訳記事「なぜデータサイエンスのゼネラリストになるべきではないのか」も執筆しています。今回紹介する「質は量に勝る：履歴書に書ける完璧なデータサイエンスプロジェクトの作り方」では、求職活動においてアピールできるデータサイエンスプロジェクトの特徴をまとめています。 数多くのデータサイエンティストの履歴書をチェックしてきた同氏は、多くのデータサイエンスプロジェクトが記載された履歴書がよい、と思い込んでいるデータサイエンティスト志望者があまりに多いことを指摘します。しかし、企業がデータサイエンティストを雇用する際に注目するのは、取り組んだプロジェクト数ではなく良質なプロジェクトを経験している
2021年度版「データサイエンティスト スキルチェックリストver.4」およびデータサイエンス領域タスクリスト ver.3」を発表ニュース｜一般社団法人データサイエンティスト協会
HOME ニュース プレスリリースの記事一覧 2021年度版「データサイエンティスト スキルチェックリストver.4」およびデータサイエンス領域タスクリスト ver.3」を発表 2021年度版「データサイエンティスト スキルチェックリストver.4」およびデータサイエンス領域タスクリスト ver.3」を発表 このたび、データサイエンティスト協会 スキル定義委員会（委員長：安宅 和人、副委員長：佐伯 諭）は、11月16日（火）に開催した「データサイエンティスト協会8thシンポジウム」内において発表した、データサイエンティストに必要とされるスキルをまとめた「データサイエンティスト スキルチェックリスト」の第4版を公開いたしました。 本内容は、2019年に第3版として公開したデータサイエンティストの「ミッション、スキルセット、定義、スキルレベル」および「スキルチェックリスト」を、現在のビジネス環
はじめに 因果推論を行う手法の1つとして、線形回帰が挙げられます。今回は、その線形回帰の拡張とも言えるリッジ回帰(Ridge回帰)やラッソ回帰(Lasso回帰)を用いて因果効果を推定してみるとどうなるのか、Pythonによるシミュレーションと共にまとめました。内容に誤り等ございましたら、ぜひご指摘いただけますと幸いです。 結論 リッジ回帰やラッソ回帰を用いると、うまく因果効果を推定することができません。 これは、リッジ回帰やラッソ回帰を行うことで、線形回帰（線形回帰モデルをOLS推定）による推定値よりも汎化誤差が小さくなる一方で、不偏性と呼ばれる因果効果をバイアスなく推定するために必要な性質が失われてしまうからです。 通常の線形回帰における最小二乗法(OLS)では、下記の損失関数を最小化するパラメータを求めます。
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
ソニーは機械学習を使った予測分析ソフトウェア「Prediction One」の提供を開始した。ソニーグループ各社で、ダイレクトマーケティングやシフト配置、CRMなどに活用していたものを、外部の法人に提供する。 ソニーは6月12日、機械学習を使った予測分析ソフトウェア「Prediction One」の提供を開始した。ソニーグループ各社で、ダイレクトマーケティングやシフト配置、CRMなどに活用していたものを、外部の法人に提供するものだ。当面は無料とする。 予測分析は、過去の実績から将来の結果を予測する手法の1つ。Prediction Oneは機械学習やプログラミングなどの専門知識がなくても、画面に沿って操作できるのが特徴の1つ。「数クリックで簡単に予測分析」とうたう。 ビジネスにおける天気予報 「予測分析は、ビジネスにおける天気予報のようなもの。今日傘を持っていくかどうかを天気予報を元に決める
GitHub - goplus/gop: The Go+ programming language is designed for engineering, STEM education, and data science
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Michigan Publishing, 2021 ISBN 978-1-60785-746-4 (hardcover): Purchase from Amazon ISBN 978-1-60785-747-1 (electronic) Free download from Univ. Michigan Publishing
研究データの公開・利用条件指定ガイドラインの策定 国立情報学研究所・南山泰之（みなみやまやすゆき） 研究データの流通・利活用の促進に当たっては，データに明確な利用条件が付与されることが不可欠である。著者が委員長を務める研究データ利活用協議会（RDUF）研究データライセンス小委員会（以下「ライセンス小委員会」）では，研究データの利用条件を分かりやすく表示・確認することを目的とした「研究データの公開・利用条件指定ガイドライン」を2019年12月に策定し，2020年2月に公開した。本ガイドラインの想定読者は，データを公開または再利用する研究者（大学・企業等）や技術者のみならず，データ公開を支援する機関（学術機関，図書館，学協会，学術出版社等）の担当者をも含む。以下では，策定までの背景や経緯及び構成の概要について紹介する。 ●背景と経緯 「研究データの法的相互運用性：指針と実施のガイドライン」（E
はじめに 前回は、Streamlitのインストールから簡単にライブラリ呼び出しができることをご紹介しました(前回の記事はこちら）。今回は、実際のウェブアプリケーションのように、よりインタラクティブに操作できるアプリケーションをStreamlitで作るための機能を紹介します。 ーーー翻訳ここからーーー データ可視化はデータを表示させるだけではなく、美しいレイアウトが必要になることがあります。Streamlitを活用することにより、HTML、CSS、その他のフロントエンドの技術を知らなくとも、スピーディにイケてるウェブアプリを作ることができます。 ウィジェット ウィジェットをアプリケーション内に使うことで、ユーザーがインタラクティブにデータを表示することができます。 STREAMLIT.TEXT_INPUT/STREAMLIT.NUMBER_INPUT Streamlit.text_input
Open-Sourcing Metaflow, a Human-Centric Framework for Data Science
by David Berg, Ravi Kiran Chirravuri, Romain Cledat, Savin Goyal, Ferras Hamad, Ville Tuulos tl;dr Metaflow is now open-source! Get started at metaflow.org. Netflix applies data science to hundreds of use cases across the company, including optimizing content delivery and video encoding. Data scientists at Netflix relish our culture that empowers them to work autonomously and use their judgment to
www.cheatsheets.aqeel-anwar.com
This page contains cheat sheets for various Machine Learning related topics that can come in handy either during ML/DS interviews, or your daily data-scientist life. The page is updated continuously for more cheatsheets.
グーグル・ディープマインドやファーウェイなど、AI研究で先頭を走っている企業が、気象予測AIモデルを相次ぎ発表した。既存の天気予報に迫る予測精度を記録しているというこれらのAIの利用には大きな利点がある。 by Melissa Heikkilä2023.08.09 6 9 この記事は米国版ニュースレターを一部再編集したものです。 猛暑の夏を迎えている。ここロンドンも暑い。扇風機の風を最強にしてこの記事を書いているが、それでも脳が溶けてしまいそうな暑さである。7月には記録的な暑さが襲った。 気候危機が深刻化するにつれ、容赦ない熱波、ハリケーン、洪水といった極端な気象現象がますます頻発するようになり、正確な気象予報を出すことがこれまで以上に重要になっている。 AIは、正確な気象予報に役立つという証を次々に打ち立ててきた。ここ1年ほどで、気象予報にAIを活用する動きが盛んになっていた。 エヌビデ
Excelを活用したデータ分析の方法
多くの人は、エクセルでのデータ分析はなかなか難しいと思っているかもしれません。しかし、専門の分析ツールを使わなくとも、できることは意外に多いんです。 エクセルには「分析ツール」という大変便利な機能があります。 「分析ツール」とはエクセルのアドインの一つで、クリックや簡単なパラメータの入力のみでデータ分析を可能にしてくれる機能です。 「分析ツール」機能を使用すれば、特別な関数やコードを書く必要が一切ありません。導入も簡単ですので、初心者でも気軽にデータ分析を行うことができます。 本記事では、エクセルにある「分析ツール」機能を使って、「エクセルのデータ分析でどこまでいけるのか」を8つのケースを通じて解説します。 この記事を読み終えたころには、「分析ツール」機能でデータ分析ができるようになっているはずです！ 1. 「分析ツール」機能は、短い時間で少量のデータを分析したいときに最適な機能である「デ
Obtain, Scrub, Explore, and Model Data with Unix Power Tools Welcome to the website of the second edition of Data Science at the Command Line by Jeroen Janssens, published by O’Reilly Media in October 2021. This website is free to use. The contents is licensed under the Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License. You can order a physical copy at Amazon. If y
Humane, the company behind the hyped Ai Pin that launched to less-than-glowing reviews last month, is reportedly on the hunt for a buyer.
TL;DR リモートワークでより一層作業ログを残すのは重要になったが、Jasper での管理がめちゃくちゃ捗る 分析系のタスクは SQL クエリだけだと情報が不十分なことが多く、作業ログに過程を残しておくと便利 チームで同じように作業ログを残しておくと作業追いやすいしコメントとかも随時入れられるのでよい リモートワークがメインになって久しいが、リモートワークはスッとお布団で昼寝とかできたりして最高なので、今後もこれが自分の標準的な働き方になる（少なくとも必要な時はいつでもリモートで働けるようにする）という感じがする。 リモートワークがメインになって色々と変わったけど、その中でもこのエントリでは作業ログを残すことについて、いま自分（もしくはチーム）がどういう感じでやっているかを残しておこうと思う。 リモートワークになって作業ログを残す重要性はより一層高まった。 社内 wiki に日報を書くと
E2228 – 研究データ同盟第14回総会＜報告＞
研究データ同盟第14回総会＜報告＞ 電子情報部電子情報企画課・中川紗央里（なかがわさおり） 研究データ同盟（RDA；E2144ほか参照）第14回総会は，“Data Makes the Difference”（データが社会を変える）を全体テーマとして，2019年10月23日から25日にかけてフィンランドのヘルシンキで開催された。2019年10月時点で，RDAには137の国・地域から9,000人以上の個人会員が登録しており，本総会への参加者数は571人（うち日本からの参加者は15人）であった。参加者の属性は，主にデータ共有に関する研究者，データ管理者，図書館員，行政関係者等である。 RDAはBirds of a Feather（BoF），Interest Group（IG），Working Group（WG）という3種類のグループから構成されており，議論の成熟度に応じて，BoF，IG，WGと段
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「ウェブブラウザの閲覧履歴からユーザーを特定可能」とMozillaの研究者が発表
Python for Data Analysis, 3E
https://js4ds.org/
データエンジニアの必須スキルとそれをサポートするGCPを一望する『スケーラブルデータサイエンス』
政府オープンデータ「開店休業」 2割にアクセス不備 チャートは語る - 日本経済新聞
データサイエンティスト向け性能問題対応の基礎 | MoT Lab (GO Inc. Engineering Blog)
2020年に読むべきデータサイエンスに関する書籍 - Qiita
自然言語処理の必須知識 Transformer を徹底解説！
学習データの蓄積を加速する ABEJA Platform Annotation - Y's note
gpt2-japaneseの使い方 (2) - GPT-2のファインチューニング｜npaka
Amazon流イノベーションの起こし方 元幹部のデータサイエンティストが語る
質は量に勝る：履歴書に書ける完璧なデータサイエンスプロジェクトの作り方 | AI専門ニュースメディア AINOW
リッジ回帰やラッソ回帰で因果推論できるのか？ - Qiita
モデルが古い？再学習は？AI導入”後”の運用をマイクロソフトに聞いた | Ledge.ai
「この顧客の成約確率は？」文系でもAI活用 ソニーが予測分析ソフト無償提供
Introduction to Probability for Data Science
E2250 – 研究データの公開・利用条件指定ガイドラインの策定
STREAMLITを活用してデータ可視化アプリを作ろう （パート2） | TC3株式会社｜GIG INNOVATED.
グーグル、ファーウェイのAIで気象予報はどう変わるか？
Welcome | Data Science at the Command Line, 2e
TechCrunch | Startup and Technology News
Jasper による（データ分析系）タスクの作業ログ管理