行動ログ収集 API サーバの Fastly Compute 移行〜高スケーラビリティ、高信頼性、高メンテナンス性を目指して 〜Fastly 基幹イベント Yamagoya 2023 の登壇資料です。 https://www.fastly.com/jp/press/press-releases/yamagoya-2023
Jupyter Notebook/LabsをMLのどのフェーズで使うのか？ | Democratizing Data
機械学習ではよく使われるJupyter Notebookですが、これを使ってプロダクションで動くコードを書くのは非常に難しいなと思い、皆どのように使っているのかを知りたくてアンケートをとってみました。 結果としては、多少拮抗しているのですが、EDAから予測までJupyter派が多かったようです。ついで、学習のプロトタイプまで、EDAだけ派と続いています。 この質問で失敗したなと思ったのは、「MLの開発」と書いたものの、研究・実験用途で使っている人とプロダクションまで持っていく用途で使っている人が混ざってしまったであろうという気がしています。 ただ、1000票以上集まったので面白い結果となったのではないでしょうか。 その他の回答としては、Emacs派や全部.py派、全部C++派などがいることがわかりました。
「収集もするし整備もする」AIプロジェクトにおける影の立役者・データエンジニアの仕事に迫る | Ledge.ai
昨今、自社のデータを活用して、分析やAI開発に取り組もうとしている企業は多い。しかし、それらの試みが一足飛びに上手く行くケースはほとんど見ない。データ活用プロジェクトにおいては、さまざまな観点から用途に合わせた事前準備が必要となるためだ。 事前準備におけるエンジニアリング業務を担うのが「データエンジニア」という職種だ。データサイエンティストがAI開発を行う際や、データアナリストがデータ分析を行う際に、すぐに作業に取り掛かれるような環境を整備することがデータエンジニアの役割となる。 そこで今回は、株式会社富士通クラウドテクノロジーズのデータエンジニアである尾崎健太氏に、データ活用プロジェクトにおける必要な事前のプロセスについて、同氏による実際の案件での経験も踏まえて寄稿してもらった。 適切なデータ活用のためには「用途に応じた整形」が必要Photo by Markus Spiske on Un
(翻訳) データエンジニアリングの未来 - satoshihirose.log
訳者まえがき 原著者の Chris Riccomini の許可を得て以下の記事を翻訳・公開しました。 riccomini.name 下記より記事翻訳本文です。 データエンジニアリングの未来 私は最近、近頃のデータエンジニアリングがこれまで来た道について、また、この分野の仕事の将来について考えてきました。考えのほとんどは、私たちのチームが WePay で実践していることを背景にしています。その一方、以下に述べる考えは普遍的で、共有する価値があるものと思っています。 データエンジニアリングの仕事は、組織におけるデータの移動と処理を支援することです。これには、一般的に、データパイプラインとデータウェアハウスという2つの異なるシステムが必要です。データパイプラインはデータの移動を担当し、データウェアハウスはデータの処理を担当します。これは、やや過度に単純化しています。バッチ処理とストリーム処理では
データエンジニアの使命は綺麗なパイプラインを作ること - Treasure Data
OSSの魅力に惹かれ転職。ビックデータの基盤を担う、データエンジニアの仕事 ――これまでの経歴を教えてください。 私はトレジャーデータで2社目になります。新卒から3年半勤めた前職では、自社サイトのビックデータ基盤まわりの開発や運用に関わっていました。基盤の立ち上げ当初から関わり、基盤の価値をアピールしていくために自分たちでデータ利活用のためのアプリケーションを開発したり、OSS（オープンソースソフトウェア）を積極的に導入を行っていいところを組み合わせながら運用していましたね。そのため、前職でもDigdagをはじめトレジャーデータが提供しているOSSを使わせてもらっていて、自分が気になったところにPR（プルリクエスト）を送ったりしていくうちに、自然とトレジャーデータに興味をもつようになりました。トレジャーデータはビックデータ事業のインフラになるものを作っていることに魅力を感じましたし、OSS
The Future of Data Engineering
The Future of Data Engineering Chris Riccomini on July 29, 2019 I have been thinking lately about where we’ve come in data engineering over the past few years, and about what the future holds for work in this area. Most of this thought has been framed in the context of what some of our teams are doing at WePay, but I believe the framework below applies more broadly, and is worth sharing. I present
ドワンゴからdotData Japanに転職します
TL;DRドワンゴを退職しましたdotData Japan （以下dotData）に入社しますdotDataはこれから面白くなっていく時期なので、興味あればぜひ（重要上記の通り、ドワンゴを退職（正確には2019/02/15が最終出社日で2019/02/28をもって退職）し、dotDataに入社（既に兼業で働いていて、2019/03/01からフルタイムに切替）します。 Who are you?私自身のプロフィールとかはどうでもいいことでしょうから、やってきたことを。 ドワンゴ社内のデータ分析基盤チームでリーダーやアーキテクト、オペレータ等混ざった何でも屋的な立場を担当していました。いわゆる「データエンジニア」「データインフラエンジニア」という職種になります。 実際の仕事としては、社内のデータ分析基盤利用相談からデータ設計、各種運用などデータ分析からデータ基盤までそのあたりに関わることは何でも
Rettyの意思決定を最大化！データ分析チームの取り組みをご紹介 - Retty Tech Blog
この記事は Retty Advent Calendar 18日目の記事です。 昨日は@isaoekaさんの会社の行動規範浸透を図るため、メニューバーからいつでも確認できるアプリを作ったの話でした。 はじめまして、Rettyのデータ分析チームでマネージャーをやっている平野です。 Rettyのデータ分析チームは今年4月に立ち上げ現在9ヶ月目です。 この記事では立ち上げから9ヶ月でやってきた組織的取り組みについて中心に書きました。 今アドベントカレンダーではデータ分析の技術的取り組みついてを、一緒にデータ分析チームを立ち上げた@takegueが書いてますので、そちらも合わせて読んでいただけますと幸いです。 ベンチャー企業におけるDWH DevOps @ Retty - Retty Tech Blog Webサービスを支えるユーザログ基盤開発＠Retty - Retty Tech Blog 目次
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Synq | Reliability Platform for business-critical data
データ分析で大事なのは「とにかくシンプルに」！ メルカリ流Data Analytics実践のススメ | 【レポート】Web担当者Forumミーティング 2018 Autumn