Incremental Processing using Netflix Maestro and Apache Iceberg
by Jun He, Yingyi Zhang, and Pawan Dixit Incremental processing is an approach to process new or changed data in workflows. The key advantage is that it only incrementally processes data that are newly added or updated to a dataset, instead of re-processing the complete dataset. This not only reduces the cost of compute resources but also reduces the execution time in a significant manner. When wo
データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0
この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者（@yuzutas0）は風音屋（@Kazaneya_PR）という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修になっています。 MENTAの受講者が30名を突破しました🎉 卒業生が風音屋に入社したり、スキルアップして「社内で提案が通るようになった」「現職で活躍できるようになった」という感想もいただいています。
LinkedIn Data Infrastructure - Software Engineering Daily
LinkedIn has become a staple for the modern professional, whether it’s used for searching for a new job, reading industry news, or keeping up with professional connections. As a rapidly growing platform that serves more than 675 million users today, LinkedIn is a company that can boast of having one of the largest user bases in the world. How these users interact with the site and react to recomme
750 TB のデータを使用して Amazon Redshift で Amazon Payments 分析を実行する | Amazon Web Services
Amazon Web Services ブログ 750 TB のデータを使用して Amazon Redshift で Amazon Payments 分析を実行する Amazon Payments データエンジニアリングチームは、データの取り込み、変換、計算と保管を担当しています。チームはこれらのサービスを世界で 300 社以上のビジネス顧客が利用できるようにしています。これらの顧客には、製品マネージャー、マーケティングマネージャー、プログラムマネージャー、データサイエンティスト、ビジネスアナリスト、およびソフトウェア開発エンジニアが含まれます。彼らは、ビジネス上の決定を適切に下すために、データをスケジュールされたクエリとワンタイムクエリに使用しています。このデータは、リーダーシップチームがレビューする、週次、月次、および四半期ごとのビジネスレビューメトリクスの構築にも使用されています
Survival of the Fittest - Streaming Architectures
Video and slides synchronized, mp3 and slide download available at URL http://bit.ly/2i4MOfr. Michael Hansen talks about the core principles that will stand the tests of streaming evolution. He covers major potential pitfalls that we may stumble over on our path to streaming, as well as how to avoid these. Finally, he talks about the next evolutionary step in streaming at HBC Digital. Filmed at q
The Hyve - The Hyve
In recent years, the amount of programmable and affordable wearable sensors has increased enormously. Medically-inspired wearable devices such as the Empatica E4 can be read out with any phone. Smart watches can even send fitness data directly. For patients with Parkinson’s disease, or someone suffering from epilepsy, multiple sclerosis or depression, these wearable devices provide enough informat
さくっとトレンド抽出: Pythonのstatsmodelsで時系列分析入門 - Gunosyデータ分析ブログ
久しぶりの投稿になってしまいましたが、ニュースパス(現在CM放映中!!)開発部の大曽根です。 作業中はGrover Washington Jr のWinelightを聴くと元気が出ます。参加ミュージシャンが素晴らしいですね。 なぜ時系列分析をするのか 季節調整 実演 おまけ: 時間別に見てみる まとめ 今後 なぜ時系列分析をするのか 数値を非常に重視している弊社では、数値を知るためのツールとしてRedashやChartioおよびSlackへの通知を活用しています。現在の数値を理解する上では、長期のトレンド(指標が下がっているのか、上がっているのか)を知ることが重要です。しかし、日々変化するデータ(特に売上やKPIと言われる指標)は、ばらつきも大きく、変化を適切に捉えることが難しいこともあります。 特にSlackなどへの通知を行っていると、日々の変化に囚われがちです。例えば、弊社ではニュース
#cwt2016 Apache Kudu 構成とテーブル設計
スライド中のURI - Kuduのインストール(Cloudera Manager使用) http://www.cloudera.com/documentation/betas/kudu/latest/topics/kudu_installation.html - Impala-Kuduのインストール(CDH5.8以前) http://www.cloudera.com/documentation/betas/kudu/latest/topics/kudu_impala.html#install_impala - Apache Kudu Troubleshooting http://kudu.apache.org/docs/troubleshooting.html - Apache Kudu project page http://kudu.apache.org/ - Cloudera Eng
rukawa と bricolage とデータ集計 - クラウドワークス エンジニアブログ
社内向けツールのコードネームはもっぱら RPG の登場人物の名前をモチーフにしている沢田です。しれっと Rixia (リーシャ) とか Dubarry (デュバリィ) などと名付けられたツールを一部の社内サーバーに放流しているのですが、今のところ誰にも理解されていないっぽい今日この頃です。ちなみに得意技は半キャラずらしです (古い)。 先日 TokyuRubyKaigi というイベントに行ってきました。いや、「行ってきました」というか主催者の一人なんですがｗ ご存知でない方向けに補足しておくと、TokyuRubyKaigi というのは 余興でライトニングトークもやっている呑み会 美味しい食べ物＆飲み物を頂きつつ Ruby にかかわるライトニングトーク (以下 LT と略します) を聞くイベントです。このイベントで発表された中でもひときわ異彩を放っていたのが、「Rubyと戯れるOSS DTM
OSSのツール「Solr」「Flume」「Banana」の組み合わせによるデータ可視化プラットフォーム構築
ヤフー株式会社には、技術や制作の分野において専門性に優れたエキスパート人財を「黒帯」に認定し、その活動を手厚く支援する黒帯制度があります。「ある分野に突出した知識とスキルを持っているその分野の第一人者」が黒帯として認定され、褒賞金と活動予算が付与され、それぞれの分野のエバンジェリストとして社内外で活躍します。この黒帯によるリレー連載として、第2回目は「Solr黒帯」が執筆します。 はじめに 企業において、データの可視化（Visualization）の重要性が取り上げられ、今注目されています。WebサイトやECサイトを運営しているのであれば、サーバーのアクセスログには、現在までの顧客の活動記録といった膨大な量のデータが蓄積されており、顧客がどんなキーワードで自社サイトにたどり着いたのか、どんな商品を購入していったのかなど、その内容は多岐にわたります。そのデータを分析することで、新たな発見につ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Computing Delta Lake State Quickly with Checkpoint Files
https://www.uber.com/en-CA/blog/fast-copy-on-write-within-apache-parquet/
http://twitter.com/hashtag/DWS18?src=hash
GitHub - mesosphere-backup/hue: Hue ported to DCOS
Hue_HDFSをGUIで操作_その1 - すだちっこのOrdinary Days
JVM上でのストリーム処理エンジンの変遷