LinkedIn、システムの複雑性低減のためにLambdaアーキテクチャを廃止Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Get Started with TensorFlow Transform | TFX
This guide introduces the basic concepts of tf.Transform and how to use them. It will: Define a preprocessing function, a logical description of the pipeline that transforms the raw data into the data used to train a machine learning model. Show the Apache Beam implementation used to transform data by converting the preprocessing function into a Beam pipeline. Show additional usage examples. Setup
最近のストリーム処理事情振り返り
Hadoopソースコードリーディング 第22回 での発表資料です。 https://www.eventbrite.com/e/hadoop-22-tickets-31987821435 Read less
Stream Processing Hard Problems – Part 1: Killing Lambda
We live in an age where we want to know relevant things happening around the world as soon as they happen; an age where digital content is updated instantly based on our likes and dislikes; an age where credit card fraud, security breaches, device malfunctions and site outages need to be detected and remedied as soon as they happen. It is an age where events are captured at scale and processed in
ストリームデータ解析の世界
【機械学習アドベントカレンダー2015 8日目】 ストリームデータ解析 という分野がある。ある生成元から絶えずデータが到来する環境で、いかにそれらを捌くかという話。「時間計算量はほぼ線形であって欲しいし、空間計算量も小さく抑えつつ精度を担保したいよね」ということを考える世界。個人的に最近はそのあたりの情報を追いかけていたので、整理も兼ねてその世界を俯瞰したい。 すごいリンク集 はじめに、この分野で外せないと思うリンクを3つ挙げておく。 ■ SML: Data Streams YahooやGoogleの研究所を経てCMUの教授をしているAlex Smola先生の講義の一部（スライド＋動画あり）。理論からシステムアーキテクチャまで包括した実際的な機械学習ならこの人。この人の機械学習サマースクールの講義は最高だった。 古典的なものから最近のものまで、代表的なアルゴリズムについて直感的な説明といい
【新機能】Kinesis Analyticsが利用可能になりました！ ｜ DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 8/10〜11に開催していたのAWS Summit New York 2016のKeynoteの中で、Kinesis Analyticsが利用可能になったという発表がありましたので試してみました。 Kinesis Analytics Kinesis Analyticsはre:Invent 2015で発表されたストリームデータ処理サービスです。当時は来年に使用可能になるとの発表のみで詳細が不明でしたが、ようやく利用可能になりました。 Kinesis Analyticsはストリームデータに対してSQLで処理を行う機能です。Kinesis Stream ＋ Lambdaでもストリーム処理は可能ですが、基本的には1レコード単位か１回に取り出したデータしかまとめて処理ができませんでした。Kinesis Analyticsでは、データの変換を行った
AWS at Strata+Hadoop 2016: Building a Scalable Architecture on AWS to Process Streaming Data | Amazon Web Services
AWS Big Data Blog AWS at Strata+Hadoop 2016: Building a Scalable Architecture on AWS to Process Streaming Data Gone are the days when big data was confined to batch processing. To remain competitive, companies must be able to analyze real-time data streams in areas such as video streaming, real-time recommendation engines, preventive maintenance, and fraud detection applications. Last month, Siva
Registration: Machine learning & data conference | O'Reilly Strata
We’ve made the very difficult decision to cancel all future O’Reilly in-person conferences. Instead, we’ll continue to invest in and grow O’Reilly online learning, supporting the 5,000 companies and 2.5 million people who count on our experts to help them stay ahead in all facets of business and technology. Come join them and learn what they already know. Become an O’Reilly online learning member
Stream Processing in SmartNews #jawsdays
Stream Processing in SmartNews #jawsdays 2016.03.12 Takumi Sakamoto
Continuous Pipelines at Google
SRECon Europe 2015, USENIX, Dublin, Ireland, pp. 12 This article focuses on the real life challenges of managing data processing pipelines of depth and complexity. It considers the frequency continuum between periodic pipelines that run very infrequently through continuous pipelines that never stop running, and discusses the discontinuities that can produce significant operational problems. A fres
Using logs to build a solid data infrastructure (or: why dual writes are a bad idea) | Confluent
This is an edited transcript of a talk I gave at the Craft Conference 2015. The video and slides are also available. How does your database store data on disk reliably? It uses a log. How does one database replica synchronise with another replica? It uses a log. How does a distributed algorithm like Raft achieve consensus? It uses a log. How does activity data get recorded in a system like Apache
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Building a Data Streaming Platform — How Zillow Sends Data to its Data Lake
One SQL to rule them all: an efficient and syntactically idiomatic approach to management of streams and tables | the morning paper
Architectural Overview
GitHub - ExpediaGroup/adaptive-alerting: Anomaly detection for streaming time series, featuring automated model selection.
Hermes
GitHub - nerevu/riko: A Python stream processing engine modeled after Yahoo! Pipes
GitHub - yahoo/streaming-benchmarks: Benchmarks for Low Latency (Streaming) solutions including Apache Storm, Apache Spark, Apache Flink, ...
http://www.vldb.org/conf/2006/p163-jeffery.pdf
August 2015: Distributed Stream Processing