CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む - hibomaの日記
2018/7/18 追記 3.10.0-862.9.1.el7 で fix されました hiboma.hatenadiary.jp 2018/7/4 追記 最新の情報はこちらにまとめています hiboma.hatenadiary.jp 2018/6/16 追記 CentOS Plus の kernel-plus では修正が入っています. 詳しくはこちらをご覧ください hiboma.hatenadiary.jp エントリの概要 CentOS7.5 の fsnotify() がレースコンディションを起こすバグを、 nginx + td-agent (fluentd) + in_tail プラグインで踏んだ際の調査内容を記していきます. イントロダクション このエントリを書いた時点では、CentOS 7.5.1804 以降でリリースされているカーネルは 3つありますが、カーネルの fsnotif
Instant Netty Startup using GraalVM Native Image Generation
In this article we demonstrate how you can achieve instant startup for Netty, a non-blocking I/O Java networking framework. We do this by compiling the Netty application into a native executable with GraalVM. First we discuss why we think this is important, then we detail what steps are necessary to enable ahead-of-time compilation of Java bytecode, and finally we show how to do it on a sample Net
Streaming SQL Foundations: Why I ❤ Streams+Tables
Video and slides synchronized, mp3 and slide download available at URL https://bit.ly/2rtxaMm. Tyler Akidau explores the relationship between the Beam Model and stream & table theory. He explains what is required to provide robust stream processing support in SQL and discusses concrete efforts that have been made in this area by the Apache Beam, Calcite, and Flink communities, compare to other off
なぜデータ基盤を作ったのか？「ゼクシィ縁結び・恋結び」で必要になった理由
システム、プロセス、カルチャーをいかにエンジニアリングするか 本連載『開発現場に“データ文化”を浸透させる「データ基盤」大解剖』では「データ基盤」の構築事例を紹介します。具体的には、オンライン婚活サービス「ゼクシィ縁結び」ならびにその姉妹サービス「ゼクシィ恋結び」の開発現場において、筆者が実際に行ったことを題材としています。 データ基盤を実際に構築するのは容易ではありません。構築したデータ基盤を実際に利用し続けてもらうのはさらに難しいことです。 多くの関係者がデータを加工すると、似ている意味を持っていても微妙に異なるデータが生成されてしまい、どのデータが正しいのか誰も分からなくなってしまいます。きちんと全員に使われるためにはデータの持つ意味や加工ロジックを誰かが整理しなければいけません。 また、モダンなツールを使って派手なダッシュボードを構築しても、それだけでは1週間後には誰も見なくなって
Vespa 機能紹介 #yjmu
PySparkによるジョブを、より速く、よりスケーラブルに実行するための最善の方法 ※講演は翻訳資料にて行います。 - Getting the Best...
Introducing the Confluent Operator: Apache Kafka® on Kubernetes
Introducing the Confluent Operator: Apache Kafka on Kubernetes Made Simple At Confluent, our mission is to put a Streaming Platform at the heart of every digital company in the world. This means, making it easy to deploy and use Apache Kafka and Confluent Platform—the de-facto Streaming Platform—across a variety of infrastructure environments. In the last few years, the rise of Kubernetes as the c
Kafka vs Pulsar @KafkaMeetup_20180316
Apache Pulsarの近況 & meetup 北京の参加報告 @PulsarMeetupJapan_20190904
Multitenancy: Kafka clusters for everyone at LINE
Kafka Meetup 2018.04 https://kafka-apache-jp.connpass.com/event/80479/
データの民主化とサービスレベルについて話しました＠分析基盤Meetup #shinjukugl - 下町柚子黄昏記 by @yuzutas0
セプテーニ・オリジナル様が主催する新宿Geek Lounge#4 分析基盤MeetupでLTをしました。 スライド 『データ基盤を支える民主化とサービスレベル』 「いかにビジネス価値を最大化し続けるか」という本来の目的から、データ基盤1を見直すキッカケになればと思います。 PyCon JP 2017でベストトークアワード優秀賞を受賞した発表（構築編）の続き（運用編）をチラ見せです。 データ基盤は使われてこそ意味がある 世の流れは「やってみた」から「価値創出・運用」志向に推移しています（例：DataOps、機械学習工学、MLOps） 「俺の考えた最強のダッシュボード」では1週間で誰も見なくなります データの民主化 事務スタッフ（非エンジニア）がBigQueryを叩いています！すごい浸透！ チームごとの民主化状況をモニタリングして必要なアクションを実施しています 民主化には3つの壁があることが
Kafka on Kubernetes - using etcd
The content of this page hasn't been updated for years and might refer to discontinued products and projects. At Banzai Cloud we are building a cloud agnostic, open source next generation CloudFoundry/Heroku-like PaaS, Pipeline, while running several big data workloads natively on Kubernetes. Apache Kafka is one of the cloud native workloads we support out-of-the-box, alongside Apache Spark and Ap
大げさな分析資料はいらない。メルカリの「意思決定」を支えるデータアナリストの役割 | SELECK [セレック]
〜そのデータで、意思決定は変わりますか？ 戦略の策定、新機能の検証、さらに広報まで。組織を横断して最適なデータ活用を実現する、メルカリのBIチームとは〜 データを活用できる組織とできない組織、その違いはどこにあるのだろうか。 国内唯一の「ユニコーン企業」とも称される、株式会社メルカリ。同社の東京オフィスでは、2018年4月時点で7名のデータアナリストから成るBI（Business Intelligence）チームが、経営目標の達成をデータ分析で支える役割を担っている。 チームのマネージャーを務める樫田 光さんは、「『分析こんなに頑張りました』という大げさな資料は、意思決定をする側には必要ない」と語る。 その言葉通り、同社では分析の結果をあくまでもスピード重視で共有。また、できるだけ多くの人がデータを活用できるようにするため、組織を横断した仕組みづくりも強化している。 例えばその活動のひとつ
![大げさな分析資料はいらない。メルカリの「意思決定」を支えるデータアナリストの役割 | SELECK [セレック]](https://cdn-ak-scissors.b.st-hatena.com/image/square/fea85502f20af5a0aa43a5cea548224b5de514f9/height=288;version=1;width=512/https%3A%2F%2Fdpd29bjwmgbr8.cloudfront.net%2Fwp-content%2Fuploads%2F2018%2F06%2F05165910%2F2.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Instaclustr Kafka Meetup Sydney Presentation
Why is My Stream Processing Job Slow? with Xavier Leaute
RealTime Recommendations @Netflix - Spark
jjugccc2018 app review postmortem
データ集計業務を半年で300案件捌いて見えてきた勘所 #データ解析 #willgate / 20180425
Kapacitor - Real Time Data Processing Engine
How to Avoid Drowning in GDPR Data Subject Requests in a Data Lake
https://blogs.oracle.com/developers/post/announcing-graalvm-run-programs-faster-anywhere
機械学習の精度と売上の関係
