How to automate data pipelines with Snowflake Streams and Tasks
This is the fifth blog in Slalom’s Snowflake series. In our last blog, we looked at how Snowflake can help organisations to secure their data. In this post, we explore how to automate data pipelines with Snowflake Streams and Tasks. Snowflake’s Cloud Data Platform provides an excellent, scalable data processing environment. Snowflake Streams and Tasks can be used to create and automate data transf
Uber Execs Konmari Their Org, Lay Off Employees That Do Not Spark Joy
1455 MARKET STREET, SAN FRANCISCO — On a cloudy night in San Francisco, barely a week after their IPO, a group of Uber execs gathered in a conference room to KonMari their orgs by laying off employees that did not spark joy in their lives. The executives were seated together in a conference room with frosted glass walls. At the front of the room, a screen displayed the profile of an employee with
A Beginner’s Guide to Data Engineering — Part I
Image credit: A beautiful former slaughterhouse / warehouse at Matadero Madrid, architected by Iñaqui Carnicero MotivationThe more experienced I become as a data scientist, the more convinced I am that data engineering is one of the most critical and foundational skills in any data scientist’s toolkit. I find this to be true for both evaluating project or job opportunities and scaling one’s work o
日本マイクロソフトを退職します
日本マイクロソフトを退職します新卒で入社した日本マイクロソフトを 1 月 17 日に退職します。 学部生の頃、就職できるはずのない雲の上の企業でした。 就職活動していた際にも視野に入れていませんでした。 なぜそんな大企業に就職したのに退職するの？ こんな記事も書いてもらったのに退職するの？ という質問をよくされるので、いわゆる退職エントリを残しておきます。 なぜ退職するのか最初に、日本マイクロソフトは素晴らしい会社です。 私自身、技術力以外にコミュニケーション能力や電話応対能力、メール文章作成能力が格段に成長しました。 しかし、技術職であるにも関わらずコードを書いてチームで開発をする機会は全くない部署でした。 そこでふと、「このまま今のカスタマー サポートを続けていて自分は何年後かに後悔しないだろうか。」と思いました。 そして、試しに転職活動をしてみると同じ外資系のカスタマー サポート職の
Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
Exactly-once Support in Apache Kafka
On Thursday we released a new version of Apache Kafka that dramatically strengthens the semantic guarantees it provides. This release came at the tail end of several years of thinking through how to do reliable stream processing in a way that is fast, practical, and correct. The implementation effort itself was on the order of about a year, including an extended period in which about a hundred pag
MQTT シリーズ提供終了のお知らせ
時雨堂では MQTT 関連のプロダクトを提供しておりましたが、6/30 をもって提供を終了させて頂きます。 MQTT as a Service sangoMQTT をなるべく身近に感じて欲しいという思いからリリースしたサービスですが、2017 年の時点で MQTT は IoT ではよく使われるプロトコルの一つと感じられるようになりました。特に AWS のサービスで採用されたのは大きいと考えております。 また sango をリリースした当初は MQTT Broker を気軽に立てるといった情報もありませんでしたが、今は MQTT で検索すればいくらでも情報が出てきます。 sango の使命は十分果たせたかと考えており、 2017/6/30 でサービスを終了させて頂きます。 MQTT Broker AkaneIoT は Push がもっとも重要になるであろうと考えていたところ、ツキノワの CT
Why does TensorFlow matter?
(definitely a hot take — let me know what you think!) A few hours ago I noticed that something was bugging me about the TensorFlow announcement: I mean, it’s yet another deep learning platform — and there are lots of them. Those in the know — such as very smart ML engineers at Google — point out that it’s particularly close in features and approach to theano. (FTR, I’m in that vast majority) In ot
4.0 is the new 1.0
The first fully converged io.js/node.js release coming soon. Last week was a typical San Francisco summer, sunny with occasionally hostile winds. This was the setting for 40 node.js contributors to gather for the first ever Collaborator Summit, organized by the new Node.js Foundation. A year ago we didn’t have 40 contributors to gather but today this represents only a fraction of the total contrib
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Snowflake Dynamic Tables with Coalesce.io
Is Hadoop Dead?
Top 15 Books Every Data Engineer Should Know in 2021 | by Tech Ninja | Technology Now and Next | Sep, 2021 | Medium
Kakeibo: The Japanese Art Of Saving Money
Realtime data processing with Apache Beam and Google Dataflow at Dailymotion
Apache Airflow Grows Up!
But what is this “machine learning engineer” actually doing?
Creating Dynamic Workflows in Airflow
From Kafka to BigQuery: A Guide for Streaming Billions of Daily Events
Bye, Google Maps.