HBaseとKafkaによるデータパイプライン構築。LINE Messaging Platformにおける活用法
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「 DEVDAY21 +Interview」では、登壇者たちに発表内容をさらに深堀り、発表では触れられなかった関連の内容や裏話についてインタビューします。今回の対象セッションは「LINE Messaging Platform におけるHBaseとKafkaのデータパイプラインと活用例」です。 LINEでは、Messaging Platformのストレージミドルウェアの1つとしてApache HBase（以下、HBase）を使用しています。HBaseのレプリケーショ
３週間で出来たEvent SourcingでCQRSなアーキテクチャ上でのHBaseのupgrade - Chatwork Creator's Note
プロジェクトのリーダーである、cw-sakamotoがこの超重要プロジェクトを終え、軽い燃え尽き症候群になっているので、代わりにcw-tomitaが代筆しております。 マラソンガチ勢(ベストタイム３時間１７分)であるcw-sakamotoによって、Carbon X(50マイルでの世界記録を出したランナーが履いていたランニングシューズの名前)と名付けられた、このHBase upgradeプロジェクト、 dogsorcaravan.com その名に恥じない、プロジェクト開始から終了まで３週間という短納期で完遂することができました。今回はこのプロジェクトに関して書きました。 tl;dr Event SourcingでCQRSなシステムの上で動いてるHBaseのversion upをblue-green形式で実施した。 計画から実行まで３週間程度で完了するというスピード感で、大きな事故もなく凄く上
こんにちは。 GMOアドマーケティングのM.Nです。 TAXELのインフラは、今年2月に一部機能をGMOアプリクラウド内移行（バージョンアップ）し、残りをGCPに移行しました。 今回はその際に起きたトラブルの事例を紹介しようと思います。 1. 時折発生するアラート 移行が無事に終わり、2ヶ月ほど経った頃、一通のalertが飛んできました。 article.jsonはレコメンドウィジェットのリクエストですが、レスポンスに9秒弱かかっているようです。 直後に復帰しているのでウィジェットが全く配信できていない、という状態にはなっていないようですが・・・気になります。 また、どこかのAPサーバーだけで発生しているというわけでもなさそうです。 最初は一時的なものかと思って様子を見ていましたが、日増しに頻度が増え一日数回飛んでくるようになりました。 軽く調査したところ、alertは特定の時間帯に偏って
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこでLINE Z Part チーム シニアソフトウェアエンジニアのルカデテナ ハビエル アキラ 氏が、「LINEアプリにおける大規模トラフィックを支えるストレージ」について共有。前半はRedisとApache HBaseを使ったストレージについて紹介しました。 ルカデテナ ハビエル アキラ氏：ハビエル アキラ ルカデテナと申します。2017年からLINEのソフトウェアエンジニアとして働いています。今日は、LINEのメッセージングアプリケーションのトラフィック・インテンシブ・ストレージについてお話しします。 まずはメッセージングアプリケーションを紹介して、そのストレージの要件とApache HBaseでどうやってその
-->Apache HBase is an open-source, NoSQL database that is built on Apache Hadoop and modeled after Google BigTable. HBase provides random access and strong consistency for large amounts of unstructured and semistructured data in a schemaless database organized by column families. In this post, we will discuss about one of common hive clients, JDBC client for both HiveServer1 (Thrift Server) and Hi
HBase Deprecation at Pinterest
Alberto Ordonez Pereira | Senior Staff Software Engineer; Lianghong Xu | Senior Manager, Engineering; This blog marks the first of a three-part series describing our journey at Pinterest transition from managing multiple online storage services supported by HBase to a brand new serving architecture with a new datastore and a unified storage service. In this introductory post, we will provide an ov
LINE株式会社 LINE Platform Development Center1 Messaging Platform Development Z Part team HBase Unit Serverside Engineer データパイプラインの各構成要素 吉田真也氏：ここからは我々が構築したデータパイプラインの各構成要素についてご説明いたします。はじめにKafkaに送信するデータのプロトコルですが、HBase 0.94のクラスターへのReplayerが1.2.5のClientに依存しないように、Protocol Buffersを用いて独自に定義します。 定義したデータ構造としては、WALのメタ情報、ここではWALのエントリーやHLogKeyといったようなものです。それに加えて、HBaseの変更をあらわすCellというデータ構造を定義します。これらのデータ構造は1.2.5で用いられ
Ankita Girish Wagh | Senior Software Engineer, Storage and Caching Introduction and MotivationAt Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level i
HBase触ってみた - 記録帳
皆さんこんばんは。花粉が舞いに舞っている昨今、いかがお過ごしでしょうか。 春といえば、OSSのDBが恋しくなります。ということで、HBaseを今日一日触っていたので、その記録を書こうかと思います。 というのも、オライリーのデータ指向アプリケーションデザインの第6章「パーティション」を読んでいて、実際にプロダクトを触りたくなってきたからです。 データを分散して分けた1つ1つをパーティションと呼び、それをどのように分けるか？はたまたどのようにリバランシングするか？ などが載っていました。概念は理解しましたが、実際に実装だとどういう感じなのか理解したかった次第です。 HBaseとは？ hbase_logo ApacheのOSSのプロダクトのうちの1つ。 HDFS(Hadoop Distributed File System)上に構築するデータベース。 HDFSは、Hadoopに使われる分散ファイ
Apache Hive と Apache HBase
Apache Hive と Apache HBase はビッグデータ向けの素晴らしいツールです。その機能には重複する部分もありますが、両者には、特定のタスクにより適した独自の特質があります。主な違いは以下の通りです： Apache Hive は Hadoop の上に構築されたデータウェアハウスシステムであり、Apache HBase は HDFS （Hadoop 分散ファイルシステム）または Alluxio の上に構築された NoSQL キー/バリューである。 Hive は Spark/Hadoop データに SQL 機能を提供し、HBase は Hadoop データをリアルタイムで保存および処理する。 HBase はリアルタイムのクエリやビッグデータに使われるが、Hive はリアルタイムのクエリには向いていない。 Hive はデータの分析クエリに最適で、HBase は主に非構造化 Had
次世代システム研究室の Y.I. です。 とあるプロジェクトにて CentOS6 系のクラウドサーバーで運用していた HBase を Google Cloud Platform (GCP) 上の Bigtable へ移行しました。その時に得た知見を紹介します。 前提 下記ツールが必要になります。事前にインストールしておきます。 Google SDK (gcloud / gcutilコマンド) https://cloud.google.com/sdk/install?hl=ja cbt コマンドインストール https://cloud.google.com/bigtable/docs/cbt-overview?hl=ja 移行する各種名称を – HBase テーブル名を my-table – Bigtableインスタンス名を my-bigtable – GCP プロジェクト名を my-pro
Monitor Apache HBase on Amazon EMR using Amazon Managed Service for Prometheus and Amazon Managed Grafana | Amazon Web Services
AWS Big Data Blog Monitor Apache HBase on Amazon EMR using Amazon Managed Service for Prometheus and Amazon Managed Grafana Amazon EMR provides a managed Apache Hadoop framework that makes it straightforward, fast, and cost-effective to run Apache HBase. Apache HBase is a massively scalable, distributed big data store in the Apache Hadoop ecosystem. It is an open-source, non-relational, versioned
Migrate data from Apache HBase to Amazon DynamoDB | Amazon Web Services
AWS Database Blog Migrate data from Apache HBase to Amazon DynamoDB Over the last few years, organizations have started adopting a cloud first strategy, and we are seeing enterprises migrate their mission-critical applications, along with their data platforms, to the cloud. Occasionally, organizations need guidance in selecting the right service and solution in the cloud, along with an approach to
LINE株式会社 LINE Platform Development Center1 Messaging Platform Development Z Part team HBase Unit Serverside Engineer LINE Messaging Platformのサーバーサイドの技術スタック 吉田真也氏：「LINE Messaging PlatformにおけるHBaseとKafkaのデータパイプラインとその活用例」について、吉田が発表いたします。 こちらが本日の発表内容です。はじめに「HBaseとLINE Messaging Platformにおける活用」について紹介します。そしてそのあと、本日の本題である「HBaseとKafkaのデータパイプラインとその活用例」について紹介します。 それでは、HBaseとLINE Messaging Platformにおける活用について
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、LINEのメッセンジャーアプリのサーバサイドエンジニアをしている'18卒のエンジニアのbitter_foxです。この記事はLINE Advent Calendar 2018の18日目の記事です。 弊社では夏休みの1ヶ月間〜2ヶ月間、学生に実際の業務を体験してもらう就業型のサマーインターンシッププログラムを実施しております。 弊社の就業型インターンでは社内のチームにジョインし、ある程度大きめのプロジェクトに1ヶ月間〜2ヶ月間、取り組んでもらいます。 私の所属するチームでも今夏、学生を受け入れ、「HBaseをJDK 11で動かしZGCを評価する」というプロジェクトに1ヶ月間取り組んでもらいました。 本記事ではそのインタ
HBaseのクラウド対応について - Qiita
この記事では、今年の9月に行われたdb tech showcase tokyo 2019で、私が発表した内容の一部である「HBase on Cloud」について紹介します。 背景 近年のクラウド環境の普及により、HBaseをクラウド上で動かしたという要件が出てきています。当然、これまでオンプレ環境でやってきたように、Aamzon EC2やGCE(Google Compute Engine)などのIaaS上にそのままHBase、HDFS等をインストールして使うこともできますが、それだと金銭的なコストの面で最適とは言えません。そこで、どうやってHBaseをクラウド上で最適に動かしていくかについてHBaseコミュニティがどのようにアプローチしているかについて紹介したいと思います。 HBaseのファイルI/O まず、HBaseのファイルI/Oについて説明します。 HBaseでは、主にデータファイル
Apache HBase は、オープンソースの NoSQL 分散型ビッグデータストアです。ペタバイト規模のデータへの厳密に一貫したランダムなリアルタイムアクセスが可能です。HBase は、大規模なスパースデータセットの処理に非常に効果的です。 HBase は Apache Hadoop および Hadoop エコシステムとシームレスに統合され、Amazon Elastic MapReduce (EMR) ファイルシステム (EMRFS) を使用して Hadoop 分散ファイルシステム (HDFS) または Amazon S3 上で動作します。HBase は Apache MapReduce framework for Hadoop への直接の入出力として機能し、Apache Phoenix と連携して HBase テーブルに対する SQL のようなクエリを可能にします。 HBase は列指
はじめに Cloudera CDH 6.2でHBaseの完全分散環境をお試しで構築してみます。 CDHはApache Hadoopと、HBaseやSpark等の関連したプロジェクトの有償ディストリビューションです（Expressという無償版もあり）。 CDHを利用することによりこれらのプロジェクトを用いた環境を簡単に構築でき、ホストの運用も統合的に実施することができます。 使用する環境は以下のとおりです。 CentOS 7.5 Cloudera CDH 6.2 Cloudera Manager用のサーバ1台とClouderaのノード（ホスト）4台の計5台を使用しています。 諸事情でクラスタ作成時はノード3台で、クラスタ作成後に1台追加しています。 インストール CDHのインストールは以下の公式サイトを参考に実施しました。 Cloudera Installation Guide ネットワーク
Amazon EMR が Hadoop、Hive、HBase、Amazon Linux 2 の新しいメジャーバージョン、および Docker のサポートを含む EMR リリース 6.0.0 を発表
Hadoop、Hive、HBase、Amazon Linux 2 の新しいメジャーバージョンのサポートと、Docker による Spark 環境の依存関係のパッケージ化のサポートを含む Amazon EMR リリース 6.0.0 を発表できることをうれしく思います。 Spark ユーザーは、EMR リリース 6.0.0 で Docker Hub と Amazon Elastic Container Registry (Amazon ECR) の Docker イメージを使用して、環境とライブラリの依存関係を定義できるようになりました。Docker を使用すると、個々のジョブの Python と R の依存関係を簡単にパッケージ化でき、個々のクラスターホストに依存関係をインストールする必要がなくなります。EMR 6.0.0 で Docker を使用する方法の詳細については、Docker の設
1.はじめに Apache HBaseは Key-Value 型のデータベースです。 Hadoop プロジェクトの一部として開発され、HDFS (Hadoop Distributed File System)の上で実行されます。 本格的に使うためには、複数のノードからなる Hadoop クラスタの構築が必要となりますが、手元のローカル環境でお試しに実行してみることも可能です。 特に hbase-shell と呼ばれるツールは REPL (Read-Eval-Print-Loop) がベースになっており、表の作成や削除などの管理タスクを実行するコマンドラインツールです。 今回は、Apache HBase の Docker Image を使用し、ローカル環境で hbase-shell を実行していきます。 また、HBaseの実行環境は以下の3つありますが、hbase-shell を試す分には十
この記事では、HBaseのリアルタイムモニタリングツールhbtopを紹介したいと思います。 hbtopとは hbtopは、Unixのtopコマンドライクなツールで、リアルタイムにHBaseのメトリクスを表示することができます。メトリクスは、Region/Namespace/Table/RegionServer単位で表示することができ、メトリクスの値によるソートやフィルタリングをすることもできます。また、ドリルダウン機能によりHot Regionを簡単に探すことができます。 hbtopは、HBase2系だと2.1.7、2.2.2のリリースから含まれており、hbase1系では1.3.6、1.4.11、1.5.0から含まれています。 以下のコマンドで、hbtopを起動することができます。 hbtopを起動すると、以下のような画面が表示されます。 この画面は、上部のサマリ部分と下部のメトリクス部分
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TAXELで実際に起きたHBase周りのトラブル事例を紹介します
RedisとApache HBaseで高性能・高信頼性・高可用性なストレージを LINEアプリの大規模トラフィックを支えるストレージ
Hbase Jdbc Driver - lasopamonitor
HBaseとKafkaのデータパイプラインとその活用例 LINE Messaging Platformにおける取り組み
Online Data Migration from HBase to TiDB with Zero Downtime
HBase から Bigtable へ移行する方法 - GMOインターネットグループ グループ研究開発本部
LINEはHBaseをどのように活用しているのか LINE Messaging Platformでの取り組み
サマーインターンシップでHBaseをJDK 11で動かしZGCとの性能を評価してもらった話
HBase とは何か? - Apache Hbase の説明 - AWS
Cloudera CDH 6.2でHBaseの完全分散環境を構築する - Qiita
docker image を使って hbase-shell を実行してみるまで - Qiita
HBaseのリアルタイムモニタリングツール「hbtop」 - Qiita