タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
“超”大規模データを扱うからこそ直面した事象。HDFS Erasure Codingの不具合を解消するまで
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 2021年11月10日・11日の2日間にわたり、LINEのオンライン技術カンファレンス「LINE DEVELOPER DAY 2021」が開催されました。特別連載企画「DEVDAY2021 アフターインタビュー」では、発表内容をさらに深堀りし、発表では触れられなかった内容や裏話について登壇者たちにインタビューします。今回の対象セッションは「大規模なHDFS Erasure Codingにおける技術的課題」です。 LINEのData Platform室では、LINEのさまざまなサービスのデータをApache HDFS（以下、HDFS）に格納しています。HDFSクラスターに保存されているデータ量は、合計で数百ペタバイトと極めて膨大
Open sourcing Kube2Hadoop: Secure access to HDFS from Kubernetes
Open Source Open sourcing Kube2Hadoop: Secure access to HDFS from Kubernetes Co-authors: Cong Gu, Abin Shahab, Chen Qiang, and Keqiu Hu Editor's note: This blog has been updated. LinkedIn AI has been traditionally Hadoop/YARN based, and we operate one of the world’s largest Hadoop data lakes, with over 4,500 users and 500PB of data. In the last few years, Kubernetes has also become very popular at
LINEが定期的に開催する技術者向けミートアップ「LINE Developer Meetup」の68回目のテーマは「Big Data Platform」。LINEのサイトリライアビリティエンジニアである内田早俊氏が、Hadoop3にアップグレードした際に起きたErasure Codingのトラブルシューティングについて共有しました。 関連資料はこちら。 2019年にクラスタをHadoop 3にアップグレード 内田早俊氏（以下、内田）：LINEのData Platform室の内田です。本日は忙しい中ご参加いただき、ありがとうございます。 LINEでは10年近く大規模なHadoopクラスタを運用していますが、昨年（2019年）クラスタをHadoop 3にアップグレードしました。ディスク使用量を削減するためにHadoop 3で新しく追加されたHDFSのErasure Coding（EC）を、約1
HDFSをメジャーバージョンアップして新機能のRouter-based Federationを本番導入してみた
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、「Hadoop」黒帯（ヤフー内のスキル任命制度）の鯵坂（@ajis_ka）です。 ヤフーでは、およそ2年間の調査・検証期間を経てヤフーで利用している本番環境のHDFS（Hadoop Distributed FileSystem）をHDP（Hortonworks Data Platform）2.6系（Apache Hadoop 2.7.x相当）からApache Hadoop 3.3.0にメジャーバージョンアップし、HDFSの新機能であるRouter-based Federation（RBF）を導入しました。 本記事では、これまでの2年間で何をしてきたのかについて振り返っていきます。 バージョンアップの経緯 ヤフーでは、提
JuiceFSはHDFSやS3と互換性のあるオープンソースのPOSIX準拠なクラウド向け分散ファイルシステム（Dfs）です。クラウドアプリの構築や移行、クロスジオやクロスクラウドでのファイル共有を容易にしてくてるとの事です。 マルチクラウドやクロスクラウドなども対応のクラウド特化に設計、何千ものクライアントから読み書きが可能、データは暗号化され、圧縮されるようになっており、自動運転モデルの学習、レコメンデーションエンジン、次世代遺伝子（DNA）シーケンスなどのビッグデータの扱いに特化して構築されているそうで、数百億ファイルの管理をより簡単に、より高いパフォーマンスで行うことが可能だそうです。 先日GoogleやMSでもAIに関する声明が出されて話題になりましたが、非常に多くのデータを扱うのが当たり前の社会に移行しており、今まで以上にマルチクラウドやクロスクラウドにも対応できるJuiceFS
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこでData Platform Software Engineerの内田氏が「大規模なHDFS Erasure Codingにおける技術的課題」というテーマで、HDFS Erasure Codingで起きたデータコラプションの問題と、その解決法について共有しました。 HDFSのErasure Codingでインフラコストの削減に取り組むLINE 内田早俊氏：それでは始めます。こんにちは。LINEのData Engineering Center、Data Platform室に所属している内田です。最初に自己紹介から始めたいと思います。私は2018年にLINEに入社して以降、Hadoopを中心にデータプラットフォーム
Hadoopのバージョン混用は可能? HDP 2.6.4 とコミュニティ版 Hadoop 3.2.1 におけるHDFSの互換性調査結果
Home テクノロジー Blog Hadoopのバージョン混用は可能? HDP 2.6.4 とコミュニティ版 Hadoop 3.2.1 におけるHDFSの互換性調査結果 (English translation is available here) ヤフーで Hadoop の運用・開発をしている李 燮鳴です。私たちのチームでは Hadoop 3.2.1 に含まれる Router Based Federation (RBF) で Hadoop のスケーラビリティ問題の解決を試みています。この記事では RBF を導入する背景と Hadoop 3.2.1 と既存の実行系の互換性を紹介します。 背景および目的 Hadoopクラスタ@ヤフー ヤフーでは、自社が提供している多種多様なサービスのログを分析してサービスの改善に役立てるため、Hadoop クラスタを複数運用しています。ソフトウェアスタックで
AWS Snowball Edge を使用して HDFS ファイルを Amazon S3 データレイクに移行する | Amazon Web Services
AWS Snowball Edge を活用することを決定したら、AWS Snowball Edge の開始方法: 最初のジョブドキュメントを使用して、最初のジョブを注文します。このガイドでは、最初のジョブを作成し、Snowball Edge デバイスを配送先住所に配送する手順を説明します。 ローカルネットワークへの接続ドキュメントを使用して、AWS Snowball Edge をローカルネットワークに接続します。Snowball Edge を使用したデータ移行のベストプラクティスの記事は、ネットワーク要件に関するガイダンスを示します。理想的には、このローカルネットワーク接続は 10 Gbps 以上のスループットと低レイテンシーです。デバイスをインターネットに接続する必要はありません。 移行手順 以下の手順では、AWS Snowball Edge でステージングマシンを使用して HDFS フ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HDFS Erasure Codingを大規模本番環境で運用するには LINEエンジニアによるトラブルシューティング
HDFSやS3と互換性のあるオープンソースのクラウド向け分散ファイルシステム・「JuiceFS」
ユーザーからの報告で判明したデータコンプラクション問題 LINEが取り組んだ、大規模なHDFS Erasure Codingの技術課題
www.foriio.com
www.whiskeywhisky.work
newsdig.tbs.co.jp
junglegymyoungteam.hatenablog.com
fujinkoron.jp
omame-room.hatenadiary.jp