Pipelineの検索結果1 - 2 件 / 2件

• あとで読む

  CI/CDの原則とデザインパターン (整理会)/20190722-jaws-ug-arch-pipeline-principle

  • 229 users
  • speakerdeck.com/opelab
  • テクノロジー
  • 2019/07/30

  2019年7月22日のJAWS-UG アーキテクチャ専門支部での発表資料です。 引き続き、議論・更新していきたいと思います。 (運用設計ラボ合同会社 波田野裕一)

  • ci
  • あとで読む
  • 自動化
  • cd
  • architecture
  • デザイン

  
• あとで読む

  【Team & Project】LINE全社のデータ基盤のミドルウェアやData ingestion pipelineの開発・運用を担当しているチームを紹介します

  • 187 users
  • engineering.linecorp.com
  • テクノロジー
  • 2020/10/22

  ―― 今のチーム課題と課題解決に向けた取り組みを教えてください。 Wang：私たちのチームでは、主に3つの課題について取り組みを進めています。 まずは1つ目の課題は「マルチテナントのクラスターの運用」についてです。 Hadoopは一般的に、有数のユーザと予測可能なワークロードで運用されていますが、LINEのData OpenによってDAUが700人弱であり、且つワークロードも10万+/日となっています。Isolationがまだ完備されていないので、ユーザ間にリソースの競合が発生している状況です。 2つ目は「Data catalog」についてです。ユーザが自由にデータを生成したり利用したりする環境においては、データのカタログがとても重要です。そのため、Data Lineageを自動的に生成する仕組みが必要となってきます。 そして「大規模のインフラを効率よく運用すること」も私たちの課題です。私

  • データ
  • あとで読む
  • LINE
  • 開発
  • 運用
  • 技術
  • data
  • チーム
  • アーキテクチャ
  • development