Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog
こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の
はじめに ブンブンハローテックブログ。エムスリー AI・機械学習チームでエンジニア兼YouTuberをやっています河合と笹川です*1。本記事は、AIチームが社内向けに提供を初めたビジュアライズアプリケーションに関する解説の記事です。 GKE上のStreamlitサーバのホスティング設定と、機械学習エンジニアが社内向けの可視化を行う際の一例として、参考となれば幸いです。 はじめに Background Streamlitとは Streamlitの特徴 アプリケーション、インフラ構成 おわりに We're hiring Background 一般的に「機械学習エンジニアが社内向けの可視化アプリケーションを作る」といったケースでは、以下のようなシステム利用が考えられるかと思います。 HTML、xlsx、Googleスプレッドシートなどを作成、配布する S3、GCSのようなストレージの静的サイトホ
Tomcat Javaアプリケーションのコンテナ移行自動化ツール群「Tomcat modernization flow」、Google Cloudがプレビューリリース
Google Cloudは、Apache Tomcatで実行されているJavaアプリケーションを自動的にコンテナ環境へ移行してくれるツール群「Tomcat modernization flow」のパブリックプレビュー版をリリースしました。 Apache TomcatはJavaでアプリケーションサーバを実装するプラットフォームとして人気の高いアプリケーションンサーバです。ただしApache Tomcatが登場し普及した時期はDockerコンテナなどの技術が登場する前であるため、多くのApache Tomcatは仮想マシンなどの上で稼働していると見られます。 Google Cloudが発表したTomcat modernizatio flowは、この仮想環境上のApach Tomcatの情報を自動的に収集し、移行計画を策定、Google Kubernetes Engine（GKE）などコンテナ環
登壇者の自己紹介とアジェンダの紹介 sugasuga氏：こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お話しすることは、（スライドを示して）こちらを予定しています。機械学習基盤について。そして、基盤で使われている技術について。運用してみて感じたメリットとデメリットについてお話しします。 大規模なデータの効率的な処理、機械学習サービスの展開のしやすさ、効率的な開発などに課題があった 本題に移る前に、導入として、どういったところで機械学習が活用されていて、なぜ機械学習基盤が必要かについてお話しします。 活用されている場面としては、違反検知、レコメンド、広告、3Dなど多岐にわたります。こ
ABEJA Insight for Retailの技術スタックを公開します (2021年10月版） - ABEJA Tech Blog
初めに 会社・事業紹介 ABEJA Insight for Retailについて 技術スタック 全体アーキテクチャ図 ① 映像録画・解析システム ②データ基盤部分 ③ Webダッシュボード その他 (全体共通部分) 一緒に働く仲間を募集中！ 最後に 初めに こんにちわ。大田黒（おおたぐろ）です。暑い日が落ち着いてきて、秋(冬？）が来たなぁと感じるこの頃です。皆様いかがおすごしでしょうか。前回の「ABEJAの技術スタックを公開します (2019年11月版)」が公開されてからしばらく経ちました。 引き続きエンジニアの方とお話させていただく中で、 「ABEJAってよく聞くけど...実際どんなことやってるのかよくわからない」 「AIのお硬いSIerって感じなんでしょ？」 「社内は機械学習エンジニアばっかりなんでしょ...??」 といったご質問をいただくことが多いです。 今回の記事では､最新の会社や
この記事は、Supershipグループ Advent Calendar 2021の17日目の記事になります。 はじめに この記事ではeBPFを活用してLinuxカーネルにフック用プログラムを注入することにより、ネットワークパケット処理を拡張する例を示します。 その実装にあたり、Rustとlibbpfの統合を行うlibbpf-rsを使った開発体験を記したいと思います。 TL;DR libbpf-rsによってRustとeBPFを組み合わせたプログラムのコンパイルやロード処理の手間は省けるようになります。実際、システムコールの呼び出し部分はほとんど意識する必要がありませんでした。 一方でeBPFプログラミングで特に苦労したのは以下の点でした。 デバッグとテスト つまりeBPFプログラミングにおいて周辺的な問題がツールによって解決されていき、よりプログラムの機能そのものの問題に時間を割くことができ
ABEMA における GKE スケール戦略と Anthos Service Mesh 活用事例 Deep Dive
Google Cloud Day 2023 東京では、大規模イベントを生中継するにあたって、我々 ABEMA がどのように準備をしてきたか、Google Cloud の活用事例を紹介しました。 今回は GKE スケール戦略と Anthos Service Mesh 活用事例の Deep Dive 編として、GKE スケール戦術 7 選と Anthos Service Mesh 活用術 7 選を紹介します。ここ数年間、我々 ABEMA が試行錯誤によって蓄積してきたディープな知見をお伝えできれば嬉しいです。
Google、Kubernetesを自動運用してくれる「GKE Autopilot」正式リリース。ノードのプロビジョニング、マルチゾーン展開、スケーリングなど自動的に最適実行
Google、Kubernetesを自動運用してくれる「GKE Autopilot」正式リリース。ノードのプロビジョニング、マルチゾーン展開、スケーリングなど自動的に最適実行 Googleは、Google Kubernetes Engineの新機能として、Kubernetesの運用を自動化する「Google Kubernetes Engine Autopilot」（GKE Autopilot）の正式リリースを発表しました。 #Kubernetes の革新的な運用モードである GKE Autopilot をリリース。GKE ユーザーは 2 つの異なる運用モードを選択できるようになりました。Autopilot は GKE の幅広い既存機能だけでなく、パートナーのソリューションとも互換性が維持されるよう設計されています。https://t.co/Dyhj0V4lU7 #gcpja pic.twi
1,800万人が利用する『家族アルバム みてね』におけるK8s基盤のアップグレード戦略と継続的改善 / FamilyAlbum's upgrade strategy and continuous improvement for K8s infrastructure
SRE NEXT 2023 https://sre-next.dev/2023/schedule/#jp093
Shifting to Zero Touch Production | Mercari Engineering
Author: Dylan Lau (@aidiruu), Platform DX Team Zero Touch Production (ZTP) is a concept where all changes made to production are done by automation, safe proxies or audited break-glass systems. There are many kinds of production outages that stem from human error, such as: Configuration errors Script errors Running commands in the wrong environment ZTP can mitigate the risk of outages from these e
BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み - ZOZO TECH BLOG
こんにちは、データ基盤の開発・運用をしている谷口（case-k）です。 本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮したデータ連携の仕組みや運用における注意点まで幅広くお伝えします。 ポリシータグとは ポリシータグを採用した理由 匿名化による機密性の高さ 機密性と利便性の両立 データ基盤を保守運用しやすい 秘密情報をテーブルに新規追加しやすい 秘密情報の権限管理がしやすい ポリシータグを活用したデータ連携の仕組み 利用者が参照するデータ連携後のテーブル 2つのデータ連携基盤 日次データ連携基盤 基幹DBからBigQuery(Private)へのロード BigQuery公開環境への書き込み リアルタイムデータ連携基盤 BigQueryロード前にマスクしたカラムを追加 BigQueryへのストリーミング
Googleは2020年6月18日（米国時間）、汎用ネットワークセキュリティスキャナー「Tsunami」をオープンソースとして公開したと発表した。Tsunamiは、重大な脆弱（ぜいじゃく）性を高精度で検出するための拡張可能なプラグインシステムを備えている。現在はα版の前の段階（pre-alpha）にある。 Googleは、Tsunamiを開発した背景を次のように説明している。 「攻撃者がセキュリティ脆弱性や構成ミスを悪用し始めたら、企業は資産保護のために迅速に対応する必要がある。攻撃者が自動化への投資を拡大しているため、新たに見つかった重大な脆弱性に企業は数時間単位で対処しなければならなくなっている。これは、インターネットに接続された数千、あるいは数百万のシステムを持つ大企業にとって、大きな課題だ。そうしたハイパースケール環境では、セキュリティ脆弱性の検出と理想を言えば修正も、完全に自動化
機械学習ツールキット「Kubeflow 1.0」をGoogleが公開、「Anthos」と組み合わせると何ができるのか
Googleは2020年3月3日（米国時間）、オープンソースのKubernetes対応機械学習（ML）ツールキットの正式版「Kubeflow 1.0」を公開した。同時に、企業がKubeflowをGoogle Cloudの「Anthos」プラットフォーム上で利用するメリットを紹介した。Kubeflowは、Googleが2017年12月に立ち上げたオープンソースプロジェクト。 MLライフサイクル全体にわたって、企業がオープンソースのデータサイエンスやクラウドネイティブエコシステムを利用して、ソフトウェア開発とMLのインフラを共通化したり、標準化したりする際に、Kubeflowが役立つという。 Kubeflowは、スケーラブルでポータブルなMLワークロードの開発に加えて、オーケストレーションやデプロイ、実行のためのKubernetesネイティブプラットフォームを提供すると、Googleは説明して
FAANSにおけるCloud RunからGKE Autopilotへのリプレイス事例 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 WEAR部 SREの笹沢（@sasamuku）です。 FAANSはショップスタッフの効率的な販売をサポートするスタッフ専用ツールです。FAANSの一部機能は既にリリースされており全国の店舗で利用いただいております。正式リリースに向け、WEARと連携したコーディネート投稿機能やその成果をチェックできる機能などを開発中です。 FAANSのコンテナ基盤にはCloud Runを採用しており、昨年にSREとしての取り組みをテックブログでご紹介しました。しかし、運用していく中で機能需要や技術戦略の変遷があり、Cloud RunからGKE Autopilotへリプレイスすることを決めました。本記事ではリプレイスの背景と、複数サービスが稼働している状況下でのリプレイス方法についてご紹介します。 目次 はじめに 目次 リプレイスの背景 なぜCloud R
Google Kubernetes Engine: 7 年の実績と 7 つの素晴らしいメリット | Google Cloud 公式ブログ
※この投稿は米国時間 2022 年 8 月 27 日に、Google Cloud blog に投稿されたものの抄訳です。 本日は、自動化とスケーラビリティに優れたマネージド Kubernetes である Google Kubernetes Engine（GKE）の一般提供開始から 7 年を迎えるにあたり、GKE を活用してお客様が素晴らしい成果を挙げた一般的な事例を 7 つ紹介します。 開発者の生産性を加速させる開発者の時間は大変貴重です。GKE では、統合された豊富なツールセットを提供し、より迅速な高頻度の出荷をサポートしています。継続的インテグレーション（CI）の手法を取ることで、開発者はすべてのコード変更をメインブランチに頻繁に統合し、プロセスのできるだけ早い段階で問題を明らかにすることで、迅速に障害を表面化できます。CI パイプラインは通常、継続的デリバリー（CD）を使用して、デプ
※この投稿は米国時間 2020 年 4 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 クラウドを運用する最大の利点の 1 つとして、必要に応じてスケールアップまたはスケールダウンして運用支出を節減できる点が挙げられます。この利点は、顧客のニーズに予期せぬ変化が見られるときには、特に大きくなります。 Google Cloud では、お客様がクラウドの運用費用を適正に管理できるよう、ソリューション アーキテクチャのチームが一丸となってサポートしています。長年にわたって大規模なユーザーをサポートしてきた経験を通じ、コストを最適化するうえで一般的に見落とされがちな共通事項がいくつか特定されたので、ここに紹介します。以下に挙げるベスト プラクティスは、お客様のクラウドのコストをビジネスのニーズに適合させ、今日のように先の見えない難しい状況を乗り越えるうえでも大いに
オリジナルグッズ作成・販売サービス「SUZURI byGMOペパボ」に関わるエンジニアメンバーや事業部長が登壇し、SUZURIの開発の今や、現在の課題・今後の取り組みについて話す「43万人超のクリエイターの表現活動を支える！ECプラットフォームSUZURIの開発の裏側」。ここでモバイル／Webアプリケーションエンジニアの時田氏が登壇。SRE活動として行っていることを紹介します。 自己紹介と今日話すこと 時田理氏（以下、時田）：「SUZURIにおけるSREの取り組み」というタイトルで発表します。よろしくお願いします。自己紹介です。「SUZURI」というサービスのモバイルと、Webアプリケーションエンジニアをやっています。 今日話すことです。すみません、最初におことわりなんですけど、最初の仮のタイトルではFlutterに関する登壇をする予定だったんですが、今日はちょっとFlutterの話はしな
実行中のシステムの挙動を詳細にトレースする仕組みは、特に「よくわからない問題」に遭遇している時に重要です。今回はLinux向けのトレーシングツールの本命とも言えるeBPFを利用した各種ツールを紹介します。 eBPFに関する記事が今回以降、数回にわたって解説されています。あわせてご覧ください。 第688回 eBPFのコンパイラーに対応したツールでさまざまな挙動を可視化する（今回の記事） 第690回 BCCでeBPFのコードを書いてみる 第692回 sysfsやbpftoolを用いたeBPFの活用 第694回 libbpfとclangでポータブルなBPF CO-REバイナリ作成 第695回 入門BPF CO-RE eBPFとBPF Compiler Collection 改めて言うまでもなく、Linuxカーネルもしくはカーネル上で動いている各種タスクのパフォーマンスや挙動を調べなくてはならない
これからはじめる 実践SRE / SLO の監視をやってみよう
SRE がアツいですね。 昨年は以前に増して SRE 関連のイベントも増え、SRE 人材への注目も更に高まっていると感じた 1 年でした。私も Google Cloud の Customer Engineer として、お客様へ SRE のお話をする機会が増えてきています。 ご存知の通り、SRE は Google から生まれた運用プラクティス、またはそのロール自体を指す言葉です。 詳細は無料で読むことができる書籍を御覧ください。 “Site Reliability Engineering” 及び “The Site Reliability Workbook” （右上の右2つ）は HTML 形式 なので、Google Chrome で右クリックして 翻訳を選択するという簡単な手順で日本語でも読むことができます。（書籍がよい方は日本語版も購入できます。） 今回のテーマは SLO (Service
データプラットフォームグループ Livesense Brain チームの富士谷です。 機械学習基盤 Livesense Brain の開発・運用を行っています。 ここでは、Livesense Brain で開発するシステムのバージョニングの見直しと、 GitHub Actions を使ったタグ・リリース作成の自動化について紹介したいと思います。 はじめに Livesense Brain では、開発するシステムのほとんどをコンテナ化しており、大きく「アプリケーション」と「コンポーネント」の2つに分けて開発しています。 「アプリケーション」は、例えば「マッハバイト向けのレコメンド」といった、特定の事業部向けにデータやサービスを提供するコンテナイメージを指します。 また、全社向けのA/Bテスト基盤（Brain Optimizer）も「アプリケーション」に位置づけています。 一方、「コンポーネント
この記事は？ この記事は、リクルートライフスタイル Advent Calendar 2019 の16日目の記事です！ 自分が所属している CETチーム で、Kubernetes を中心としたアーキテクチャにおける Monitoring as Code を実現した監視基盤の紹介をしたいと思います。 自分の所属するチームでは、バッチ基盤や API 基盤を GKE 上に構築しています。 この記事では、Terraform・Grafana・Prometheus・Jsonnet を利用して、Kubernetes のリソース監視・Job の実行状態・API レイテンシのモニタリング・外形監視などを改善したアーキテクチャやフローを紹介したいと思います。 Who am I ? @ko-da-k (Twitter: @ko_da_k) です。新卒2年目で、1年目は主にデータ解析やモデリング等を行っており、現在
先日、Kubernetes Meetup Tokyo #59 で「KEP から眺める Kubernetes」というタイトルで発表しました。発表の後で Kubernetes の upstream のキャッチアップ方法について質問を受けました。その場で回答はしたのですが、ちょうど社内の共有会で似たような話をしたところだったので、加筆修正したものを公開しておきます。 はじめに Kubernetes の upstream を追いかけ始めて 1 年ちょっと経ったので、その経験をまとめます。Kubernetes の upstream やエコシステムを観察しているだけで、コントリビュータではありません。間違っている部分があったらごめんなさい...！ Kubernetes の開発体制や開発者の所属組織の分布、新しい機能を追加する際のプロセスの話を簡単にしてから私のキャッチアップ方法についてまとめています。
分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロット数を定量的に決定する方法を紹介します - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉本と吉田(id:syou6162)です。モノタロウでは基本的にはBigQueryを定額料金で利用していますが、利用者の多い時間帯はFlex Slotsも併用しています。本エントリでは、Flex Slotsの適切なスロット数を定量的に決めるために行なった試行錯誤について紹介します。 モノタロウでのBigQueryの利用状況 課題感 課題感1: 適切なFlex Slotsのスロット数をどう決めるか 課題感2: 過去の期間との実行時間は単純には比較できない 解決策 解決策1: 同一のクエリを定期的に動かし、実行時間をCloud Monitoringで計測 解決策2: 計測用オンデマンドのGCPプロジェクトでもクエリを実行し、理想状態との相対実行時間を知る まとめ モノタロウでのBigQueryの利用状況 モノタロウでは様々な意思決定の場面でデータ活用が行なわれて
趣旨 2020年が始まるので、 2019年にやったこと、アウトプット、反省点をまとめ、翌年の指針を整理したいと思う。 前提 フリーとして働く、インフラとバックエンドを専門とするソフトウェアエンジニア。 現在は法人成りしていて、請負でベンチャー企業で開発の仕事をする傍ら、自社製品の開発に勤しんでいる。 請負でやったこと GAE + Go + CloudSQLを基本構成としたBtoCサービスの開発 Stackdriver Monitoringの技術検証 GAEで作られたパッケージシステムをスケール性を加味しGKEに移行 企業が使用する管理システムにAuth0をつかった認証認可の仕組みを導入 Datadogの導入 機能検証 AWS Elastic BeansTalk + Ansible SLOの策定、SLOにあわせてパフォーマンス改善 自社サービスとしてやったこと 3月 「ルーチンタイマー」iO
Google CloudはAnthosで「次のVMware」になろうとしている FFGはCloud Spannerで次世代銀行システムを開発
ふくおかフィナンシャルグループ（FFG）は、Google Cloud Platform（GCP）で稼働するクラウドベースの金融基幹システムを開発中だ。FFGが次世代バンキングシステムの研究・開発のために設立した戦略子会社、ゼロバンク・デザインファクトリーの取締役COO、永吉健一氏が2019年7月31日、Google Cloudのイベント「Google Cloud Next Tokyo ’19」で紹介した。 新しいアプリケーションでは、金融業界でもCloud Spannerの事例が増加 「金融業界は大洪水レベル。これを乗り越えていくためにはノアの箱舟のようなものが必要」（永吉氏） この次世代システムは、アクセンチュアが開発した金融基幹システム「MAINRI」をベースとしているという。アクセンチュア 代表取締役副社長の関戸亮司氏によると、MAINRIは「与信や決済などの基幹系機能をはじめとした
SREエンジニアが目指すGKE共通デプロイ基盤の完成形 - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。開発部門 開発部 Data AI Strategyセクション データ基盤 Unitの小野です。 2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 ここ一年ほど、DAOという組織改善プロジェクトを推進していく中で、Google Kubernetes Engine (GKE)を使ったGKE共通デプロイ基盤の整備も進めてきました。 ※ DAOについての詳細はSREエンジニアが組織改善プロジェクトを立ち上げてみたを参照ください SREエンジニアの責務の一つは、プロダクトのリリースサイクルを極限まで短くし、次々と新しいサービスを世の中にリリースすることです。ChatGPTのような誰でも簡単に扱えるAIモデルが誕生したことで、プロダクト開発競争は今後ますます激しくなっていくと予想しており、SREエンジニアの責務の重要性をヒシヒシと感じています。 そう
※本記事は2022年5月13日に公開された記事の翻訳版です。 ※この記事はSecurity Tech Blogシリーズ: Spring Cleaning for Securityの一環で書かれています。 こんにちは。Security EngineeringチームのDavidです。 この記事では、メルカリが独自に実施しているSOC（セキュリティオペレーションセンター）の取り組みを紹介します。少しでも読者の脅威検出の取り組みをスタートするきっかけになれたらと思っています。 はじめに 一般的に、サイバーセキュリティは、防止(Prevention)、検出(Detection)、対応(Response)の3つの主要原則に分類されます。最近のブログ投稿やオンライン登壇では、SecurityチームとMicroservice Platformチームが主にセキュリティの防止の側面 [1] について触れてきま
Docker Desktopとは 最近のトレンドのひとつに「コンテナ」があります。高速に独立したアプリケーション実行環境を作れる「Docker」は、アプリ開発者からシステム運用者まで、幅広く活用されているソフトウェアです。 DockerをMacやWindows上で簡単に扱えるよう、Dockerデーモン、CLIコマンド、GUIフロントエンド等々とあわせてパッケージングしたプロダクトが「Docker Desktop」です。そのDocker Desktopが、最近ついにLinuxに対応しました。 Dockerなら昔からLinux上で動くし、パッケージも用意されているし、別にGUIとかいらないし、何の意味があるかわからないよ……という方も多いでしょう。またDocker Desktopが有料化されたというニュースを聞いて、抵抗を感じる方もいるかもしれません。 結論から言ってしまうと、Docker D
※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud は、コンテナ化されたワークロードを実行するための最適な場所になるという使命を担ってきました。それは 2014 年に始まり、Google の内部クラスタ管理システムである Borg を元に、Google は Kubernetes を発明し、世界初のマネージド Kubernetes サービスである Google Kubernetes Engine（GKE）を導入しました。GKE は、現在利用できる最もスケーラブルな、業界をリードする Kubernetes サービスです1。2019 年には、当社はコンテナとサーバーレスの利点を組み合わせた初のサーバーレス プラットフォームである Cloud Run をリリースしました。現在 Cloud Run は、ク
プロダクトのBackendをServerless化した話｜Knowledge Work Developers blog
ナレッジワークでソフトウェアエンジニアをしている @yudoufu です。 先日、ナレッジワークのプロダクトBackendはGKEからCloud Runへの移行を終え、サブシステムを含むプロダクト全体がServerless化されました。 今回は、ナレッジワークのプロダクト本体のAPI BackendをGKEからCloud Runに移植した話を紹介します。 初期のナレッジワークのシステム構成ナレッジワークでは立ち上げ当初より、サービス本体とも言えるAPIバックエンドをGKE(Standard)環境で構築・運用されていました。 開発最初期には当然、PMFを目指すためにプロダクトには様々な試行錯誤的な機能追加が行われることになり、またシステムのワークロードなども含めて今後の運用形態に不透明な部分が多くあります。 そのため、システムの機能面・性能面の両面で拡張に対する柔軟性が高く、かつIaC運用と
There are lots of posts trying to show how simple it is to get started with Kubernetes. But many of these posts use complicated Kubernetes jargon for that, so even those with some prior server-side knowledge might be bewildered. Let me try something different here. Instead of explaining one unfamiliar matter (how to run a web service in Kubernetes?) with another (you just need a manifest, with thr
クラウドネイティブの注目動向、eBPFとWebAssemblyの利用が広がる、Appleが人材のブラックホールに。CNCFアンバサダー ＠_inductor_氏に聞いた
クラウドネイティブの注目動向、eBPFとWebAssemblyの利用が広がる、Appleが人材のブラックホールに。CNCFアンバサダー ＠_inductor_氏に聞いた Kubernetesの開発をホストするなどクラウドネイティブ関連のテクノロジーやソフトウェアを主導するCloud Native Computing Foundation（以下CNCF）は、2021年を総括するレポート「CNCF 2021 ANNUAL REPORT」を公開しました。 CNCFは2021年末現在でKubernetes、Prometheus、Envoy、ContainerDなどを始めとする120以上の開発プロジェクトをホスト。エンドユーザー数も順調に伸びています。 内容の詳細はぜひレポートをご参照ください。 合わせてPublickeyでは、この1年のCNCFやクラウドネイティブの動向について、CNCFアンバサダ
It's Time to Forget About Docker | Martin Heinz | Personal Website & Blog
In the ancient times of containers (really more like 4 years ago) Docker was the only player in the container game. That's not the case anymore though and Docker is not the only, but rather just another container engine on the landscape. Docker allows us to build, run, pull, push or inspect container images, but for each of these tasks there are other alternative tools, which might just do better
teyuに届いたPullRequestで使われているRubyの高速化手法 - takanamitoのブログ
この記事は ZOZOテクノロジーズ #1 Advent Calendar 2019 21日目の記事です。 昨日の記事は @awsmgsさんによる「Classic ASPによるRESTful APIのルーティング実装例」でした。 この記事では、会社の開発合宿でつくったgem teyu に届いたPullRequestで使われていた高速化手法の紹介と、なぜ速くなるのか？の考察をします。 techblog.zozo.com 届いたPullRequest 高速化その1 each → while 高速化その2 define_method → class_eval 最後に 届いたPullRequest sonots さんから2件の高速化PullRequestが届きました。 Improve performance and readability #2 Fastest version #3 前者では eac
Adopting Istio for a multi-tenant kubernetes cluster in Production
This is the 3rd blog post for Mercari’s bold challenge month. At Mercari, while migrating our monolithic backend to microservices architecture, we felt the need to have a service mesh and understood its importance in the long run. Most of the incident post-mortem reports had actionable items such as — implement rate-limit, implement a better canary release flow, better network policies… and this i
2019年7月18日、株式会社ディー・エヌ・エーにて「DeNA.go #2」が開催されました。さまざまな事業やサービスでGoを活用しているDeNAのエンジニアがGoに関する知見を共有します。LT「新ゲームサーバ基盤TakashoでのGo言語活用事例の紹介」に登壇したのは中島清貴氏。講演資料はこちら DeNAエンジニアが語るGo言語活用事例 中島清貴氏：「新ゲームサーバ基盤TakashoでのGo言語活用事例の紹介」というタイトルで発表させていただきます。よろしくお願いします。 （会場拍手） まず自己紹介から。中島清貴と申します。2016年にDeNAに新卒入社して、新卒4年目となります。入社1年目はキュレーション事業部でRailsを使ってライター管理ツールなどを作っていました。その翌年にゲーム事業部の共通基盤系の部署に異動して、Sakashoというゲームサーバ基盤の開発・運用をやっていました。
Serverless NEG でシステム開発をより柔軟に
はじめに以前 Yuki Furuyama さんが「NEG とはなにか」という哲学的な(?)記事を書かれていましたが、このたび「Serverless NEG」(Serverless Network Endpoint Group)という新しいタイプの NEG が追加されました。(まずは Beta でのご提供です → EDIT(2020–10–14): 2020年10月14日に GA になりました。) これで NEG は Zonal NEG、Internet NEG、Serverless NEG の三種類になりました。 Furuyama さんの Zonal NEG に関する記事には「NEG は Kubernetes の Service に相当するもの、Network Endpoint は Pod に相当するものです」とありましたが、Serverless NEG では「Network Endpoi
こういう個人開発する時って限りなく0円に近い価格で運用したくありませんか？ 特にDiscordBotは色々制約がある上意外と作るのが難しかったので、知見を共有します あとChatGPTの話はあんまり出てきません ※この記事にはオーバーエンジニアリングを含みます DiscordBotの制約を知っておく 結論 WebSocketを常時Listenするのが一番簡単に作れるがサーバー費用がかさむ InteractionをHTTPで受け取るようにすればWebSocketほど自由度はないがFaaSの載せられる HTTPのInteractionは大体3秒以内に返答しないとタイムアウトになってしまうため、重めの処理は工夫する必要がある 作り方の制約 まず第一に、DiscordBotを作るならEC2なりVPSなりでサーバーを建ててそこで実行するのが一番簡単に作れます これはDiscordの仕様によるもので、
Kubernetes manifests を単一リポジトリで集中管理する運用設計 - LIVESENSE ENGINEER BLOG
Data Platform グループのリーダーの田中です。データ分析基盤 Livesense Analytics と機械学習基盤 Livesense Brain のプロジェクトマネジメント/アーキテクチャリングをしています。 今回は Livesense Brain における Kubernetes (k8s) manifest の管理方式と運用設計について紹介します。 2種類の管理方式: 個別管理と集中管理 k8sクラスタで複数のシステムを運用しmanifestをGit管理するとき、その管理方式は大きく次の2種類に分けられます。 個別管理: 各システムの実装を管理するGitリポジトリにmanifestを一緒に含める 集中管理: 各システムのリポジトリと別に、全manifestを管理する単一のリポジトリをおく 個別管理の場合、各システムのリポジトリで開発〜運用にかかわるすべてのコードを管理でき
eBPFを用いたネットワーキングやセキュリティなど、AWS、Azure、Googleの3大クラウドが採用。Isovalentが明らかに
eBPFを用いたネットワーキングやセキュリティなど、AWS、Azure、Googleの3大クラウドが採用。Isovalentが明らかに クラウドネイティブな環境でeBPFを採用したネットワーキングやオブザーバビリティなどの機能を提供するオープンソースの「Cilium」を開発するIsovalentは、AWS、Microsoft Azure、Google Cloudの3大クラウドそれぞれのKubernetes環境でCiliumの採用が出揃ったことを、10月24日に米国ミシガン州デトロイトで行われたCloud Native eBPF Day NA 2022（KubeCon + CloudNativeCon NA 2022と同時開催）の基調講演で明らかにしました。 eBPFとは、Linuxカーネルのコードを変更することなく、カーネルの持つさまざまな機能をフックすることでカーネルに対してプログラマブ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GKEでStreamlitをホスティングして社内用アプリを作った話 - エムスリーテックブログ
ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側
libbpf-rsを使ったRustとeBPFプログラミング - Qiita
Google、オープンソースのネットワークセキュリティスキャナー「Tsunami」を発表
クラウドコストの最適化のためのベスト プラクティス | Google Cloud 公式ブログ
インフラの整備、SLIとSLOの設定、セール対策 Railsアプリケーションのユーザ体験を支えるSREの取り組み
第688回 eBPFのコンパイラーに対応したツールでさまざまな挙動を可視化する | gihyo.jp
バージョニングの見直しとタグ・リリース作成の自動化 - LIVESENSE ENGINEER BLOG
Monitoring as Code for Kubernetes
Kubernetes の upstream のキャッチアップ
【2019】フリーランスエンジニア活動 振り返り - Enjoy Architecting
メルカリでのDetection EngineeringとSOAR | メルカリエンジニアリング
第719回 UbuntuでDocker Desktop for Linuxを使う | gihyo.jp
コンテナ プラットフォームの新たな進化について | Google Cloud 公式ブログ
How Kubernetes Reinvented Virtual Machines (in a good sense)
DeNAがゲームサーバ基盤のリニューアルにGoを選んだ理由
ChatGPT が回答する Discord Bot をほぼ0円運用できるように作った