BigQuery のコスト最適化活動の全社展開用基盤を整えた話 [DeNA インフラ SRE] | BLOG - DeNA Engineering
2022.12.06 技術記事 BigQuery のコスト最適化活動の全社展開用基盤を整えた話 [DeNA インフラ SRE] by Yuya Nakamura #infrastructure #sre #google-cloud #google-bigquery はじめに こんにちは。 IT 基盤部パブリッククラウドチームの中村です。 GCP の BigQuery は便利なサービスですが、使い方を誤ると簡単に高額請求されてしまうことがあるサービスでもあります。 この記事では、そんな BigQuery のガバナンスが効いた状態を維持する活動である BQ ドクターという取り組みを全社展開するための基盤を整備した話をご紹介します。 BQ ドクターとは BQ ドクターは、下図のフローで継続的にデータのガバナンスを維持するための取り組みの総称で、以前からデータ本部で実施していました。 これまでの
![BigQuery のコスト最適化活動の全社展開用基盤を整えた話 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/742b6a7e355f9fc2815cd3dda6fa1de34d953699/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F12%2Fextend-bq-doctor%2Fcover.png)
CNSC 2022からTerraformによるクレデンシャル管理の現実的な解の解説
CloudNative Srcurity Conference 2022、アクセンチュアのエンジニアが解説するTerraformにおけるクレデンシャル管理の現実解を解説したセッションを紹介する。 CloudNative Security Conference 2022から、アクセンチュアのエンジニアが解説するインフラストラクチャー構築のためのツール、Terraformにおけるクレデンシャル管理に特化したセッションを紹介する。セッションを担当したのはアクセンチュアの崎原晴香氏だ。2021年に新卒でアクセンチュアに入社したというエンジニアでクラウド環境、特にAWSをメインにクラウドインフラストラクチャー構築に携わっているという。 「機密情報をコードに含めず環境構築するにはどうしたらいいの？」というサブタイトルが示すように、サーバーやデータベースのインスタンスをクラウド上に構築する際にどうしても
stress コマンドを使ってマシンに負荷をかける - CUBE SUGAR CONTAINER
stress(1) を使うと、Unix 系 OS で動作しているホストの CPU やメモリ、ディスクに簡単に負荷をかけられる。 今回は使い方や動作などを一通り見ていく。 使った環境は次のとおり。 $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 22.04 LTS Release: 22.04 Codename: jammy $ uname -srm Linux 5.15.0-40-generic aarch64 $ stress --version stress 1.0.5 $ dstat --version | head -n 1 pcp-dstat 5.3.6 $ taskset --version taskset from util-linux 2.37
JANOG49「Clos Network Topologyを運用するために、どのような取り組みをしていますか」レポート | さくらのナレッジ
はじめに 2022年1月26日(水)〜28日(金)の3日間、鹿児島市の川商ホールにてJANOG49ミーティングが開催されました。 今回のJANOGでは、当社ならびにグループ会社のエンジニアによる発表が何件かありましたが、それらの中から、1月27日(木)に行われた発表「Clos Network Topologyを運用するために、どのような取り組みをしていますか」の模様をレポートします。 発表者の紹介 このセッションの発表者は、当社クラウド事業本部の梅原潤さんです。梅原さんは「さくらの専用サーバPHY」のインフラエンジニアで、主に下記の業務を担当しています。 Nomad, Dockerによるアプリケーション実行基盤 Victoria Metrics, Prometheusによるメトリクス管理・監視基盤 Grafana Lokiによるログ監視・管理基盤 Clos Network Topology
Kubernetes 専門家として知るべき 47 のこと - 誰かの役に立てばいいブログ
この記事は私が過去 3 年ほど Kubernetes に携わる中で学んだ、ちょっと見つけにくい知識をまとめたものです。 特にカスタムコントローラーを開発するような人に必要となる知識群です。 感想とか指摘とかあれば Twitter までお寄せください。 更新履歴 2021-03-05: "コンテナの resources.limits と resources.requests の違いについて" の項を補足しました (thanks to @superbrothers) API コントローラー実装 プログラムと連携動作 資源管理 ネットワーク モニタリング アクセスコントロール API kube-apiserver が備える拡張機構を列挙しなさい 回答例 Custom resources: OpenAPI スキーマで独自のリソース型を追加できる Aggregation layer: kube-ap
インフラエンジニアBooks#10 近藤 誠司氏と読む「運用改善の教科書」
運用の考え方は「システム管理」から「サービス管理」へ ITIL4で変わってきた、運用者に求められること
【連載】世界一わかりみが深いコンテナ & Docker入門 〜 その5:Dockerのネットワークってどうなってるの？ 〜 | SIOS Tech. Lab
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ こんにちは、サイオステクノロジー武井です。いよいよ佳境に入ってきた連載「世界一わかりみが深いコンテナ & Docker入門 」ですが、今回はDockerのネットワークです。 全7回シリーズでお届けする予定で、今回は第
Infrastructure as Code の静的テスト戦略 #DevOpsDaysTokyo / DevOpsDays Tokyo 2021
DevOpsDays Tokyo 2021 で使用したスライドです。 Infrastructure as Code を導入してみたはいいけれど、デプロイしてみたらなぜか上手く動かない。そんな経験はありませんか？ 本セッションでは、実際の環境を構築する「前」に、IaC のコード自体に対してテストを行う手法について解説します。 ご存知の通り Infrastructure as Code (IaC) は、インフラをコードで定義することを通し、アプリケーション開発のベストプラクティスをインフラ領域にも輸入しようとする方法論です。IaC の考え方は近年急速に普及し、開発フローの一部として種々の IaC ツールを利用することは半ば常識のような状態にあります。 しかし同時に、IaC は銀の弾丸ではありません。特に組織的な導入を考えようとすると、得てして「なぜか上手くいかない」「余計に運用が辛くなってしま
Docker版NetBoxを導入してIPアドレス管理台帳.xlsxに別れを告げる - zaki work log
オンプレ環境だと必ずと言っていいほど存在する「エクセルのIPアドレス管理台帳」、なんやかやで私も自宅の環境でもスプレッドシート(Excelではない笑)に記入しつつ運用してました。 で、業務で最近NetBoxというアドレス管理などを行うIPAMツールを使うことが増えたので、勉強がてら自宅にも導入してみました。 github.com NetBoxって何 インストール 環境 NetBoxインストール ログイン 管理方針 (仮) Devices Sites Device Roles Manufacturers Device Types Deviceの登録 インタフェースとIPアドレス設定 (デバイスから作成) Virtual Machines Cluster Types Clusters VMの登録 インタフェースとIPアドレス設定 (VMから作成) IPアドレス作成 (IP Addressesか
RHEL7のDockerとsystemdとcgroups - めもめも
Dockerでコンテナを起動する際に、次のようにcpu-sharesとmemory-limitを指定することができます。 # docker run -c 256 -m 512m hogehogeこれは内部的にはcgroupsを使っていますが、RHEL7のDockerでは、systemdと連携してcgroupsの制御を行っています。この辺りの解説です。cgroupsそのもの説明は下記を参照下さい。 ・Control Groups (cgroups) コンテナから生成されるUnit まず、テスト用にContOS6のコンテナを起動して、中でtopコマンドでも実行しておきます。 # docker run -it -c 256 -m 512m centos /bin/bash bash-4.1# top別の端末からログインして、コンテナIDを確認します。 # docker ps CONTAINER
常にLINEができるサーバーに LINEのインフラチームを形成する3つのDNA 「Speed」「Global」「Scale」
2020年11月25〜27日の3日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2020」がオンラインで開催されました。そこで ITサービスセンター 執行役員の朴永熙（パクヨンヒ）氏が「Sharing experience of LINE Infrastructure」というテーマで、LINEの根幹にあるインフラの変化と今後の課題について共有しました。 LINEインフラチームの“これまで”と“これから” 朴永熙氏：みなさん、こんにちは。LINE DEVELOPER DAYは、LINEのさまざまな技術経験を開発者のみなさんに共有することで、業界の発展に貢献しています。 この時間は、LINEサービスの成長とともにLINEのインフラストラクチャがどのように変化してきたのか、今後の課題はどのようなものがあるのか。これらについてお話ししたいと思
大規模オンプレミスなヤフーのサーバーインフラの裏側 ~ サーバーインフラエンジニアの視点
物理サーバーの評価 物理サーバーを導入する前にヤフーでは、必ずサーバーの評価を実施します。 評価項目は大まかに分けると下記です。 物理運用性の評価 パフォーマンスの評価 自社ツールの動作を評価 ヤフーの評価で特徴的なのは「物理運用性」の評価だと考えています。 オンプレミス環境で運用しており、物理作業の「簡単さ」「分かりやすさ」も全体の工数へ影響するため、注意している点です。 ラッキングレールの評価 ボタン、インジケーターの評価 他の評価にボタン、インジケーターの評価があります。 データセンターの中で物理サーバーに対して物理的な作業する際には、 持ち込める物、参照できる情報が限定されています。 また、大量のサーバーがある中でピンポイントで作業する必要があるため、 現地作業者が目視で直感的に、かつリモートから作業指示者と認識を共有しやすいことが重要です。 下記はボタン評価の際に注意しているポイ
The ETTO Principle（効率-徹底性トレードオフ原則）とITシステムの運用
こんにちは、滝澤です。 今回は"The ETTO Principle"（効率-徹底性トレードオフ原則）について紹介します。ここでは「ETTO原則」と呼ぶことにしましょう。 ETTO原則はレジリエンス・エンジニアリングで著名なエリック・ホルナゲル氏（Erik Hollnagel）が提唱したもので、効率性（Efficiency）と徹底性（Thoroughness）はトレードオフの関係にあるというものです。 これは、元々は安全に関する分野での話ではあるのですが、IT分野においても無縁というわけではありません。そのあたりの話を紹介します。 本記事を3行でまとめると次のようになります。 ETTO原則により効率性と徹底性はトレードオフの関係にある。 ITシステムの運用の例として作業手順書作成の例を示し、効率性と徹底性のバランスを考える必要があることを示した。 システム障害と根本原因分析について紹介し、
Waypointとは何か
Hashicorpの2020年冬の新作 Waypoint (リリースブログ)に関してドキュメントなどをざっと眺めてみたので最初の印象をちょっと書いてみる．ちゃんとしたレビューは @copyconstruct の記事 Waypoint とか読むのが良い．毎度のことながらドキュメントやガイドはかなりちゃんとしたのがあるので使い方とかはそっちを読んだ方がいい．以下に書くのはざっくりした個人の感想（ちなみにもう一つのBoundaryに関してはZero Touch Productionとは何か に軽く書いた）． What is Waypoint Waypointは，KubernetesやNomad，Amazon ECS，Google Cloud RunといったPlatformの上にBuild，DeployとReleaseの一貫したWorkflowを実現するツール．使ってる言語やそのパッケージ方法や，
Infrastructure as Codeにおける理想のドキュメント管理を目指して #infrastudy | DevelopersIO
インフラをコードで管理するInfrastructure as Codeだからこそ、必要なドキュメントについての考察とそれの管理方法についてLTした様子です。 「なんや、この視聴者数… 震えが来るぜ・・・」 先日開催されたInfra Study Meetup #2「VM時代の開発とCloud Native時代の開発」 - connpassにおいて、「IaCにおける理想のドキュメント管理を目指す」という内容でLTしてきましたので、その内容をお届けします。 当日は、イベント内容も登壇者も超絶豪華で、なんとリアルタイム視聴者数1000人超えということで、さすがに自分も緊張しました。まじで。 青山さんのメインテーマがKubernetesの話であり、前後それに関わるテーマが中心の中、Kubernetesもコンテナも1ミリもでてこない発表にしたのですが、IaCに関わる普遍的な考慮ポイントについて喋れたの
モダンなシステムにSLI/SLOを設定するときのベストプラクティス
New RelicではどのようにSLI/SLOを定義し、SREを実践しているか。その経験から、SLI/SLOについて解説した記事 Best Practices for Setting SLOs and SLIs For Modern, Complex Systems の翻訳です。 -- New Relicのサイト信頼性VPであるMatthew Flamingも、この記事に貢献しています。この記事はサンフランシスコその他で行ったFutreStack18での講演「SLOs and SLIs In The Real World: A Deep Dive.」をもとに作られています。 New Relicでは、サービスレベル指標（Service Level Indicator: SLI）とサービスレベル目標（Service Level Objective: SLO）を定義したり設定したりことが、サイト
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散システムについて語らせてくれ
コンテナの歴史を追いながらいまいちどコンテナについておさらいしてみる / Infra Study 2nd #2
https://eco.senritu.net/%E5%AE%B6%E3%82%92%E5%BB%BA%E3%81%A6%E3%82%8B%E9%9A%9B%E3%81%AElan%E3%82%B1%E3%83%BC%E3%83%96%E3%83%AB%E6%95%B7%E8%A8%AD%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6%EF%BC%8810gbps%E5%AF%BE%E5%BF%9C%EF%BC%89/
本当は恐ろしい分散システムの話
