章立て はじめに Docker・Container型仮想化とは Docker一強時代終焉の兆し Container技術関連史 様々なContainer Runtime おわりに 1. はじめに Containerを使うならDocker、という常識が崩れつつある。軽量な仮想環境であるContainerは、開発からリリース後もすでに欠かせないツールであるため、エンジニアは避けて通れない。Container実行ツール（Container Runtime）として挙げられるのがほぼDocker一択であり、それで十分と思われていたのだが、Dockerの脆弱性や消費リソースなどの問題、Kubernetes（K8s）の登場による影響、containerdやcri-o等の他のContainer Runtimeの登場により状況が劇的に変化している。本記事では、これからContainerを利用したい人や再度情報
僕らは何故Kubernetesを使うのか
最初に お仕事で「Kubernetesはいいので、次のプロジェクトで使いたい」と言うと 「何がいいんですか？」とか「何ができるの？」とか聞かれてうまく答えれない事がまぁまぁあったので自分なりにKubernetesがなぜ生まれたのか、なんで使いたいのかと何ができるかをまとめてみた リソース調達の歴史から見るKubernetesが現在の地位につくまで リソース(アプリケーションを動かすためのサーバなど)調達の視点から、Kuberenetes誕生までを見ていきます。 物理サーバを調達する時代 原初のアプリケーション開発では、アプリケーションを開発してキャパシティを予測して、リソース見積もりを行い、サーバ購入を行っていました。 この方法では以下のような課題がありました。 リソースを用意するのに、数週間から数ヶ月かかる サーバを注文してから、到着するまでの時間もかかりました。 またその前のリソース見
本稿は、人が超自然的存在を信じたり、宗教を信仰したりするようになぜ進化したのかを、認知心理学、脳神経科学、遺伝学、進化学などの研究成果をレビューして、独自に考察したものです。 なぜこんなにも多くの人が宗教や超自然的存在を信じているのだろうか 正月、近所の神社に行くと、厄年を迎える人の生まれた年が大きく看板に書かれている。私は、宗教や神の存在は全く信じていないが、看板に書かれた年が自分の生年と一致していると、何の根拠もなく今年は病気に気をつけようとか、お守りぐらい買っておこうか、などと一瞬考えてしまう。これは、人を宗教にひきつける、人間の心理をついた「うまいやり方」である。将来への得体の知れない不安に対して、超自然的なものに頼ろうとする人間のもつ心理的特徴が宗教心を創り出しているのだろうと漠然と考えることができる。 現在、全世界の80%以上の人が宗教あるいは霊的な存在を信じているという(1)
入社後10年の節目に｜Yuta Sawa
はじめに2012年2月20日に現職に就職してから10年が経ちました。だからなんだと言う気もしますが、ある種の節目として何かを書いておくこともまあ大事かなと思うので書こうかと。学会云々の話だけが書かれてるnoteというのもいかがかと思うし。 10年前から思えば、よく10年生き抜けたなあというのもありますが、ここ数年は生き抜くだけならそこそこ楽、という思いもあります。この辺の感覚もどう変わっていくのかなあというのは楽しみでもあり、怖くもあり。思い起こせば現職に就職するきっかけなんかもちゃんと書いた記憶は無いですし、それらも含めて一度整理しておこうかと思います。 とか言いながら年始にちょくちょく書き始めたんですけど、書いていったら思いの外長文になってしまいました。かといってなにか実りのあることが書かれてるわけでもないです。おんなじようなことを繰り返してるところもあります。 あと、なんか期待してる
DockerやKubernetesなどのコンテナ技術は多くのシステムで用いられていますが、初心者が概要を理解するのは難しいもの。そんなコンテナ技術の概要について、クラウドストレージサービスを運営するBackblazeが分かりやすくまとめています。 What Are Containers? https://www.backblaze.com/blog/what-are-containers/ ・目次 ◆コンテナとは何か？ ◆コンテナと仮想マシンの違いは？ ◆コンテナのメリットは？ ◆コンテナの用途は？ ◆Dockerとは何か？ ◆Kubernetesとは何か？ ◆コンテナとは何か？ 物流の世界における「コンテナ」は、形状やサイズを規格化し、異なるメーカーが製造した船舶・電車・トラックなどの移動手段や、世界中の港などの「異なる環境」でも同じように物を運んだり保管したりできるようにしたものです。
Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その1- - inductor's blog
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 inductor.hatenablog.com 上記の理由の通り、目的は論文を翻訳することだけではなく、最終的にこれを踏まえて自分の見解をつらつらと書いていくところにもあります。 おそらく一番時間がかかるのはそれなので、一旦は翻訳を一通り終えた上で更に頑張っていきます。ゆっくりお待ちいただければと思います＞＜ 1. Introduction(まえがき) Borgが内部的に呼び出すクラスター管理システムは、Googleが実行するすべてのアプリケーションを許可、スケジュール、起動、再起動、および監視します。この論文ではその方法を説明します。 Borgには3つの主な利点があります。 リソース管理と障害処理の詳細を隠すため、ユーザーは代わりにアプリケーション開発に集中できます。 非常に高い信頼性と可用性で動作し、同じことを行
Infrastructure as Dataとは何か
最近GCPから登場したKubernetes YAMLのPackage managerであるKptは「Infrastructure as Data（Configuration as Data）」という考えかたを基礎としてそれを推し進めようとしている．それ以外にもKubernetesのEcosystemには（明示はされていなくても）この考え方が中心にある．Infrastructure as Codeとは何が違うのかなど歴史を振り返りつつまとめてみる． （指針はBorg, Omega, and Kubernetesという論文にあるが「Infrastrcuture as Data（Configuration as Data）」という言葉を明確に定義した文章はない．この記事はReferencesに挙げるいくつかのPodcastにおける@kelseyhightowerの発言や，それに反応する@bgra
KubernetesをGoogleが開発し、オープンソース化し、成功した経緯。関係者らが肉声で語るドキュメンタリー映像「Kubernetes: The Documentary」YouTubeで公開
KubernetesをGoogleが開発し、オープンソース化し、成功した経緯。関係者らが肉声で語るドキュメンタリー映像「Kubernetes: The Documentary」YouTubeで公開 ITエンジニア向けの転職紹介などキャリアサービスを提供しているHoneypot社は、Google、Red Hat、Cloud Native Computing Foundationの協力の下、Kubernetesの誕生から現在までをドキュメンタリー映像としてまとめた「Kubernetes: The Documentary」をYouTubeで公開しています（Part 1、Part 2）。 Do you know the story of @kubernetesio? Hear the details of how the project came to be from those who live
背景 最近、「コンテナはもうわかってきたので、これからKubernetesについて腰を据えて勉強したいが、どのように勉強すればいいかわからない」という相談をいただくことがすごく多くなった。 必要に応じて必要なリソースの挙動などを調べてきたし、僕自身も知らないことばかりなので、全てを伝えることはできない。 とはいえ、「入門しにくいサービスが伸びにくい」というのは、間違いないので、Kubernetesに入門する上でこの順番で学習したら、基本的な内容を身につけられるのではないかというロードマップを一つ公開しておくことで、これから業務でKubernetesを理解していく必要がある方の最初の一歩を助けられるかもしれないと思い、公開する事とした。(このQiitaのリンクを渡すだけで質問に回答できるという状態を作りたいという観点もある。) 自分の今の、Kubernetesに対する理解をうまく表現できてい
yamlについて思うこと
yaml、どうしてこんなに使われているのだろうか。kubernetesにも責任があるというのはありそうな話だけど、色々考えてみるとそこまで簡単な話でもなさそうな気がする。例えばtravis-CIの設定ファイルがyamlであったりというように、この分野ではyamlは割と広く使われていたんじゃないかという気がする。思い起こせばGoogle AppEngineもapp.yamlに設定を書いていたし、設定にyamlというのは割とよくあることであった、のではないかなあ。 しかしなぜyamlなんだろうか。yamlのフォーマットには問題がたくさんあることが知られているし、自分も全く好きではない。 例えばyamlの問題の一つとして、キーに任意のデータ構造を持ってこれるという話があり、これが一部のプログラミング言語で問題を厄介にしている。またエイリアスがあってデータ構造がツリーにならない（複数の経路から同じ
Mercari Microservices PlatformにおけるKubernetes Cluster移行 | メルカリエンジニアリング
Microservices Platform Teamの@deeeeeeetと@dragon3です． Microservices Platform TeamではGoogle Kubernetes Engine（GKE）をメインのコンポーネントとして利用し，その上にメルカリとメルペイのMicroservicesを動かすための基盤を構築しています．メルカリのMicroservices化のプロジェクト自体は2年ほど前から始めており，GKEも当時に構築したものを今日まで運用し続けてきました． この2年間でGKEからは多くの機能がリリースされました．その中のほとんどはそのまま有効にすることができますが，中にはClusterを作り直す必要があるものもあります．例えばRoutes-based ClusterをVPC-native Clusterに，Zonal ClusterをRegional Clust
Zero Touch Productionとは何か
GoogleのSREとSecurityによるBuilding Secure Reliable Systems という本の中で「Zero Touch Production (ZTP) 」という考え方が紹介されていた．これはインフラの権限管理やインフラの構築そのものの指針となる概念であり，自分がそうあるべきだとずっと思ってきた考え方でもある．これはどのような考え方なのか?をこれまでの歴史を踏まえて具体的なツールや事例とともにまとめておく． Zero Touch Production Building Secure Reliable Systems においてZero Touch Production (ZTP) は以下のように定義されている． The SRE organization at Google is working to build upon the concept of least
DXって何じゃらほい？或いは2025年の崖っ淵に向かって熊とワルツを踊る刹那について｜楠 正憲（デジタル庁統括官）
何週間か前のこと、急にエンプラっぽくないAIベンチャーの社長さんからメッセで飲みに誘われ、秋葉原の焼き鳥屋さんでDXとやらについて聞かれて、とりあえずこのレポート読んどけと返しつつも考えちゃった訳です。Direct Xとか、よくテレビに出てるマツコの方じゃなくて「2025年の崖って実際どうなんだ？」とか何とかオッサンたちから相談される話あるじゃないですか。あれって何なんですかね？オンプレをクラウドにリフトしたらDXなのか。華麗にk8sやらコンテナ使いこなしてCIパイプライン組み立ててテスト自動化したらDXなのか、だいたいDigital Transformationなのに、どうしてDXなのか。SAP R/3とCOBOL PL/Iを捨てて、どこぞのSaaS入れてSparkぶん回してPythonとか書いたらDXなのか。おいおい、そんな話だっけ？って心配になっちゃう訳です。 内製内製って簡単に言う
GoogleがBigQueryを安価に提供できる理由は、Borgによる大規模分散コンテナ環境があるから いまから6年前の2014年、当時ようやくDockerコンテナが世の中に知られるようになってきた頃、Googleはすでに社内のすべてのソフトウェアをコンテナ化しており、毎週20億個ものコンテナをクラウド上で起動していると発表し、多くのエンジニアを驚かせました。 この大規模なコンテナの制御、すなわちオーケストレーションを行っていたのが同社内で「Borg」と呼ばれるソフトウェアです。 そしてKubernetesはこのBorgを基に、Googleがオープンソース化したコンテナオーケストレーションソフトウェアだとされています。 Borgの大規模分散コンテナ基盤でBigQueryが成立する このBorgによる大規模分散コンテナ基盤があるからこそ、BigQueryが安価に提供できるのだと、Google
はじめにこんにちは。TIG/DXチームの伊藤です。この技術ブログでGCPネタをよく発信していますが、今回もGCPネタです。好きです、GCP。フューチャーの社内では定期的に勉強会を開催している部門があり、全社的に登壇者を募って発表しています。今回は私自身社内にGCPを広めたいという思いがあり登壇の機会をいただきました。今回はその時のまとめや一部改善した内容になります。また、リモートでの勉強会ということもあり、個人的に気をつけた点も簡単にまとめたので、その辺も参考になればと思います。 話す前の準備今回は社内で広く利用しているGoogle Meetを使ってオンラインで勉強を行いました。勉強会としても私としてもリモート開催がそもそも初めてなので、質問を受けやすいように区切りのいいとこで質問タイムを設けました。また、オンラインだと反応が見にくいというのがあり、sli.doで質問を募ったり、単純な感想
社内でインフラエンジニア向けに作ったFargate勉強会の資料を公開します - inductor's blog
TL; DR 以前、社内向けにDocker/Kubernetes入門の勉強会を開催したのですが、今回はそれに引き続き、AWS Fargateに関する勉強会を開きました。 speakerdeck.com 資料の目的 前回の勉強会の資料についてはこちらをご覧ください。 inductor.hatenablog.com 今回の勉強会については、前回Kubernetesに入門してからそこそこ概要を理解した前提で、AWSのマネージドサービスであるECSやFargateの実態や、その特徴について理解してもらうために開きました。 ECS初心者がつまづきがちな、FargateとECSを比較してしまう問題や、そもそもECSというサービスの立ち位置などについて改めて解説した資料となっています。 インフラ向けではありますが、開発者が見てもわかりやすくなるよういくつか前提知識のスライドも含めていますので、もしよけれ
「負の性欲」と嫌悪感｜Kazunori Iwasa
twitterで「負の性欲」という語を見かけた。それで人々は盛り上がっているらしい。なるほど確かに，最近のtwitterでは性に関する話題がよく共有されてくるし，関心を持たれるのも理解できる。提唱者はTLのモメンタムを掴んだ。 ザっと読んでみるに，他者への性的な接近動機が「正の性欲」で，回避動機が「負の性欲」と呼ばれているらしい。そして，ヒトがする交配行動の生物学的な性差を説明するのに使われているらしい。曰く，男性は正の性欲に動かされ，女性は負の性欲に動かされている，とのことだった。また，性行為の回避は，性欲の欠乏や不足として理解するよりも，より積極的な欲求として理解する方が適切だ，というようなメッセージも受け取れた。そのように表現すると，主体性や権利が強調されるような気がする。性別の二分法に押し込むのが適切なのかはよく分からないが，表現としては上手く言ったものだと思う。 負の性欲は嫌悪な
Herokuの移行先を考える 今運用しているアプリ達をすぐにHeroku以外に移すということはしないまでも、競合となるプロダクトの調査をしておくことは(特に後発のものについては)機能面で実はこんなに便利なものがあったのか、と気づくことにもなったりするので、やっておいて損はないかと思いました。 比較対象について 比較する対象としては、インターネットで最近見かけるPaaSを選定しました。同様のことができるIaaSのコンポーネントとして、AWS FargateやGoogle Cloud Runがありますが、そのようなIaaSの一部として提供されるものについては今回は比較対象とはしません。 今回の比較対象は以下3つです。 Render https://render.com Railway https://railway.app Fly.io https://fly.io deployするRails
bradfitz - Leaving Google
After ~12.5 years at Google and ~10 years working on Go (#golang), it's time for me to do something new. Tomorrow is my last day at Google. Working at Google and on Go has been a highlight of my career. Go really made programming fun for me again, and I've had fun helping make it. I want to thank Rob Pike for letting me work on Go full time (instead of just as a distraction on painfully long gBus
【書評】『Google Cloudのしくみと技術がしっかりわかる教科書』は、クラウド初心者から経験者までオススメできる一冊でした | DevelopersIO
【書評】『Google Cloudのしくみと技術がしっかりわかる教科書』は、クラウド初心者から経験者までオススメできる一冊でした このブログは、2021年9月16日に発刊された『Google Cloudのしくみと技術がしっかりわかる教科書』の書籍レビューの記事です。かなりの良著でしたので、良かった点などをまとめてご紹介できればと思います。 私は普段AWSを扱っていますが、GCPについてもざっくり理解したいという動機でこの本を購入しました。 オススメしたい人 この書籍は、以下が当てはまる方にオススメできます。 クラウド技術を学びたい初心者の方 他のクラウドに関する経験（AWSやAzureなど）がある方で、GCPの特徴もざっくりと理解したい方 テキストベースでなく、豊富な図や表を見てGCPのサービスをキャッチアップしたい方 また、私自身はGCPの認定資格を持っていないので何とも言えませんが、G
OpenTelemetryについての現状まとめ （2020年6月版） - YAMAGUCHI::weblog
はじめに こんにちは、StackdriverあらためGoogle Cloud Operations担当者です。ここ最近は業務でOpenTelmetry関連をほそぼそとやってきたんですが、ようやくOpenTelemetryも安定版リリースのめどが立ってきたので、これまでと現状と今後を簡単にまとめておこうと思って書き始めたら、全然簡単じゃなくて10000文字超えました。（なおこのシリーズは今後も続きそうな気がするのでタイトルに日付を振っておきました） TL;DR 分散トレースとメトリクスの計装フレームワークとしてOpenTelemetryというものがCNCF Sandboxプロジェクトとして進行中。これはOpenTracingとOpenCensusのマージプロジェクトであり、各々の正式な後継版である。 とはいうものの、まだ仕様もstableリリースになっておらず、当然各言語向けのライブラリも安
Dockerって何？ って聞かれたときの解説、の解説
TL;DR Dockerは仮想化であるコンテナの実装の一種 ただし、広義のDockerはOCI系コンテナの総称 アプリの配布と実行の仕組みと思えばOK コンテナによりIaCや一貫したデプロイ、H/Wの効率的な利用がしやすくなる ※ コメントでいくつか指摘があったので記事を更新しました。ご指摘ありがとうございました！ はじめに おそらく過去幾度となく生み出されたであろうDocker解説記事となります。正確には解説動画の解説記事。 というのも、Dockerあるいはコンテナはもはや当たり前、と言えるほど普及してるようにもSNSやブログとかだけ見てると思えますが、実際には話題は知ってるけど良く分かってない/業務で今度使う事を検討したいけどつまり何なの？ って人もまだまだ多いです。 なので私が 「Dockerって何？」 と聞かれたとき答えてる内容を動画にしてみました。技術的な詳細を解説というよりは
この記事は FIXER Advent Calendar 2022 技術編 23日目の記事です こんにちは、毛利です。この記事では、最近趣味で自作し始めてしまったコンテナオーケストレーションシステム(+分散Key Value Store)の話をします。つまるところKubernetesのようなものを自作し始めた話です。 背景要約: 素のKubernetesは料金が高くなりそうだったので、趣味用に安く済むKubernetes環境が欲しかった。あと自作対象として興味がちょうどよかった。 みなさんは趣味用のサーバ等ありますでしょうか？自分は学生時代からConoHa VPS(コンビニ支払いできるのが学生にやさしい)、最近はAzureも使っています。管理方法ですが、最初のころはサービスをホストに直置き、途中からdocker-composeを使うようになり、しばらくそれで管理していました。最近は業務でKu
Kubernetesが標準プラットフォームであるクラウドネイティブの世界でアプリケーションを開発し運用する方法を解説する書籍です。 はじめに、Kubernetesの概要と背景、ソフトウェアの開発と運用にKubernetesがもたらす変化、コンテナの動作原理、コンテナの構築および管理方法、クラウドネイティブなサービスおよびインフラの設計方法などの基礎を紹介します。 そしてKubernetesアプリケーションの作成とデプロイ、Kubernetesクラスタの設定と運用、クラウドインフラの自動化、Helmなどのツールを用いたデプロイについてサンプルコードを使って学習します。ロールベースのアクセス制御（RBAC）をはじめとした、セキュリティ、認証、パーミッションなどに対するKubernetesのサポートや、本番でコンテナとKubernetesの安全性を確保するためのベストプラクティスについても学びま
「AWS CDK Conference Japan」は AWS CDK ユーザーが集まって事例やノウハウを共有しあうイベントです。今回は、CDKv2をメインテーマに、初の大型カンファレンスが開催されました。ここで登壇したのは、アクセンチュア株式会社の岡智也氏。アンチCDKだった自身が、実際にCDKを使って感じたメリットについて話しました。 一部のおじさんは新しいものが出てきた時にいったん拒否してしまう 岡智也氏：それでは、「アンチCDKだったわたしが『CDK、できる……』と思ったところ」ということで、岡からプレゼンします。 岡と申します。今日は、個人として参加しており、私が話したことや資料の内容は、所属する組織とはなんら関係ありませんので、あらかじめご了承いただければと思います。 まず、「アンチのくせにCDKカンファレンスにお前は何をしにきたんや」というところなんですけれども。やはり歳を取
2019年7月6日、株式会社サイバーエージェントが主催するイベント「Battle Conference U30」が開催されました。30歳以下のエンジニアによる30歳以下のエンジニアのための技術カンファレンスである本イベントには、さまざまな領域で活躍する若手が登壇。企業の枠を超えて、自身の技術・事業・キャリアに関する知見を発表しました。「Kubernetesで始める新しい開発」に登壇したのは、株式会社サイバーエージェント・青山真也氏。登壇資料はこちら Kubernetes で始める新しい開発 青山真也 氏：本日は「Kubernetes で始める新しい開発」というテーマでお話しさせていただきたいと思います。 簡単に自己紹介なんですけど、私サイバーエージェントの青山と申します。普段はインフラエンジニアで主業務は主にGKEみたいなKubernetesサーバサービスのプラットフォームやKuberne
今や当たり前に使われるようになったコンテナ技術は，何を目的に生まれたのでしょうか。そして，活用の鍵はどこにあるのでしょうか。コンテナ技術を代表するツールであるDocker/Kubernetesがたどった経緯を振り返りながら解説していきます。 Dockerはなぜ生まれたか Dockerは「隔離された環境＝コンテナ」をひとつの単位として扱い，コンテナ内でのプロセスの実行やコンテナ／コンテナイメージの管理などを一貫した操作で行えるツールです。コンテナイメージにはアプリケーションの実行に必要なファイルがまとまっており，コンテナとしての実行時にはOSからCPUやメモリが割り当てられます。これにより，可搬性の高さ，環境の再現の容易さ，デプロイのすばやさなどのメリットが生まれました。 こうしたアイデアは，クラウドサービスプロバイダであるdotCloud社（のちにDocker社に改称）で開発されたdcとい
In this post I will hopefully detail my entire home network. Some of this has been in separate posts explaining single items, but nowhere do I have all of the network in one post with all the changes since last year. Here is a full shot of the rack in my house. Its in a centrally located closet which happens to have a 2ft x 2ft chase into the attic, which is very handy for running network cables.
朱鷺田祐介 @TokitaSuzakuG 若い創作者へのお願い。 恋愛もののヒロインの名前を決めたら、ネット検索してください。 今日もAV女優とかぶった事例が一件。 2021-06-15 10:01:48 朱鷺田祐介 @TokitaSuzakuG TRPGデザイナー。「深淵」「信長の黒い城」「シャドウラン5th」「ザ・ループ」 Mail:pbc03134@nifty.com RPG Design&Translate Shadowrun , Eclipse Phase, Tales from the Loop,Sinen,Nobunaga-Borg suzakugames.cocolog-nifty.com
Amazon Elastic Kubernetes Service (Amazon EKS) の開発チームに移ります - As a Futurist...
ソフトウェア開発をやるぞと決めてカナダに移住して Amazon S3 のチームに入り約 3 年経ったけど、今日から社内で別のチームに移ることになった。エンジニア人生を始めて 10 年ちょっと、初めて自分から参加したいと思って選択したポジションなので、楽しみだ。 10 年間、仕事の選択肢がなかった 僕は大学院を辞めてからカナダの永住権を取るまでの約 10 年間、とにかく日本を出て働ける様になるためだけに生きてきた。なんのスキルもなく大学院でも何もなさずに辞めてしまうような人なので、新卒採用(結局既卒になるんだけど)は 1 社しか合格できず選択肢はなかった。しばらくは手に職をつけようとインフラのスキルを一から磨いたけど、このまま同じことを続けても海外には行けないと思って、海外支社に出向できるチャンスをもらった。そこでインフラよりも開発がやりたいと思った矢先に日本に戻る様に言われ、日本で開発をや
Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -導入編- - inductor's blog
はじめに こんにちは。inductorです。 今日のエントリーはタイトルの通りです。 BorgはGoogleが持つアプリケーション実行基盤で、Google CloudにおいてはGKEのマスターノードやGoogle App Engineなどが実際に動くインフラとしても使われています。 また、話題のKubernetesの元になったGoogle Insideなプロジェクトとしても有名かとおもいます。 ツイッターで誰かが「Borgの論文を誰か日本語で解説してほしい」と言っていたのを見かけたのを見かけたので、論文を読んで実際に中身を紐解いてみたいなと思いました。 元論文はこちらです ai.google 何を書くのか 自分は実はBorgの論文をきちんと読み込んだことはないため、時間を掛けて何回かに分けてやってみようと思っています。 実は、Borgの解説自体は他の方々もやっているようで、僕が改めてやる意
GoogleはGmailやサーチエンジン、Google Cloud Platformなどのさまざまなサービスを運営しています。そうした大規模なサービスを高い稼働率で提供するため、Googleは「Borg」と呼ばれるクラスタマネージャを開発してきました。そのBorgについて、Googleが2019年版の統計情報を公開しています。 (PDF)Borg:the Next Generation https://www.eurosys2020.org/wp-content/uploads/2020/04/slides/49_muhammad_tirmazi_slides.pdf GitHub - google/cluster-data: Borg cluster traces from Google https://github.com/google/cluster-data Large-scale
この記事は、Mercari Advent Calendar 2022 の3日目および Developer Productivity Engineering Campブログシリーズの一環で、メルカリCI/CDチームのMichael Findlater (@michaelfindlater)が執筆したものです。 ※本記事は2022年2月3日に公開された記事の翻訳版です。 ここではメルカリにおける次世代Continuous Integration(CI)システムの実装、そしてそれに向けたいくつかの技術的な取り組みについて解説します。またこの施策の動機とも言える、サプライチェーンアタックがどのようにCI/CDエンジニア達にとって今後より重要になってきたのかについて解説します。 背景 これまでも常にCI/CDパイプラインに対する攻撃は存在していたものの、ここ最近のこのエリアに対しての攻撃の急増は脅威
SECKUN 2021 pub.md SECKUN 2021/ProSec-IT 2021 コンテナ演習資料（公開版） この資料について 九州大学のSECKUN 2021/ProSec-IT(enPiT-Pro) 2021の共通カリキュラムにおいて、近藤 @udzura が担当したコンテナ概要の授業にて使用した教材です。 https://cs.kyushu-u.ac.jp/seckun/about/ https://cs.kyushu-u.ac.jp/enpit-pro/ 今回、公益性を鑑み、授業固有の連絡事項などを削除した状態で公開します。 ライセンスは Creative Commons Attribution 4.0 International Public License （CC BY 4.0） ref とします。 個人の自学、社内研修、スクールでの授業などでお使いいただけますが、内
BigQuery のアーキテクチャの変遷を論文 Dremel: A Decade of Interactive SQL Analysis at Web Scale から読み解いてみた
はじめに皆様、こんにちは。Google Cloud Japan Customer Engineer Advent Calendar 2020 の 8 日目は 今年公開された BigQuery のリサーチペーパーを読んでみて個人的に興味があった点をまとめてみようと思います。2020 年で 10 周年を迎えた BigQuery の進化の過程が理解できるので皆様もお時間あればご一読を！ TL;DRこのホワイトペーパーは、Dremel （BigQuery のクエリエンジン） が採用している主要なアーキテクチャや考え方（これらのいくつかはクラウドネイティブなデータウェアハウスではトレンドとなりつつあります）がこの10 年間でどのような進化を経て現在の BigQuery になったのかを、Seattle Report on Database Research というレポート内で述べられている主要な 5
この記事は、連載「つきなみGo」の2回目の記事です。 CUEはデータの表現やスキーマ定義やバリデーションなどを行うことができる言語です。元々Google社内で、Borg（現在のKubernetesの前身となったGoogleの社内システム）の設定に使用するために開発された言語が前身となっており、現在はオープンソースとして開発が進んでいる言語です[1]。 CUEは現在まだv0.4.3とマイナーバージョンではありますが、すでにistioにおいてProtobufからOpenAPIを生成する部分で使用されていたり、CI/CDの構築に使用するDaggerというツールの設定ファイルとして採用されています。 弊社（メルカリ）でもCUEをKubernetesなどを含むインフラの抽象化に使用しています（紹介記事①、紹介記事②）。 また、CUEはGoと親和性が高く、GoからCUEへの変換や、CUEの定義をG
開発者がKubernetesを敬遠するのはなぜ？ 苦手意識を乗り越えDevOpsを実現するために、VMwareが示す新たな視点
コンテナやKubernetesが年々普及しつつある。アプリケーションのモダナイズやクラウドネイティブ化のためには避けて通れなさそうだが、アプリケーション開発者からすると「できれば下のレイヤにはあまり関わりたくない」と敬遠したいのが本音ではないだろうか。アプリケーション開発者がKubernetesに苦手意識を持つ理由から、Kubernetesを意識しなくてもいいプラットフォームについてVMware デベロッパーアドボケイト柳原伸弥氏が解説する。 ヴイエムウェア株式会社 ソリューション技術本部 デベロッパーアドボケイト 柳原伸弥氏 開発者にも浸透し始めたKubernetes、成り立ちに見る難しさの原因 普段アプリケーションを開発しているエンジニアにとってコンテナは少し遠いインフラの世界の話題に感じられるのではないだろうか。しかし現実は、アプリケーション開発者にとってコンテナは身近に迫ってきてい
今を去ること7年半前、EdgeHD800を購入する際に口径20cmクラスの望遠鏡について、横並びにまとめて比較・検討したことがありました。 hpn.hatenablog.com この記事、いまだにそれなりのアクセスがあって、「望遠鏡のスペックを一覧にする」ということに需要があるのが分かります。ちょうどGW中で暇なので、2021年5月現在、国内で比較的簡単に手に入る鏡筒について簡単にまとめてみました。 今回は口径6cm以下から口径10cmクラスまでのまとめです。 ～6cmクラス 私が子供のころ（3～40年前）は、入門用の望遠鏡と言えば口径6cmというのがお約束でしたが、製造技術が向上して口径8cmあたりが入門用の定番となった現在、このクラスの望遠鏡は「撮影目的」が主戦場になった感があります。 加えてここ数年、中華系企業が品質面でも長足の進歩を遂げ、魅力的な製品をどんどん投入してきています。こ
※この投稿は米国時間 2023 年 8 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud は、コンテナ化されたワークロードを実行するための最適な場所になるという使命を担ってきました。それは 2014 年に始まり、Google の内部クラスタ管理システムである Borg を元に、Google は Kubernetes を発明し、世界初のマネージド Kubernetes サービスである Google Kubernetes Engine（GKE）を導入しました。GKE は、現在利用できる最もスケーラブルな、業界をリードする Kubernetes サービスです1。2019 年には、当社はコンテナとサーバーレスの利点を組み合わせた初のサーバーレス プラットフォームである Cloud Run をリリースしました。現在 Cloud Run は、ク
近年では人工知能(AI)研究の進展に伴い、「AIを搭載した自律型兵器を開発してもよいのか？」「倫理に反するAIをどう規制するのか？」といった問題が浮上しています。そんな中、アメリカのアレン人工知能研究所が特定のシナリオについて道徳的かどうかを判断してくれるAI「Delphi」を開発し、さまざまな条件でAIが下す判断に関して注目が集まっています。 Ask Delphi https://delphi.allenai.org/ [PDF] Delphi: Towards Machine Ethics and Norms | Semantic Scholar https://www.semanticscholar.org/paper/Delphi%3A-Towards-Machine-Ethics-and-Norms-Jiang-Hwang/98eb27ccd9f0875e6e3a350a8a23
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker一強の終焉にあたり、押さえるべきContainer事情
人はなぜ宗教を信じるように進化したのか｜河田 雅圭
コンテナ・Docker・Kubernetesについて初心者にも分かりやすく解説するとこうなる
Kubernetesに腰を据えて入門する方向けのロードマップ - Qiita
GoogleがBigQueryを安価に提供できる理由は、Borgによる大規模分散コンテナ環境があるから
社内勉強会で発表したGCP資料を公開します | フューチャー技術ブログ
RailsアプリをHerokuから移行するならどれがいいのか比較する | うなすけとあれこれ
Kubernetesもどき、作ってみた！ | cloud.config Tech Blog
Kubernetesで実践するクラウドネイティブDevOps
はじまりは神本『AWS Cookbook』との邂逅 元アンチCDKの私が「CDK、できる…」と思った理由
「分散システムフレームワーク」としてのKubernetes
Docker/Kubernetesはなぜ生まれ，なぜ広まったのか？：新刊ピックアップ
My Overkill Home Network - Complete Details 2023
「作家は恋愛もののヒロインの名前を決めたらネット検索してAV女優などと被らないようにしたほうがいい」という意見に賛否集まる
GoogleのGmailやクラウドなどのサービスを支える技術「Borg」の統計情報が公開
未知の脅威に対抗するメルカリのCI再設計 | メルカリエンジニアリング
SECKUN 2021/ProSec-IT 2021 コンテナ演習資料（公開版）
CUEによるスキーマやバリデーションのポータビリティ | gihyo.jp
国内で簡単に入手できる望遠鏡一覧（口径6cm以下～10cmクラス編） - 星のつぶやき
コンテナ プラットフォームの新たな進化について | Google Cloud 公式ブログ
特定のシナリオが道徳的かどうかを判断するAI「Delphi」が登場、AIは道徳や倫理の問題を解決できるのか？