【速報】コンテナ実行専用OSのBottlerocketがパブリックプレビューで発表されました！ | DevelopersIO
AWSにおけるワーカーノードの管理を効率化、かつセキュア化する新しいOS、Bottlerocketの速報です。 「ふわぁ、今日も仕事すっか…って、Bottlerocket、なんやねんこれ？」 朝の日課、twitterのTLを眺めていたら、いきなりこんなツイートが飛び込んできました。 ? Check out the public preview of Bottlerocket: a new Linux-based open source operating system that we designed and optimized specifically for use as a container host: https://t.co/i3tT3rG56g — Nathan Peck (@nathankpeck) March 10, 2020 Bottlerocketは、Linuxベース
AWS Elastic beanstalkからAmazon EKSへ移行する - 一休.com Developers Blog
以前の記事でも簡単に紹介した通り、一休では、アプリケーションのAWS Elastic beanstalkからAmazon EKSへの移行を進めています。 user-first.ikyu.co.jp この記事では、その背景や、実際の設計、実際にAmazon EKSを活用してみて気付いた点、困った点、今後の展望を紹介したいと思います。 AWS Elastic beanstalkの辛い点 新しい環境の構築や運用が大変 一休ではAWSのリソースをTerraformを使って管理しています。新しくウェブアプリケーションを立ち上げて、Elastic beanstalkで動かす場合、以下の作業をする必要があります。 Terraformで、Elastic beanstalkの定義を作ってリリースする。 新しいアプリケーションのデプロイを通知するように自前で作ったAWS lambdaを修正。 アプリケーション
Googleによって開発され、CNCFによってメンテナンスされている「Kubernetes」は、Dockerをはじめとするコンテナを管理するシステムで、位置情報ゲームのPokemon GOやフリマアプリのメルカリなど、さまざまなアプリやネットサービスで利用されています。Amazon EKSやGKEといったSaaSとしても提供されるKubernetesが、なぜ広く普及するに至ったのかを、楽天のエンジニアであるRicardo Aravena氏が語っています。 Why is Kubernetes getting so popular? - Stack Overflow Blog https://stackoverflow.blog/2020/05/29/why-kubernetes-getting-so-popular/ 2007年に登場したLinuxカーネルのプロセス分離機能であるcgroup
Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads | Amazon Web Services
AWS News Blog Mountpoint for Amazon S3 – Generally Available and Ready for Production Workloads Update (September 2023) – Add information about enabling file deletion. Mountpoint for Amazon S3 is an open source file client that makes it easy for your file-aware Linux applications to connect directly to Amazon Simple Storage Service (Amazon S3) buckets. Announced earlier this year as an alpha relea
EKS入門者向けに「今こそ振り返るEKSの基礎」というタイトルで登壇しました #jawsug_ct | DevelopersIO
EKS初心者の方向けに、EKS周辺のAWSリソースがどのように関連して動作しているのかをステップバイステップでEKSCTLが担っている役割を中心に説明しました。 先日、「EKS祭り」をテーマにJAWS-UGコンテナ支部 #16を開催しました。 JAWS-UGコンテナ支部 #16〜EKS on Fargateローンチ記念！EKS祭りだワッショイ - connpass EKS縛りというだいぶ濃いイベントの中で、自分はトップバッターで「今こそ振り返るEKSの基礎」と第して喋ってきたのでその内容をまとめます。基礎といえども普段隠れがちなEKSに関連するAWSリソースについてフォーカスを当てたある意味マニアックな内容だと思うので、EKS気になる方は是非ご覧ください。 （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 EKS ﾀﾉｼｲﾖ ｺﾚﾏｼﾞﾃﾞ |_|＿| し'´Ｊ この記事の
［速報］AWS、クラウド基盤にMac mini（Intel）を組み合わせた「Amazon EC2 Mac instances for macOS」発表
Amazon Web Servicesは、クラウド上でmacOSのインスタンスを提供する「Amazon EC2 Mac instances for macOS」を発表しました。 Run macOS on AWS for the first time with new Amazon EC2 Mac instances. Start developing, building, testing, and signing Apple apps on AWS. Learn more: https://t.co/3faNVwprmv pic.twitter.com/ZEe4L6OORb — Amazon Web Services (@awscloud) December 1, 2020 Amazon EC2 Mac instances for macOS（以下EC2 Macインスタンス）は、Intel
AWS re:Invent 2021の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 日時は日本時間で表記します。 11/29(月) 今年の開幕は「Amazon IoT RoboRunner」でした。 Midnight Madness (15:30-) Amazon IoT RoboRunner ロボットと作業管理システムを接続し、単一のシステムビューを介した業務作業全体のオーケストレーションが可能 詳細はYouTubeでも公開 https://youtu.be/q8POXvJ4nMI AWS Management Consoleで1つの施設（サイト名と場所など）を作成す
冷やし中華の季節になりましたので、Kubernetesをはじめました。もとい、はじめてしまいました。 前回のECSシリーズに比べると、だいぶ世界が広いシステムであり、１つのシリーズとしてまとめるとか、全部終わってから書き始めるとか、どうにもできそうになかったので少しずつ進めることにします。今回は、雑感とリンク集のみで、助走というか覚悟を決める回という位置づけになりやす。 これまでの率直な感想 触り始める前の僕 Kubernetesの情報がやけに目につくけど、なんか煽り感が強くて気に食わん…… ていうかクラウド界の「Linux」ってなんやねん俺は騙されんぞ！なんかイケ好かないシステムくさいな！！ 数日間、情報収集した僕 このクラウド全盛期に、なんでいまさらクラウドの中にこんなプラットフォームを構築せなアカンねん、オンプレでやれ。 納得いく構成と構築まで頑張った僕 なんだかんだで手足のように動
おはようございます、もきゅりんです。 Shall we mesh ? 弊社コンサルティングには、今一度 AWS の各サービスを初心に返って、基本的な部分から見つめ直してみよう、解説してみようといったブログリレーという企画があるのですが、本稿はそれを模して、個人的な AWS App Mesh 再入門という体にしてみました。 どちらかというと、未来の自分のための備忘録と言えます。 これまで AWS App Mesh (以下 App Mesh) に入門されていなかった方も、すでに脱会されてしまった方も興味があれば再入門して下さい。 App Mesh とは何か サービス(アプリケーション)間の通信制御と可視性を実現するサービスメッシュを提供する AWS マネージドサービス です。 ブラックベルトにならってまとめると以下のような機能があります。 HTTP通信のリトライやタイムアウト 通信のトレーシン
AWS 認定トレーニング「Advanced Architecting on AWS」を受講してみた | DevelopersIO
お疲れ様です。AWS 事業本部のヒラネです。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 お疲れ様です。AWS 事業本部の平根です。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 AWS トレーニングとは AWS トレーニングとは、AWS の利用方法の知識とスキルを身に付けるための公式教育プログラムです。 クラスメソッドのメンバーズプレミアムサービスにご加入いただいているお客様の場合は、 特別割引価格で受講いただけます! 提供トレーニングの詳細やお申込みは以下 URL をご参照ください。 今回は、トレーニングの中でも「Advanced Architecting on AWS」を受講しまし
Introducing Amazon Managed Workflows for Apache Airflow (MWAA) | Amazon Web Services
AWS News Blog Introducing Amazon Managed Workflows for Apache Airflow (MWAA) As the volume and complexity of your data processing pipelines increase, you can simplify the overall process by decomposing it into a series of smaller tasks and coordinate the execution of these tasks as part of a workflow. To do so, many developers and data engineers use Apache Airflow, a platform created by the commun
［速報］AWS、Docker Hubの代替を狙う「Amazon Elastic Container Registry Public」提供開始。AWS re:Invent 2020
Amazon Web Services（AWS）は、Dockerコンテナのイメージをパブリックに公開できるコンテナレジストリの新サービス「Amazon Elastic Container Registry Public」（ECR Public）の提供開始を発表しました。 現在、Dockerコンテナイメージのパブリックなレジストリとして事実上の標準となっているのは、Docker社が運営するDocker Hubでしょう。 しかしDocker Hubは、今年の11月からアノニマスユーザーからのプルは6時間で100回まで、認証済みユーザーからのプルは6時間に200回までなど、一部で制限を強化しつつあります。 参考：Docker Hub、6カ月使われていないコンテナイメージの削除計画を保留に。従量課金ベースの料金プランを検討へ AWSはこのDocker Hubの代替となるサービスの発表を予告していま
ECSからEKSへの移行への移行事例の紹介
発表資料の中に出てくるURLです。 * [Amazon EKSでのArgoCDを使ったGitOps CD](https://tech.recruit-mp.co.jp/infrastructure/gitops-cd-by-using-argo-cd-at-eks/) * [EnvoyとAmazon ECS Service Discoveryを利用したgRPCの負荷分散](https://tech.recruit-mp.co.jp/infrastructure/post-17098/) * [Amazon EKSでAWS App Meshを利用してgRPCサーバーを運用する](https://tech.recruit-mp.co.jp/infrastructure/post-20765/) * [https://tech.recruit-mp.co.jp/infrastructure/po
［速報］AWSをオンプレミスに持ち込める「AWS Outposts」正式リリース。日本国内でも利用可能。AWS re:Invent 2019
Amazon Web Services（AWS）のAndy Jassy CEOは、米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」の基調講演において、「AWS Outposts」の正式リリースを発表しました。 AWS Outpostsは、AWSのクラウドインフラと同等のシステムをオンプレミスに持ち込み、パブリッククラウドと連係したハイブリッドクラウドを実現できるというもの。同社がクラウドの構築で培ってきた技術を基に、ハードウェアとソフトウェアの設計と開発が行われました。 24インチのラックにシステム一式が搭載され、顧客に提供されます。 オンプレミス版AWSの「AWS Outposts」、24インチ幅の専用ラックはキャスター付き、故障には部品交換で対応 AWS OutpostsはAWSのコンソールから管理でき、AWSと同じAPIが利用でき、AWSのリージョンとシーム
EKSでDockerから卒業すべくBottlerocketのマネージド型ノードグループを使ってみた - inductor's blog
はじめに この記事ではAWSの公式ブログ「Amazon EKS adds native support for Bottlerocket in Managed Node Groups」で取り上げられている内容を、eksctlを使わずCloudFormationでimmutableに実現するための方法を解説します。 aws.amazon.com Bottlerocketとは Bottlerocketは、AWSが開発しているコンテナ実行専用OSです。Fedora/RHELのCoreOSやVMwareのPhoton OS、Rancher OSなどと似ていて、コンテナを実行するためのランタイム以外余計なパッケージが入らない軽量なOSとなっています。 aws.amazon.com Bottlerocketの開発状況についてはBottlerocket Roadmap · GitHubを合わせてみると良
急成長中のスタートアップ企業は、多様なAWSサービスをどう選択・活用し、ビジネス課題を解決しているのでしょうか。本連載では、スタートアップ企業の中でエンジニアリングをリードしている担当者がそのアーキテクチャをひも解き、AWS活用術を紹介していきます。第3回はfreeeのSREエンジニア藤原峻輝氏が担当、テーマは「コンテナ（Kubernetes）」です。記事の最後には、SAによるポイント解説もあります。（編集部） はじめに はじめまして、freee株式会社でSRE（Site Reliability Engineering）をしている藤原峻輝と申します（各種id：@renjikari）。SREはその名が示す通りサイトの信頼性向上を目指すロールであり、freee全体のサービスの信頼性をあげるために、障害対応の運用から新しいインフラ基盤を開発することまで担当しています。 freeeについて fre
AWSのマネージドサービスを活かした Kubernetes 運用とAmazon EKS によるクラスタのシングルテナント戦略について
AWSのマネージドサービスを活かした Kubernetes 運用とAmazon EKS によるクラスタのシングルテナント戦略について
AWSの新価格モデル Savings Plans とは？オンデマンドやリザーブドインスタンスと比較する - Qiita
AWSの新価格モデル Savings Plans とは？オンデマンドやリザーブドインスタンスと比較するAWSEC2lambdaFargateCostExplorer 2019/11/7に、AWSからSavings Plansという新しいAWS利用料節約のための価格モデルが登場しました。 このSavings Plansについて調べてみました。 更新履歴 2019/11/07: 初版。EC2とFargate (for ECS) が割引対象に。 2020/02/21: 更新。新たにLambdaが割引対象に追加。 2020/04/06: 更新。Organizationsのメンバーアカウントから推奨事項が確認可能に。 2020/05/10: 更新。価格改定により、EC2 Instance Savings Plansの一部のEC2インスタンスタイプで、従前に比べて最大18%の値下げ。 2020/08/
TypetalkのEC2インスタンスをインテルプロセッサからARMベースのAWS Graviton2に完全移行。性能向上と費用削減を実現 はじめに こんにちは。SREの二橋です。最近の楽しみは、キャンプと釣りの動画を見ながら、お家で妄想を膨らませることです。 この度、TypetalkのEC2のインスタンスをインテルプロセッサを搭載したM5系からARMベースのAWS Graviton2を搭載したM6g系に完全移行しました。そこで、Graviton2の概要から移行しようと思った理由、作業内容、移行の効果などをお伝えしたいと思います。 AWS Graviton2とは？ Graviton2はAWSがArm Neoverse コアをベースに独自開発したプロセッサです。2020年夏にAmazon EC2で一般用途向け(M6gとM6gd)、コンピューティング最適化(C6gとC6gd)、メモリ最適化(R6
ハンズオンの「腹落ち問題」を改善する 5 Tips - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
builders.flash 読者の皆さん ! こんにちは ! シニアテクニカルトレーナーの吉田慶章です。 2020 年 9 月までは「技術用語を比喩から学ぼう !」という記事を連載していました。 皆さんは「ハンズオン」を実施したときに「問題なく動いた・・・! だけど・・・! なぜ動いているのかはわからない・・・!」と感じた経験はありませんか ? 私はこういう状態のことを「腹落ち問題」と個人的に呼んでいます。今回の記事ではこの「腹落ち問題」を改善する 5 Tips を紹介します。 Here We Go ===┌(･_･)┘ AWS を学ぶ方法はいろいろありますが、実際に AWS を操作しながら学べる「ハンズオン (ワークショップやチュートリアルと呼ばれることもあります)」が好きな方も多いのではないでしょうか？そして AWS では多くのハンズオンを公開しています。よく知られているものだと「A
【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 こんにちは、スタートアップ ソリューションアーキテクトの塚田 (Twitter: @akitsukada) です。好きな Chalice の機能は Built-in Authorizer です。 まず最初に、今回の週刊 Ask An Expert では Docker コンテナに関する質問が多く、皆さんの関心が伺える週となりました。そんなみなさんにイチオシのイベント情報は AWS Containers talk with Mercari です！↓ メルカリさんにおける AWS のコンテナサービス活用事例が気になる方は、ぜひ ↑ から申し込んでください！ さて、ではここから週刊 Ask An Expert 第 17 回目をお届
メルカリ写真検索における Amazon EKS の活用事例と
プロダクトにおけるEdgeAI technologyの展望
AWSLoftで行われた AWS Containers talk with Mercari で使用した資料です https://awscontainertalkwithmercari.splashthat.com/
Self-Hosted Cluster から EKS への移行と Platform の Production Readiness - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 Quipper では AWS 上で Kubernetes Cluster を運用してサービスを提供しています。 これまで kube-aws を用いて Kubernetes Cluster を Self Host してきましたが、このたび Managed Services である Amazon EKS に移行しました。（以下、 Amazon EKS を EKS と表記します） 本記事では、 Kubernetes Cluster の移行で遭遇した問題をどのように解決したかを説明します。また、数多くの Application が稼働している Platform を移行する際にどのような点を考慮するとよいのか、経験を通して学んだことを共有します。 EKS への移行を検討している方はもちろん、Platform Migration に携わる方にとって学びに
Amazon Elastic Kubernetes Service (Amazon EKS) の開発チームに移ります - As a Futurist...
ソフトウェア開発をやるぞと決めてカナダに移住して Amazon S3 のチームに入り約 3 年経ったけど、今日から社内で別のチームに移ることになった。エンジニア人生を始めて 10 年ちょっと、初めて自分から参加したいと思って選択したポジションなので、楽しみだ。 10 年間、仕事の選択肢がなかった 僕は大学院を辞めてからカナダの永住権を取るまでの約 10 年間、とにかく日本を出て働ける様になるためだけに生きてきた。なんのスキルもなく大学院でも何もなさずに辞めてしまうような人なので、新卒採用(結局既卒になるんだけど)は 1 社しか合格できず選択肢はなかった。しばらくは手に職をつけようとインフラのスキルを一から磨いたけど、このまま同じことを続けても海外には行けないと思って、海外支社に出向できるチャンスをもらった。そこでインフラよりも開発がやりたいと思った矢先に日本に戻る様に言われ、日本で開発をや
Kubernetes サービスアカウントに対するきめ細やかな IAM ロール割り当ての紹介 | Amazon Web Services
Amazon Web Services ブログ Kubernetes サービスアカウントに対するきめ細やかな IAM ロール割り当ての紹介 本投稿は Micah Hausler と Michael Hausenblas による記事を翻訳したものです AWS ではお客様のニーズに最優先にフォーカスしています。Amazon EKS におけるアクセス権制御に関して、みなさまは「パブリックコンテナロードマップ」の Issue #23 にて EKS でのきめ細かい IAM ロールの利用方法 を求められていました。このニーズに応えるため、コミュニティでは kube2iam、kiam や Zalando’s IAM controller といったいくつかのオープンソースソリューションが登場しました。これらのソリューションは素晴らしいプロダクトであるだけでなく、それぞれのアプローチの要件及び制約は何なのか
Guides Security Cluster Autoscaling Reliability Windows Containers Networking Scalability Cluster Upgrades Cost Optimization Introduction¶ Welcome to the EKS Best Practices Guides. The primary goal of this project is to offer a set of best practices for day 2 operations for Amazon EKS. We elected to publish this guidance to GitHub so we could iterate quickly, provide timely and effective recommend
こんにちは。@sanposhihoです。 この記事では、アクターモデルとはなんぞやという話から始まり、僕が卒業論文のプロジェクトとして作成したGoのライブラリ、“Molizen”の紹介をします。 わりと長く、乱文ですが、適宜読み飛ばして興味のある部分だけをご覧いただければと思います。 マサカリは優しく投げてください。ここはこうした方がいいんじゃないかみたいなのも参考にしたいので是非。 Twitter(@sanpo_shiho)に投げていただいても、雑にGitHubのissueを立てていただいてもいいです。 sanposhiho/molizen: Molizen is a typed actor framework for Go. Goのアクターモデルのフレームワークを公開しました。未完成なので暖かく成長を見守ってください🌱 sanposhiho/molizen: Molizen is a
SRE / DevOps / Kubernetes Weekly Reportまとめ#13(4/26~5/1) - 運び屋 (A carrier(forwarder) changed his career to an engineer)
この記事は2020/4/26~5/1に発行された下記3つのWeekly Reportを読み、 DEVOPS WEEKLY ISSUE #487 April 26th, 2020 SRE Weekly Issue #216 April 27th, 2020 KubeWeekly #214 May 1st, 2020 English Version of this blow is here. DEVOPS WEEKLY ISSUE #487 April 26th, 2020 News A detailed write up from the recent Failover Conf on all things chaos engineering. Lots of notes and links to related content. A good post for any software d
オープンソースのKubernetes統合運用管理ツール「Lens」、Mirantisが買収し主要スポンサーになったと発表
オープンソースのKubernetes統合運用管理ツール「Lens」、Mirantisが買収し主要スポンサーになったと発表 Mirantisは2019年にDocker社からDocker Enterprise製品群を取得し、エンタープライズ向けのコンテナ製品市場に参入しています。 そのMirantisは8月14日、Kubernetesの統合運用管理ツール「Lens」を買収したことを発表しました。 [News] We're beyond excited to announce that Mirantis has acquired Lens, the world’s most popular #Kubernetes IDE, to simplify app development for Amazon EKS, Google GKE, Microsoft AKS, and on-prem Clou
Amazon Web Services ブログ VPC ネットワーク内での長時間稼働 TCP 接続の実装 本投稿は Implementing long-running TCP Connections within VPC networking (記事公開日: 2022 年 11 月 28 日) を翻訳したものです。 多くのネットワークアプライアンスは、アイドル接続タイムアウトを定義して、非アクティブ期間が経過すると接続を終了します。たとえば、NAT Gateway、 Amazon Virtual Private Cloud (Amazon VPC) エンドポイント、Network Load Balancer (NLB) などのアプライアンスのアイドルタイムアウトは、現在 350 秒に固定されています。アイドルタイムアウトの期限が切れた後に送信されたパケットは、ターゲットに配信されません。
CDK for Terraform on AWS 一般提供 (GA) のお知らせ | Amazon Web Services
Amazon Web Services ブログ CDK for Terraform on AWS 一般提供 (GA) のお知らせ この記事は”Announcing CDK for Terraform on AWS”を翻訳したものです。 2 年前、 HashiCorp 社と AWS CDK チームが Cloud Development Kit for Terraform (CDKTF) の共同開発を開始しました。 CDKTF はオープンソース (Mozilla 2.0) として提供され、 Terraform を利用したクラウドインフラの構築をより開発者フレンドリーなものとするツールとなっています。ここ 2 年間で多くの企業が、クラウド開発を簡素化し、開発者が好みのプログラミング言語でインフラストラクチャを定義およびプロビジョニングを実現するワークフローツールの AWS CDK や CDK f
zstd 圧縮したコンテナイメージを使用して AWS Fargate の起動時間を短縮する | Amazon Web Services
Amazon Web Services ブログ zstd 圧縮したコンテナイメージを使用して AWS Fargate の起動時間を短縮する この記事は Reducing AWS Fargate Startup Times with zstd Compressed Container Images (記事公開日 : 2022 年 10 月 13 日) の翻訳です。 AWS Fargate は、Amazon Elastic Container Service (Amazon ECS) および Amazon Elastic Kubernetes Service (Amazon EKS) 上で動作するコンテナワークロードのためのサーバーレスコンピューティングエンジンです。コンテナオーケストレーターがコンテナワークロードをスケジューリングすると、AWS Fargate はそのワークロードを実行するた
AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 | Amazon Web Services
Amazon Web Services ブログ AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 この記事は Create a pipeline with canary deployments for Amazon ECS using AWS App Mesh を翻訳したものです。 この記事では Amazon Elastic Container Service (Amazon ECS) で実行されるアプリケーションのカナリアデプロイ戦略を、AWS App Meshと組み合わせて実装する方法を説明します。ALB の加重ターゲットグループを使用した AWS CodeDeploy でのカナリアデプロイを行う場合はこちらの記事を参照してください。 Amazon ECS や Amazon EKS などのコンテナオーケストレータを利用することで、世界中
“スケーラブルウェブサイト構築編” を公開しました！- Monthly AWS Hands-on for Beginners 2019年12月号 | Amazon Web Services
Amazon Web Services ブログ “スケーラブルウェブサイト構築編” を公開しました！- Monthly AWS Hands-on for Beginners 2019年12月号 こんにちは、テクニカルソリューションアーキテクトの金澤 (@ketancho) です。もう今年も残すところあと僅か、いかがお過ごしでしょうか？私は年初に立てたプライベートの目標が全然達成できておらず焦る毎日で、あと1週間で少しでも挽回できるように頑張っていかねば！と考えています。 本日は、先日 12/24 に新たに公開したスケーラブルウェブサイト構築編ハンズオンの紹介を中心に、AWS Hands-on for Beginners のアップデート情報をお届けします。「年末年始で何かプロダクト開発をしたい！」「冬休みに何か新しい技術を学びたい！」という方のお役に立てれば嬉しいです。 AWS Hands-
DMMのデータ活用を支えるビッグデータ基盤・ML基盤のクラウド移行 (CUS-40) #AWSSummit | DevelopersIO
本記事は、AWS Summit Japan 2021のセッション動画「CUS-40: AWS移行事例紹介 ~DMM のデータ活用を支えるビッグデータ基盤・ML基盤のクラウド移行 ~」のレポート記事です。 概要 "50以上の事業を展開するDMM。年々増えるデータ、バッチ、業務。そんな状況をAWS上での基盤構築を通じて打開した事例紹介" 50以上のビジネスを展開するDMM.comでのデータ活用基盤（データレイク基盤と機械学習基盤）をAWS上に構築した事例を紹介します。 データレイク基盤はオンプレ上で動いていた3000以上のJobの完全移行を実施し、よりスケーラブルな分析、データ処理、Single Source of Truth (SSoT)を実現しています。 機械学習基盤はArgoなどエコシステムが豊富なAmazon EKS Kubernetesを採用し、機械学習モデルの継続的なデプロイを行う
AWS、マネージドサービスで監視ツールの「Prometheus」と監視データを可視化する「Grafana」を提供すると発表。AWS re:Invent 2020
AWS、マネージドサービスで監視ツールの「Prometheus」と監視データを可視化する「Grafana」を提供すると発表。AWS re:Invent 2020 Amazon Web Services（AWS）は、オンラインで開催中のイベント「AWS re:Invent 2020」で、監視ツールの「Prometheus」をマネージドサービスとして提供する「Amazon Managed Service for Prometheus」と、監視などで収集したデータをダッシュボードなどにより可視化する「Grafana」をマネージドサービスとして提供する「Amazon Managed Service for Grafana」の提供を発表しました。 クラウドネイティブなアプリケーションにおいては、アプリケーションの状態をつねに把握し迅速に対応する必要性が高まることから、アプリケーションの「可観測性」へ
はじめに こんにちは！今回はANDPADの各種ログを分析するためのデータ基盤を担当しているエンジニアからデータ基盤の変遷について紹介させていただきます。ANDPADのデータ基盤に興味がある方はぜひ過去の記事も合わせてご覧ください。 tech.andpad.co.jp tech.andpad.co.jp 本記事では過去のデータ基盤が抱えていた課題と、チームがどうやってその課題を解決してきたか*1について紹介します。 基盤の構成 各種データソースからログを収集し BigQuery に投入する部分が本記事のスコープとなります。 過去の基盤は Amazon EKS 上で Digdag+Embulk を使用していました。 現在の基盤は Amazon ECS 上で Luigi を使用しています。 過去のデータ基盤 新しいデータ基盤 *2 課題 データの量 過去のデータ基盤には処理データ量に比例して処理
Kubernetesネイティブなワークフローエンジンとは！FAANSでArgo Workflowsを導入した話 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 バックエンド部 SREの笹沢（@sasamuku）です。 ZOZOではショップスタッフの販売サポートツール「FAANS」を2022年8月に正式リリースしました。FAANSはアパレルのショップスタッフ様を支援する様々な機能を提供しています。例えば、ZOZOTOWN上で実店舗の在庫取り置きができる機能や、コーディネート投稿の機能などがあります。投稿されたコーディネートはZOZOTOWNやWEAR、Yahoo!ショッピングに連携が可能で、今後はブランド様のECサイトとも連携できる予定です。これによりお客様のコーディネート選びをサポートし購買体験をより充実したものにします。機能の詳細に関しましては下記プレスリリースをご覧ください。 corp.zozo.com 今回はFAANSで採用しているワークフローエンジン「Argo Workflows」につ
【開催報告】「夏のAWS Kubernetes 祭り！〜Kubernetesの運用最前線を紹介〜」セミナー | Amazon Web Services
Amazon Web Services ブログ 【開催報告】「夏のAWS Kubernetes 祭り！〜Kubernetesの運用最前線を紹介〜」セミナー こんにちは！アマゾン ウェブ サービス ジャパン合同会社 コンテナサービス事業開発担当の勝間田です。 2022 年 8 月 4 日(木)に Amazon Elastic Kubernetes Service (EKS) の使用事例を中心とした「夏の AWS Kubernetes 祭り！〜Kubernetes の運用最前線を紹介〜」イベントをオンライン開催いたしました。 当日は 500 名強のお客様にご参加いただき、株式会社ZOZO様、Chatwork株式会社様、株式会社サイバーエージェント様、freee株式会社様、スマートニュース株式会社様、株式会社マネーフォワード様の 6 社のお客様に登壇いただきました。実際に Kubernetes
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など コードを用いてAWSやAzureをはじめとするさまざまなITインフラの状態を記述できる、いわゆるInfrastructure as Codeツールの「Pulumi」が、Kubernetesへの本格対応を発表しました。 Are you a #Kubernetes user and a fan of #InfrastructureAsCode? Checkout Pulumi's new superpowers out today: Deployment automation New ecosystem integrations like @OpenPolicyAgent ✈️ Migration tools convert YAML to modern code h
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleが生んだ「Kubernetes」がポケGOやメルカリを支えるほどの成功を収めた理由とは？
AWS re:Invent 2021で発表された新サービス/アップデートまとめ - Qiita
Kubernetes、はじめました | 外道父の匠
AWS App Mesh (with Fargate) 再入門 | DevelopersIO
急成長のfreeeに学ぶ、進化するアーキテクチャ――Kubernetes×AWSで複雑化したマイクロサービス基盤を改善
TypetalkのEC2インスタンスをインテルプロセッサからARMベースのAWS Graviton2に完全移行。性能向上と費用削減を実現 | 株式会社ヌーラボ(Nulab inc.)
Introduction - EKS Best Practices Guides
Goにおいてアクターモデルを実現するライブラリ"Molizen"とその未来
VPC ネットワーク内での長時間稼働 TCP 接続の実装 | Amazon Web Services
ANDPADのデータ基盤の変遷 - ANDPAD Tech Blog