スタディサプリにおけるKarpenterの導入トラブル振り返り こんにちは。スタディサプリ小中高SREの@aoi1です。 スタディサプリでは、Kubernetesを利用しているのですが、Nodeの運用自動化のために2023年3月から本番環境を含む全環境でKarpenterを導入しています。 Karpenterのおかげで開発者体験を向上させることができたり、コスト削減を行うことができました。便利で良いことが沢山ある一方、本番環境で問題が発生するなどいくつかハマったこともありました。 本ブログでは私たちがハマったポイントを通じて、Karpenterの導入を検討している方、あるいは既に本番環境でKarpenterを運用している方にとって参考になればと思います。 Karpenterとは KarpenterはAmazon Web Sevice(AWS)が開発しているOSSで、「Karpenter s

www.hageatama.org 【追記】続編を書いたつもりが何の参考にもならないので読まなくても支障はありません。 先日、引越し先のインターネット契約で困ってたリアル友人にSNS上で細かくアドバイスしたら大変感謝されたので、今後は「まずこれ読んでおいて」と言えるような記事を書き残しておきます。 直近3年で3回引越し、プロバイダ利用4種の経験をまとめた素人記事でして、気になる点があればどんどんとフィードバックして充実させていきたいのでご指摘お願いします。 6/21（更新翌朝）：光コンセントがある前提で動くのは厳しくない？と言われて、確かにそう思ったので改訂。LANケーブルについての記述追加。 6/21（夜追記）: 不動産屋さんと光コラボについて追記 【主張の概要】 光コンセントが元からある物件を選べ フレッツ光回線でプロバイダをいつでも切り替えられるようにしろ IPv6 (IPv4 ov

「Terraformデプロイパイプラインを作るなら、どのツールが自分の組織にあっているのだろう？」 Terraformのデプロイパイプラインの実装方法は、選択肢が多くて迷ってしまいます。 この記事では、デプロイに使用できるツールをまとめてみました。 デプロイパイプラインのツール選定の参考になれば幸いです。 前提 Terraformは様々なリソースを管理することができますが、今回はAWSリソースをTerraformで管理する想定としています。 所々AWS固有の単語がでてきますが、ご了承ください。 なぜTerraformのデプロイパイプラインは必要なのか？ デプロイフローをおさらいして、デプロイパイプラインなしの運用の課題を考えてみます。 Terraformのデプロイフロー Terraformで構成管理している場合、リソースの設定変更時は以下のようなフローで行うことが多いです。 コードの編集

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部 クラウドプラットフォーム本部の早川です。 私が所属する部署では、ヤフー社内のサービス開発者向けのプライベートクラウドを開発、運用しています。昨年の後半頃から「Platform Engineering」という言葉が聞かれるようになってきていますが、私たちは以前から、その理念に近い取り組みを行っています。 本記事では、「Platform Engineering」の概要と、私たちがKubernetesを活用して実現しているプラットフォーム開発、運用の取り組みについて詳しく紹介します。私たちの経験と知見が、これからプラットフォームの開発に取り組む皆様の一助になれば幸いです。 Platform Engineer

はじめにこんにちは！TIG コアテクの川口です。 こちらは、 Terraform 連載 の6日目の記事になります！ 今回は Terraform x GitOps について調査しました。 Terraform x GitOps?そもそも Terraform x GitOps とはなんぞやということからですが。 まず GitOps という概念は、 Weaveworks 社によってはじめに提唱されたもの です。 主に Kubernetes リソースを管理する文脈で登場した概念で、4つの主要な原則として以下のように定義しています。 #1. Declarative: The entire system has to be described declaratively ~ システム全体を宣言的に記述する。~ #2. Versioned and immutable: The canonical desi

May 9, 2023 Previously, all attached (drag-and-dropped) images and videos on GitHub Issues, Pull Requests, Discussions, and wikis were available to view without authentication if you knew their direct URL. Now, future attachments associated with private repositories can only be viewed after logging in. This doesn’t apply retroactively to existing attachments, which are obfuscated by having a long,

2023年5月11日（木）追記： 5月9日（火）11:50に以下告知の追記でお知らせしておりました、Twitterアカウントとの連携設定を行っていなかった場合に「外部サービス連携」設定内のオプションが変更できない不具合を修正いたしました。 いつもはてなブックマークをご利用いただき誠にありがとうございます。はてなブックマーク開発チーム、ディレクターのid:yone-yamaです。 2023年4月8日〜10日に以下告知でお知らせした通り、Twitter社提供のAPIが利用できなくなったことに起因し、はてなブックマークでTwitterに関連する機能がご利用いただけない状態が継続しています。 bookmark.hatenastaff.com 現在ご利用いただけない機能は以下となっています。 ブックマーク時のTwitterへのシェア（連携ツイート） コメント一覧ページ内におけるブックマーク右側のTw

はじめに 先日新たにAWS WAFを導入をする機会があり、その際に改めて知ったWAFの知見について、より実用的な項目に絞ってまとめてみました。 いまや非常に多くの種類があるWAFルールの情報や、マネージドルールの便利さについて言及された技術ブログはよく見かけます。しかし導入時の設定内容のポイントや、「そもそも何を検討すべきか？」をまとめた記事は多くないと感じていたため、自分で書くことにしました。 ※ 以降ではすべてAWS WAFv2を想定した話であり、v2を省略してAWS WAFと書いています。 1. WAFルール・ルールグループの選択 AWS WAFの導入時に最初に考えることとして、ルールの選定や紐付けるリソース、動作モード、ログ出力などがあります。 ルールの選定は、つまるところ 「WAFで何がしたいのか？」 を決定することに等しく、多数のルールグループの中から、最適な複数のルールグルー

初稿: 2023-01-14 最近 Linux の日本語入力に関心をもたれた方が多く、そしてとてもうれしいことに、日本語入力ソフトウェアのひとつである Mozc を応援したいと考えてくださっている方もいらっしゃるようです。どうもありがとうございます。 でも、どういうふうに Mozc を応援すればよいかなと考えてくださっている方向けにいくつかの気軽に始められる方法を書きました。参考にしていただければと思います。 全部をする必要はありませんし、応援していただくことを検討していただいただけでもうれしいです。 GitHub にスターをつける なにから始めようかなと思われている方は、まずは GitHub を開いて、スターをつけてみるところからはじめられてはいかがでしょうか？ https://github.com/google/mozc GitHub のプロジェクトを watch する GitHub

Apple独自開発のSoCであるM1チップを搭載したMacでの動作を目指すLinuxディストリビューション・Asahi Linuxの開発に携わる開発者兼VTuberの朝日リナ氏が、M1 GPUのドライバー開発についてAsahi Linux公式ブログで解説しています。 Tales of the M1 GPU - Asahi Linux https://asahilinux.org/2022/11/tales-of-the-m1-gpu/ リナ氏によれば、近年のGPUはほぼすべて、以下のようなメインコンポーネントで構成されているとのこと。 ・ユーザー定義のプログラムを実行して三角形(頂点データ)とピクセル(フラグメントデータ)を処理する「シェーダーコア」 ・三角形を画面上のピクセルに変換する「ラスタライズユニット」「テクスチャサンプラー」「レンダー出力ユニット」、およびシェーダーと一緒に動作す

Amazon Kinesis Data Streams は、サーバーレスストリーミングデータサービスであり、大規模のストリーミングデータを簡単にキャプチャ、処理、保存できます。データビューワーは、AWS マネジメントコンソールから直接データレコードを表示できる Amazon Kinesis Data Streams の新機能です。その結果、データを表示するためだけに専用のコンシューマーアプリをプログラミングしたり、なじみのないストリームのデータ構造をすばやく確認したり、QA やトラブルシューティングのために特定のレコードをクエリしたりする必要なく、簡単にデータレコードを検査できます。 データビューワーにアクセスするには、Amazon Kinesis Data Streams の AWS マネジメントコンソールにログインし、データストリームの詳細ページに移動します。[Data Viewer]

Honoという僕が作っているWebフレームワークのGitHubスター数が2,000に迫ってきた。これまで作ってきたOSSのソフトウェアでは最高で revealgo の221、次点で gh-markdown-preview の134だ。それが一気に2,000である。 もちろん、スターの数がソフトウェアの良し悪しを決めるものではない。 それに2,000はとりわけ多いわけではない。 でも、以前の自分には遥か彼方に見えていた数を獲得できたのは、とても嬉しいことだ。 去年12月から作り始めて9ヶ月間、552コミット。 今や使ってくれる人も増えた。 cdnjs のAPI Serverのバックエンドにも使われているし、 HonoをきっかけにGitHubスポンサーをしてくれている企業や人も現れている。 なにより、いろんなことを勉強させてもらった。 今回はHonoというプロダクトがどうやって2,000のスタ

Alfred の代替となるランチャーアプリ Raycast の拡張機能を作ってみたので紹介です。 作ったもの 以下 Tweet の動画のように esa の記事を Raycast 上で手軽に検索できる拡張機能です。 検索結果から記事の内容やメタ情報も確認できます。 使い方 インストール Raycast の Store にて esa で検索して追加してください。 設定 初回実行時にはチーム名とアクセストークンの入力画面が表示されます。 アクセストークンはhttps://[チーム名].esa.io/user/applicationsから発行した値を入力してください。 検索 Raycast でSearch Postと検索すると使えます。 Create Post で記事の新規追加もできます。 ワークスペースの切り替え 検索バーの右側にある dropdown メニューから検索対象のワークスペースの切り

Datadog Japan Meetup 2022 Summerにて、@tmrekk_と一緒に発表しました。 ▼詳細をテックブログで公開していますので、ぜひお読みください！ https://techblog.zozo.com/entry/datadog-japan-meetup-2022-summer

タイのアヌティン・チャーンビラクル保健相＝２月８日、タイ・ノンタブリ県/Sakchai Lalit/AP （ＣＮＮ） タイ政府は家庭での大麻栽培を認める新ルールの制定を記念して、６月に大麻草１００万本を全土の世帯に無料で配布する。保健相がフェイスブックへの投稿で明らかにした。 タイのアヌティン・チャーンビラクル保健相は８日の投稿で、大麻草を自家栽培の作物のように育ててもらいたいと表明した。 ６月９日に施行される新ルールに基づき、大麻草は地元自治体に届け出を済ませれば自宅で栽培できるようになる。ただし栽培できるのは医療用の大麻に限られ、免許がなければ商業目的で大麻を使用することはできない。 タイは大麻を換金作物として普及させる計画を推進しており、２０１８年には東南アジアの国として初めて、医療用大麻を合法化した。 大麻に関する自治体の条例も緩和されている。飲料メーカーや化粧品会社は昨年、消費者

AWS News Blog Amazon Aurora Serverless v2 is Generally Available: Instant Scaling for Demanding Workloads Today we are very excited to announce that Amazon Aurora Serverless v2 is generally available for both Aurora PostgreSQL and MySQL. Aurora Serverless is an on-demand, auto-scaling configuration for Amazon Aurora that allows your database to scale capacity up or down based on your application’s

最近自分で使ってみた「オープンイヤー」ヘッドセット・イヤホンのメモ。 Shokz Aeropex AFT-EP-000011 ambie sound earcuffs AM-TW01 SONY LinkBuds 所感 耳の穴を塞がず、外音が直接耳に聞こえるタイプのイヤホン。 フルリモートの仕事中に「気軽に」通話に参加するために、休憩時以外はヘッドホンを常時着用している。日常生活のためにワイヤレス＆オープンイヤーにしている。 オープンイヤー 完全ワイヤレス ある程度の連続通話時間（ケース等で急速充電できれば良し） 音質は問わない（会話などが問題なく聞こえれば良し） 利用は室内のみ なお、私は通話用の「マイク」はアーム固定式のコンデンサマイクを使っているため、各ヘッドセットのマイク性能は一切試していない。 FIFINE USBマイク コンデンサーマイク 単一指向性 マイクスタンド(アームスタン

こんにちは。 SRE の @suzuki-shunsuke です。 Terraform Modules を Monorepo で versioning して管理するようにした話を紹介します。 先日紹介したとおり、弊プロダクトではインフラを Terraform の Monorepo で管理しており、 CI は GitHub Actions + tfaction で実行しています。 blog.studysapuri.jp 弊プロダクトの Terraform Modules の管理手法は、この 2.5 年の間に 2 回ほど変化がありました。 Terraform Monorepo 内で管理し Local paths で Module を指定 Module を versioning するために Module ごとにリポジトリを作成し、 Terraform Monorepo とは別リポジトリで管理 M

TerraformのAWS Provider Version 4へのアップグレードに伴うコード改修がおっくうな方へ 便利なツールありますよ 先日TerraformのAWS Provider Version 4がリリースされました。 S3バケット周りで大規模なリファクタリングがあり、そのままのコードで単純にproviderだけアップグレードするとエラーになります。コードを書き換える必要があるのですが、中々面倒です。 そんな私のような方にピッタリなツールを見つけたのでご紹介します。tfrefactorです。既存のS3バケット(aws_s3_bucketリソース)のコードをコマンド一発でv4準拠のコードに書き換えてくれます。 インストール方法 バイナリをダウンロードしてパスを通す方法とmake installする方法があります。私は前者でやりましたが、「開発元を検証できないため開けません」のエラ

お久しぶりです。 2021年12月末でメルカリを退職しました。在籍期間は5年8ヶ月でした。2022年1月からは 10X で SRE をやっています。メルカリはファーストキャリアで第1期新卒としての入社でした。メルカリで働いたことは自分の人生に大きな影響があったこと、退職したことは大きな決断だったので振り返りを残します。 2016年 2016年に新卒としてメルカリに入社しました。GitHub 採用というやつです。当時は相当前衛的でヤバイ組織だなという印象を持ちました。 配属先は「JP チーム」という名前のチームで、バックエンドエンジニアとしてでした。JP チームの API 開発エンジニアとしては3人目の入社で、当時の JP チームはデザインメンバーからプロデューサー (当時の呼称) までが10人前後集まった集団でした。プロダクトサイドのメンバーとしてはもっといたのですが、当時は「US ファー