※注意※ この話はGitHub 自体の脆弱性ではなく私達の設定に起因する脆弱性です また特にこの話に関連したインシデントは発生していません こんにちはミクシィの 開発本部 SREグループ の riddle です。 私達は GitHub による Pull Request(PR) ベースの開発を行っております。同様にインフラも Terraform コードを GitHub で管理しています。 Terraform を管理するリポジトリには2種類のCIがあります。 PR の作成・更新で動く terraform plan の CImain ブランチへのマージで動く terraform apply のCI※ terraform plan : 設定に従ってインフラを変更できるか? をチェックするコマンド ※ terraform apply : 設定に従ってインフラを変更するコマンド 何があったのか？ 私達

ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程のアップデートで CloudFront の IP アドレスが Managed Prefix List でサポートされました。これにより CloudFront を経由しない不正なアクセスを簡単に弾くことが可能になります。CMS など CloudFront を使う機会が多いサービスではぜひご利用ください。また CloudFront で AWS WAF を使ってセキュリティを向上している場合の迂回路を塞ぐことができます。 Amazon CloudFront now supports a managed prefix list CloudFront を経由しないアクセス 今まで AWS で CloudFront を経由したアクセスだけ強制させる場合は、CloudFront ではカスタムヘッダを付与して、その値を ALB や Web サーバで

<link href="https://fonts.googleapis.com">って書くと罰金取られます。 以下はGerman Court Rules Websites Embedding Google Fonts Violates GDPRというニュースの紹介です。 German Court Rules Websites Embedding Google Fonts Violates GDPR ドイツのミュンヘン地方裁判所は、あるWebサイトの運営者が、ユーザの個人情報を本人の同意なしにフォントライブラリを経由してGoogleに提供したとして、100ユーロの賠償を命じました。 Webサイトが原告のIPアドレスをGoogleに無断で提供したことは、ユーザのプライバシー権の侵害に当たると判断しました。 さらに、Webサイトの運営者は収集した情報をその他のデータと突き合わせることで『IPア

こんにちは、メルカリMicroservices SREチームでEngineering Managerをしている@m4buyaこと渋谷です。 メルカリでは、昨年6月にSREチームの一部をマイナーアップデートし、プロダクトチームに寄り添いSREとしての専門性を活かし信頼性に貢献していくMicroservices SREチームを発足しました。本記事では、そうするに至った背景、何を目指しているのか、これまでに出来たこととまだ出来ていないことを振り返り、今後の展望についてご紹介します。 背景 メルカリでは、2015年よりSREチームを立ち上げ、お客様が安心・安全にメルカリサービスを利用していただくためのシステムの信頼性の維持向上に取り組んできました。年々プロダクトとして成長を続け、トラフィックも増加する一方のメルカリサービスに求められるスケーラビリティ向上において、メルカリSREチームは大きな役割を

モチベーション github action で、secrets.GITHUB_TOKEN の権限を超えて GitHub を操作する場合、Personal Access Token を使って操作することが多い。 Personal Access Token はセキュリティの都合上、有効期限を設定することがベターとされており、無期限で作成したくない。 個人で管理する repo などであれば ↑ でも問題ないが、Organization で複数人が管理する場合、個人の Access Token を使うことはそもそも避けたい。 GitHub Apps を用いてチーム管理 Token を払い出す（意訳）ことで、Personal Access Token に依存せずに、secrets.GITHUB_TOKEN の権限を超えて GitHub を操作できるようにする。 ゴール Organization 配下

どうもこんにちは、ソーシャルゲーム事業部ゲーム技研の谷脇です。 この記事はTech KAYAC Advent Calendar 2019 Migration Trackの14日目の記事です。13日目はAmazon S3 Signature V2 廃止対応にまつわるあれこれでした。 従来のGitHub APIを使うBot カヤックではGitHubを使っています。また、各プロジェクトでは自動化されたワークフローの一環として、Slack上でのコマンドからPull Requestを作成したり、レビュワースロットを実行したり、勝手に手順書を生成してissueに貼るなどしています。 こういったBotたちはGitHub上のリソースを操作するために、GitHub APIを使用しています。Organization内のPrivateリポジトリを操作するためには、認証のためにGitHub Tokenが必要です。

より詳細な内容は公式ブログの記事にまとまっているので、日本語に翻訳して紹介していきます。 Bootstrap5公式Blog記事(日本語訳) Bootstrap5を正式公開しました！3つのアルファ版、3つのベータ版、数か月の開発を経て、最初の安定版としてメジャーバージョンをリリースします。Bootstrapのユーザー及びコントリビューター、メンテナーとすばらしいコミュニティによって実現しました。ここに来るのを手伝ってくれたすべての人に感謝します！ 新しいロゴ 新コンポーネント：Offcanvas 新しいアコーディオン 新しくなったフォーム チェックボックスとラジオボタン フローティングラベル 新しいファイル入力 シンプルになったレイアウト RTL対応 刷新されたユーティリティ 新しいユーティリティAPI 新しいユーティリティ スペーシングユーティリティ 新しいスニペット例 グリッドとレイアウ

Gitのサブモジュール内で何か変更などがあると親リポジトリ側でコミットができません。解決方法は主に2個あるようです。実際に再現させつつ、その解決方法を紹介します。 こんにちは。サービスグループの武田です。 バージョン管理システムであるGitはソースコードなどをリポジトリという単位で管理します。さらにGitにはサブモジュールという機能があり、これを利用することで別のリポジトリを自身のリポジトリ内で再利用できます。 とても便利なサブモジュール機能なのですが、サブモジュール内で何か変更などがあると親リポジトリ側でコミットができません。たとえばサブモジュール内でビルドなどをして成果物が生成され、それが.gitignoreに書かれていない場合などが該当します。とはいえ、サブモジュールでそれをコミットするわけにもいきません。 解決方法は主に2個あるようです。実際に再現させつつ、その解決方法を紹介します

GitHub Actions のワークフロー構文に jobs.<job_id>.if 1 や jobs.<job_id>.steps[*].if 2 というものがあり 、その job や step の実行を if に書かれた条件が満たされた場合だけに限定することができます。 また GitHub Actions のワークフロー構文として "expression syntax" （式構文）3 というものが存在します。 これは ${{ <expression> }} と書くと <expression> 部分が文字列ではなく式として評価されるようになる、という特殊な構文です。 そしてドキュメントの該当部分 4 を読むと面白いことが書いてあります: When you use expressions in an if conditional, you may omit the expression s

VPC エンドポイント および VPC エンドポイントサービスのために AWS PrivateLink を使用する場合、新たに 5 つのメトリクスにアクセスできるようになりました。AWS PrivateLink は、フルマネージド型のプライベート接続サービスで、お客様はネットワークトラフィックを非公開にしたまま、AWS のサービスや、AWS 上でホストされているサードパーティもしくは企業内サービスなどに、安全かつスケーラブルな方法でアクセスできるようになります。 PrivateLink エンドポイントの所有者として、メトリクスを使用して、エンドポイントを介したトラフィック量と接続数の追跡、パケットドロップの監視、サービスによる接続リセット（RST）の表示を行うことができます。エンドポイントサービスの所有者であれば、エンドポイントサービスのバイト数、接続数、リセット数（RST）も可視化するこ

CX事業本部＠大阪の岩田です。2021/3/18付けのアップデートでS3に対するGetリクエストのレスポンスをLambdaで加工するS3 Object Lambdaという機能が利用できるようになりました。 S3 Object Lambdaとは？ S3に対するGETリクエストをトリガーにLambdaを起動し、レスポンスを自由に加工できる機能です。例えば以下のようなユースケースが想定されています。 行のフィルタリング 画像の動的なリサイズ 機密データのマスク この機能を利用するには、S3アクセスポイントをラップした「オブジェクト Lambda アクセスポイント」が必要になります。クライアントが「オブジェクト Lambda アクセスポイント」経由でオブジェクトのGETを試行するとLambdaが起動し、Lambdaによってカスタマイズされたレスポンスが返却されるという流れになります。 S3アクセス

はじめに こんにちは、データシステム部データ基盤ブロックの纐纈です。9月から22卒内定者として、チームにジョインしました。 本記事では、弊社のデータ基盤チームが抱えていた課題と、その解決のために公開したOSSツール「Coppe」を紹介します。Coppeは、以下のような方にお勧めできるツールです。 BigQueryを使用したデータ基盤の監視に興味がある BigQueryの監視ツールとしてRedashを採用しているが、運用が面倒に感じている インフラの設定なしにBigQueryの監視を行えるツールが欲しい なお、本OSSはMonotaRO Tech Blogの記事「SQLを使った監視でデータ基盤の品質を向上させる」で紹介されていた仕組みを参考にし、より柔軟に監視項目を設定できるように新規開発しています。 OSSとして公開しているため、本記事と併せてご覧ください。 github.com 開発の経

こんにちはpakioです。本エントリは退職エントリです。 TL;DR 2021年12月末をもって株式会社ZOZOを退職し、1月からは株式会社メルカリに入社します。US版メルカリの検索チームにてソフトウェアエンジニアとしてお世話になる予定です。 2019年4月に新卒として株式会社ZOZOテクノロジーズ入社したので、統合等ありつつも2年9ヶ月在籍したことになります。 なにをしていたのか ZOZOでは一貫してZOZOTOWNの検索に関わる仕事をしており、検索システムのリプレイスやマイクロサービス化などに携わって来ました。また、このあたりの活動に付随して外部登壇なども行なっていました。 初属していた検索チームは入社時3人のみで、オンプレ上で動くVB.netを主戦場としており、JSONやSQL文すら文字列結合で構築している状態で正直かなり驚きました。今では検索サーバサイド専任メンバーが9人 + 検索

ZOZO Advent Calendar 2021 12日目の記事です。 Swagger UIを利用する際、右下に以下のようなバッジが表示されます。 VAILIDで表示されている場合は良いですが、外部のアクセスを遮断した状態でSwagger UIをホスティングする際はErrorが常に表示され続けます。Errorが表示されても特に支障はないのですがSwagger UIを見る人に誤解を招くので削除したいです。 小さいTipsになりますが、右下のVAILIDバッジを非表示にする方法を紹介します。 消し方 validatorUrlの設定を変更すると削除できます。 Swagger UIで変更可能な設定は以下にまとまっています。 swagger.io validatorUrlはデフォルトだとswagger.ioのonline validatorに対してvalidationを行います。なので外部のアクセ

AWSのマネージドルールを利用して Log4jの脆弱性(CVE-2021-44228)を緩和するAWS WAFを、CloudFormatinで作成してみました。 AWSチームのすずきです。 Log4jの脆弱性を緩和するため、AWSのマネージドルールに含まれる「Log4JRCE」のみ利用するAWS WAF、 CloudFormatinで設置する機会がありましたので紹介させて頂きます。 WAF設定 WebACL ELB(ALB)の保護で利用するため、「Scope: REGIONAL」としました。 AWSのマネージドルール「AWSManagedRulesKnownBadInputsRuleSet」の最新バージョンを利用する指定を行いました。 誤検知による副作用を最小化するため、「Log4JRCE」以外のルールに該当したリクエストは受け入れる除外設定を行いました。 WebACL: Type: AW

AWSチームのすずきです。 2021年12月11日、 AWS の Managed Ruleとして提供されている AWSManagedRulesKnownBadInputsRuleSetに新しい保護ルール「Log4JRCE」が追加されました。 Apache Log4j2 Issue (CVE-2021-44228) Log4j の脆弱性(CVE-2021-44228)対策として、AWS WAFの有効性を確かめる機会がありましたので、紹介させていただきます。 AWS Managed Rule Known bad inputs 新しいルール 「Log4JRCE」 が追加されました。 試してみた WAF(ACLs)設定 AWSManagedRulesKnownBadInputsRuleSet のみ設定した WebACLを用意しました。 BadInputsRuleSetのバージョンはデフォルト、検証

本記事では、普段Kubernetesを触っている中で便利に感じたツールやコマンドをざっくばらんに紹介します。 Kubernetes初心者からベテランまで幅広く楽しんでいただければ幸いです。 krew krewでは、kubectlのプラグイン管理を行います。 これ以降、本記事で紹介するプラグインは全てkrew経由でインストールが可能です。 インストール

はじめに この記事ではAWSの公式ブログ「Amazon EKS adds native support for Bottlerocket in Managed Node Groups」で取り上げられている内容を、eksctlを使わずCloudFormationでimmutableに実現するための方法を解説します。 aws.amazon.com Bottlerocketとは Bottlerocketは、AWSが開発しているコンテナ実行専用OSです。Fedora/RHELのCoreOSやVMwareのPhoton OS、Rancher OSなどと似ていて、コンテナを実行するためのランタイム以外余計なパッケージが入らない軽量なOSとなっています。 aws.amazon.com Bottlerocketの開発状況についてはBottlerocket Roadmap · GitHubを合わせてみると良

インフラをコードで管理するInfrastructure as Codeだからこそ、必要なドキュメントについての考察とそれの管理方法についてLTした様子です。 「なんや、この視聴者数…　震えが来るぜ・・・」 先日開催されたInfra Study Meetup #2「VM時代の開発とCloud Native時代の開発」 - connpassにおいて、「IaCにおける理想のドキュメント管理を目指す」という内容でLTしてきましたので、その内容をお届けします。 当日は、イベント内容も登壇者も超絶豪華で、なんとリアルタイム視聴者数1000人超えということで、さすがに自分も緊張しました。まじで。 青山さんのメインテーマがKubernetesの話であり、前後それに関わるテーマが中心の中、Kubernetesもコンテナも1ミリもでてこない発表にしたのですが、IaCに関わる普遍的な考慮ポイントについて喋れたの

UNIX すべての始祖なOS。 ベル研究所（AT&T）が開発した。 BSD UNIXのオープンソース版OS。 UNIXがまだ商用利用される前に、カリフォルニア大学バークレー校の人が「UNIXちょうだい」とベル研究所の人にお願いしてもらったものを、改造＋αしたUNIXをBSD（Berkley Software Distribution）と名付けて勝手に配布するようになった。 だけど途中から、ベル研究所の親会社であるAT&Tが「UNIXを商品として販売するぜ」と決めたので、それに伴ってバークレー校の人たちに「これ以上BSDを勝手に配布するな」と勝手に配布するのを禁止した。 禁止されてからは、BSDを手に入れるには「AT&Tの許諾」と「お金」が必要になった。 営利目的の場合は2万ドルくらい必要。 非営利目的の場合は200ドルくらいでOKだったらしいけど、その代わりソースコードをいじるのがNGだっ