雰囲気でDocker Composeを触っている状態から脱するために調べたこと（2023） - Activ8 Tech Blog
エンジニアの岡村です。 自分はサーバーがメインではなく、あまり業務でガッツリ触るわけでもないのですが、最近それなりに活用するようになってきました。しかし、ネット上の日本語情報を読んでいるだけではこれの書き方が正しいのかよく分からない、と悩むことが結構あったため、色々情報を漁ってみました。 この記事は、特に自分が気になった部分の調べた結果を記事に纏めてみたものです。対象読者はdocker-composeを雰囲気でupやdownは叩けるけどComposeファイルの書き方がよく分からんとなってる人です。 Docker Composeの概要とcompose.yaml、Compose Specの関係 compose.yamlの書き方は Compose Specに準拠すればOK Compose Specの場所 推奨のファイル名はcompose.yaml compose.yaml内にバージョンを記述する
はじめに 本記事ではレベルアップしたいエンジニアが読んでおくべきQiita記事を紹介します。厳選に厳選を重ねた43記事です。全ての記事を読んでおく必要はありませんが、ちょっとでも「分からないな」「興味あるな」など思ったタイトルがあれば読んでみてください。 次の4種類に分類して紹介しています。参考にしてください。 フロントエンド バックエンド インフラ・Linux周りの知識 その他 それでは、早速紹介していきます！ 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 フロントエンド まず最初はフロントエンドエンジニアに読んでおくべきとおすすめできるQiita記事を11個選びました！フロントエンドエンジニアとしての基礎が身に付く
サーバーレスの次はなんなんだ
はじめに この記事は、同人誌サークル「めもおきば」から不定期刊行している技術解説本「めもおきばTecReport」に書いたものを公開用に再編集したものです。 ⇒ めもおきばTecReport 2023.12 この記事のほかにも「私もSecHack365に参加したい！」や、「2023年振り返りと2024年技術予想」としてこんなキーワードを取り上げているので、気になったらぽちっとしてください！ メガクラウドと特化型クラウド／ハイパーバイザーのSoC化／ライセンスとクラウドベンダー／イベント駆動型API／LLM時代のAIペアプロ力／生活必需品としてのGPU・NPU／Passkey／ウェブアクセシビリティ／リアルイベントの再開 サーバーレスの次はなんなんだ サーバーレスと呼ばれる技術ムーブメントが盛り上がり始めて8年近くが経ちました。各クラウドベンダーのFaaS（Function-as-a-Ser
5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
Google Cloudが、顧客のアカウントを誤って削除し、大規模障害の引き金になる──こんな出来事が海外で起きた。オーストラリアで年金基金を運営するUniSuperは5月8日（現地時間）、自社サービスで起きていた障害について、プライベートクラウドのアカウントが誤って削除されたことが原因だったと発表した。 UniSuperはGoogle Cloudを活用していたが、米Google自身が誤ってアカウントを削除。UniSuperは冗長性を確保するため、別のリージョンにもデータを置いていたが、そちらも無効にされていたという。 アカウントが削除された経緯については「（Google Cloudが）UniSuperのプライベート・クラウド・サービスをプロビジョニングする際の不用意な構成ミスにより生じた」（UniSuper）と説明している。しかし、UniSuperは他社のサービスでもバックアップを確保し
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「日本にもチャンスがある」。VPNソフトなどを開発してきた情報処理推進機構（IPA） 産業サイバーセキュリティセンター サイバー技術研究室 室長の登大遊氏は、分散型クラウドコンピューティング時代の到来を予測し、分散型クラウド基盤ソフトウェアを作れるクラウド人材の育成を説く。 日本が海外クラウド事業者に依存するようになったのは、人材育成の方法を間違ったことにある。政府や民間企業が、クラウドやAIの人材育成を推進する発想までは良かったが、単にクラウドやAIを活用する人材の育成に陥ってしまったということ。それがデジタル敗戦につながり、デジタルサービスの支出は赤字になっている。 --登氏は、「クラウド人材」とはクラウド技術やクラウドサービスを設
大田区は4月17日、2023年10月に発生したシステム障害の検証結果を公開し、システムの運用・保守を担っていたNECに対し損害賠償金486万8437円を請求すると発表した。障害の原因はNECによる情報共有の不足と結論付けている。同社も結果や損害賠償に同意しているという。 障害が発生したのは、23年10月9日から10日未明にかけて。システムを構成していたSSD3台がほぼ同時に故障し、データが全損して使用できない状態になった。これにより、大田区の住民記録システムや国保年金システム、税務システムなどが影響を受け、18日の完全復旧まで、区の業務に支障をきたした。 大田区は障害の原因について、SSD3台の同時故障を想定していないシステム構成にあったと説明。「システム基盤は19年に構築し、構築当時からSSDの故障について2本までは耐えうる構成をとっていたが、今回はその想定を大幅に上回る障害が発生したた
2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の
MySQLのSQLクエリチューニングの要所を掴む勉強会を開催しました！ - ANDPAD Tech Blog
こんにちは！DBREの福間（fkm_y）です。先月、弊社でデータベースの技術顧問をして頂いてる三谷（mita2）さんに開発本部向けの「MySQL SQLチューニング」勉強会を実施していただきました。 今回はMySQLの得意不得意なことの説明やSQLチューニングの流れ、具体的な事例を元にした対応例、また最近話題のHTAPな製品も紹介していただきとても参考になったのでポイントをおさえてレポートをお伝えします！ 開催背景 本編 MySQL の得意なこと、苦手なこと データベースのチューニング手段と特徴 SQLチューニングの流れ インデックス SQLチューニング例 インデックスフルスキャンとカバーリングインデックス ソート まとめ 当日の資料 さいごに 過去開催されたデータベース勉強会レポート 開催背景 弊社では三谷さんによるデータベース勉強会を定期的に開催しています。数年前にも同じテーマで勉強会
AmazonのクラウドコンピューティングサービスであるAWSが提供するストレージサービス・Amazon S3では、写真や動画などのデータをアップロードするためにバケットを作成する必要があります。このS3バケットを空の状態にしていると、AWSの請求額が爆発的に増加してしまうという問題を、ソフトウェアエンジニアのMaciej Pocwierz氏が報告しました。 How an empty S3 bucket can make your AWS bill explode | by Maciej Pocwierz | Apr, 2024 | Medium https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1 Pocwierz氏はクライアント向けに作成
なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり
マイクロサービスからモジュラーモノリスを経て新マイクロサービスへ - Techtouch Developers Blog
バックエンドエンジニア兼万年ダイエッターの taisa です。テックタッチは、以前マイクロサービスからモジュラーモノリスを経て新マイクロサービスへの切り直しを実施しました。本記事では、マイクロサービス・モノリスについて簡単に触れながらテックタッチがどういったプロセスでマイクロサービスの切り直しを実施したかを紹介します。 はじめに マイクロサービスとモノリス マイクロサービスとは マイクロサービスの利点 モノリスとは 単一プロセスモノリス モジュラーモノリス 分散モノリス テックタッチの場合 初期の頃の構成イメージ マイクロサービス切り直し前 特徴 モジュラーモノリス化 サービスの移行 別ドメイン境界でサービス切り直し イベントストーミング マイクロサービス切り直し後 DB 統合へ続く まとめ 参考 はじめに テックタッチは初期の頃からマイクロサービスアーキテクチャを採用していますが、一部の
https://platformengineering.connpass.com/event/310994/ で発表させて頂いた内容になります。
内容 社内でAWS知らない人でもこれだけは覚えていてほしいという動画を作成して欲しいとリクエストあり。その内容を資料化したものです。小学生の子供に説明してみましたがになんとなくAWSが分かったと言っていたので今回は結構分かりやすくまとめられたと思います。 システムを構築する時 システムを構築する際、サーバやネットワークなどのインフラが必要になります。昭和の時代は物理サーバを買ってきてラックマウントしてネットワークに接続してと物理的な作業が多く発生していました。 その後、物理サーバの上に仮想的なサーバを作成できる仮想化技術の発展により、仮想サーバが主流となりました。最初に物理サーバを用意して、仮想化基盤を構築する必要があります。仮想化基盤構築後は、新しいシステムを作りたい場合はすぐに仮想サーバの準備を行うことができ、物理環境の時と比較すると大きな進展がありました。 仮想化基盤を自社で構築する
AWS Configのコストを95%削減しつつ記録を残すことを諦めない - Nealle Developer's Blog
はじめに SREチームの大木( @2357gi )です。 ECS Serviceのオートスケーリングやバッチなど、ECS Taskの起動停止が頻繁に行われる環境でAWS Configを有効にしていると、AWS Configのコストが無邪気に跳ね上がってしまうことがあります。 インターネット上では特定のリソースを対象外にすることによりコストを抑える手法が多くの記事として見かけますが、対象外にするとAWS Config側で「リソースタイムラインの表示」ができなくなったり、Security hubで使用する情報の記録を行うことができなくなってしまいます。 そこで、特定のリソースを「記録から除外」するのではなく、「日時記録に設定」することにより前述した懸念点を解消しつつ、コスト削減をすることができたので紹介します。 経緯 我々のプロダクトでもサービスのスケールや機能拡大に伴い AWS Config
はじめに GitHub Actions (GHA) 、便利ですね。 便利なんですが、動作確認するのに PR 出してマージするのが煩わしい...。そもそも PR する前に動作確認しておきたいし、やたらに PR 作りたくもない...。 そんな悩みを解消してくれるのが act でした。これならローカルで動作確認できるので GHA 開発が捗ります！！ act 使ってみた記事は沢山ありますが、動かすまでに詰まったポイントをお作法として整理 してみました。act の使い方に悩まれている方の参考になれば幸いです。 2024/5/8 追記 act の実行に IAM ロールに追加設定が必要な点を追記しました。 AssumeRole するために sts:TagSession 権限を付与する 対象読者 GitHub Actions を使っている / 使おうとしている方 GitHub Actions の動作確認に
機械学習・データ部 / データチームの @irotoris です。こんにちは。 データチームでは社内で使うデータプラットフォームやデータマートの開発をしています。今日は弊チームの開発スタイルの中から「プレスリリース駆動開発」を紹介します。 データチームの開発スタイル データチームの開発は1週間のタイムボックスで、月曜日にバックログやプロジェクトから今週取り組むタスクを計画し、金曜にスプリントレビューを行っています。デイリーでは夕会を行っています。ベロシティの計測などは今のところできていませんが、いわゆるスクラムっぽい開発です。 その月曜朝の計画会で、まずプレスリリースを書いています。 プレスリリースとはなにか？ 本来プレスリリースは新商品や新サービス、経営・人事などの企業情報を、ニュースとしてメディアに掲載する文書ですが、ここではデータチームが開発・提供する機能や改善をユーザーに伝えるため
AWS、大型トラックでデータセンターのデータを吸い上げる「AWS Snowmobile」がサービス終了に AWSが2016年に発表した、100ペタバイトのストレージを備えたトラックで顧客のデータセンターからデータを吸い上げるAWS Snowmobileのサービスが終了したことが明らかになりました。 米CNBCの取材に対してAWSの広報がサービスが終了したことを認めました。 AWS stops selling Snowmobile truck for cloud migrations - CNBC 現時点でクラウドへのデータ転送を物理デバイスで行う「AWS Snow」ファミリーのサービスには、AWS SnowconeとAWS Snowballの2つのデバイスがリストされていますが、AWS Snowmobileの名前はすでに消えていました。 エクサバイト級のデータ転送のために登場したAWS S
株式会社リクルート エンジニアコース新人研修の内容を公開します！（2023年度版） | Recruit Tech Blog
こんにちは！ 2023年度エンジニア新卒の、吉田です。 株式会社リクルート 新卒エンジニアコースでは、部署への配属前に、BootCampと呼ばれる新人研修を行っています。 本日は2023年度の研修の内容を、実際に受講した新卒の立場から紹介させていただきます。 研修の内容については毎年反響をいただいていますが、今年度も一段と進化し、より充実した研修でした。 ページ下部に研修資料を公開していますので、ぜひ研修の雰囲気を感じ取っていただけると嬉しいです。 研修の概要 エンジニアコースの新人研修は、配属後にスピード感を持って成長できるようになることを見据え、 「さまざまな技術領域の講座を受け、興味関心を広げて、知らなかった好奇心に出会う」 「現場で求められる『仕事への取り組みスタンス』をつかむ」 「気軽に相談できる仲間（同期）をつくる」 の３点が目的とされています。 今年度は、入社前に行われたスキ
AWS Security HubとSlackを利用して、セキュリティ状況の監視運用を効率化したお話 - Uzabase for Engineers
はじめに 初めまして！ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。今回は「AWS Security Hub」と「Slack」を用いて、弊社で利用しているAWSリソースの監視運用を効率化したお話です。 お話の内容 年々増加するサイバー攻撃に対抗するため、セキュリティ対策は日々重要度が増してきています。 そこで弊社で利用しているAWSのリソースに対して、各種セキュリティイベントの収集ができるAWS Security Hubを利用することで、セキュリティ状態の可視化と迅速な対応がしやすい運用を行い、セキュリティ状態の現状把握から始めることにしました。特にNIST CSFの「検知」部分の運用について整備した内容となっています。 NIST Cyber Security Frameworkについて 皆さん、「NIST Cyber Security Framewo
はじめに こんにちは。雑食系エンジニアの勝又です。 今回は、私が2年ほど参画させていただいた大規模サービスのインフラやDevOps周りを全面的にリプレイスしたお話について簡単にご紹介させていただきます。(内容に関しては事前に参画先企業様に確認していただいております) サービス概要 詳細な内容は伏せますが、メインとなるテーブルのレコード数が数十億件、スパイク時には数万〜数十万のユーザーが一斉にアクセスする大規模サービスです。 技術的負債 長く運用されてきたサービスのあるあるですが、新機能の追加が最優先されてきたことにより、こちらのサービスにも下記のような技術的負債が大量に積み上がっていました。 RubyやRailsやMySQLのバージョンがかなり古い インフラの構成がコードではなくドキュメントで管理されている アプリケーションの構成管理がおこなわれていない CI/CDパイプラインが構築されて
【2024年】AWSアカウントの rootユーザーでしかできないことをまとめてみた | DevelopersIO
こんにちは！AWS事業本部のおつまみです。 みなさん、rootユーザーでしかできない操作を知りたいと思ったことはありますか？私はあります。 rootユーザーとは、AWSアカウントを作成した際に自動的に付与される最も権限の高いユーザーアカウントのことです。 rootユーザーには特別な権限があり、一般ユーザーアカウント(IAMユーザー)ではできない操作が可能です。 しかし、rootユーザーだと非常に強い権限を持っているので、基本的にAWSを利用する際はIAMユーザーを利用することがベストプラクティスとされています。 AWS アカウントのルートユーザーのベストプラクティス - AWS Identity and Access Management rootユーザーの認証情報が必要なタスクがある場合を除き、AWS アカウントのrootユーザーにはアクセスしないことを強くお勧めします。 また弊社AWS
GWなのでRaspberry Pi 5複数台をクラスタリングしてGrafana on Kubernetesを構築する | DevelopersIO
はじめに 世の中ではGrafana Weekということで、Raspberry Pi 5複数台をクラスタリングしてKubernetesを作成し、Grafanaを載せてみたいと思います。 というのは冗談ですが、最近趣味で安価に常駐プロセスをデプロイできるホスティング環境に悩んでいました。常駐しないなら最近はゼロコールドスタートなV8 Isolateを使ったCloudflare WorkersやDeno Deployが無料枠が大きくいい感じです。 一方常駐プロセスはHerokuの無料プランがなくなりました。AWS AppRunnerは起動時間を人間が稼働している時間のみに絞っても10$はかかります。fly.ioは、Legacy hobby planでCPU-1x 256mb VM 3つと3 GB 永続ボリュームストレージは無料で扱えます。fly.ioはCLIもよくできているので、軽い検証の場合こ
A few years ago most API designers, developers, and technical writers would have had very little reason to bump into JSONPath, but its starting to get more and more relevant as more tools and standards start relying on it. So what is JSONPath, what is it used for, and how can you get up to speed with using it? JSONPath is a query language that can be used to extract data from JSON documents, which
ごあいさつ はじめましての人ははじめまして、こんにちは！BASE BANK Divisionのフロントエンドエンジニアのがっちゃん（ @gatchan0807 ）です。 今回は、ここ数ヶ月の間にOIDC（OpenID Connect）という技術を使った開発を複数行い、この技術の概観を理解することができたので、OIDCの技術概要に触れつつBASE BANKの中でどのように使ったのかをご紹介しようと思います。 OIDCとは何なのか このパートでは、まずOIDCという技術について概要を紹介します。いくつかのWebページに記載されていた内容を参考にしてまとめさせて頂いているので、記事の最後に参照元のリンクを記載しておきます。 また、OIDCをはじめとした認証・認可の仕組みには様々な用語があり、自分自身も「調べれば調べるほど知らない用語が増えて、どんどんわからなくなってきた…」という経験をしたので、
「Amazon Q Developer」正式サービスに。AIがAWSの専門家となり、設計、コーディング、テスト、トラブルシュートなどを支援。Freeプランも
「Amazon Q Developer」正式サービスに。AIがAWSの専門家となり、設計、コーディング、テスト、トラブルシュートなどを支援。Freeプランも Amazon Web Services（AWS）は、AWSにおける設計、コーディング、テスト、トラブルシュートなどの場面でAIが開発者を支援する新サービス「Amazon Q Developer」の正式サービス化を発表しました。 Amazon Qは昨年（2023年）に開催されたイベントAWS re:Invent 2023で発表された、AWSによる生成AIサービスです。 Amazon Qは、マイクロソフトのCopilot対抗と位置づけることができます。 Copilotが、開発者向けのGitHub Copilot、Office向けのCopilot for Microsoft 365などさまざまな分野で展開されているように、Amazon Qも
さくらインターネットで活躍中の id:y_uukiを訪問 | はてな卒業生訪問企画 [#9] - Hatena Developer Blog
こんにちは、エンジニアリングマネージャーの id:onk です。 Hatena Developer Blogの連載企画「卒業生訪問インタビュー」では、創業からはてなの開発に関わってきた取締役の id:onishi、CTOの id:motemen、エンジニアリングマネージャーの id:onkが、いま会いたい元はてなスタッフを訪問してお話を伺っていきます。 id:onkが担当する第9回のゲストは、さくらインターネット株式会社の組織内研究所であるさくらインターネット研究所の上級研究員で、SRE （Site Reliability Engineering）の研究者としても活躍する id:y_uuki さんこと、坪内佑樹さんです。 2013年にはてなに新卒でWebオペレーションエンジニアとして入社後、サーバー監視サービス「Mackerel」をはじめとするサービス開発やはてなのインフラ開発・運用にSR
![さくらインターネットで活躍中の id:y_uukiを訪問 | はてな卒業生訪問企画 [#9] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/5b5961cfe7e9736ef0e88bc0290b1599481d2626/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20240319%2F20240319125826.jpg)
AWS知見共有会でTerraformのCI/CDパイプラインのセキュリティ等について発表してきました + GitHub新機能Push rulesについて - LayerX エンジニアブログ
先日2024/04/16にタイミーさんのオフィスで開催された、AWS知見共有会というイベントで発表してきました。この会のテーマは「運用のスケーラビリティとセキュリティ」ということで、私は「コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える」というタイトルで発表してきています。 イベントの動画もあります。 私の発表は 1:43 ぐらいからです。 この発表については資料と動画を見ていただければ！という感じで特に付け加えることもなかったのですが、イベントの開催後にGitHubから発表された新機能Push rulesがとても便利で、新たなベストプラクティスとなるインパクトがあると思ったので、この記事で紹介します。 Push rulesとは つい昨日発表された機能で、現在はpublic betaという状態です。なので、仕様変更と
全国の大学生協の食堂などで決済に使われている「大学生協アプリ」で4月15日の正午過ぎから約30分間にわたって障害が発生し、決済などができない状態になった。 同アプリを提供している大学生協事業連合は16日、 「AWSで設定されていた同時接続制限を超過したことが原因」と表明。同時接続制限を拡張し、監視体制を強化することで対策したとしている。 大学生協アプリは、生協の購買や食堂などで使える電子マネー機能などを備えており、全国の多くの大学生協で採用されている。 4月15日の障害は、お昼のピーク時刻に当たる午後0時3分に発生。サインインやバーコードの更新、チャージ、会員証の表示、電子マネーによる精算などができない状態になった。Xには学生から困惑の投稿が相次ぎ、トレンドに「大学生協アプリ」が入った。 原因は、AWSで設定されていた同時接続制限を超えたことにより、リクエストが処理できなくなったこと。同日
おはようございます。やっぱヒノキっぽいんだよなぁ、、、（花粉 ということで鼻ズルズルマンです。 Dropboxはオンプレ回帰した？ 最近良く聞きます、Dropboxはオンプレ回帰した、クラウドはコストが高いから最近オンプレに戻る企業が増えている、とか。 一つ一つの記事やツイートをイチイチピックアップはしないですが、とにかくよく聞くわけです。 でも思うんですよね、「そんなわけないのでは？」だってよく考えてみてください、テックが強い組織であればあるほど適材適所でクラウドを使ったほうがいい所も見えてきます。 現代のアーキテクチャでクラウドがハマる部分が全くないシステムはありません。一時的なリソース確保と開放、管理のいらないインフラ、様々なサービス。これを利用しないなんてことあるのかな？ってことなわけです。無理にオンプレのみで頑張るのが論理的か？という話かもしれません Dropboxがオンプレに移
Microsoft賛歌｜ミック
はい、今日はみんな大好きMicorosoftについてのお話だよ！ 寄ってらっしゃい見てらっしゃい。 実際のところ、Micorosoftの製品がすごく好きで好きで仕方ない、という人は少ないと思う。WindowsやOfficeはデファクトだからなんとなく使っているだけだし、TeamsよりはZoomのがUIが洗練されていていいなあ、と思う人も多いと思う。筆者もそうである。 筆者にとって、Microsoftは長らくSQL Serverの会社だった。昔データベースを触っていたので、その関係で少しいじる機会があった。触っての感想は、特に可もなく不可もなく。中小規模向けには十分だしGUIで何でもやらせようという強い意志については、まあ半分成功して半分逆に面倒になっているかな、という程度のものだった。 そんな筆者が同社について認識を改めるきっかけになったのが、2020年にGAFAMの収益構造を描いたグラフ
N予備校のインフラを Amazon EKS に移行した話 はじめまして。ドワンゴの教育事業で SRE エンジニアをしている西永です。 N予備校 では Kubernetes を採用しています。 これまでは Control Planes 含めすべての構成要素を自前で構築し運用していましたが、様々な問題が発生してきたことから Amazon EKS に移行をおこないました。 この記事では、Amazon EKS への移行に取り組んだ事例にについて紹介します。 なぜ移行したのか Kubernetes のバージョンが古い これまでの構成では Kubernetes のバージョンアップが考慮されておらず、Kubernetes を利用した N予備校の提供開始以降バージョンアップができていない状態でした。 そのためバージョン 1.7 を利用し続けていました。 バージョン 1.7 は 2017 年にリリースされ、
AWS CodeBuildのGitHub Actions runnerサポートでLambdaが実行できるようになったので検証しました | CyberAgent Developers Blog
AWS CodeBuildのGitHub Actions runnerサポートでLambdaが実行できるようになったので検証しました CTO統括室の黒崎(@kuro_m88)です。本日早朝に面白そうな発表を目にしました👀 AWS CodeBuild now supports managed GitHub Action runners AWS CodebuildがGitHub Actionsに対応したという内容ですが、要するにAWSがホストするGitHub Actions Runnerが出たということですね🎉 AWSがマネージしてくれることで、EC2(x64, arm)はもちろん、GPUとカスタムイメージも利用できるようです。 さらに注目したのはGitHub Actions RunnerとしてAWS Lambdaが使えるようです。Lambdaが使えると嬉しいポイントはActionsのjo
AWSが長い間、最高のオープンソースプロジェクトを取り込み、常にそれらのコミュニティに還元することなく再利用し、再ブランド化することで非難されてきたことも周知の事実だ。 AWS gives open source the middle fingerOSSというのは、不思議なソフトウェアだ。世界中で何百万人もの人が一円にもならないのに開発に協力し、コミッタと呼ばれるエンジニアキャリアをOSSに賭ける人々が現れ、多くのユーザがユーザ会を組織し、時には大規模なイベントを開く。MicrosoftやGoogleといった大企業もOSS支援を表明している。GoogleにいたってはandroidとKubernetesという重要なOSSを世に送り出した企業でもあり、その貢献は計り知れない。 そんな中、OSSに対して敵対的、とまでは言わないにしても非常に冷淡な態度を取る企業がある。それがAWSである。本稿では
Self-hosted GitHub Actions runners in AWS CodeBuild を試す
CodeBuild プロジェクトを使用して Webhook を設定し、GitHub ACtions ワークフローの yaml を更新して CodeBuild マシン上でホストされているセルフホストランナーを使用できる GitHub への認証は PAT か OAuth App を使う まとめというかわかったこと ※間違ってることや、こうすればいいよなどがあったらコメントください。 良かった点 セットアップは楽 ephemeral である 起動時間は EC2、Lambda 共に 1 分程度だった 個人的には十分速い マネージドイメージに加えて Docker カスタムイメージを指定可能 jobs.<job_id>.runs-on に -<image>-<image-version>-<instance-size> を追記すると、設定不要で様々なアーキテクチャのイメージを使える jobs.<job
How an empty S3 bucket can make your AWS bill explode
Update AWS started investigating the issue: https://twitter.com/jeffbarr/status/1785386554372042890 Imagine you create an empty, private AWS S3 bucket in a region of your preference. What will your AWS bill be the next morning? A few weeks ago, I began working on a PoC of a document indexing system for my client. I created a single S3 bucket in the eu-west-1 region and uploaded some files there fo
「Amazon Q Business」正式リリース。MS365やS3などの社内の情報源と接続、会社の経営情報から有給休暇の残りまでチャットAIが答えてくれる
「Amazon Q Business」正式リリース。MS365やS3などの社内の情報源と接続、会社の経営情報から有給休暇の残りまでチャットAIが答えてくれる Amazon Web Servicesは、新たなAIサービス「Amazon Q Business」の正式リリースを発表しました。 Amazon Q Businessは企業向けのAIサービスで、Amazon S3やAmazon RDS、Amazon Auroraを始めとするAWSのサービスやMicrosoft 365、Salesforce、Dropbox、Google Drive、Gmailなどのさまざまな社内の情報源と接続可能です。 サードパーティのアプリケーションにAPI経由で接続するカスタムプラグインの構築が可能になります。これにより、ユーザーは自然言語のプロンプトを使用して、Amazon Q BusinessからAPIを通じてサ
はじめに 本書『Observability Engineering』は、複雑化の一途をたどる現代のソフトウェアシステムに立ち向かうための、強力な武器となる一冊であり本稿はその読書感想文です。Observability Engineering を今から知りたい方はもちろん、Observability Engineering の基礎を改めて学びたい方もぜひお読みください。この記事もかなりの長さになるので普通に書籍を読んだほうがいいかもです learning.oreilly.com 「Observability:可観測性」という言葉は、近年ソフトウェアエンジニアリングの世界で大きな注目を集めています。しかし、その概念の本質を理解し、実践に移すことは容易ではありません。 本書は、そのオブザーバビリティについて、その基本的な考え方から、具体的な実装方法、そして組織への適用まで、幅広くかつ深く解説して
Amazon RDS ブルー/グリーンデプロイを利用してMySQLのアップグレードをした話 - Pepabo Tech Portal
こんにちは。技術部プラットフォームグループのharukinです。 この記事では、私たちが提供するネットショップ作成・運用のためのECプラットフォーム「カラーミーショップ」のデータベースを、Amazon RDSのブルー/グリーンデプロイを利用し、MySQLのバージョン5.7.38から8.0.35へアップグレードした経験についてご紹介します。カラーミーショップにおいてはこれが初の試みでした。Amazon RDS固有のファーストタッチレイテンシーの解除方法や、ダウンタイム時間の計測についてもお伝えします。 Amazon RDSのブルー/グリーンデプロイを活用するメリットは、本番環境に準ずるステージング環境を構築し事前検証が可能であることです。ステージング環境は約1分で本番環境に昇格させることができ、昇格時に許容ダウンタイムを超えたり、レプリケーションやインスタンスの問題が生じた場合は、自動的にプ
米Metaは4月18日（現地時間）、オープンソースのLLMの最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2モデルで、いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になる。 昨年リリースの先代「Llama 2」にも700億パラメータモデルはあったが、Llama 3は4000億パラメータの高密度モデル（こちらはまだ公開されていない）のトレーニングも継続中だとマーク・ザッカーバーグCEOは語った。 トレーニングデータセットは、Llama 2よりも7倍大きく、4倍のコードが含まれている。英語以外での利用に備えるため、データセットの5％以上が非英語データで構成されて
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
レベルアップしたい人必見 Qiita記事43選 - Qiita
Google Cloud、豪年金基金のアカウントを誤削除 予備も誤削除 他社でのバックアップでなんとか復旧
IPAの登氏に聞く、「分散型クラウド基盤ソフトを作れるクラウド人材育成」
大田区、NECに賠償金480万円を請求 10月のシステム障害巡り SSD3台の同時故障想定できず
【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita
空のS3バケットでAWSの請求額が爆発的に増加するとの指摘、Amazonはさっそく問題に対処すると発表
PandasからPolarsへ移行した方がいいのか - Qiita
はてなにおけるメール基盤とDMARC対応
本当のAWS基礎 昭和～平成～令和の時代の変遷システムの変化と今昔物語 - Qiita
ローカルで GitHub Actions が実行できる act のお作法を整理する
プレスリリース駆動開発のすゝめ - LayerX エンジニアブログ
AWS、大型トラックでデータセンターのデータを吸い上げる「AWS Snowmobile」がサービス終了に
大規模サービスのインフラを全面的にリプレイスした話 - Qiita
How to use JSON Path · Bump.sh
OIDCって何なんだー？から、実際に使うまで - BASEプロダクトチームブログ
ランチ時に「決済できない」学生悲鳴 大学生協アプリ障害「AWSの同時接続制限超過が原因」
本当にDropboxはオンプレ回帰なのだろうか？ - 256bitの殺人メニュー
N予備校のインフラを Amazon EKS に移行した話 - ドワンゴ教育サービス開発者ブログ
ソフトウェアと愛 - あるいはOSSとAWSの確執｜ミック
もう一度読むObservability Engineering - じゃあ、おうちで学べる
Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に