RDS Blue/Green Deployments を使ってシュッと utf8mb4 にマイグレーションした話 - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシでは RDB に Amazon Aurora MySQL 2（MySQL 5.7 互換）を使っています（以下 Aurora MySQL と略します）。 ある日、社内の Slack で「𠮷」などの文字列が登録できないのではないかという話が出ました。これを聞いて「あー」と思った方も多いでしょう。 MySQL で有名な UTF-8 の 4 バイト文字問題で、歴史的な理由から MySQL 5.7 以前では utf8 の文字セットは utf8mb4 ではなく utf8mb3 を指しています。 dev.mysql.com カミナシのアプリケーションは 4 バイトの文字列が入力された場合はシステムエラーを返す実装になっていますが、エラーの内容をユーザーにわかりやすく伝えることは難しいためユーザー体験としても良くない
機械学習・データ部 / データチームの @irotoris です。こんにちは。 データチームでは社内で使うデータプラットフォームやデータマートの開発をしています。今日は弊チームの開発スタイルの中から「プレスリリース駆動開発」を紹介します。 データチームの開発スタイル データチームの開発は1週間のタイムボックスで、月曜日にバックログやプロジェクトから今週取り組むタスクを計画し、金曜にスプリントレビューを行っています。デイリーでは夕会を行っています。ベロシティの計測などは今のところできていませんが、いわゆるスクラムっぽい開発です。 その月曜朝の計画会で、まずプレスリリースを書いています。 プレスリリースとはなにか？ 本来プレスリリースは新商品や新サービス、経営・人事などの企業情報を、ニュースとしてメディアに掲載する文書ですが、ここではデータチームが開発・提供する機能や改善をユーザーに伝えるため
Amazon Connect + Whisper + GPT-4 Turboで、発話から個人情報（名前、住所、生年月日）を正しく認識できるか試してみた | DevelopersIO
構成 構成としては、下記の通りです。 Connectのフローの詳細は下記の通りです。 例として、発話で住所を認識させる処理の流れは以下のとおりです。 コンタクトフロー内で「メディアストリーミングの開始」ブロックを使って、Kinesis Video Stream（KVS）への音声のストリーミングを開始します。 顧客は、住所を含めた発話をします。 「顧客の入力を保存する」ブロックで、顧客が特定の番号を押すと、ストリーミングを終了します。 「AWS Lambda関数を呼び出す」ブロックを使い、LambdaでKVSからデータを取得します。取得したデータをWAV形式に変換し、Whisper APIで文字起こしします。文字起こし内容から、GPT-4 Turboで住所のみを抽出します。 プロンプト再生で、住所のみを音声出力します。 以下の図は、電話での対話の流れを示しています。 前提 2023年11月時
起動確認 いつもの 初期設定 VSCode左下の><をクリック 開発コンテナー構成ファイルを追加 ワークスペースに構成を追加する こちらを選択することでGit上で構成ファイルを管理出来ます。 定義済みのコンテナー構成定義から Node.js & TypeSctipt 導入する、言語などを選択してください。 バージョンを指定してください。 お好きな拡張機能を追加してください。 .devcontainer/devcontainer.jsonに以下の様なファイルが出来上がります。 // For format details, see https://aka.ms/devcontainer.json. For config options, see the // README at: https://github.com/devcontainers/templates/tree/main/src/
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
20XX 年、我々人類は進化著しい AI に驚くしかない日々が続いています。ソーシャルメディアに驚きがあふれインプレッションを競う様はまさに大海賊時代、いいねの海賊王に俺はなる、とばかり飛びぬけて耳目を引く超新星 ( スーパールーキー ) が頭角を現しています。 「プロ驚き屋」としばしば称されるルーキーたちは X ( 旧 Twitter ) のタイムラインに現れては情報の正確性を重んじるエンジニアや研究者を戸惑わせます。チームやコミュニティ内の Slack はそうした喧噪から離れたオアシスといえるかもしれません。そんなオアシスにプロ驚き屋を召喚しタイムラインを荒らすのが今回の目的です。次に実際の例を示します。 なかなか模倣できているのではないでしょうか。オアシスは今、ジャングルに変わりました。私たちが生きている世界では正確で吟味された情報だけにアクセスしたいという願いは実現されないので、現
同製品はGPS端末としてRaspberry Pi 4 Bを採用しており、AWS location service、IoTのクラウドを使用したWebアプリをトータルで提供。リアルタイム追跡や勤務管理、ジオフェンスを利用した配達通知などの用途で利用でき、コスト削減に応用可能だ。システムの構築に要する期間は約1週間程度で、データ流出を防ぐ専用システムを構築できる。 アプリではGPSによるリアルタイムトラッキング機能や、地図上に設定したエリアに対象物が入出力した時点でアラームを通知するジオフェンス機能に加え、出発地から目的地までのルート計算や場所検索、地図表示などの機能を搭載している。 また、メールやSMSなどでの通知機能や、GPS情報を外部ウェブサイトで確認できるリアルタイムモニター機能、勤務管理分析ツールも利用可能だ。さらに、RTK-GNSSによる位置情報の提供や、9軸センサー（加速度、ジャイ
OpenTofuに関する雑感
2023年12月4日追記。 この記事は2023年の9月下旬に書かれた記事です。 わりと反射的に書いてしまった内容も含んでるので(CNCFのリリースにもコメントを寄越していたGruntworkの関わりを見逃してたのは痛恨のミス。色んな思いがあるのはそれはそう)、本件について語るにもっと最適な方の説明を読んでいただければ幸いです。 先月行われたHashiCorp社によるソフトウェアライセンスの変更はTerraformコミュニティに衝撃を与えたことは記憶に新しい。具体的には、Terraformのライセンスが、オープンソース/フリーソフトウェアを前提としたMPL2.0から、商用利用に制限をかけられたBSLv1.1に変更された。これにより、Terraformは伝統的な意味でのオープンソースソフトウェアではなくなってしまい、ソースコードが単に利用できるソフトウェアに変わってしまったと評する人もいる。[
2024/01/19 フレッシュメンLT #1 冬休みの自由研究 https://connpass.com/event/301006/
【Amazon Bedrock】AWSサービスのみを使ったシンプル構成のRAGアプリを作ってみた - NRIネットコムBlog
はじめに RAGとは 構成図 作成リソース Lambda 1. PDFから文書抽出&Embedding取得Lambda 2. 回答作成用Lambda AWS SAM テンプレート Streamlit 動作確認 まとめ はじめに こんにちは堤です。 Amazon BedrockがGAとなり、AWS内で完結してLLMアプリケーションを構築できるようになりました。 試しにRAGアプリケーションを作成してみようと思いましたが、現状AWSでRetrievalするデータソースを作成しようとすると、Amazon OpenSearch Serverless やAmazon Kendraを使用するしかありません。これらのサービスを使うのはコストもそれなりにかかり少しハードルが高いなーと思っていたら以下のブログを見つけました。 aws.amazon.com 構成図を見ると分かるように、S3にembedding
こんにちは！SREを担当してます上平と申します。 このエントリーではAurora MySQL5.7互換からMySQL8.0互換への移行を実施した際の流れや学びに関して紹介したいと思います！ B/43 では Aurora MySQL5.7系をサービスリリースから使っており、Aurora MySQL バージョン2のサポート終了日（2024/10/31）が近づいているのもあったので、移行することにしました。 Amazon Aurora バージョン - Amazon Aurora これからAurora MySQL8.0へ移行を検討されている方の参考になれば幸いです。 想定される読者 Aurora MySQL 5.7系を使っていて、アップグレードを検討している方 実際の Aurora MySQL 8.0 への移行手順を知りたい方 AWS インフラに興味がある方 前提 Aurora MySQL5.7互
AWS、大型トラックでデータセンターのデータを吸い上げる「AWS Snowmobile」がサービス終了に AWSが2016年に発表した、100ペタバイトのストレージを備えたトラックで顧客のデータセンターからデータを吸い上げるAWS Snowmobileのサービスが終了したことが明らかになりました。 米CNBCの取材に対してAWSの広報がサービスが終了したことを認めました。 AWS stops selling Snowmobile truck for cloud migrations - CNBC 現時点でクラウドへのデータ転送を物理デバイスで行う「AWS Snow」ファミリーのサービスには、AWS SnowconeとAWS Snowballの2つのデバイスがリストされていますが、AWS Snowmobileの名前はすでに消えていました。 エクサバイト級のデータ転送のために登場したAWS S
疲弊しないAWSセキュリティ統制の考え方【資料公開】 #devio_osakaday1 | DevelopersIO
大阪オフィスの川原です。 クラスメソッドのシン・大阪オフィスでの初イベント DevelopersIO OSAKA Day One -re:union- にて 『疲弊しないAWSセキュリティ統制の考え方』 というメインセッションを話しました。 ご参加いただいたみなさま、ありがとうございます！ 発表で使った資料を本ブログで公開します。 当日の発表では時間の都合上話せなかった部分もいくつかありますので、 気になった方はぜひ見てください。 参考になれば幸いです。 スライド 参考資料 責任共有モデル | AWS NIST Releases Version 2.0 of Landmark Cybersecurity Framework | NIST NIST Cybersecurity Framework (CSF) 2.0 Reference Tool | NIST Cyber Defense Ma
株式会社リクルート エンジニアコース新人研修の内容を公開します！（2023年度版） | Recruit Tech Blog
こんにちは！ 2023年度エンジニア新卒の、吉田です。 株式会社リクルート 新卒エンジニアコースでは、部署への配属前に、BootCampと呼ばれる新人研修を行っています。 本日は2023年度の研修の内容を、実際に受講した新卒の立場から紹介させていただきます。 研修の内容については毎年反響をいただいていますが、今年度も一段と進化し、より充実した研修でした。 ページ下部に研修資料を公開していますので、ぜひ研修の雰囲気を感じ取っていただけると嬉しいです。 研修の概要 エンジニアコースの新人研修は、配属後にスピード感を持って成長できるようになることを見据え、 「さまざまな技術領域の講座を受け、興味関心を広げて、知らなかった好奇心に出会う」 「現場で求められる『仕事への取り組みスタンス』をつかむ」 「気軽に相談できる仲間（同期）をつくる」 の３点が目的とされています。 今年度は、入社前に行われたスキ
ツイッターはオラクルへの支払いも遅延している | スラド IT
支払い拒否で有名なツイッターがオラクルへの支払いを拒否した模様。 ちなみにオラクルの経営者エリソンはマスクがツイッターを買収する際に10億ドル(円じゃないよドルだよ)を貸した恩人(ツイッターからすれば疫病神?)の模様。 OracleはTwitterにクラウドサービスを提供しているが、その対価の支払いが数か月にわたり未払いとなっていると報じられている。TwitterのCEOであるイーロン・マスク氏とOracleの共同創業者であるラリー・エリソン氏は古くからの友人だった。その上、エリソン氏はマスク氏がTwitterの買収する際、10億ドルを出資している立場だ。にも関わらず、未払いが生じていることから、Oracle側は支払いを回収するため、Twitterの従業員や元従業員に直接電話をかけ始めたなどの報道もあるようだ（Business Insider Japan、Data Center Café）
Next.js × AWS App Runner × AWS AppSyncで進めるクライアントファーストのWEB開発
2023/09/23に開催されたServerlessDays Tokyo 2023で登壇した資料です
大規模言語モデル (LLM) の進化: GPT 以降の最新動向 / AWS Dev Day 2023 - Evolution of LLM since GPT
このセッションでは、最新の大規模言語モデル (LLM) とその技術的進歩を紹介し、自然言語処理タスクやクリエイティブなテキスト生成、コード生成などの実践的なデモンストレーションを通じて、LLM の多様な応用例を探ります。また、スタートアップや大企業での活用事例や学術研究での成果を紹介し、LLM の未来に関するチャレンジや機会についても議論します。このセッションを通じて、開発者やアーキテクトは LLM の最新動向を理解し、その応用や技術的な発展に対する洞察を深めることができます。 https://aws.amazon.com/jp/events/devday/japan/
Infrastructure from Code (IfC) ツールまとめ - maybe daily dev notes
昨今Infrastructure from Code (IfC)という概念をよく耳にします。先日もAWSのGregor Hohpeが関連する記事を書いていました。 architectelevator.com この記事では、Infrastructure from Codeとはなにか簡単に紹介し、具体的にどのようなツールがあるか網羅的にまとめます。 Infrastructure from Codeとはなにか Infrastructure from Code (IfC) とは、その名の通り、Infrastructure as Code (IaC) に関連する概念です。IaCとの根本的な違いは、IaCは開発者がインフラを明示的に意識して構成を記述するのに対し、IfCでは開発者がインフラをできるだけ意識しないよう抽象化を試みていることです。これにより、差別化に繋がらない重労働ができる限り排除された高
PublickeyのIT業界予想2024。ハイパースケーラーの優位性高まる、AzureはAWSに追いつくか？ ITエンジニアの給与レベル上昇
PublickeyのIT業界予想2024。ハイパースケーラーの優位性高まる、AzureはAWSに追いつくか？ ITエンジニアの給与レベル上昇 新年明けましておめでとうございます。今年、Pubickeyは15周年を迎えます。長きにわたってこの小さなメディアを続けられているのも読者の皆様のおかげです。今年もPublickeyをどうぞよろしくおねがいします。 さて、2024年最初の記事では今年のIT業界、特にPublickeyが主な守備範囲としているエンタープライズ系のIT業界について、期待を込めた予想をしてみたいと思います。 続くモノやサービスの値上げ、生成AIの爆発的普及など まずは予想の前提となる、世の中全般に関する現状認識について書いておこうと思います。 1年前を振り返ってみると、ロシアによるウクライナ侵攻や長引く新型コロナウイルスの感染拡大の影響などの複合的な要因で、石油や天然ガスを始
Azure Open AI「Add your data」のシンプル設定方法、試した結果の比較と「4つの所感 & 解決案？」 - Qiita
Azure Open AI「Add your data」のシンプル設定方法、試した結果の比較と「4つの所感 & 解決案？」AzureCognitiveServicesgpt-3AzureOpenAIServiceonyourdata Azure Open AIの新機能「Add your data」の使用方法の概説、試してみた結果、そして私なり感じた4つの所感とその解決策？を紹介いたします。 ※本領域は変化が激しいです。この内容は23年6月24日時点の情報となります 【記事の目次】 23年Buildでのデータサイエンス・AI系のアップデータについて Azure Open AI「Add your data」のシンプル設定方法 Azure Open AI「Add your data」を使用した結果と、ChatGPT、 Bing AIチャットの比較 私の4つの所感と解決案？ 4.1 引用元の引用部
【速報】OpenAI APIでGPT-3.5-turboがfine-tuningできるようになりました！！ | DevelopersIO
ただし、GPT-4と比較すると安価にはなっていますので、性能比較をしながら良い塩梅を探すとコスト的にメリットがある可能性があります。 また学習のコストですが、以下のように学習データ全体のトークン数 x エポック数という形で費用が掛かるので注意が必要です。 （エポック数は後述するようにパラメータとして指定可能です） For example, a gpt-3.5-turbo fine-tuning job with a training file of 100,000 tokens that is trained for 3 epochs would have an expected cost of $2.40. 公式ページは以下となりますので、併せてご確認ください。 レート制限 fine-tuningのレート制限については、以下に記載があります。 fine-tuningについては以下のように
はじめに Turing株式会社のUX Engineeringチームでエンジニアをしています佐々木です。Turingは「We Overtake Tesla」をミッションに完全自動運転EVの開発をしています。UX Engineeringチームは、車載インフォテインメント (IVI : In-Vehicle Infotainment) システムの開発を担当しており、Android Open Source Project (AOSP) をベースに車載OSを開発しています。 本記事では、AOSPの枠組みに含まれるAndroid Automotive OS (AAOS)を概説し、また、実機でAAOSを体験するためにRaspberryPi 4BでAAOS13.0を実行する方法を紹介します。 Android Automotive OSの概要 Android Automotive OS (AAOS) は自動
AWS Security HubとSlackを利用して、セキュリティ状況の監視運用を効率化したお話 - Uzabase for Engineers
はじめに 初めまして！ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。今回は「AWS Security Hub」と「Slack」を用いて、弊社で利用しているAWSリソースの監視運用を効率化したお話です。 お話の内容 年々増加するサイバー攻撃に対抗するため、セキュリティ対策は日々重要度が増してきています。 そこで弊社で利用しているAWSのリソースに対して、各種セキュリティイベントの収集ができるAWS Security Hubを利用することで、セキュリティ状態の可視化と迅速な対応がしやすい運用を行い、セキュリティ状態の現状把握から始めることにしました。特にNIST CSFの「検知」部分の運用について整備した内容となっています。 NIST Cyber Security Frameworkについて 皆さん、「NIST Cyber Security Framewo
本記事は4月3日21:30（JST)時点で判明している事実をまとめたものです。誤りがあればコメントでお知らせください。 本記事には誤りが含まれている可能性があります。 新しい情報があれば随時更新します。 ** 4/2 18:30 Q&Aを追加しました。 4/2 11:30 実際にバックドアが存在する環境を作成し、攻撃可能なこと、出力されるログ等について追記しました。また、攻撃可能な人物は秘密鍵を持っている必要があることを追記しました。** ところどころに考察を記載しています。 事実は～です。～であると断定し、考察、推測、未確定情報は考えられる、可能性があるなどの表現としています。 またpiyokango氏のまとめ、JPCERT/CCの注意喚起もご覧ください。 なお、各国のCSIRTまたは関連組織による注意喚起の状況は以下のとおりで、アドバイザリを出している国は少ない状況です。 概要 問題の
2024/5/29 OpsJAWS Meetup #29 発表資料
誰もがその戦いの背景にある歴史の深淵と人々の覚悟を見誤っていた。開戦初日に決着が付くと高を括って鼻歌混じりに筆を取った私は、気が付けば夏休みの８割を喪失し、すべての指が腱鞘炎で悲鳴を上げる中で参考文献の海に這いつくばっていた。 —— Josh Nobus —— ぜんぜんわからない 俺たちは雰囲気で REST をやっている 何度調べてもなんだかよく分からない概念ランキングの個人的 Top5 に入る言葉。 それが「REST」だ。 いろんな Web サービスの REST API はよく使わせてもらっているし、REST API が何かと聞かれれば「その Web サービスの機能を HTTP リクエストで呼び出せる API エンドポイントのことだよ」みたいにそれっぽくお茶を濁すことはできると思うが、じゃあ自分で RESTful なサービスを作ってみろと言われたら私は作れない。作れなかった。 だってどん
非同期ジョブをユーザーアクションに組み込まない
(勤務先に投稿した社内ブログの焼き直しです) ある日同僚から ActiveJob の perform_later で Barbeque にキューした非同期ジョブの起動が遅いと言われた。が、非同期ジョブの使い所について個人的な考えを書いてみることにする。 相談は「非同期ジョブの結果をユーザーに返しているため、高速になって欲しい。現状、最大で数分の時間を要す旨のメッセージを表示している」という内容でした。具体的には {内部 API} が重く、一部の処理を非同期ジョブにしていてユーザー体験の悪化につながっているとのこと。 盲目的に非同期にしても嬉しいことはない 結論としては、非同期にするのであれば丁寧にやれば良いけど、そもそも同期的でよくない? と考えて欲しいと返した。 まず、個人的にはユーザーアクション起因かつユーザーへフィードバックする必要のある処理を非同期ジョブにするのは本当に長時間かかる
SREエンジニアが組織改善プロジェクトを立ち上げてみた - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。データ・AI戦略部 SREチームの小野です。普段は部内のシステムに対し、SRE推進活動を行っています。直近では、データエンジニアと協力してデータ基盤周りの改善に取り組んでいます。 <SREの主な仕事> IaC化(Terraform/Terraform Cloud Business)の導入・推進 SLI/SLOの導入・推進 ポストモーテムの導入・推進 アプリケーションデプロイ基盤の導入・推進 ツールやAPIの設計・開発 インフラ設計・開発・運用 トイル削除・システムの自動化 データ基盤改善 一般的なSREエンジニアは、インフラ関連の業務が中心になると思います。しかし、データ・AI戦略部のSREチームは、開発を含めた幅広い仕事をします。やりたいことがあり、手をあげればそれを後押ししてくれる雰囲気の職場です。 今回は、SREエンジニアである私が、組織改善プロジェクトを立ち上げた話をお
OpenAI日本法人に｢AWSジャパン前社長｣が移籍
クラウド王から生成AIの寵児へ、華麗なる転身だ。 クラウドインフラで世界最大手のアマゾン・ウェブ・サービス（AWS）の日本法人で12年にわたり社長を務めた長崎忠雄氏が、OpenAIが新たに開設した日本法人に移籍したことが東洋経済の取材でわかった。 生成AIの火付け役となった「チャットGPT」の開発会社であるOpenAI。4月15日にアジア初の拠点として、東京オフィスを開設する。日本での採用や法人セールス、カスタマーサポートなどを担うほか、AI活用をめぐる制度整備に向けた議論にも積極的に参加する方針だ。 長崎氏は3月12日付で、「OpenAI Japan合同会社」の職務執行者（合同会社の代表社員が法人の場合に選任が必要な、現実に職務を執行する者）に就任した。前職のAWSの日本法人でも職務執行者を務めており、業界関係者からは「実質的な社長の役割を務めるのでは」との声が上がる。 国内でのクラウド
Sansan 技術本部 情報セキュリティ部 CSIRT グループの川口です。 2023年4月からセキュリティエンジニアで新卒として、Sansan に入社しました。 現在は ログ基盤（SIEM）のログの取り込み部分の機能修正、問い合わせ対応、インシデント対応などの業務に取り組んでいます。 今回は内定者インターンシップで開発した、自宅ルータの脆弱性検知システムについて紹介します。 目次は以下の通りとなります。 開発に至った経緯 作成したシステム 技術的な話 EDR ポートスキャン チケットシステムへの起票 SOAR まとめと今後の課題 開発に至った経緯 新型コロナウイルスの流行に伴い、リモートワークという言葉をよく耳にするようになったと思います。 弊社でも緊急事態宣言下においては、原則リモートワークとなり、現在はオンライン・オフラインを併用した働き方をしています。 ここで問題となってくるのが自
ウン十万接続のALB SSL証明書を平和に更新したい - Nature Engineering Blog
こんにちはSREの黒田です。 これは第2回 Nature Engineering Blog 祭9日目のエントリです。 昨日はCorporate ITのマロニーによる GASを使って社内のSaaSアカウントを可視化しよう - Nature Engineering Blog でした。 昨日に続いて今日のお話も、話題の新製品Remo nanoやMatterとは関係ありません。 TL;DR WebSocketで大量に永続接続されているALBのSSL証明書を更新すると、接続がばっこんばっこん切られて大変なので、ALBを二台用意して緩やかに接続を移行するようにしたら、大変平和になって僕もみんなもハッピーになった。 背景 そもそもNatureではどこに何のためにWebSocketを使ってるの？って話から始めると長いので、詳しくはこちらを見ていただければと思います (結構前の資料なので今とは違う部分も色々
こんにちは、SCSKの木澤です。 先日、VPCにおける大きなアップデートが発表されました。 Multi-VPC ENI Attachmentsaws.amazon.com EC2から複数のVPCに対してENIを接続できるようになったよ、という話です。 オンプレミスのネットワーク設計経験者であれば、この話を聞いて「管理用VPCが作れるようになったな」と感じることでしょう。 実際私自身もAWS初心者の頃は管理用のネットワークが構成できないことが気になっていました。 ですが、AWSにおいては安易に管理用VPCを設置すべきではないと考えています。 その理由を下にまとめたいと思います。 オンプレミスネットワーク設計のセオリー オンプレミスにおけるネットワーク設計経験が無い方もいらっしゃると思いますので、丁寧に解説したいと思います。 今回は下図のような一般的なWeb3層のシステムのネットワークを設計す
なぜセキュリティグループで0.0.0.0/0からのインバウンドトラフィックを許可することが危険なのか？ | DevelopersIO
なぜセキュリティグループで0.0.0.0/0からのインバウンドトラフィックを許可することが危険なのか？ はじめに こんにちは！AWS事業本部コンサルティング部の和田響です。 この記事では「なぜセキュリティグループで0.0.0.0/0からのインバウンドトラフィックを許可することが危険なのか？」について説明し、具体的な対策と検知の方法について記載します。 0.0.0.0/0からのトラフィックとは？ 0.0.0.0/0は、IPアドレスの範囲を指定するCIDR（Classless Inter-Domain Routing）表記の一つで、IPv4アドレス空間におけるすべてのIPアドレスを意味します。 つまり「0.0.0.0/0からのトラフィック」とはすべてのIPからの通信であり、インターネットのあらゆる場所からの通信と言い換えることもできます。(IPv6の場合は::/0と表記します。) なぜ危険なの
LLMを用いたLLMの自動評価について 〜可能性と注意点〜 - NTT Communications Engineers' Blog
こんにちは、イノベーションセンターの杉本（GitHub：kaisugi）です。普段はノーコードAI開発ツール Node-AI の開発に取り組む傍ら、兼務1で大規模言語モデル（LLM:Large Language Model）について調査を行なっています。特に、日本語を中心に学習された LLM への関心があり、awesome-japanese-llm という日本語 LLM をまとめた Web サイトのメンテナンスにも取り組んでいます。 今回は、LLM に LLM の評価そのものを行わせるという新たなアプローチ（LLM-as-a-judge）についてご紹介します。 ChatGPT の登場以降、国内外で LLM の開発競争が進行しており、モデルの重みが公開されたオープンなモデルも続々と現れています。そのような中で、新しいモデルの構築だけでなく、どのモデルが優れているかを比較検討することが今後ます
はじめに AWS Lambdaを使ってデプロイするときに、 Dockerイメージを使って、デプロイしたいケースがありました。 すでに、動いているLambdaをLambda Dockerへ変更する際に、 つまずきポイントがあったので、備忘録として、残しておきます Lambdaでコンテナイメージを利用とは？ Lambdaには、通常のLambda(ソースコードのみを記述するタイプ)と Dockerイメージを利用するパターンが存在する ※Dockerイメージは、ECRから参照し、Lambda上で実行が出来る なぜDockerイメージを使うのか？ 通常のLambdaとLambda Dockerには、仕様の一部に違う部分が存在している 今回、Lambda Dockerを利用したいと考えたのは、 通常のLambdaよりも、大きいパッケージを展開できる為 ●Lambda 50 MB (圧縮、直接アップロー
はじめに こんにちは。雑食系エンジニアの勝又です。 今回は、私が2年ほど参画させていただいた大規模サービスのインフラやDevOps周りを全面的にリプレイスしたお話について簡単にご紹介させていただきます。(内容に関しては事前に参画先企業様に確認していただいております) サービス概要 詳細な内容は伏せますが、メインとなるテーブルのレコード数が数十億件、スパイク時には数万〜数十万のユーザーが一斉にアクセスする大規模サービスです。 技術的負債 長く運用されてきたサービスのあるあるですが、新機能の追加が最優先されてきたことにより、こちらのサービスにも下記のような技術的負債が大量に積み上がっていました。 RubyやRailsやMySQLのバージョンがかなり古い インフラの構成がコードではなくドキュメントで管理されている アプリケーションの構成管理がおこなわれていない CI/CDパイプラインが構築されて
IAM Identity Center のロールで発行される一時認証情報をaws-sso-go 経由で 1Password に入れて利用する - 継続は力なり
タダです. 以前の記事で 1Passowrd Shell Plugin を使って IAM アクセスキーとシークレットアクセスキーを保存して AWS CLI を使うのをやってみました.この記事では IAM Identicy Center(旧 AWS SSO) のロールで発行される一時認証情報を 1Password に入れたり更新ができたらローカルにクレデンシャルを残さずに使えてセキュアになるため,その検証を行ったのをまとめていきます. sadayoshi-tada.hatenablog.com IAM Identity Center のロールで発行される一時認証情報を保管する 保管したクレデンシャルを使って AWS CLI を実行する まとめ IAM Identity Center のロールで発行される一時認証情報を保管する IAM Identity Center と 1Password の
トップガンでなくてもセキュリティエンジニアとして長く続けていくには - トリコロールな猫/セキュリティ
はじめに セキュリティ業界は人が少ないので、どこに行っても名前を聞く人とか、バイナリを見ただけでどこ製のマルウェアかわかる人とか、つよつよ人材が身近にいがちです。そんなトップガンを目指すのも一興ですが、ある程度の期間は、起きている時間全てをセキュリティに捧げる覚悟が必要です。私はそこまでできないので、別の戦略で生き延びています。そんな話です。 セキュリティ以外に得意分野を作ろう 私はもはやセキュリティの技術的な能力は干からびてしまっていますが、文書を作成するのがまあまあうまいです。今の会社はこの一点突破で採用されました。セキュリティを知っている人はたくさんいます。文書を作成するのがうまい人は星の数ほどいます。ではその両方は？おそらくとても少ないです。なぜなら大抵のセキュリティエンジニアは報告書などの文書作成が苦手or嫌いだからです。（そのうちchatGPTに駆逐されそうではありますが） 「
フロントエンド監視の全体像と実現方法
必要性 フロントエンドの監視はバックエンドやインフラのそれらと比べ、優先度が低くなりがちです。 バックエンドやインフラでの障害はサービス継続に直結するため、これは当然と言えば当然なのですが、別の理由もあると考えています。 それは計算リソースをサービス提供側が管理していないことです。 例えばアプリケーションがインフラとして AWS を利用しているなら、AWS のリソースを管理するのはサービス提供側です。 これは AWS 以外のクラウドサービスプロバイダやオンプレであっても同様です。 一方でフロントエンドはエンドユーザのブラウザ上で動作し、これを管理しているのはエンドユーザです。 フロントエンドはその性質上、監視の「盲点」になりがちです。 しかしフロントエンドはエンドユーザが直接触れるものであるため、そこで何が起きているかサービス提供側は正確に把握する必要があります。 マイルストーン フロント
こんにちは。 クラシル開発部、バックエンドエンジニアの松嶋です。 delyに入社してから約3年間、私はSREチームに所属していましたが、昨年10月にバックエンドに転向しました。バックエンドに転向してからは、主にクラシルアプリの公式レシピおよびCGMコンテンツの検索機能に関する開発・改善に取り組んでいます。 クラシルは、2016年2月にサービスを開始してから、管理栄養士監修の「誰でも安全に・おいしい料理を作ることができるレシピ動画」を5万件以上提供してきました。 昨年12月には、クラシルのブランドリニューアルを行い、今後はシェフや料理研究家を中心としたクリエイターとともに多様化したユーザーの食の好みや課題解決に応えられるよう、幅広い食のコンテンツを提供するプラットフォームを目指しています。 ブランドリニューアルの詳細に関しては、こちらを御覧ください。 www.kurashiru.com この
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プレスリリース駆動開発のすゝめ - LayerX エンジニアブログ
Devcontainer がデバッグ環境構築のハードルを一気に下げるお話
【2024年】ITエンジニア本大賞まとめ - Qiita
プロ驚き屋AIをチームのSlackに招待しタイムラインを荒らす - Qiita
AWSを使ってリアルタイム追跡や勤務管理システムなどが作れるキットが販売開始｜fabcross
初心者こそIaC！Terraformで学ぶAWS構築の基礎
Aurora MySQLをMySQL8.0へ移行した話 - inSmartBank
AWS、大型トラックでデータセンターのデータを吸い上げる「AWS Snowmobile」がサービス終了に
自動車のスマホ化 - Android Automotive OS完全入門！
xzにバックドアが混入した件のまとめ(CVE-2024-3094) - Qiita
【OpsJAWS】踏み台サーバーって何がうれしいんだっけ？
すべての Web サービス設計者に捧ぐ「RESTful って結局なんなんだ」
自宅ルータの脆弱性検知システムの開発 - Sansan Tech Blog
EC2における「管理用VPC」設置の是非について
AWS LambdaをDocker化する際の注意点と学びの備忘録 - Qiita
大規模サービスのインフラを全面的にリプレイスした話 - Qiita
Aurora MySQL 5.7とRailsで実現する全文検索機能 - dely Tech Blog