データアナリティクス事業本部の貞松です。最近は少々データレイクに想いを馳せています。 今回は業務で発生したAmazon Athenaのクエリ集計について、実現したい内容とその実現方法を解説します。 集計対象データと実現したい内容 集計対象データの中身 集計対象のテーブルデータは以下のようなものです。 [{"item_id":"1","score":"0.8351"},{"item_id":"2","score":"0.8026"},{"item_id":"3","score":"0.7885"},{"item_id":"4","score":"0.7789"},{"item_id":"5","score":"0.7699"}] [{"item_id":"3","score":"0.8701"},{"item_id":"5","score":"0.8219"},{"item_id":"7",

先日のAWS re:Invent 2018においてDynamoDBのオンデマンド課金が発表されました。 【アップデート】Amazon DynamoDBが従量課金で利用できるようになりました！ #reinvent 実際に自分で管理しているシステムに適用しようと思ったのですが、従来のプロビジョニングと比べて利用費が増えるのかが気になったので試算しました。その試算時に調査した結果をまとめたのが今回のブログエントリーです。 結論 まずは結論です。ReadとWriteのそれぞれの操作に関してはそれぞれプロビジョニングしているキャパシティに対して実際のリクエスト数が14.4%程度の場合にオンデマンドとプロビジョニングの金額が一致していました。具体的には100 Read or Write capacity unitを確保している場合、理論上の1時間あたりの最大リクエスト数は36万リクエストになりますが、

現在私は barista という OpenID Connect と OAuth2.0 に準拠したID製品の実装を行っています。 また、私の所属する事業開発部では prismatix というEC、CRM の API 製品の開発を行っていますが、この prismatix の認可サーバーとして barista を利用しています。 barista チームの増員や、prismatix の認可についての理解を促進するため OAuth 2.0 をある程度しっかりと理解しているメンバーを増やしたかったので、勉強会を開催しました。 勉強会の内容 概要 雰囲気でOAuth2.0を使っているエンジニアがOAuth2.0を整理して、手を動かしながら学べる本を全員で輪読 OIDC 編はこのあとやる予定 攻撃編もやりたい RFC 読んだりもしたい 参加者全員が以下を満たすことが目標 OAuth 2.0 の意図を理解

少し早いですが、メリークリスマス！事業開発部の早川です。 早いもので、入社して 1 ヶ月半が経ちました。 現在は、 prismatix の理解を深めながら、導入支援を行っています。 今回はその中から、認証 / 認可についてお伝えします。 と言っても、これまでに同僚達が書いた分かりやすい記事がありますので、これらのガイダンスの形で、整理していきたいと思います。 ジョインしました 以来、初めての記事となりますﾄﾞｷﾄﾞｷ 目標 本記事をご覧いただいた後、こちらのスライドを何となく理解できる気がすることを目標とします。 本スライドに関するブログ記事はこちらです。 AWS Dev Day Tokyo 2018 で「マイクロサービス時代の認証と認可」の話をしてきた #AWSDevDay 目的 まず、認証 / 認可を学ぶ理由を考えてみました。 近年、様々なサービスが API を通じてつながり、より便利

次のウインドウを操作対象にする 同一アプリケーションを複数のウィンドウで開いている時、一方のウィンドウにフォーカスが当たっている場合は以下のショートカットでウィンドウを切り替えることが出来ます。 command + F1 しかし command と F1 はキーが離れているため、片手で同時に押すことは難しいです。 さらに Mac のデフォルト設定では F1 を入力するために fn キーを同時に押さなければいけません。 3 キー同時押し は非効率なため、ショートカットキーを変更してしまいましょう。 動作 以下は Safari を 2 つのウィンドウで開き、ショートカットを実行している様子です。 設定方法 １．システム環境設定のキーボードを開く ２．ショートカットタブでキーボードを選択する ３．「次のウインドウを操作対象にする」のキーコンビネーションをクリックする ４．好みのショートカットを割

ペアワイズ法を使うことで、効率的にテストケースを絞り込めることがわかったかと思います。 --- 2019/10/31 追記 --- どうしてテストケースを絞り込んでも大丈夫なのか？という意見がSNSやはてブのコメントで見受けられたので、フォローアップエントリを書きました。こちらも合わせてご覧ください。 ペアワイズ法は本当に有効なのか？組み合わせテスト技法と上手に付き合う方法 ｜ DevelopersIO ペアワイズ法を支えるツール「PICT」 ペアワイズ法が有効なことはわかりましたが、この組み合わせをどうやって作れば良いでしょうか？条件の数が少なければ前述のように手作業でもやれないことはありませんが、現実の問題はもっと複雑ですので、到底無理でしょう。 そこで役に立つのが、ペアワイズ法のテストケースを生成してくれるツール「PICT」です。 microsoft/pict: Pairwise I

はじめに 最近読んでいたデータ指向アプリケーションデザインでレスポンスタイムの平均値と中央値について記述があって目から鱗だったので改めて確認してみました。 平均値(算術平均）と50パーセンタイル値 レスポンスタイムの統計量として平均値（算術平均）は馴染みがある統計量かと思います。 典型的なレスポンスタイムを知りたい場合には、平均値はあまり優れた計測値ではありません。 平均値は実際に観測された値ではなく外れ値の影響を受けるためです。 50パーセンタイル値（中央値） そこでより良い統計量として挙げられるのが、パーセンタイル(percentile)です。 データを小さい順に並べたとき、初めから数えて全体のn %に位置する値がnパーセンタイルです。 たとえば、レスポンスタイムの50パーセンタイル(中央値）が 200 ミリ秒だったら、これはリクエストの半分に対して 200 ミリ秒以下で

この表の、事業者の合理的配慮の提供の部分で、現時点では「対応に努めること」とされていますが、2024年4月1日から事業者に対しても義務化されることが決まっています。 なお、東京都障害者差別解消条例では、都内で事業を行う民間事業者における「合理的配慮の提供」は、2018年から義務になっています。 また、注意が必要な点として、民間事業者において近い将来義務化されることが決まっているのは「合理的配慮の提供」であって「環境の整備」ではありません。障害者差別解消法における「環境の整備」は、引き続き努力義務のままです。「法改正でWebサイトのアクセシビリティが義務化！」という文言が見受けられますが、これは正確ではない表現となります。 B2Bの受託開発において合理的配慮の提供義務化が与える影響 ここで、企業の業務システムとして利用されるアプリケーションを受託開発する立場として、合理的配慮の義務化がどのよ

せーのでございます。GW、いかがおすごしでしょうか。私は久々に家族旅行に来ています。 現在朝7時30分。みんな疲れが溜まっているのか全く起きてこない。時間を持て余しているのでブログでも書いてみます。 今日はお休み、ということもあり、仕事の具体的な話ではなく、少し大まかな考え方のお話を共有したいと思います。 私は普段「テクニカルエバンジェリスト」という仕事をしています。端的にいうと一つのテーマに対してプレゼンテーションの資料やデモを作り、勉強会やカンファレンスなどの場所で人にその価値を伝えて共感してもらう事をジョブとしています。 みんなに価値に伝えるためにはどうしたら良いのか。仕事の8割は「考えること」に費やされます。私にとって「自分の考えをまとめること」は今のキャリアの生命線、とも言える作業です。 私は今まで「空・雨・傘」という考え方のプラットフォームに基づいて頭を整理し、アウトプットして

みんなベストプラクティスできてる？「AWSセキュリティのベストプラクティスに関する利用実態調査レポート」まとめ 「Security-JAWS Insights AWSセキュリティのベストプラクティスに関する利用実態調査レポート」の解説です。みんなベストプラクティスを実践できているのか、知ることができます。 こんにちは、臼田です。 みなさん、AWSのセキュリティベストプラクティス実践できてますか？(挨拶 今回は、Security-JAWS運営メンバーが調査を実施し、レポートとしてまとめた「Security-JAWS Insights AWSセキュリティのベストプラクティスに関する利用実態調査レポート」の内容を解説するとともに、僕自身の提言をまとめます。 これを読んで頂くと、「周りのみんなはAWSのベストプラクティスどれくらいできているの？」「自分たちは十分にベストプラクティスに沿えているのか

HTTPレスポンスヘッダー「Cache-Control:s-maxage」ディレクティブを使うと、CDNのキャッシュ時間をオリジンでコントロールできます。 CDNやプロキシといった共有キャッシュ向けにキャッシュの保持期間を制御する Cache-Control: s-maxage=seconds というレスポンスヘッダーが存在します。 ブラウザとCDNでキャッシュの保持期間を分けたい時や、マルチCDNの構成においてオリジン側でCDNのキャッシュの保持期間を一元管理したい時などに重宝します。 本記事では、この共有キャッシュ向けレスポンスヘッダーについて、かんたんに紹介します。 ブラウザ向けの max-ageと共有キャッシュ向けの s-max-age s-maxage によく似たディレクティブに max-age があります。どちらも Cache-Control と一緒に用いますが、用途は少し異な

概要 先日 EC サイト決済で特によく用いる 「与信」 と 「売上」 および関連する決済処理 についての記事をまとめました。 上記では主にクレジットカード決済での同期的な処理フローを例に話をしました。ただし、決済方法によってはこのような単純なフローではなく、非同期的な処理フローとなる場合があります。 当記事では非同期処理の代表的なフローをご紹介します。特に「与信」の処理は非同期で行うことが多いので、以下与信の非同期処理フローについて紹介します。 クレジットカードの本人認証(3Dセキュア) その他オンライン決済 prismatix ( EC / CRM 向け API プラットフォーム) の決済サービスは、以下で紹介するフローを考慮した機能を提供しております。 非同期的な処理フローについて 「完了の結果を受け取る処理は、そのリクエストを受けた処理とは別となる」 フローのことを、ここでは非同期的

よく訓練されたアップル信者、都元です。 Amazon Route 53は、AWSが提供するDNSサービスです。通常、ドメインを取得すると、ドメインレジストラからDNSがサービスで提供されることが多いと思います。費用は大抵ドメイン代に含まれていて、追加費用は無いことが多いです。しかしAWSで利用するドメインは、下記のような理由から、ドメインのオマケで付いてくるDNSではなく、Route 53を利用するメリットが大いにあります。 無料じゃないとは言え、とにかく安い。Route 53のコストが月10ドル超えるような人気サービスを作れたら勝ち組です。 プログラマブルである。レコードの定義と書き換えをスクリプトで実行できる。デプロイの自動化に寄与。 CloudFormationからレコードの定義と書き換えができる。まぁ↑とほぼ同じことを言ってますが。 SLAは100%（！？） ELB, CloudF

タイトル修正しました。最初「TerraformでIAM Policyを書く方法4つと失敗する方法ひとつ」というものでしたが、失敗する方法は単に私の書き方が間違ってただけでした TerraformでIAM Policyを書く方法は色々とあるので、紹介していきます。 今回は例として、こちらの公式ドキュメントに出てくる以下ポリシーを使いたいと思います。 { "Version": "2012-10-17", "Statement": { "Effect": "Allow", "Action": "dynamodb:*", "Resource": "arn:aws:dynamodb:us-east-2:123456789012:table/Books" } } ファイル外だし policyの中身はtfファイルに書かず、JSONファイルとして外だしします。それをfile関数を使って参照します。 fil

Node Sass could not find a binding for your current environmentというエラーメッセージをきっかけにnode-sassのソースコードを少し追ってみました。 起きた事象 フロントエンドのビルド環境としてNode v8で動いていたプロジェクトをNode v10にアップデートしました。その結果、次のような Node Sass could not find a binding for your current environment というエラーメッセージを吐いて落ちました。 どうやら使用していたモジュールのnode-sassでエラーが起きたようです。 Error: Missing binding /path/to/project/node_modules/node-sass/vendor/darwin-x64-64/binding.no

VoiceOverを雰囲気で使っていたので、それとなく操作ができるようにまとめました。なお環境はmacOS Mojave 10.14.6で、設定はデフォルトです。 VoiceOverの起動（と終了） 間違って起動してしまうことで有名なショートカットは、Commandキー（以下cmd） + F5もしくはTouch IDがあればcmd + Touch IDを素早く3回押します。「ようこそVoiceOverへ」ウィンドウが表示されるので、ウィンドウ内にある［VoiceOverを使用］ボタンを押して起動します。 起動後は、もう一度ショートカットを実行すれば終了できます。 システム環境設定から起動する場合は、アクセシビリティを開いて「VoiceOver」にある、「VoiceOverを有効にする」のチェックボックスをオンにしましょう。 VoiceOverを起動すると、フォーカスされているウィンドウやフ

はじめに CX事業本部の佐藤智樹です。 今回は「モダンアプリケーションのためのアーキテクチャデザインパターンと実装」のセッションを聞いたのでレポートします。 これからマイクロサービスやサーバーレスなど新しい設計に挑戦する場合や既に取り入れている場合に、アーキテクチャデザインの指標として非常に参考になるセッションだったので是非動画を見てください。 セッションではモダンアプリケーションに対する定義を最初に示したのちに、Beyond the Twelve Factor Appの各要素がそれぞれどのような原則なのかまず抽象的な考えから入り、具体的にAWSサービスを使うならどのように実現できるかという流れで一貫して紹介されていました。 マイクロサービスやサーバーレスなどの設計は抽象例だけだと難しく、具体例だけでは機能にフォーカスしすぎて何が解決したかったのかが不明確になりやすいと感じています。 この

2019/9/8(火)～9/30(水) の期間で開催されている、AWS Summit Online からセッションをレポートします。 本記事は「大規模な組織変遷と100以上のAWSアカウントの横断的セキュリティガードレール運用について」をレポートします。 セッション概要 スピーカー： ビジョナル株式会社 取締役 CTO 竹内 真 氏 ビジョナル株式会社 執行役員 CIO 園田 剛史 氏 セッション内容： 2020 年 2 月、株式会社ビズリーチはグループ経営体制に移行し、新たに Visional グループとして、「新しい可能性を、次々と。」というミッションのもと、様々な領域で事業創出を続けています。複数事業を展開するにあたり、グループとしてのセキュリティガードレールの取り組み、今後の展望についてお話しいたします。 セッション動画と資料 動画と資料のリンクはこちらになります。 セッションレポ

こんにちは、臼田です。 皆さん、AWS Summit Online Japanを楽しんでいますか？(挨拶 今回は『CUS-77: 6000 個のセキュリティポリシーを自動監査！アカツキ流、AWS セキュリティの取り組み紹介』というセッションを聞いたのでそのレポートをします。 大規模なAWSアカウントのセキュリティ監査をいかに効率化・自動化していったかというお話でした！ぜひレポートや本編をご確認ください！ セッション概要 株式会社アカツキ モバイルゲーム事業部 テクニカルエヴァンジェリスト 駒井 祐人 氏 AWS アカウントを一定数運用していると、組織のセキュリティポリシーから外れた運用をしていないか監査する工数が大きくなります。本セッションでは - AWS Config をマルチアカウント運用し、6000 個のポリシーチェックを自動監査 - CloudFormation StackSet

こんにちは、コンサルティング部の後藤です。 皆さん、AWS Summit Online 2020楽しんでいますか？今年のAWS Summitはオンライン形式でライブセッションが9/8 ~ 9/9の期間配信されており、150を超えるオンデマンドセッションも9/30まで視聴することが出来ます。 今回はその中からHappy Elements様の事例セッションを見てきましたので、セッションレポートを投稿させて頂きます。 『あんさんぶるスターズ！！ Music』を支える Amazon ECS ～人気ゲームの新作でのコンテナ化～ セッション概要 2020 年 3 月 15 日スマートフォンゲームアプリ『あんさんぶるスターズ！』の新作リズムゲーム『あんさんぶるスターズ！！ Music』をリリースしました。人気タイトルの続編となる新作のリリースに向け、コンテナ技術の採用を計画し、導入準備を進め、リリースさ