技術部 SRE グループの mozamimy です。 クックパッドでは、 SRE が中心となって、サービスを動かす基盤の大部分である AWS のコスト最適化を組織的に取り組んでいます。 昨年夏に公開した記事である、インフラのコスト最適化の重要性と RI (リザーブドインスタンス) の維持管理におけるクックパッドでの取り組みでは、 なぜインフラのコスト最適化が必要なのか、具体的にどのような考え方に沿って進めてゆけばよいのか。 SRE が一括して管理する AWS のリソースプールそのもののコスト最適化を実践するための具体的な取り組みの一例として、RI のモニタリングや異常時の対応フローによる維持管理。 といった話題にフォーカスしました。 今回は、インフラにかかるコストを正しく「説明」するための取り組みということで、コスト最適化に貢献する社内アプリケーションである Costco (Cost Co

概要 いくつかパターンと懸念があるので考えた。メモ書きレベル。 考慮事項 ログの欠損を最小限にしたい。可能な限り拾いたい fluentdのメモリ内のログが欠損するのは許容（どうにもならない） それ以外のログの欠損を防ぐ 考慮点 fluentdを使うかどうか ログを一度ファイルにするか awslogs driver -> CWLogs コンテナのログをCWlogsに送る もろもろの考慮が不要なため初期は一番楽だと思われる とにかく料金がネックになる S3に送るにもCWLogsを一度経由する必要があり大変 CWLogsのRatelimit引っかかったことはないがどうか？log streamを分ければある程度スケールするかも。 fluentdパターン 柔軟にログを送ることができる fluentd -> kinesis -> kinesis firestream -> ElasticSearch

緊急事態宣言以降の経済活動停滞によって、どの程度、経済は悪化しているのでしょうか。少なくとも消費の落ち込みは生活必需品等を除けば、相当な影響となっていることが想定されます。 ほとんどの統計は、後から発表されるため速報性に乏しく、足元の実績は当然ながら出ておりません。一方で、ナウキャスト・JCBが発表しているJCB消費Nowは速報性があり、このような状況を見るには有用です。 今回は緊急事態宣言が発令された4月上旬の消費がどうだったのかについて確認してみたいと思います。 JCB消費NOWとは 4月上旬の消費動向 JCB消費NOWとは JCB消費NOW は、JCB グループのカード会員のうち、無作為に抽出した約100万人分の決済データを活用して作成しているものです。国内会員に絞っているためインバウンド消費を含みません。 統計作成元取引金額は約8,000億円であり、続計対象会員のクレジットカード実

リモートワークの頻度があがって、YouTube をラジオ代わりにしながら仕事をしている今日この頃。 その影響を受けて、なんとなくバ美肉してゲーム配信をしてみたいなと思ったところから、いろいろ調べてやってみた結果をまとめておく。 ただし、「(動画配信に向いていないスペックの) MacBook でやるにはどうするか」という前提であるため、他の人には参考にならない可能性が高い。 そもそも MacBook で動画配信をするにはよほどのハイエンドカスタマイズでない限り、基本的に計算資源が足りない。 vtuber としてゲーム配信するには以下の計算項目について、考慮する必要がある。 アバターを動かす ゲーム画面を取り込む ↑を合成する 配信する これらを MacBook 内ですべて処理すると間違いなく放送事故にしかならないため、これらを外出しすることで CPU パワーやグラボのない MacBook で

いろんな人のデスク環境を見るのが好きなので、リモートワーク（テレワーク・在宅勤務）が標準となったいま、いろんな人がデスク環境をblogにあげてくれるのを楽しく見てます。なのですが、まとめ記事的なものが見当たらなかったので、自分でたまに見返すために、はてブ100以上ついてたものをまとめてみました。そういえば、以前はブログ記事をまとめたブログやNAVERまとめがよくホッテントリに上がってましたが、最近は見かけなくなりましたね。 シンプル系 ケーブル嫌いのためのデスク周りをスッキリさせるテクニック @goando さんの、ケーブルをまとめて隠すテクニック。これを参考にしているブログもとても多いです。 ケーブル1本だけの生産性最高なデスク環境をDIYなしで作った話 - 2019版 これも、デスク周りをすっきりスッキリさせるテクニック満載で、参考にしている人が多いです。スタンディングデスク、49イン

Spring Security OAuthでRemoteTokenServicesを使う際の注意点とそのためのソースコードリーディング こんにちは。齋藤です。 Release Itは読みましたか？あなたがWebアプリケーションの開発者で これからもWebアプリケーションを作るというのであれば 読んで損はありません。今すぐ買いましょう。 今回は地味な記事です。OAuth2を使う上でいい感じにしてくれるライブラリのデフォルト設定の話です。 はじめに Spring Security OAuthは皆さんご利用になったことはあるでしょうか？ SpringとJavaでOAuth2といえばこのライブラリなのではないでしょうか。 今回はこのSpring Security OAuthを使って Resource Serverを作った時の注意点について紹介したいと思います。 ちなみにこのライブラリである、Spr

中国語で「メガネっ娘」は「眼鏡妹妹」（イェンジンメイメイ）と言うらしい。また、どうでもいい知識が増えてしまった…w — 黒色中国😷 (@bci_) 2020年3月30日 どうでもいいことなのだが、たまたま中国の友人と話していたら（どんな話をしていたのかは聞かないで欲しい）、上記のような話になった。 忘備録のつもりでツイートしたら、異常に（異常に）反応が良かったのもあり、「眼鏡娘」という表記があるのも教えてもらった。せっかくなので、こちらに記録しておこうと思う。 【目次】 画像検索での違い 正式には、「眼鏡娘」か じゃあ、「眼鏡妹妹」はどうなるの？ 眼鏡美女と眼鏡小姐は？ 画像検索での違い ▲百度の画像検索で「眼鏡妹妹」を検索した場合。 ▲同じく、「眼鏡娘」の場合。 「眼鏡娘」の方がアニメが多いのがわかる。この違いはなぜだろうか？ 正式には、「眼鏡娘」か ▲百度百科（中国のウィキペディアみ

エムスリー エンジニアの岩本です。 現在私の所属しているチームでは、以前作成したアンケートを作るためのシステムのサーバサイドリプレースを検討しています。 ちなみにクライアントサイドは下記のものです。 qiita.com 採用した技術 なぜQuarkus? SQLアクセスはDoma Domaの記述方法 Quarkus + Domaで見つかった問題 設計方針はCQRS まとめ We're hiring! 採用した技術 以前のサーバサイドはJavaで作られており、再利用可能な既存の資産もあるため、JVM系の言語を検討しています。 他のシステムではKotlin + SpringBootを使っているため同様の構成も考えられるのですが、 SpringBootが開発しているうちに重くなり、起動に数十秒かかるようになり開発スピードが遅くなってしまったことや 新しいものに挑戦したいという技術者の考えを重要視

Go言語でつくるインタプリタを読んで 実際に動くインタプリタを書いたので記事として残しておく。 感想 ここ１週間半程度、この本を読んでいた。 気分転換に楽しい本でも読もうと思って Go言語でつくるインタプリタを開いた。 写経しながら読んだが、良い本で、楽しく読める本だった。 また、この本はテスト駆動開発とは書いてないが テスト駆動開発のような形でテストを書いて失敗を確認した後 実装を書いてテストを確認するような流れで書かれている。 またテストが通ったタイミングなどで、「やったね！」とか「完璧だ！」とか「これだけなんだ！」とか 読者の気持ちを盛り上げてくれる言葉が書かれていて 読んでいくごとに実装していくごとに楽しくなっていった。 また、途中で紹介されていたPratt Parsersの記事も読んだ。 この記事はJavaでPratt Parserの説明をしてくれているが、とても分かりやすかった

Spring WebFluxに関する、いまの理解を整理する。 Spring WebFlux 以前の問題点Tomcatは1リクエスト処理するのに1スレッドを割り当てる。リクエストが終わるまでスレッドは解放されないため、処理にブロッキングな部分があったとしてもスレッドを占有し続ける。 ネットワークI/O、外部サービス呼び出し、DBアクセスなどが典型的なブロッキング箇所で、例えば、低速なネットワークからのリクエストをひとたびreadすると、のんきにスレッドを占有してリクエストの到着を待つことになる。 このとき、同時に多くのリクエストを捌くためには多くのスレッドが必要になる。 Java ブロッキングとかノンブロッキングを理解したい - SIerだけど技術やりたいブログwww.kimullaa.com ただしスレッド生成には(少なくともスレッドごとに確保するスタック領域分の)メモリが必要。 参考:

ドメイン駆動設計には興味を持ちつつエリック・エヴァンスのドメイン駆動設計は数年前に積んだまま、という状態で何年か立ってしまったのですが、新しくDDD の本が出ていたので読んでみたところよかったので紹介させていただきます。 ドメイン駆動設計入門 ボトムアップでわかる! ドメイン駆動設計の基本 本書は、 『エリック・エヴァンスのドメイン駆動設計』（ISBN978-4-7981-2196-3、翔泳社）、 『実践ドメイン駆動設計』（ISBN978-4-7981-3161-0、翔泳社） に感銘を受けた著者が贈る、ドメイン駆動設計の入門書です。 （https://www.shoeisha.co.jp/book/detail/9784798150727 より。） というわけで、ボトムアップで理解出来る章立てで書かれたドメイン駆動設計の入門書です。 個人的には、ドメインモデルの組み立てをどうやればいいのか

事業開発部の塩谷 (@kwappa) です。 2020年2月13, 14日、目黒雅叙園でDevelopers Summit 2020（通称「デブサミ」）が開催されています。その初日である2/13、 13-C-6 という枠をいただいて「礼節から育てるチームの健康と信頼性」という話をしました。 スライド セッション 昨年10月から継続してしゃべっている、チーム・心理的安全性・礼節についての総集編を目指してつくりました。過去のセッションから大きく変えてはいませんが、登壇を重ねるたびに自分でも理解が深まったように思います。 公式サイトの事前予約では「満席」の表示があり、実際のセッションもちらほら立ち見の方が出るぐらいの入場がありました。公募に通ったのも不思議なぐらいのふわっとしたタイトルでしたが、たくさんの方に聞いていてだけてとても光栄ですし、話し甲斐もありました。 聴いてくださったかたのツイート

はじめまして！技術開発部セキュリティグループの花塚です。 LIFULL Creators Blogにセキュリティグループが登場するのは初めてですね。 セキュリティグループでは、脆弱性診断や脆弱性の調査、セキュリティツールの開発など、幅広い業務を行っています。 今回は、脆弱性可視化基盤を開発した話を紹介したいと思います！ 主に開発の経緯から、技術的な構成、そして、これからのことについて、まとめています セキュリティに関わる人にとって、少しでも参考になれば嬉しいです。 目次 目次 目的と経緯 脆弱性情報をスムーズにエンジニアに届けたい 組織全体で継続的に脆弱性対応をしていく風土をつくりたい 脆弱性可視化基盤を支える技術 機能 脆弱性スキャン ダッシュボード 全体の構成図 脆弱性スキャンの仕組み EC2インスタンス GitHub Docker Image 工夫した点 オートスケールされたインスタ

今年GitHubがGraphQL APIを正式公開したあたりから、GraphQLが去年とかに比べちょっと流行り始めたように感じる。idobataがGraphQL APIを公開したり、Kibelaも公開APIをGraphQLで作ることを宣言している。 利用者側からすると使えるインターフェースの中から必要なものを調べて使うだけなのであまり考えることはないのだが、自分がAPIを提供する立場になると話は変わってくる。REST APIとGraphQL APIはどちらかがもう一方のスーパーセットという風にはなっておらず、どちらかを選択すると何かを捨てることになるので、要件に応じてどちらを選ぶのが総合的に幸せなのか考える必要がある。 以前趣味でGitHub連携のあるサービスを作っており、それを最近GraphQL API v4を使うように移行し、そこでついでにそのサービスのGraphQL APIを書いてみ

社内ミートアップでLTの時間をもらったので、ここに書いた内容を3分で喋ろうとしたんだけど、どうしても3分をちょっと超えてしまうので無理を言って4分もらって喋ってきた(運営のみなさんありがとうございます)。ぐったり。明日から普通のエンジニアに戻ります。 dev.to 実感を大切にしてみた こういうことに気をつけてLTしてみた： ブログの記事に書いてるコードを見せるんじゃなくて、実際のIDE内のソースコードを見せること そのときにIDEAのプレゼンテーションモードで見せること 実際にアプリを動かした状態でcurlで叩いて動いてるのを見せること Gatlingを実際にgradleで実行すること そこでBlockingAppのスレッドが増えるところをVisualVMで実際に見せること その方が聞いてて「へー。本当に動くんだ」とか「さわってみようかな」とか思ってもらえるかなーと思って。ってことで以下

AWS CDK が GA! さっそく TypeScript でサーバーレスアプリケーションを構築するぜ【 Cloud Development Kit 】 やってみた感想から。これが本当の Infrastructure as Code かなと思いました。アプリケーションの開発者がインフラの構築も一緒にやっていて、 インフラ用のテンプレートファイルと格闘している 場合、AWS CDKに移行すると恩恵を得られそうです。一方インフラ構築をメイン業務として、CloudFormation テンプレートに慣れている場合、現時点ではまだ移行コストが大きいと考えています。 AWS CDK (Cloud Development Kit) とは AWS リソースを 構成要素(construct) としてプログラムで書き、それらを組み合わせて実行するとデプロイできるというツールキットです。開発者視点では、AWSの

こんにちは。最近やよい軒の彩定食にハマってるじゅっぴーです。 自分の確認と最近Pythonで競技プログラミング始めたよーという人向けを兼ねたPython高速化記事です。 競技プログラミングはAtcoderを想定しています。 はじめに Pypyを使う！ みんな一度は通る道 Pypy一択なもの Pypyじゃだめなもの Python定数倍高速化のテクニック 最後に はじめに 今回の今の時点でのA問題の言語別提出コード数、 全体: 7000 C++: 3240 Python3: 2000 って感じで75%くらいがC++とPython3で提出されてる— saba (@saba_kpr) 2019年5月25日 最近PythonでAtcoderをはじめている人がどんどん増えています。 一方で『Pythonの高速化テクニック：C++で書き直す。』というネタがあるほど、Pythonは劇遅です。 競技プログラ

元ネタはさておき、過去見た色んな物をメモする プログラムの中のメモリーキュー プログラム上に用意したメモリー上のキュー 作るのは簡単だし使うのも簡単 メモリーの容量制限があるので大量に詰まると大変なことになる 監視が面倒なので気をつけて使おう サーバのインメモリーキュー Redisとかそういうの 容量的にもインメモリーなので辛かったりする とはいえ、意外と便利 絶対的に速度が必要で容量が大丈夫なときにはベスト キューサーバ上のキュー ActiveMQとかそっち系 2PCなキューとか作れるキューなのでDBとの同期とかもやる気になれば出来る（色々ハマるけど） 普通にキューを作るんなら多分一番楽だと思ってる クラウド上のキュー SQSとか 順序保証なにそれ？とか複数取得出来たりするので実装をだいぶ気をつけないとヤバそうなやつ それに合わせて実装を頑張ればなんとか出来る かなり大きいけどリクエスト