どうも、freee でエンジニアリングマネージャー をやっている sentokun です。 以前に私の所属しているチームで開発している権限管理基盤マイクロサービスの記事を書いたのですが、そういえば「権限制御ってなに？」という説明をしていないと思ったので、今回記事にしました。 権限制御とは？ freee の権限管理基盤が行なっている権限制御とは？を一文でまとめると以下となります。 アクセス制御ポリシーを元に、ユーザーの属性に合わせた適切なアクセス制御を行うこと というわけで、この記事は権限制御について説明しました。ありがとうございました！ … とはなりませんよね。ちゃんと一文の中の要素を分解してそれぞれ解説していきます。 ユーザーの属性 適切なアクセス制御 アクセス制御ポリシー ユーザー属性とは？ freee ユーザーが持っている、様々な属性のことです。例えば以下が挙げられます。 管理者やメ
データ基盤を支える技術
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
OpenShift.Runで登壇した資料です。
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
Google Cloudのサーバレスなサービスでデータ基盤を作った話.
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 『ストリートファイター』や『バイオハザード』、『モンスターハンター』など、世界中で愛されるゲームシリーズでその名を知られる株式会社カプコン（以下、カプコン）。その最新 AAA タイトル『ストリートファイター6』では、ユーザーのすそ野を広げる意欲的な取り組みを多数実施して注目を集めています。そこに Google Cloud のテクノロジーがどのように役立てられているのか、開発の中核メンバーにお話を伺いました。 利用しているサービス: Cloud Spanner, Memorystore for Redis, Google Kubernetes Engine, Anthos Service Mesh, Cloud Monitoring, Cloud Logging
freee 基盤チーム Advent Calendar 2023 13日目です。 はじめまして。SRE Platform Delivery チーム（以下 Delivery チーム）の tetora です！ 今年の3月に freee に join しました。 年末年始はずっと積ん読していた三体の完結編を満を持して読もうと思っています。今からワクワクが止まりません。 はじめに 現在、freee ではプロダクト開発に Amazon EC2 を標準の開発環境として採用しています。 どの IT 企業でも入社したエンジニアがまずはじめにやることは開発環境の構築かと思います。 そして多くの場合、開発環境の構築は入社したてのエンジニアにとって最初の難関だと思います。 freee には多くの開発者がいます。プロダクトの規模も大きく数も多いです。 開発環境の構築のしやすさや安定した運用はプロダクト開発において
データ基盤を作ってもデータ分析ができるようにはならないので、作るのと使うのは一緒に考えよう｜データ分析とインテリジェンス
データ基盤は令和の箱物行政にしないためにどうもデータ基盤を作ったりするのに比べると、データを使う話、特に意思決定のための分析について語られることが少ない。 もちろん単純に比較できるような話ではなく、データ基盤が不要だという話でもない。それにしても偏りすぎであり、この10数年（どころかずっと前から）かわらない。 その理由の1つには「データ基盤を作ってデータを集めておけば、あとはデータが活用できる」という考えがある気がしている。今回は、それは間違いであり、正しく使うためのスキルはデータ基盤を作ることでは養われることはないということを書いた。 データ基盤があっても正しくデータ分析ができるようにはならない「食材と調理器具があれば料理はできる」は間違いではない気がする。しかし「正しく料理ができるか」という点から考えると怪しい。 料理をするにしても、何も教えずに食材と道具を渡すだけだと何が起きるか。例
SRE 統制チームの oracle です。 この記事は freee 基盤チームアドベントカレンダー の12日目になります。 今回は AWS の 組織移行を行った話をさせて頂きます。 AWS の 組織移行というのはどういうこと？と思われる方もいらっしゃるかと思いますので、正しく説明しますと、 既存の複数の AWS アカウントを構成している AWS Organizations を解体し、新規に作成した AWS Organizations にすべてのアカウントを移動させました。 となります。 その動機とアプローチについてご紹介したいと思います。 背景 AWS 組織移行する前から、freee では 数十の AWS アカウントを運用していました。運用の仕方は組織によって様々ですが、一般的にはプロダクトで分けたり、環境で分けたりすることが多いかと思います。 freee でも同様の手法でアカウントを分け
今日は「異動戦国」制度を利用して「共通Admin 基盤開発チーム」に異動した話をしようか - freee Developers Hub
こんにちは。 この記事は freee 基盤チーム Advent Calendar 2023 12/09(9日目)の記事です。 昨日は imariku さんの TerraformのAWS ProviderでRoute Table Resourceを利用するときに気を付けたほうがよいこと - freee Developers Hub でした。tfstate の変化を確認することの大切さが書かれていますね。 今日は今年の7月に基盤側の開発組織である「共通Admin 基盤開発チーム」に異動した にいおか が書きます。 freee の「異動戦国」制度を利用した経緯やら思いやら、そういうのを書いていきます。やっていきましょう。 こういう話を書くよ freee の異動戦国とは どうして異動しようと思ったんよ 異動してから何していたの 異動してみての感想 異動戦国 is なに 異動戦国とは、1年に1回自分
OneLogin + Terraform によるアカウント管理・権限管理基盤の紹介 - freee Developers Hub
本記事はfreee基盤チームアドベントカレンダーの7日目です。 昨日のWaTTsonさんの記事は色んな意味で強烈な内容でしたね。未見の人は是非チェックを。 今日の記事は少し渋目な感じになります。 はじめに あらためましてこんにちは、SREの河村(at-k)です。今回のアドカレでは2回目の登板になります。 1回目の1日目の記事では、アドカレのテーマである "基盤" とはなんぞやということを、サービス構成図に照らし合わせて紹介しました。本記事では、freeeにおけるアカウント管理・権限管理についてお話させていただきます。 なお、2日目と5日目に sentokun から紹介された "freee 権限管理基盤を開発するチーム" はfreeeの各プロダクトから利用される基盤サービスを開発するチームで、今回も権限管理ではありますが別件です。今回はfreeersに払い出されるアカウント、例えばAWSのI
freee 権限管理基盤を開発するチームのこれまでを語ろう！ - freee Developers Hub
この記事はfreee 基盤チーム Advent Calendar 2023 の5日目の記事です。 こんにちは、freee の 権限管理基盤マイクロサービスを開発するチームでエンジニアリングマネージャーを務めている sentokun と申します。この記事は前後編となっています。前編はこちら。 今回は、権限管理基盤が現在の体制に至るまでの遷移を書いていきます。以下の立ち上げ期、探索期、構築期に関する話となります。 チームの歴史イメージ また、この記事では ユーザー = 基盤を利用する freee プロダクトとして記載しています。 チームの遷移 〜 幻の大地 この章では、現在に至るまでのチームの遷移について記載しています。 (前回に引き続きドラクエ繋がりで、無理があるサブタイトルとともに) 立ち上げ期 プロダクトの協力により実現できた 1st リリース 権限管理基盤マイクロサービスの開発は、20
この記事はfreee 基盤チーム Advent Calendar 2023 の2日目の記事です。 こんにちは、freee の 権限管理基盤マイクロサービスを開発するチームでエンジニアリングマネージャーを務めている sentokun と申します。今回はその権限管理基盤チームの体制について語っていこうと思います。チームビルディング的な話としてお役に立てれば幸いです。 長い記事となったので、5日目との前後編でお送りさせていただきます。後編はこちらで公開予定。 チーム体制はざっくり以下の図のように立ち上げ期、探索期、構築期を経て現在に至っており、この記事では現在について記載していきます。後編では現在に至るまでの話を記載します。 チームの歴史イメージ 権限管理基盤とは？の記事: developers.freee.co.jp また、この記事では ユーザー = 基盤を利用する freee プロダクトとし
SREの河村(at-k)です。 本記事は freee基盤チームアドベントカレンダー の1日目になります。 カレンダー企画にあたり 今年もこの季節がやってきました。年末に向けて冬が深まり、心なしか忙しなくなってくる中、毎日ブログが一本ずつ投稿されていくのを見て年の瀬の近づきを感じる、ある種の風物詩となっています。 そもそもアドベントカレンダーは12月1日からクリスマスまで続く長い前夜イベントで、日本では、少なくとも筆者には馴染みがないものでした。そんな元ネタから派生した形で、近年ではIT企業が中心となってテックブログを日次で投稿していくイベントとして広く認知されてきています。ことの経緯を知らなかったので調べてみたのですが、意外に歴史は古く、日本では2008年頃からPerl界隈で賑わっていて、海外ではそれ以前からそれなりに定着していた文化のようです。 freeeでも毎年アドベントカレンダーが企
freee の権限管理基盤マイクロサービスの今を語ろう！ - freee Developers Hub
はじめに こんにちは、freee の 権限管理基盤マイクロサービスを開発するチームでエンジニアリングマネージャーを務めている sentokun と申します。前職ではできることをできる限りやろうというスタンスで開発チームをリードし、アーキテクチャ設計やチームビルディングなどに取り組んでいました。その後 2022 年に freee へ入社し、freee で初めてエンジニアリングマネージャーの役割に。変わらずできることにできる限り取り組むスタンスでチームビルディングに従事しています。 この記事では、我々のチームが担当している権限管理基盤について語っていこうと思います！ 権限管理基盤の成り立ち freee では、「スモールビジネスを、世界の主役に。」をミッションに掲げ、統合型経営プラットフォームの開発・提供を進めています。最近では freee Togo Panorama を公開するなど、統合に向け
家庭向け電気代の値上げの実施を受けて、大手電力の収益が改善している。31日までに発表した東北電力や中国電力など電力大手8社の2024年3月期の連結最終損益は、計9405億円の黒字（前期は約4170億円の赤字）になる見通し。法人向けを含め電気代の値上げが8000億円規模で収益を押し上げる。円安が進んでいるほか冬以降に燃料価格が上昇に転じる可能性もある。ウクライナ侵攻後の燃料高で財務体質が大きく傷
【LayerX／プレイド／マネーフォワード】データマネジメントの勘所－マルチプロダクトSaaSを支えるデータ戦略の重要性－ https://techplay.jp/event/908124 動画 ＜あとでURL貼る＞
【$13,000→$5,000】AWS S3 コスト削減!! オブジェクト削減とS3 Standardから Glacier Instant Retrievalへの移行 - CARTA TECH BLOG
はじめに 新卒3年目のらぴおです。入社当初からエンジニアとして広告事業を営むZucksでアドネットワークの開発、運用に携わっています。 Zucksでは、2022年夏頃から円安の影響でサーバ費が上昇しコスト削減の温度感が高まっていました。 そこで、 僕が携わるアドネットワークにおいては、少ない作業量で大きい見直し効果が期待できそうなAWS S3のコスト最適化に取り組む ことになりました。 S3全体で月々のコストが $ 13,000 を超えており、特に広告配信関連のログデータが大部分を占めていました。 今回は、僕が実施したコスト削減調査と実施プロセス、その成果を共有します。 S3のコスト削減は、以下のアプローチで行います。 オブジェクト数を減らす 最適なストレージ階層に移行し保存する これらの取り組みにより、月々のストレージコストを $ 13,000 から $ 5,000 に削減 することがで
Linuxをクラスタ化して高可用性を実現。ソフトバンクの業務インフラに採用された高可用ソフトウェアの理由［PR］
Linuxをクラスタ化して高可用性を実現。ソフトバンクの業務インフラに採用された高可用ソフトウェアの理由［PR］ SoftBankやY!mobile、LINEMOなどの携帯電話サービスや、PayPayによる決済サービスなど、多くのサービスで知られるソフトバンク。 同社の業務システムを支えるITインフラを担う共通プラットフォーム開発本部 ITクラウド開発統括部は、データセンターで稼働する5000台規模の物理サーバと、それを基盤とする約2万台の仮想サーバを構築、運用、管理しています。 パブリッククラウドなどに依存せず、自社でITインフラを構築運用する理由について、共通プラットフォーム開発本部 ITクラウド開発統括部 ITクラウド基盤開発部 部長 前田高尚氏は次のように語ります。 「弊社にはITインフラの運用はもちろん開発のためのエンジニアもいるので、自分たちでITインフラを構築運用できる体制が
10月16日より受付を再開いたしました。 Microsoft認定資格 とは Microsoftが提供している技術者の皆様のための認定資格です。 日々の学習の成果を確認とともに、資格を取得することでITのプロフェッショナルであることを証明できます。 キャンペーン概要 Microsoftの認定資格を取得し、LinkedInへ取得したバッジを掲載していただいた方に、ピンバッジをプレゼントいたします。 すべての認定資格が対象となります。資格の詳細についてはこちらよりご確認ください。 資格試験の事前学習にはMicrosoft Learnもご活用ください。 参加方法 ①Microsoftの認定資格を取得する ②取得したバッジをLinkedInに掲載する ※掲載の方法についてはこちら をご確認ください。 ③ページ下部のバッジ応募フォームへ必要項目を入力 ※応募フォームはMICUGへ登録、ログイン後表示さ
新潟県は4月21日、サーバに保存していた公文書データ10万件が消失したと発表した。外部からの攻撃によるものではなく、システム保守業者の人為ミスが原因としている。 県は富士電機ITソリューション（東京都千代田区）が開発・保守を担う公文書管理システムを使用している。消失したのは同システムにおいて3月24日午後9時から31日午後11時59分までに登録した文書の添付ファイル10万3389件。「県民や関係事業者に直ちに大きな影響があるものではない」としている。 4月10日に、県の職員が添付ファイルを開けない状況になっていることに気付き、富士電機ITソリューションに調査を依頼した。ファイルが消失したのは9日夜ごろで、判明した段階でバックアップ期間（3日間）を過ぎていたためバックアップファイルが残っていないことが分かった。 原因は、添付ファイルの拡張子を小文字に変更する新機能を、運用テストや社内審査など
データセンター設立により「Googleのツールやサービスを利用する際のアクセスを高速化し、より高い安定性を実現する」（Google）という。環境にも配慮するとして、寒冷期には外気を使ったサーバを冷却する仕組みなども搭載した。 関連記事 Googleが日本に約1000億円投資、ネットワークインフラ増強へ 2024年に千葉でデータセンター開設 Googleが日本のネットワークインフラに約1000億円を投資すると発表した。今後、日本とカナダを結ぶ海底ケーブルを開設する他、千葉県印西市に同社初の国内データセンターを開設する。 GoogleのピチャイCEO、「日本にも旗艦店を出したい」 Googleのスンダー・ピチャイCEOは来日中、日本でもオリジナルハードウェアの旗艦店を開設したいと語った。Pixelシリーズなどを体験、購入できる旗艦店の1号店はニューヨークにある。 AWS、日本リージョンに約34
セッションキャッシュによる SPOF（単一障害点）問題の解消 - freee Developers Hub
こんにちは、サービス基盤の横塚です。 freee のサービス基盤は、各チームがアプリケーション開発に専念できる環境を作ることをミッションに掲げるチームです。開発者の生産性を高めるような共通コンポーネントを整備したり、freee 全体が堅牢なシステムとなるような取り組みを日々続けています。 今回のテーマは、「認証サーバーの単一障害点問題を克服する」です。 freee の認証基盤 freee の中心にはログインするためのID情報や認証情報の管理を一手に引き受ける gRPC サーバーがあります。 freee の全アプリケーションはこの認証サーバーにアクセスしないと始まらないので非常に重要なコンポーネントです。もし認証サーバーがダウンしていたら、外からやってきたリクエストがどのユーザーからのものなのかさっぱりわからなくなってしまいます。当然アプリケーションは動かなくなるでしょう。 freee は会
Microsoftは2019年以降、世界中で話題となっているチャットAI「ChatGPT」を開発したOpenAIに対して多額の投資を行っており、ChatGPTをリリースした直後の2023年1月には数十億ドル(数千億円)規模の出資を行い、長期的なパートナーシップを結んだことが発表されました。MicrosoftはOpenAIを支援するため、数億ドル(数百億円)以上を費やしてAI開発用のスーパーコンピューターを構築していたことも明らかになっています。 How Microsoft’s bet on Azure unlocked an AI revolution - Source https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/ Microsoft
はじめに こんにちは21卒のberryです。2021年6月にQA部に配属され、1年ほど基盤開発系のQAをした後、2022年7月からはfreee会計の開発チームでQAをやっています。 趣味は競技プログラミングです。 QA業務ではもちろん手動でのテストもやってきましたが、ユーザーがブラウザに対して行うであろう操作をシミュレートして基本的な機能がきちんと使えるかどうかをテストするE2Eテスト自動化との関わりが深い1年強でした。 freeeには社内向けにカスタマイズされたE2Eテスト基盤が存在するため、多少コードを書き慣れていなくてもE2Eテストシナリオを書くことができます。 E2Eテストの構成については、E2Eテスト基盤そのものを開発・保守しているSEQチームの方が書いている記事もがありますのでそちらも見てみてください。 freeeの自動テストの全体構成 - freee Developers H
freee の二要素認証（ワンタイムパスワード）を仕組みから解説 - freee Developers Hub
はじめに こんにちは、freee で認証認可基盤の開発をしている okarin です。 freee のプロダクトでは二要素認証を有効にすると、メールアドレスとパスワードを入力した後、ワンタイムパスワードを求められるようになります。この二要素認証を利用することで、より安全に freee をご利用いただけるようになっています。本記事では二要素認証の仕組みを解説していきたいと思います。 ワンタイムパスワード入力画面 そもそも二要素認証とは？ 「記憶情報」、「所持情報」、「生体情報」のうち、2つを組み合わせる認証方式を二要素認証と呼んでいます。これらの2つ以上を組み合わせた認証方式を多要素認証と呼ぶこともあります。 freee では、「記憶情報」であるパスワードと、「所持情報」であるワンタイムパスワード（OTP）を利用して二要素認証を実現しています。 OTP の仕組み では、どうやって OTP を
Handbook Introduction このドキュメントは、Hakky Handbook のイントロです。 目的 Hakky Handbook は、Hakky の会社・事業・カルチャー・技術に関する情報を体系化し、外部・内部に発信することを目的として情報の蓄積や発信を行なっています。 Hakky について知りたい外部の関係者の方や、技術的なナレッジを知りたい方、社内のメンバーにとっても有益な情報を公開していくことを目的としています。 コンテンツ コンテンツは以下のカテゴリーに分かれています。 Docs となっているところが、各事業についてや会社で扱う技術や情報などを体系的に取りまとめたものになります。各事業のサービスを受ける方や、これから Hakky に参画したい、また興味を持っていただいてる方は、気になるものを読んでいただけると参考になるかなと思います。 Docs データ活用支援
データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball
ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 （データ基盤に限らず）クラウド料金の基本的な考え方 をGoogle
こんにちは、DevBrandingのellyです。9月2日に配信した「これってもしかして……認証基盤が入れ替わってる〜？」の様子をご紹介します。 今年に入ってfreeeの認証基盤が新しい基盤に入れ替わりました。リリースされるまでの1454日間の取り組み、今後の開発にどう活かされていくのかを担当したエンジニアに根掘り葉掘り聞いてみました。 登壇者集合写真 mura：写真左。2020年freeeに中途入社。エンジニアリングマネージャー。趣味はプチ旅行、サウナ。 cat：写真中央。2020年新卒入社。猫が大好き。好きなものはゲームと作曲。 terara：写真右。本日の司会。普段は認証認可基盤エンジニア。好きなものはホラー映画と人参。 認証認可基盤リプレイスの背景 ―リプレイス前の認証認可基盤はどういう状態だったのでしょうか？ mura:はい、最初にfreeeの歴史を紐解いていきたいと思います。
[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO
さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ：当イベントの応募者数 このイベントですが、なんと
![[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f9486832be1a42a11ac2d244e8c51de11a34ab7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2F2022-11-08_19h35_04.jpg)
[GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化する - Qiita
[GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化するBigQueryLogAnalyticsGoogleCloudLookerStudio 先々月～先月（2022年9, 10月）頃、Cloud LoggingシリーズにLog Analyticsの公開プレビュー版が利用可能になったので、使ってみつつ、Looker Studio（旧Google Data Portal）でBigQueryのクエリコストをユーザー別に見える化するところまで実施してみたので、覚書きを残しておきます。 ※本記事は、2022年11月1日に執筆しました。 用語解説 Log AnalyticsとLooker Studioについて、簡単に解説しておきます。 Log Analytics Cloud Loggingシリーズの機能セットのひとつで、BigQuer
![[GCP]Log AnalyticsとLooker StudioでBigQueryのクエリコストをユーザー別に見える化する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/26429e0f4e6506e9a138dfca3fb1b625e59fa545/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCR0NQJTVETG9nJTIwQW5hbHl0aWNzJUUzJTgxJUE4TG9va2VyJTIwU3R1ZGlvJUUzJTgxJUE3QmlnUXVlcnklRTMlODElQUUlRTMlODIlQUYlRTMlODIlQTglRTMlODMlQUElRTMlODIlQjMlRTMlODIlQjklRTMlODMlODglRTMlODIlOTIlRTMlODMlQTYlRTMlODMlQkMlRTMlODIlQjYlRTMlODMlQkMlRTUlODglQTUlRTMlODElQUIlRTglQTYlOEIlRTMlODElODglRTMlODIlOEIlRTUlOEMlOTYlRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTA3YzhmMWM0ODdkOTI5MGRhMzcyYWEyMGYzZmZiZGY3%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwQ19IRVJPJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzImdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01M2I4YzAxNWZhODNkYjA1ZjA0NTA1ZjYyM2MyMGZlNQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D8ed796666e6a007091ac599b347f8e23)
freeeの礎となる認証認可基盤のマイクロサービス化プロジェクトの経緯と振り返り - freee Developers Hub
こんにちは、認証認可基盤・課金基盤のエンジニアリングマネージャーを務めている muraと申します。直近2年間は、今回お話しするfreeeの認証認可基盤のマイクロサービス化のプロジェクトにバックエンドエンジニア、エンジニアリングマネージャーとして携わってました。最近はfreeeが利用する課金基盤のエンジニアリングマネージャーも兼務するようになり、本格的にマネージャーの道を歩み始めたところになります。 本日は、私が2年間携わってきた「認証認可基盤のマイクロサービス化」のプロジェクトについてお話しします。このプロジェクトは私が入社するより前の2019年から進められてきたプロジェクトで、2022年6月末に移行に一区切りがついたものになります。プロジェクトの始まった経緯や実際の移行作業に加えて、4年間という長期間のプロジェクトへの振り返りについてお話させて頂ければと思います。 freeeの認証認可基
My business card runs Linux (and Ultrix), yours can too UPDATES:: See "Version 2" Table of Contents Why?Parts selectionWhat to emulateA MIPS primerWhat system?Let's emulate!The CPUThe FPUThe MMUMMU basicsThe MIPS MMUEmulating the MMU efficientlyCommunicationHypercallsBring on the hardware!The honeymoon periodHow not to design a DMA unitClocks againSD card supportCoolness enhancementHow it worksHow
1．日時 令和4年2月16日（水曜日）10時00分～12時00分 2．場所 オンライン会議 3．議題 議事運営等について オープンサイエンス時代における大学図書館の在り方について その他 4．出席者 委員 竹内主査、尾上主査代理、石田委員、大藪委員、加藤委員、北本委員、坂井委員、佐藤委員、引原委員、深澤委員、堀田委員、村井委員 川口参事官（情報担当）、三宅学術基盤整備室長、土井参事官補佐、竹房学術調査官、池内学術調査官 オブザーバー 高品 国立国会図書館利用者サービス部科学技術・経済課長 5．議事録 ○主査代理に科学技術・学術審議会情報委員会運営規則第2条第8項に基づき、竹内主査が尾上委員を指名した。 ○事務局からオープンサイエンス時代における大学図書館の在り方検討部会運営規則（案）及び公開手続（案）について説明があり、了承された。 （傍聴者入室） 【竹内主査】 では、ただいまより第1回
■ 学術論文のバージョン 学術研究の過程で、さまざまなバージョンの学術論文が生まれ、さまざまな場所で公開されていますが、これら複数のバージョンを示す標準用語や、バージョンを区別するための基準は長らく存在しませんでした。この問題に対処するために、米国情報標準化機構（NISO）と学会・専門協会出版協会（ALPSP）は合同でジャーナル論文バージョン作業部会を立ち上げ、2008年4月に、ジャーナル論文バージョンの分類と定義に関する勧告レポートを公表しました。 この勧告は、論文の執筆、編集、流通、出版、検索、利用などにおける一連の電子化に伴い、論文が複数のバージョンを持つことや、それらバージョン情報の詳細や関連性が不明瞭であることなどを指摘したうえで、以下のとおり、7つのバージョンを設定し、それぞれを定義しています。 AO=Author's Original：著者のオリジナル原稿。 SMUR=Sub
YOASOBI @YOASOBI_staff We are YOASOBI from JAPAN!Composer:Ayase→@Ayase_0404 Vocal:ikura→@ikutalilas Songs: youtube.com/playlist?list=… yoasobi-music.jp リンク YouTube Ayase / YOASOBI ボカロP・Ayase、そしてAyaseがコンポーザーを務めるユニット・YOASOBIのYouTubeチャンネルです。 1 user 443 YOASOBI @YOASOBI_staff 「ミスター」ジャケットデザインを手掛けてくださったのはきくちともこさん(@KIKU_1990 )💐 機械仕掛けのハートの意味は、島本理生さんの原作小説「私だけの所有者」を読んだ方ならバッチリですよね🤖 今朝の1曲目もぜひ「ミスター」から！ orcd.
2021年秋には、対応SaaS数が100を超えた。さらに、複数のSaaSにメタップスクラウドを通じてログインできるシングルサインオン機能も提供することで、企業のセキュリティニーズにも応える。 こうしたSaaSのスペシャリストでもある同社は、どんなSaaSを使っているのだろうか？ 関連記事 急成長スタートアップはどのSaaSを使っている？：LegalForce編 昨今、バックオフィスにおけるSaaSの導入が盛んだ。急成長スタートアップは、どんなバックオフィスSaaSを導入し、どう活用しているのか。第1回は、自身も法務向けSaaSを提供するLegalForceに聞いた。 急成長スタートアップはどんなSaaSを使ってる？：アンドパッド編 急成長スタートアップは、どんなバックオフィスSaaSを導入し、どう活用しているのか。第1回のLegalForceに続き、第2回は建設業界のDXを推進するアンドパ
Grafana Lokiで構築する大規模ログモニタリング基盤 / Grafana Loki Deep Dive
CloudNative Days Tokyo 2021での登壇資料です https://event.cloudnativedays.jp/cndt2021/talks/1252
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
権限制御とは？ を freee の権限管理基盤で説明 - freee Developers Hub
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
「共通基盤」を超えよ！ 今、Platform Engineeringに取り組むべき理由
次世代データ基盤：データレイクハウスを Google Cloud で実現する
freee の EC2 開発環境基盤について - freee Developers Hub
AWS の組織移行をしました - freee Developers Hub
freee 権限管理基盤を開発するチームの今を語ろう！ - freee Developers Hub
freee 基盤チームアドベントカレンダーの歩き方 - freee Developers Hub
電力8社、全社が大幅黒字に 値上げで8000億円押し上げ - 日本経済新聞
バクラクのデータドリブンな事業運営・爆速開発を支えるデータ分析基盤のこれまで・現在・これから
【受付再開】Microsoft認定資格 バッジプレゼントキャンペーン
新潟県の公文書データ10万件が消失 保守業者がテストなしで新機能追加し不具合に
Google初、日本にデータセンター開設 千葉県印西市に
数百億円超を費やしてMicrosoftがChatGPTの開発元であるOpenAIのためにAI開発用のスパコンを構築
E2Eテストとの1年 ~もらったコードレビュー~ - freee Developers Hub
Handbook Introduction | Hakky Handbook
これってもしかして……認証基盤が入れ替わってる〜？ - freee Developers Hub
LinuxCard - Dmitry.GR
オープンサイエンス時代における大学図書館の在り方検討部会（第1回）議事録：文部科学省
VoRからRoVへ｜オープンサイエンスの動向｜国立情報学研究所 オープンサイエンス基盤研究センター
YOASOBIの新曲、喜ぶファンと嫌がる基板好きとジャケットの基板の元ネタを特定する人
マザーズ上場企業はどのSaaSを使っている？：メタップス編