並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 53件

新着順 人気順

基盤の検索結果1 - 40 件 / 53件

基盤に関するエントリは53件あります。 データaws分析 などが関連タグです。 人気エントリには 『AWS Lambdaの裏側をなるだけ詳しく解説してみる - Sweet Escape』などがあります。
  • AWS Lambdaの裏側をなるだけ詳しく解説してみる - Sweet Escape

    AWS Lambdaの環境がどのようになっているか、ユーザが用意したLambdaファンクションがどんな感じで実行されるかってあたりを可能な限り詳しく説明したいと思います。 はじめに 大前提 コールドスタート/ウォームスタート コントロールプレーン/データプレーン アイソレーション AWS Lambdaのコンポーネント群 同期実行かつ初回呼び出し(コールドスタート)、もしくはスケーリング 同期実行かつ再利用(ウォームスタート) 非同期実行 スケールアップ エラーハンドリング リトライ その他 ネットワーク まとめ はじめに この投稿は2020年9月29日の21時から開催予定のイベント(ライブストリーミング)で話す内容です。 serverless-newworld.connpass.com もし間に合えば、かつ時間があればぜひライブ配信のほうにも参加ください。 (2020.09.30 upda

      AWS Lambdaの裏側をなるだけ詳しく解説してみる - Sweet Escape
    • 秒間100万リクエストをさばく - Googleの共通認可基盤 Zanzibar - 発明のための再発明

      はじめに Googleの提供するサービス郡が共通して利用している認可システムにはZanzibarという名前がついています。ZanzibarはGoogleDrive・Google Map・Youtubeなどの巨大なサービスにも使用されています。 そのため、利用量も凄まじく 数10億のユーザー 数兆のACL(access control list) 秒間100万リクエスト もの量をさばいています。 にも関わらず、Zanzibarはこれを10ミリ秒以内に返します(95パーセンタイル)。 この記事では、そんなZanzibarの内部構造に関する論文「Zanzibar: Google’s Consistent, Global Authorization System」の中から、主に大量のリクエストをさばくための工夫を紹介します。 ちなみに、以前Googleの社内システム用の認可システム「Beyond

        秒間100万リクエストをさばく - Googleの共通認可基盤 Zanzibar - 発明のための再発明
      • データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました. - Lean Baseball

        ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow(もしくはWhere)の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, (仕事以外の営みにおける)個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 (データ基盤に限らず)クラウド料金の基本的な考え方 をGoogle

          データ基盤にありがちな「何を使って作ればよいか?」という問いに対する処方箋を用意してみました. - Lean Baseball
        • Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その1- - inductor's blog

          このエントリーについて このエントリーを書き始めた経緯は下記にあります。 inductor.hatenablog.com 上記の理由の通り、目的は論文を翻訳することだけではなく、最終的にこれを踏まえて自分の見解をつらつらと書いていくところにもあります。 おそらく一番時間がかかるのはそれなので、一旦は翻訳を一通り終えた上で更に頑張っていきます。ゆっくりお待ちいただければと思います>< 1. Introduction(まえがき) Borgが内部的に呼び出すクラスター管理システムは、Googleが実行するすべてのアプリケーションを許可、スケジュール、起動、再起動、および監視します。この論文ではその方法を説明します。 Borgには3つの主な利点があります。 リソース管理と障害処理の詳細を隠すため、ユーザーは代わりにアプリケーション開発に集中できます。 非常に高い信頼性と可用性で動作し、同じことを行

            Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その1- - inductor's blog
          • 新潟県の公文書データ10万件が消失 保守業者がテストなしで新機能追加し不具合に

            新潟県は4月21日、サーバに保存していた公文書データ10万件が消失したと発表した。外部からの攻撃によるものではなく、システム保守業者の人為ミスが原因としている。 県は富士電機ITソリューション(東京都千代田区)が開発・保守を担う公文書管理システムを使用している。消失したのは同システムにおいて3月24日午後9時から31日午後11時59分までに登録した文書の添付ファイル10万3389件。「県民や関係事業者に直ちに大きな影響があるものではない」としている。 4月10日に、県の職員が添付ファイルを開けない状況になっていることに気付き、富士電機ITソリューションに調査を依頼した。ファイルが消失したのは9日夜ごろで、判明した段階でバックアップ期間(3日間)を過ぎていたためバックアップファイルが残っていないことが分かった。 原因は、添付ファイルの拡張子を小文字に変更する新機能を、運用テストや社内審査など

              新潟県の公文書データ10万件が消失 保守業者がテストなしで新機能追加し不具合に
            • エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ

              こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基

                エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
              • データ分析基盤まとめ(随時更新)

                はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名(サービス名) データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス(カイポケ) データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf

                  データ分析基盤まとめ(随時更新)
                • 「テレビ本体の主電源を切ると節電になる」という30年前の情報をやっていたら、電源基盤が壊れ膨大な修理費がかかる結果に

                  咲来さん@おめでとう2022 @sakkurusan 「テレビ本体の主電源を切るとすごい節電になる」という30年前の情報を未だに鵜呑みにして、いまのリモコン操作大前提のテレビで主電源で毎度電源オンオフしてた結果、電源基盤がすぐぶっ壊れて莫大な修理費がかかった人をアタシは何人も知っている 2020-12-18 19:11:47

                    「テレビ本体の主電源を切ると節電になる」という30年前の情報をやっていたら、電源基盤が壊れ膨大な修理費がかかる結果に
                  • YOASOBIの新曲、喜ぶファンと嫌がる基板好きとジャケットの基板の元ネタを特定する人

                    YOASOBI @YOASOBI_staff We are YOASOBI from JAPAN!Composer:Ayase→@Ayase_0404 Vocal:ikura→@ikutalilas Songs: youtube.com/playlist?list=… yoasobi-music.jp リンク YouTube Ayase / YOASOBI ボカロP・Ayase、そしてAyaseがコンポーザーを務めるユニット・YOASOBIのYouTubeチャンネルです。 1 user 443 YOASOBI @YOASOBI_staff 「ミスター」ジャケットデザインを手掛けてくださったのはきくちともこさん(@KIKU_1990 )💐 機械仕掛けのハートの意味は、島本理生さんの原作小説「私だけの所有者」を読んだ方ならバッチリですよね🤖 今朝の1曲目もぜひ「ミスター」から! orcd.

                      YOASOBIの新曲、喜ぶファンと嫌がる基板好きとジャケットの基板の元ネタを特定する人
                    • SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog

                      こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか 承認済みビューの設定が意図せず消えていないか 今後の展望 背景 データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下のようなものがあります。 他チームがdailyで転送しているデータがバッチの失敗により遅れている TerraformなどのIaCで承認済みビューの権限管理を行なっているが、コードの設定ミスで意図せぬ状態

                        SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog
                      • 事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2

                        Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」https://forkwell.connpass.com/event/182769/ 作成者 :しんゆう@データ分析とインテリジェンス Twitter:https://twitter.com/data_analyst_

                          事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2
                        • [レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO

                          さがらです。 11月8日20時~22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました! たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ:当イベントの応募者数 このイベントですが、なんと

                            [レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO
                          • 電力8社、全社が大幅黒字に 値上げで8000億円押し上げ - 日本経済新聞

                            家庭向け電気代の値上げの実施を受けて、大手電力の収益が改善している。31日までに発表した東北電力や中国電力など電力大手8社の2024年3月期の連結最終損益は、計9405億円の黒字(前期は約4170億円の赤字)になる見通し。法人向けを含め電気代の値上げが8000億円規模で収益を押し上げる。円安が進んでいるほか冬以降に燃料価格が上昇に転じる可能性もある。ウクライナ侵攻後の燃料高で財務体質が大きく傷

                              電力8社、全社が大幅黒字に 値上げで8000億円押し上げ - 日本経済新聞
                            • 「共通基盤」を超えよ! 今、Platform Engineeringに取り組むべき理由

                              OpenShift.Runで登壇した資料です。

                                「共通基盤」を超えよ! 今、Platform Engineeringに取り組むべき理由
                              • 貴重な基板は「御神体」 進まぬアーケードゲームのアーカイブ化、問題点は?(鴫原盛之) - エキスパート - Yahoo!ニュース

                                拙稿では、これまでにゲームの歴史や文化、資料を残すため、各方面で実施されているアーカイビング(保存活動)の状況、今後の課題などを何度かご紹介してきた。 今回はちょっと視点を変えて、家庭用ゲーム機やPC用ソフトではなくアーケード、つまりゲームセンター用のゲーム基板、および筐体(※「きょうたい」と読む。ゲーム機のガワの部分のこと)の流通と、アーカイビングの現状についてお伝えする。 ゲーム基板とは、簡単に言うとソフト・ハードが一体化したコンピューター機器のこと。ゲームメーカーが新製品として開発した基板は、ます最初にオペレーター(ゲームセンターの経営会社)や、ディストリビューターと呼ばれる流通業者に販売される。 アーケードゲーム基板の一例。古い時代の基板は写真のようにパッケージがなく、むき出しになっているものが多い(※筆者撮影。以下同)販売された基板や筐体は、やがて設置店での人気や売上が低下すると

                                  貴重な基板は「御神体」 進まぬアーケードゲームのアーカイブ化、問題点は?(鴫原盛之) - エキスパート - Yahoo!ニュース
                                • 次世代データ基盤:データレイクハウスを Google Cloud で実現する

                                  はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております! 今回は、次世代データ基盤であるデ

                                    次世代データ基盤:データレイクハウスを Google Cloud で実現する
                                  • カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ

                                    カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 『ストリートファイター』や『バイオハザード』、『モンスターハンター』など、世界中で愛されるゲームシリーズでその名を知られる株式会社カプコン(以下、カプコン)。その最新 AAA タイトル『ストリートファイター6』では、ユーザーのすそ野を広げる意欲的な取り組みを多数実施して注目を集めています。そこに Google Cloud のテクノロジーがどのように役立てられているのか、開発の中核メンバーにお話を伺いました。 利用しているサービス: Cloud Spanner, Memorystore for Redis, Google Kubernetes Engine, Anthos Service Mesh, Cloud Monitoring, Cloud Logging

                                      カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ
                                    • Grafana Lokiで構築する大規模ログモニタリング基盤 / Grafana Loki Deep Dive

                                      CloudNative Days Tokyo 2021での登壇資料です https://event.cloudnativedays.jp/cndt2021/talks/1252

                                        Grafana Lokiで構築する大規模ログモニタリング基盤 / Grafana Loki Deep Dive
                                      • Google初、日本にデータセンター開設 千葉県印西市に

                                        データセンター設立により「Googleのツールやサービスを利用する際のアクセスを高速化し、より高い安定性を実現する」(Google)という。環境にも配慮するとして、寒冷期には外気を使ったサーバを冷却する仕組みなども搭載した。 関連記事 Googleが日本に約1000億円投資、ネットワークインフラ増強へ 2024年に千葉でデータセンター開設 Googleが日本のネットワークインフラに約1000億円を投資すると発表した。今後、日本とカナダを結ぶ海底ケーブルを開設する他、千葉県印西市に同社初の国内データセンターを開設する。 GoogleのピチャイCEO、「日本にも旗艦店を出したい」 Googleのスンダー・ピチャイCEOは来日中、日本でもオリジナルハードウェアの旗艦店を開設したいと語った。Pixelシリーズなどを体験、購入できる旗艦店の1号店はニューヨークにある。 AWS、日本リージョンに約34

                                          Google初、日本にデータセンター開設 千葉県印西市に
                                        • Athena+Embulk+BigQueryによるアプリケーションログの分析環境構築

                                          はじめにこんにちは、Finatextで証券プラットフォーム(Brokerage as a Service、以下BaaS)の開発に携わっている石橋(@bashi0501)です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善(後述します)に活かしていきたいという意図があるため、マ

                                            Athena+Embulk+BigQueryによるアプリケーションログの分析環境構築
                                          • 連載を終えて ~DMM動画配信サービスを支える配信基盤のこれまでとこれから~

                                            |DMM inside

                                              連載を終えて ~DMM動画配信サービスを支える配信基盤のこれまでとこれから~
                                            • freee の権限管理基盤マイクロサービスの今を語ろう! - freee Developers Hub

                                              はじめに こんにちは、freee の 権限管理基盤マイクロサービスを開発するチームでエンジニアリングマネージャーを務めている sentokun と申します。前職ではできることをできる限りやろうというスタンスで開発チームをリードし、アーキテクチャ設計やチームビルディングなどに取り組んでいました。その後 2022 年に freee へ入社し、freee で初めてエンジニアリングマネージャーの役割に。変わらずできることにできる限り取り組むスタンスでチームビルディングに従事しています。 この記事では、我々のチームが担当している権限管理基盤について語っていこうと思います! 権限管理基盤の成り立ち freee では、「スモールビジネスを、世界の主役に。」をミッションに掲げ、統合型経営プラットフォームの開発・提供を進めています。最近では freee Togo Panorama を公開するなど、統合に向け

                                                freee の権限管理基盤マイクロサービスの今を語ろう! - freee Developers Hub
                                              • 【$13,000→$5,000】AWS S3 コスト削減!! オブジェクト削減とS3 Standardから Glacier Instant Retrievalへの移行 - CARTA TECH BLOG

                                                はじめに 新卒3年目のらぴおです。入社当初からエンジニアとして広告事業を営むZucksでアドネットワークの開発、運用に携わっています。 Zucksでは、2022年夏頃から円安の影響でサーバ費が上昇しコスト削減の温度感が高まっていました。 そこで、 僕が携わるアドネットワークにおいては、少ない作業量で大きい見直し効果が期待できそうなAWS S3のコスト最適化に取り組む ことになりました。 S3全体で月々のコストが $ 13,000 を超えており、特に広告配信関連のログデータが大部分を占めていました。 今回は、僕が実施したコスト削減調査と実施プロセス、その成果を共有します。 S3のコスト削減は、以下のアプローチで行います。 オブジェクト数を減らす 最適なストレージ階層に移行し保存する これらの取り組みにより、月々のストレージコストを $ 13,000 から $ 5,000 に削減 することがで

                                                  【$13,000→$5,000】AWS S3 コスト削減!! オブジェクト削減とS3 Standardから Glacier Instant Retrievalへの移行 - CARTA TECH BLOG
                                                • ナビタイムジャパンに集まる移動ビッグデータの分析基盤

                                                  2019/04/25に開催された『データ分析基盤Developers Night〜3社3様分析基盤の変遷〜』の講演資料です。

                                                    ナビタイムジャパンに集まる移動ビッグデータの分析基盤
                                                  • freeeの礎となる認証認可基盤のマイクロサービス化プロジェクトの経緯と振り返り - freee Developers Hub

                                                    こんにちは、認証認可基盤・課金基盤のエンジニアリングマネージャーを務めている muraと申します。直近2年間は、今回お話しするfreeeの認証認可基盤のマイクロサービス化のプロジェクトにバックエンドエンジニア、エンジニアリングマネージャーとして携わってました。最近はfreeeが利用する課金基盤のエンジニアリングマネージャーも兼務するようになり、本格的にマネージャーの道を歩み始めたところになります。 本日は、私が2年間携わってきた「認証認可基盤のマイクロサービス化」のプロジェクトについてお話しします。このプロジェクトは私が入社するより前の2019年から進められてきたプロジェクトで、2022年6月末に移行に一区切りがついたものになります。プロジェクトの始まった経緯や実際の移行作業に加えて、4年間という長期間のプロジェクトへの振り返りについてお話させて頂ければと思います。 freeeの認証認可基

                                                      freeeの礎となる認証認可基盤のマイクロサービス化プロジェクトの経緯と振り返り - freee Developers Hub
                                                    • 数百億円超を費やしてMicrosoftがChatGPTの開発元であるOpenAIのためにAI開発用のスパコンを構築

                                                      Microsoftは2019年以降、世界中で話題となっているチャットAI「ChatGPT」を開発したOpenAIに対して多額の投資を行っており、ChatGPTをリリースした直後の2023年1月には数十億ドル(数千億円)規模の出資を行い、長期的なパートナーシップを結んだことが発表されました。MicrosoftはOpenAIを支援するため、数億ドル(数百億円)以上を費やしてAI開発用のスーパーコンピューターを構築していたことも明らかになっています。 How Microsoft’s bet on Azure unlocked an AI revolution  - Source https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/ Microsoft

                                                        数百億円超を費やしてMicrosoftがChatGPTの開発元であるOpenAIのためにAI開発用のスパコンを構築
                                                      • セガサターンのプラモを本物のゲーム機にしてくれそうな基板「Mini SS Main Board for CM4 Lite」の予約受付がスタート

                                                        セガサターンのプラモを本物のゲーム機にしてくれそうな基板「Mini SS Main Board for CM4 Lite」の予約受付がスタート 編集部:松本隆一 レトロなコンシューマ機の改造パーツなどを販売する台湾のショップRetro Game Restoreが,セガサターンが作れそうな基板「Mini SS Main Board for CM4 Lite」の予約受付を開始した。価格は41.69ドルで,2021年9月末の出荷が予定されている。 Retro Game Restore:Mini SS Main Board for CM4 Lite ‐ PreOrder 特徴は,BANDAI SPIRITSが2020年3月に発売したプラモデル,「BEST HIT CHRONICLE 2/5 セガサターン(HST-3200)」(関連記事)にセットできるように設計されている点だ。つまり,実物の5分の2

                                                          セガサターンのプラモを本物のゲーム機にしてくれそうな基板「Mini SS Main Board for CM4 Lite」の予約受付がスタート
                                                        • AWS の組織移行をしました - freee Developers Hub

                                                          SRE 統制チームの oracle です。 この記事は freee 基盤チームアドベントカレンダー の12日目になります。 今回は AWS の 組織移行を行った話をさせて頂きます。 AWS の 組織移行というのはどういうこと?と思われる方もいらっしゃるかと思いますので、正しく説明しますと、 既存の複数の AWS アカウントを構成している AWS Organizations を解体し、新規に作成した AWS Organizations にすべてのアカウントを移動させました。 となります。 その動機とアプローチについてご紹介したいと思います。 背景 AWS 組織移行する前から、freee では 数十の AWS アカウントを運用していました。運用の仕方は組織によって様々ですが、一般的にはプロダクトで分けたり、環境で分けたりすることが多いかと思います。 freee でも同様の手法でアカウントを分け

                                                            AWS の組織移行をしました - freee Developers Hub
                                                          • Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform

                                                            Google Cloudのサーバレスなサービスでデータ基盤を作った話.

                                                              Cloud RunとCloud PubSubでサーバレスなデータ基盤2024 with Terraform / Cloud Run and PubSub with Terraform
                                                            • 『Software Design 2020年7月号』特集「一から学ぶログ分析」に寄稿しました - 下町柚子黄昏記 by @yuzutas0

                                                              『Software Design 2020年7月号』の第1特集「一から学ぶログ分析 - 事業を成長させる分析基盤を作るには」 第2章「ログ分析基盤の構築で考えるべきこと - 多様なログを安心して使えるようにするために」を寄稿しました。 本日発売の『Software Design (ソフトウェアデザイン) 2020年7月号』【第1特集】「一から学ぶログ分析 - 事業を成長させる分析基盤を作るには」に寄稿しました。初学者向けにまとまった内容ですので、ぜひ手に取っていただけると幸いです。https://t.co/IXp40MoPJc pic.twitter.com/XydqlWDjth— ゆずたそ (@yuzutas0) 2020年6月17日 執筆内容 初学者向けに、以下の内容を10ページでまとめました。 なぜログ分析基盤を作るのか 「使われるログ分析基盤」には何が必要か 分析者が手軽にログを参

                                                                『Software Design 2020年7月号』特集「一から学ぶログ分析」に寄稿しました - 下町柚子黄昏記 by @yuzutas0
                                                              • データ基盤構築をする際におさえておくべき7つのポイント - Qiita

                                                                今年の10月からグロービスのデータサイエンスチームに配属され、2ヶ月間データ基盤構築をしてきました。実際やってきたことを踏まえて、データ基盤の構築時に気をつけるべきポイント7つを紹介していきたいと思います。 最強だと思う分析用データベースを選ぶ ワークフローエンジンでジョブを管理する ステークホルダーとの調整を優先度高くする 権限(IAM)の運用ルールを決める 監視設定を忘れずに メタデータ管理ツールを用意する SQL中心アーキテクチャを意識する 1. 最強だと思う分析用データベースを選ぶ ここが一番大事です。自分が最強だと思う分析用のデータベースを選んでください。ちなみに、私はBigQuery信者なので、BigQueryを強くおすすめしますが、いろんなデータベースがあるので今の環境に一番あった分析用データベースを選んでください。 分析用データベースの全体像を掴むには渡部徹太郎さんの資料「

                                                                  データ基盤構築をする際におさえておくべき7つのポイント - Qiita
                                                                • マザーズ上場企業はどのSaaSを使っている?:メタップス編

                                                                  2021年秋には、対応SaaS数が100を超えた。さらに、複数のSaaSにメタップスクラウドを通じてログインできるシングルサインオン機能も提供することで、企業のセキュリティニーズにも応える。 こうしたSaaSのスペシャリストでもある同社は、どんなSaaSを使っているのだろうか? 関連記事 急成長スタートアップはどのSaaSを使っている?:LegalForce編 昨今、バックオフィスにおけるSaaSの導入が盛んだ。急成長スタートアップは、どんなバックオフィスSaaSを導入し、どう活用しているのか。第1回は、自身も法務向けSaaSを提供するLegalForceに聞いた。 急成長スタートアップはどんなSaaSを使ってる?:アンドパッド編 急成長スタートアップは、どんなバックオフィスSaaSを導入し、どう活用しているのか。第1回のLegalForceに続き、第2回は建設業界のDXを推進するアンドパ

                                                                    マザーズ上場企業はどのSaaSを使っている?:メタップス編
                                                                  • データ基盤を作ってもデータ分析ができるようにはならないので、作るのと使うのは一緒に考えよう|データ分析とインテリジェンス

                                                                    データ基盤は令和の箱物行政にしないためにどうもデータ基盤を作ったりするのに比べると、データを使う話、特に意思決定のための分析について語られることが少ない。 もちろん単純に比較できるような話ではなく、データ基盤が不要だという話でもない。それにしても偏りすぎであり、この10数年(どころかずっと前から)かわらない。 その理由の1つには「データ基盤を作ってデータを集めておけば、あとはデータが活用できる」という考えがある気がしている。今回は、それは間違いであり、正しく使うためのスキルはデータ基盤を作ることでは養われることはないということを書いた。 データ基盤があっても正しくデータ分析ができるようにはならない「食材と調理器具があれば料理はできる」は間違いではない気がする。しかし「正しく料理ができるか」という点から考えると怪しい。 料理をするにしても、何も教えずに食材と道具を渡すだけだと何が起きるか。例

                                                                      データ基盤を作ってもデータ分析ができるようにはならないので、作るのと使うのは一緒に考えよう|データ分析とインテリジェンス
                                                                    • セッションキャッシュによる SPOF(単一障害点)問題の解消 - freee Developers Hub

                                                                      こんにちは、サービス基盤の横塚です。 freee のサービス基盤は、各チームがアプリケーション開発に専念できる環境を作ることをミッションに掲げるチームです。開発者の生産性を高めるような共通コンポーネントを整備したり、freee 全体が堅牢なシステムとなるような取り組みを日々続けています。 今回のテーマは、「認証サーバーの単一障害点問題を克服する」です。 freee の認証基盤 freee の中心にはログインするためのID情報や認証情報の管理を一手に引き受ける gRPC サーバーがあります。 freee の全アプリケーションはこの認証サーバーにアクセスしないと始まらないので非常に重要なコンポーネントです。もし認証サーバーがダウンしていたら、外からやってきたリクエストがどのユーザーからのものなのかさっぱりわからなくなってしまいます。当然アプリケーションは動かなくなるでしょう。 freee は会

                                                                        セッションキャッシュによる SPOF(単一障害点)問題の解消 - freee Developers Hub
                                                                      • freee 基盤チームアドベントカレンダーの歩き方 - freee Developers Hub

                                                                        SREの河村(at-k)です。 本記事は freee基盤チームアドベントカレンダー の1日目になります。 カレンダー企画にあたり 今年もこの季節がやってきました。年末に向けて冬が深まり、心なしか忙しなくなってくる中、毎日ブログが一本ずつ投稿されていくのを見て年の瀬の近づきを感じる、ある種の風物詩となっています。 そもそもアドベントカレンダーは12月1日からクリスマスまで続く長い前夜イベントで、日本では、少なくとも筆者には馴染みがないものでした。そんな元ネタから派生した形で、近年ではIT企業が中心となってテックブログを日次で投稿していくイベントとして広く認知されてきています。ことの経緯を知らなかったので調べてみたのですが、意外に歴史は古く、日本では2008年頃からPerl界隈で賑わっていて、海外ではそれ以前からそれなりに定着していた文化のようです。 freeeでも毎年アドベントカレンダーが企

                                                                          freee 基盤チームアドベントカレンダーの歩き方 - freee Developers Hub
                                                                        • Handbook Introduction | Hakky Handbook

                                                                          Handbook Introduction このドキュメントは、Hakky Handbook のイントロです。 目的​ Hakky Handbook は、Hakky の会社・事業・カルチャー・技術に関する情報を体系化し、外部・内部に発信することを目的として情報の蓄積や発信を行なっています。 Hakky について知りたい外部の関係者の方や、技術的なナレッジを知りたい方、社内のメンバーにとっても有益な情報を公開していくことを目的としています。 コンテンツ​ コンテンツは以下のカテゴリーに分かれています。 Docs となっているところが、各事業についてや会社で扱う技術や情報などを体系的に取りまとめたものになります。各事業のサービスを受ける方や、これから Hakky に参画したい、また興味を持っていただいてる方は、気になるものを読んでいただけると参考になるかなと思います。 Docs データ活用支援

                                                                            Handbook Introduction | Hakky Handbook
                                                                          • freee 権限管理基盤を開発するチームの今を語ろう! - freee Developers Hub

                                                                            この記事はfreee 基盤チーム Advent Calendar 2023 の2日目の記事です。 こんにちは、freee の 権限管理基盤マイクロサービスを開発するチームでエンジニアリングマネージャーを務めている sentokun と申します。今回はその権限管理基盤チームの体制について語っていこうと思います。チームビルディング的な話としてお役に立てれば幸いです。 長い記事となったので、5日目との前後編でお送りさせていただきます。後編はこちらで公開予定。 チーム体制はざっくり以下の図のように立ち上げ期、探索期、構築期を経て現在に至っており、この記事では現在について記載していきます。後編では現在に至るまでの話を記載します。 チームの歴史イメージ 権限管理基盤とは?の記事: developers.freee.co.jp また、この記事では ユーザー = 基盤を利用する freee プロダクトとし

                                                                              freee 権限管理基盤を開発するチームの今を語ろう! - freee Developers Hub
                                                                            • E2409 – 日本の学術機関に向けた研究データ管理サービスGakuNin RDM

                                                                              日本の学術機関に向けた研究データ管理サービスGakuNin RDM 国立情報学研究所・込山悠介(こみやまゆうすけ) ●国立情報学研究所の研究データ管理(RDM)サービス GakuNin RDMは,2021年2月15日に国立情報学研究所(NII)がサービス提供を開始した,全国の学術機関に向けた研究データ管理(RDM: Research Data Management)サービスである。研究データ公開基盤JAIRO Cloud,検索基盤CiNii Research(E2367参照)と合わせて,NIIの研究データ基盤NII Research Data Cloud(NII RDC)における提供サービスの一つという位置づけである。 NIIでは2016年からGakuNin RDMの研究開発をスタートした。システム開発のベースは米国の非営利団体Center for Open Science(COS)が提供

                                                                                E2409 – 日本の学術機関に向けた研究データ管理サービスGakuNin RDM
                                                                              • 【受付再開】Microsoft認定資格 バッジプレゼントキャンペーン

                                                                                10月16日より受付を再開いたしました。 Microsoft認定資格 とは Microsoftが提供している技術者の皆様のための認定資格です。 日々の学習の成果を確認とともに、資格を取得することでITのプロフェッショナルであることを証明できます。 キャンペーン概要 Microsoftの認定資格を取得し、LinkedInへ取得したバッジを掲載していただいた方に、ピンバッジをプレゼントいたします。 すべての認定資格が対象となります。資格の詳細についてはこちらよりご確認ください。 資格試験の事前学習にはMicrosoft Learnもご活用ください。 参加方法 ①Microsoftの認定資格を取得する ②取得したバッジをLinkedInに掲載する ※掲載の方法についてはこちら をご確認ください。 ③ページ下部のバッジ応募フォームへ必要項目を入力 ※応募フォームはMICUGへ登録、ログイン後表示さ

                                                                                  【受付再開】Microsoft認定資格 バッジプレゼントキャンペーン
                                                                                • freee の二要素認証(ワンタイムパスワード)を仕組みから解説 - freee Developers Hub

                                                                                  はじめに こんにちは、freee で認証認可基盤の開発をしている okarin です。 freee のプロダクトでは二要素認証を有効にすると、メールアドレスとパスワードを入力した後、ワンタイムパスワードを求められるようになります。この二要素認証を利用することで、より安全に freee をご利用いただけるようになっています。本記事では二要素認証の仕組みを解説していきたいと思います。 ワンタイムパスワード入力画面 そもそも二要素認証とは? 「記憶情報」、「所持情報」、「生体情報」のうち、2つを組み合わせる認証方式を二要素認証と呼んでいます。これらの2つ以上を組み合わせた認証方式を多要素認証と呼ぶこともあります。 freee では、「記憶情報」であるパスワードと、「所持情報」であるワンタイムパスワード(OTP)を利用して二要素認証を実現しています。 OTP の仕組み では、どうやって OTP を

                                                                                    freee の二要素認証(ワンタイムパスワード)を仕組みから解説 - freee Developers Hub

                                                                                  新着記事