政府の基盤クラウド、Amazonに発注へ（写真=ロイター） - 日本経済新聞
NIKKEI Primeについて 朝夕刊や電子版ではお伝えしきれない情報をお届けします。今後も様々な切り口でサービスを開始予定です。
NIKKEI Primeについて 朝夕刊や電子版ではお伝えしきれない情報をお届けします。今後も様々な切り口でサービスを開始予定です。
はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも
秒間100万リクエストをさばく - Googleの共通認可基盤 Zanzibar - 発明のための再発明
はじめに Googleの提供するサービス郡が共通して利用している認可システムにはZanzibarという名前がついています。ZanzibarはGoogleDrive・Google Map・Youtubeなどの巨大なサービスにも使用されています。 そのため、利用量も凄まじく 数10億のユーザー 数兆のACL(access control list) 秒間100万リクエスト もの量をさばいています。 にも関わらず、Zanzibarはこれを10ミリ秒以内に返します(95パーセンタイル)。 この記事では、そんなZanzibarの内部構造に関する論文「Zanzibar: Google’s Consistent, Global Authorization System」の中から、主に大量のリクエストをさばくための工夫を紹介します。 ちなみに、以前Googleの社内システム用の認可システム「Beyond
Nobuyo Yagi 八木啓代 on Twitter: "1. 森友事件については、「総理夫人の関与」は明らかなのだが、見落とされがちなのが、「維新の関与」だ。 経済基盤も何もない学校法人なので、土地売買以前の段階で、じつは大阪府私学審議会が学校設立の認可を落としている。"
1. 森友事件については、「総理夫人の関与」は明らかなのだが、見落とされがちなのが、「維新の関与」だ。 経済基盤も何もない学校法人なので、土地売買以前の段階で、じつは大阪府私学審議会が学校設立の認可を落としている。
八街児童死傷事故 「非線引き自治体」とは何か？ 虫食い開発で基盤整備に遅れ 通学路だけじゃない郊外特有の課題 【急上昇ニュースのウラ】
八街児童死傷事故 「非線引き自治体」とは何か？ 虫食い開発で基盤整備に遅れ 通学路だけじゃない郊外特有の課題 【急上昇ニュースのウラ】
デジタル庁の河野太郎大臣は10月3日、同日に公募結果を公開した日本政府の共通クラウド基盤「ガバメントクラウド」（政府クラウド）について、国産サービスの応札がなかったと発表した。 今回の公募にはパブリッククラウド「Microsoft Azure」を提供する米Microsoft、「Oracle Cloud Infrastructure」を手掛ける米Oracle、「Amazon Web Services」を手掛ける米AWS、「Google Cloud Platform」を手掛ける米Google Cloudの4社が応札。デジタル庁はこれら全てを採択した。 ガバメントクラウドは政府やデジタル庁が主導するデジタル改革の一つ。同庁は今後、採用したサービスで構成するマルチクラウド基盤を、スマートフォンで本人確認ができる公的個人認証サービス（JPKI）の提供や、同庁による調査研究などに活用する。同庁のWeb
課題 数年前と比較すると、GKEやECSを始めとするコンテナ実行環境でのアプリケーション運用を行うサービスはかなり増えてきた印象があります。 コンテナを運用する上では、アプリケーションのイベントを追跡する上でログをどう扱うかが課題になります。今までのように古いログを定期的にローテートして別のストレージに転送するといった手法はクラウドネイティブなアーキテクチャには最適とは言えません。 アプリケーション開発の方法論として、Twelve Factor App ではログをイベントストリームとして扱うためのガイドラインが示されていますが、近年のWebアプリケーションではシステムを疎結合に連携するマイクロサービスという考え方が主流になりつつあります。 アプリケーションログはサービスごとにフォーマットを整形した上で、ログ収集サービスに配送。必要に応じてリアルタイム分析や異常データの通知、そしてデータの可
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋を用意してみました. - Lean Baseball
ちょっと昔まではデータ基盤の管理人・アーキテクト, 現在は思いっきりクラウドアーキを扱うコンサルタントになったマンです. 私自身の経験・スキル・このブログに書いているコンテンツの関係で, 「データ基盤って何を使って作ればいいの?」的なHow（もしくはWhere）の相談. 「Googleのビッグクエリーってやつがいいと聞いたけど何ができるの?」的な個別のサービスに対するご相談. 「ぶっちゃけおいくらかかりますか💸」というHow much?な話. 有り難くもこのようなお話をよくお受けしています. が, （仕事以外の営みにおける）個人としては毎度同じ話をするのはまあまあ疲れるので, データ基盤にありがちな「何を使って作ればよいか？」という問いに対する処方箋 というテーマで, クラウド上でデータ基盤を構築する際のサービスの選び方 （データ基盤に限らず）クラウド料金の基本的な考え方 をGoogle
即戦力人材と企業をつなぐ転職サイト「ビズリーチ」は2009年にサービスを開始し、スカウト可能会員数は190万人以上（2023年1月末時点）のユーザーにご利用いただくサービスに成長しました。 今回、その「ビズリーチ」の認証基盤としてIDaaS（Identity as a Service）のOkta Customer Identity Cloud（Powered by Auth0）（以下Auth0という）の導入を行いました。 本記事では認証基盤を刷新するに至った背景とAuth0を用いて100万を超えるユーザーをログアウトさせることなく移行した方法についてご紹介いたします。 前提 本記事で得られる情報 本記事を読むことで以下のような情報を得ることができます。 IDaaSを選ぶ理由 IDaaSを用いて認証・認可を運用中のプロダクトに組み込んだ事例 運用中のプロダクトに組み込む際に発生しうる課題と対
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その1- - inductor's blog
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 inductor.hatenablog.com 上記の理由の通り、目的は論文を翻訳することだけではなく、最終的にこれを踏まえて自分の見解をつらつらと書いていくところにもあります。 おそらく一番時間がかかるのはそれなので、一旦は翻訳を一通り終えた上で更に頑張っていきます。ゆっくりお待ちいただければと思います＞＜ 1. Introduction(まえがき) Borgが内部的に呼び出すクラスター管理システムは、Googleが実行するすべてのアプリケーションを許可、スケジュール、起動、再起動、および監視します。この論文ではその方法を説明します。 Borgには3つの主な利点があります。 リソース管理と障害処理の詳細を隠すため、ユーザーは代わりにアプリケーション開発に集中できます。 非常に高い信頼性と可用性で動作し、同じことを行
楽天グループがオンプレミス（自社所有）環境のプライベートクラウド「One Cloud」を拡充し、グループ企業の各種事業が用いるIT基盤の統合を進めることが日経クロステックの取材で分かった。現在、パブリッククラウドで稼働させているシステムが多数あるが、原則としてOne Cloudへシフトしていく。グループ全社でIT基盤のプライベートクラウドへの集約を進めてコスト効率を高めるほか、IT基盤のノウハウを蓄積し安定稼働やセキュリティー強化につなげる。 プライベートクラウドは、新たに参入を計画する法人向けITサービスの基盤にも活用する。計画するのは本人確認に使うeKYCやWebサイトのアクセス分析、電子決済の機能などだ。いずれもグループの事業で使うために開発した技術で、従量制のパブリッククラウドサービスとして外販する方向で準備を進めている。 部分的だったOne Cloudの利用、まず楽天市場で全面採
藤巻健太 衆議院議員 on Twitter: "三角関数は人類の叡智であり、私達の生活の基盤を支えているものです。 しかし特定の職業に就く方々に必要とされる専門知識の範疇ではないでしょうか？ 全国津々浦々の高校生に教える知識としては、三角関数よりも金融経済の基礎の方が優先度が高… https://t.co/QBSj96rb9k"
三角関数は人類の叡智であり、私達の生活の基盤を支えているものです。 しかし特定の職業に就く方々に必要とされる専門知識の範疇ではないでしょうか？ 全国津々浦々の高校生に教える知識としては、三角関数よりも金融経済の基礎の方が優先度が高… https://t.co/QBSj96rb9k
お客様の設定により、お客様情報が「非表示」となっております。お客様情報を表示するにはdアカウントでログインしてください。 お客様情報表示についてへ お客様情報表示についてへ Tweet 6G時代の新たな提供価値「人間拡張」を実現する基盤を開発 -ネットワークを介して他者同士でリアルタイムに無理のない自然な動作を共有することが可能に- ＜2022年1月17日＞ 株式会社NTTドコモ（以下、ドコモ）は、「ドコモ6Gホワイトペーパー」に示した6G時代の新たな提供価値の一つであるネットワークで人間の感覚を拡張する「人間拡張」を実現するための基盤（以下、本基盤）を、H2L株式会社、FCNT株式会社、および富士通株式会社の技術協力を得て開発しました。人間拡張に関する基盤の開発は世界初※1となります。 6Gの特徴的な技術の一つである超低遅延化の実現により、6Gでは神経の反応速度をネットワークの通信速度が
こんにちは、エムスリー エンジニアリンググループ の鳥山 (@to_lz1)です。 ソフトウェアエンジニアとして 製薬企業向けプラットフォームチーム / 電子カルテチーム を兼任しています。 ソフトウェアエンジニアという肩書きではありますが、私は製薬企業向けプラットフォームチームで長らくデータ基盤の整備・改善といったいわゆる "データエンジニア" が行う業務にも取り組んできました。 本日はその設計時に考えていること / 考えてきたことをデータ基盤の設計パターンという形でご紹介しようかと思います。多くの企業で必要性が認識されるようになって久しい "データ基盤" ですが、まだまだ確立された知見の少ない領域かと思います。少しでもデータエンジニアリングを行う方の業務の参考になれば幸いです。 データ基盤の全体像 収集部分の構成 RDBデータ ログデータ 活用部分の構成 データマートの実例 「データ基
全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 - MonotaRO Tech Blog
データ基盤グループの吉本です。 今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。 データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景（問い合わせ対応における課題） 発表したこと 発表の反響 最後に datatech-jpは主にデータエンジニアリングやデータ活用に関わる方が参加するコミュニティで、DWHやデータマネジメント、データエンジニアリングに関わる技術、ツールなどについて知見を共有したり、輪読会やLT会のようなイベントを実施しています。 オーガナイザーとして同社同僚の吉田(id:syou6162)が参加しています。 その中でCasual
データ分析基盤まとめ（随時更新）
はじめに データ分析基盤の資料を力尽きるまで追記していきます。 構成図にあるアイコンや記事の内容から技術要素を調べて記載していますが、不明分は未記載にしています。修正のコメント頂ければ助かります。 あと、この記事追加してっていう要望も歓迎いたします。 テンプレート 記事公開日 : 会社名（サービス名） データソース : データ処理 : アウトプット : 画像 URL 2025年 2024/03/14 : 株式会社エス・エム・エス（カイポケ） データソース : Amazon Aurora データ処理 : Datastream、BigQuery、dbt アウトプット : Looker Studio 2024/03/12 : 株式会社マイナビ データソース : SQL Server、Amazon S3 データ処理 : Embulk、Amazon MWAA、Apache Airflow、Snowf
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏：それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの
Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 - 株式会社Preferred Networks
PyTorch開発チームおよびオープンソースコミュニティと連携し、フレームワーク開発、MN-CoreプロセッサのPyTorchサポートなどを推進 株式会社Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、研究開発の基盤技術である深層学習フレームワークを、自社開発のChainer™から、PyTorchに順次移行します。同時に、PyTorchを開発する米FacebookおよびPyTorchの開発者コミュニティと連携し、PyTorchの開発に参加します。なお、Chainerは、本日公開されたメジャーバージョンアップとなる最新版v7をもってメンテナンスフェーズに移行します。Chainerユーザー向けには、PyTorchへの移行を支援するドキュメントおよびライブラリを提供します。 PFN 代表取締役社長 西川徹は、今回の
咲来さん@ @sakkurusan 「テレビ本体の主電源を切るとすごい節電になる」という30年前の情報を未だに鵜呑みにして、いまのリモコン操作大前提のテレビで主電源で毎度電源オンオフしてた結果、電源基盤がすぐぶっ壊れて莫大な修理費がかかった人をアタシは何人も知っている 2020-12-18 19:11:47
同時接続数30万超のチャットサービスのメッセージ配信基盤をRedis Pub/SubからRedis Streamsにした話
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog Overview 30万を超える同時接続数を持つチャットサービスにおいて、リアルタイムでメッセージの受信などのイベントを配信するメッセージブローカーとして、私たちはRedis ClusterのPub/Subを使用していました。 私たちのサービスでは、ユーザー数の増加に伴い、Redis Clusterのシャード数を増やすことでクラスターの性能を向上させてきました。しかし、Redis ClusterのPub/Subでは、シャード数の増加に伴ってネットワーク帯域が圧迫される問題が生じ、これ以上シャードを追加することができない状況になりました。 この課題を解決するために、メッセージブローカーをRedis Pub/SubからRedis
新しいデータ基盤アーキテクチャである「データレイクハウス」について調べてみた - Taste of Tech Topics
最近ソーダストリームを買い、炭酸水を飲むのにはまってます。機械学習エンジニアの@yktm31です。 以前に「AWS Lake Formationでデータレイク体験！」という記事を書いてみて、データ基盤アーキテクチャに興味が湧いてきました。 データレイクハウスは、「データウェアハウス」と「データレイク」を統合したようなアーキテクチャで、 2020年にDatabricks社により提唱され、新しいデータ基盤アーキテクチャとして注目されているようです。 www.databricks.com そこで今回、「データレイクハウス」について調べてみたことをまとめてみたいと思います。 なぜデータレイクハウスが注目されているのか？ データウェアハウスの特徴・課題 データレイクの特徴・課題 データレイクハウスの特徴 データレイクハウスのアーキテクチャ Azure Azure Synapse Analyticsを
開発者向けの基盤をつくる
ハッカーズチャンプルー2019（ http://hackers-champloo.org/2019 ）の発表資料です
「Data Cross Conference」の登壇資料です。 https://dcc2022.datafluct.com/ データ活用によって億単位の利益を創出してきた登壇者が、データ基盤をこれから構築する方に向けて、費用対効果を最大化するための初期構築プロセスを紹介します。 ----------------------------------------------------------- 【PR】一緒に働きましょう！ https://kazaneya.com/kdec -----------------------------------------------------------
ZOZOTOWNの検索基盤におけるElasticsearch移行で得た知見 - ZOZO TECH BLOG
こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、その際に行った設定内容の一部をご紹介します。 背景 弊社CTOによるこちらの記事にもある通り、ZOZOTOWNでは現在マイクロサービス化を進めており検索システムについてもその対象となっています。検索の文脈では、全文検索/サジェスト/ロギング等関連する様々な課題への解決策として有効であるElasticsearchを採用しマイクロサービス化を進めています。 また、もう1つの背景として検索のパーソナライズ化があります。これまでZOZOTOWNでは
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「日本にもチャンスがある」。VPNソフトなどを開発してきた情報処理推進機構（IPA） 産業サイバーセキュリティセンター サイバー技術研究室 室長の登大遊氏は、分散型クラウドコンピューティング時代の到来を予測し、分散型クラウド基盤ソフトウェアを作れるクラウド人材の育成を説く。 日本が海外クラウド事業者に依存するようになったのは、人材育成の方法を間違ったことにある。政府や民間企業が、クラウドやAIの人材育成を推進する発想までは良かったが、単にクラウドやAIを活用する人材の育成に陥ってしまったということ。それがデジタル敗戦につながり、デジタルサービスの支出は赤字になっている。 --登氏は、「クラウド人材」とはクラウド技術やクラウドサービスを設
デジタル庁は10月26日、日本政府の共通クラウド基盤「ガバメントクラウド」として、「Amazon Web Services」と「Google Cloud Platform」を選んだと発表した。「公募に3社の応募があったが、セキュリティや業務継続性など350の項目を満たした2社を選定した」（同庁）という。 デジタル庁は今後、同庁のWebサービスなどをAWSとGCPで構成したマルチクラウド基盤に構築。他省庁の新システムなども、クラウド移行を行う場合はガバメントクラウドの活用を検討する。自治体のシステムの提供基盤も2025年度末までに共通化し、政府・自治体間のデータ移行や、既存システムの機能拡張をしやすくするとしている。 クラウド化により、各自治体のサーバ導入・運用コスト削減も見込む。複数の民間事業者がガバメントクラウド上に業務用アプリなどを開発し、自治体が状況に合わせて導入を判断できるようにす
はじめに 初めまして、バックエンドエンジニアの伊藤皓程です。2015年にサイバーエージェントに入社してからソーシャルゲーム2本、その後アドテクで広告配信システムの開発に携わりました。以前のプロジェクトではデイリーで数TBのログを収集と分析を行なっていた経験があり、また個人でAWS AthenaのTypeScript・Node.js用のクライアントライブラリ1を公開しています。今回は今年にリリースしたアプリボットの新データ分析基盤についてご紹介したいと思います。 経緯 アプリボットではゲームの運用の改善のためにユーザの行動ログの分析に力をいれており、Redshiftを利用したデータ分析基盤2がありました。一方でゲームの運用年数や運用タイトルの増加などにより以下のような課題がありました。 Redshiftのストレージ容量の枯渇 デイリーのレポート集計バッチの実行時間の増加 データ分析基盤の運用
Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataEngineeringStudy / 20200715
Data Engineering Study #1 の発表資料です。 https://forkwell.connpass.com/event/179786/ 当日の動画はYoutubeで閲覧可能です。 https://www.youtube.com/watch?v=hFYNuuAaiTg 参考文献 『Software Design (ソフトウェアデザイン) 2020年7月号』 https://amzn.to/30YueL7 『データマネジメントが30分でわかる本』 https://amzn.to/3fmz8Gw
おしらせ：12/23 に後編記事がでました！ tech-blog.monotaro.com こんにちは、データ基盤グループの香川です。 現在モノタロウではBigQueryに社内のデータを集約し、データ基盤を構築しています。 およそ全従業員の6割が日々データ基盤を利用しており、利用方法や目的は多岐に渡ります。 データ基盤グループはこれまでデータ基盤システムの開発保守と利用者のサポートを主な業務として取り組んできましたが、これら多岐にわたる社内のデータ利用における課題の解決及びさらなるデータ活用の高度化を目的として、今年の5月よりデータ管理を専門に行う組織として新たに体制を再構築しました。 そこで改めて組織として取り組むべき課題や方向性を決めるために、まず自分たちの現在地を知ることが重要と考え、データ基盤の歴史を振り返り、社内のデータ活用における課題やそれを取り巻く状況がどう変わってきたのかを
「他市の教員にうらやましがられる」──小中学校のICT基盤をクラウド化、教員もPC持ち出し可能に 独自施策でAzure移行した埼玉県鴻巣市
「他市の教員にうらやましがられる」──小中学校のICT基盤をクラウド化、教員もPC持ち出し可能に 独自施策でAzure移行した埼玉県鴻巣市（1/5 ページ） 埼玉県のほぼ中央に位置し、約11万7000人の人口を抱える鴻巣（こうのす）市。文部科学省が打ち出す「GIGAスクール構想」に従い、全国の教育委員会が「生徒1人1台のPC」などの施策を進める中、同市はGIGAスクール構想が発表される前に独自のICT教育施策を進めていた。 その結果、全国でも珍しい「公立小中学校が活用する教育ICT基盤のフルクラウド化」を4月に実現し、教員が自宅などにPCを持ち出せる環境を整えられたという。 「研修や会議の場にPCを持ち込む教員が増えてきた。民間企業ではごく当たり前の光景だが、PCの持ち出しに厳しい制限が掛かっている教育現場ではとても新鮮。県の研修の場に鴻巣市の教員がPCを持ち込んだりすると、他市の教員から
データ基盤チーム0人で運用は回るのか？！ 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ
技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0
HTTP/3の基盤となる「QUICプロトコル」の標準化プロセスが完了、IETFの「RFC 9000」として 現在標準化が進められている新たなHTTPである「HTTP/3」のトランスポート層プロトコルとなる予定の新しい通信プロトコル「QUIC」が、インターネットで用いられる通信プロトコルなどの標準化を行う団体のIETF（Internete Engineering Task Force）により「RFC 9000」として策定を完了、新たなインターネット標準になったことが明らかになりました。 QUIC is now RFC 9000 | Fastly QUIC is RFC 9000 | daniel.haxx.se QUICはもともとHTTPをより高速化するためにGoogleが開発し、その後IETFで標準化が進められてきました。 QUICはまずは次世代のHTTPであるHTTP/3のトランスポート
こんにちは、データ基盤グループの吉田(id:syou6162)です。データ基盤グループでは安定してデータを利用できるように様々な取り組みを行なっています。本エントリでは、データ品質に問題がある場合にすぐに気付けるようにしたSQLによる監視の仕組みを紹介します。 背景 SQLを使った監視基盤の構築 実際の監視項目例 他チームがdailyで転送しているデータがバッチの失敗により遅れていないか BigQueryのエラーレートが急激に増加していないか 承認済みビューの設定が意図せず消えていないか 今後の展望 背景 データ基盤の運用をしていると、日々様々なトラブルと向き合う必要があります。例えば、以下のようなものがあります。 他チームがdailyで転送しているデータがバッチの失敗により遅れている TerraformなどのIaCで承認済みビューの権限管理を行なっているが、コードの設定ミスで意図せぬ状態
静かに進行する地方国立大学の世界大学ランキングにおける凋落 基盤を崩し、競争を絶対視する政策の問題点（飯田 一史） @moneygendai
「日本の大学がトップ10にない」「トップ100以内に少ない」ことばかり取り沙汰される世界大学ランキングだが、実は500位以内およびその近傍にまで視野を広げると、日本は2010年時点ではランクイン数で米英独に次ぐ世界第4位を誇っていた。ところが2022年には国別で8位まで後退し、中国に抜かれ、韓国と同順位になっている。 「日本の大学システムは『頂点の高さ』ではなく『層の厚み』が特徴であり良さだったが、これが今や失われつつある」――『国立大学システム 機能と財政』（東信堂）を著した島一則・東北大学大学院・教育学研究科教授の見解だ。旧帝大などとの大学間格差が広がる、地方国立大学の教育・研究環境の悪化とその原因について島氏に訊いた。 現在の国立大学への予算配分は、全体の食糧給付を減らして一部に栄養ドリンクを配るようなもの ――現在の地方国立大学の教育・研究の窮状から教えてください。 島 これからお
リクルートのAWS基盤におけるTerraform運用_実践的な取り組みと組織づくり / HashiCorpVirtualStrategyDay_sudo
2022/04/21_HashiCorp Virtual Strategy Day Japan Vol.2での、須藤の講演資料になります
Data Engineering Study #2「データ収集基盤とデータ整備のこれまでとこれから」https://forkwell.connpass.com/event/182769/ 作成者 ：しんゆう＠データ分析とインテリジェンス Twitter：https://twitter.com/data_analyst_
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
デジタル庁のデータ分析基盤「sukuna」｜デジタル庁
政府共通のクラウド基盤、国産サービスの応札は「なかった」 河野大臣がコメント
コンテナ運用におけるログ基盤設計のベストプラクティス - Qiita
内田樹 on X: "６０-７０年代の学生運動の高揚の理由を「実家が太い」と解した人がいたみたいですけど、これはいかにも「現代風」な解釈だなと感服しました。若い人には想像がつかないと思いますが、あの時代の日本はすごくリッチだったんです。学生運動の財政的基盤は「学生が金を持っていた」ことです。"
100万ユーザーをログアウトさせずに新認証基盤に移行した話
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦
楽天グループが「オンプレ回帰」を決断、パブリッククラウドからIT基盤を戻す狙い
報道発表資料 : 6G時代の新たな提供価値「人間拡張」を実現する基盤を開発 | お知らせ | NTTドコモ
エムスリーのデータ基盤を支える設計パターン - エムスリーテックブログ
AWSに集まったログをどう分析するか NTTドコモのエンジニアが教えるサーバーレスなログ分析基盤
「テレビ本体の主電源を切ると節電になる」という30年前の情報をやっていたら、電源基盤が壊れ膨大な修理費がかかる結果に
データ基盤による利益最大化と初期構築プロセス / 20220209
IPAの登氏に聞く、「分散型クラウド基盤ソフトを作れるクラウド人材育成」
AWSとGCPが日本政府の共通クラウド基盤「ガバメントクラウド」に 「セキュリティや業務継続性で判断」
ソーシャルゲームの運用に欠かせないデータ分析基盤の作り方
MonotaROのデータ基盤10年史（前編） - MonotaRO Tech Blog
C#やRustからWin32 APIをもっと簡単に呼び出せるように ～Microsoftが「win32metadata」プロジェクトを発表／今まで手動でメンテナンスされてきたバインディングやラッパーを自動管理する基盤
HTTP/3の基盤となる「QUICプロトコル」の標準化プロセスが完了、IETFの「RFC 9000」として
SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog
事業に貢献するデータ基盤を作ろう・考え方編 / data_engineering_study_2