近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見られるように、RDBとNoSQLが鋭いトレードオフを発生させていたのに対して、NewSQLではそれが解消されているのが分かる。 RDB vs NoSQL vs NewSQL本当にそのような夢の実現に成功しているか、というのはまだ議論が続いているが（クエリのスループットを出すためにレイテンシを犠牲にしているので本当にトレードオフを解消はしていない、などの問題が指摘されている）、商用でも利用可能な製品としてGoogle Spanner、TiDB、YugabyteDB、Coc

こんにちは。研究開発部 Architectグループの中村です。 本記事は Sansan Advent Calendar 2023 の16日目の記事です。 今回は、私達のチームで開発&運用している全社横断データ分析基盤のデータレイヤの再設計、及びdbtの導入を進めているという事例について紹介します。 既存のデータ基盤に対して、dbtの導入を検討されている方の参考になれば幸いです。 （本稿ではdbtとはについては触れませんので、ご了承ください） TL;DR 歴史的経緯 全社横断データ基盤が生まれる前 全社横断データ基盤 立ち上げ期 課題 立ち上げ期に作られたデータマートがカオスに・・・ 課題の解決に向けて データレイヤの再設計 Transformツールの選定 dbtへの移行戦略 その他dbt移行におけるTips チームでの開発の標準化 Cosmosの導入検証 データカタログのホスティング まと

2021年10月25日、この日は僕がただの大学生から、大学のサーバーをダウンさせた"犯人"へと変わった日です。 小説みたいな書き出しをしてみましたが、これは嘘みたいな本当の話で、ふと思い出して懐かしくなったので回想録として note に残すことにしました。 出来事の概要2年前の2021年10月、何が起きたかを簡単に書くと以下の通りです。 ・大学の授業や課題を管理するためのシステムを拡張するツールを作った ・ツールが予想以上の人数に使われ、結果として大学のサーバーに負荷がかかりサーバーが落ちる事態になった ・大学から呼び出しを受けることになった 時系列を追って、この note で出来事の全容を書きたいと思います。 使いづらい LMSまず前提として、私の大学では毎日の授業や課題は授業支援システム、通称 LMS と呼ばれるオンラインのシステムで管理されています。 実際のLMSの画面しかし、この

太陽光や風力発電など、森林を大規模開発する再生可能エネルギー事業者から税を徴収する全国初の宮城県の新条例について、鈴木淳司総務相が新設に同意し、来春施行へ向け動きだした。税収を目的とせず、開発行為を森林の外に誘導して自然保護を図る狙いで、再エネ業界では「税負担が重すぎる」と早くも撤退の動きが表面化している。 この独自課税は、宮城県再生可能エネルギー地域共生促進税条例。７月に県議会で全会一致で可決、成立し、今月１７日に総務相が新設に同意した。 新税は、森林開発を伴う太陽光、風力、バイオマス発電を対象に「営業利益の２割相当」を徴収する。一方、改正地球温暖化対策推進法に基づく「促進区域」内の認定事業は課税対象外とし、再エネ立地を誘導する。同趣旨の都道府県条例は全国で初めてで、同意を受け、周知期間をへて令和６年４月施行、９年度からの徴収を目指している。 こうした中、宮城県丸森町の山間部で大規模太陽

結賀さとる氏から私がトレースをしているとの指摘を受けた件について、今まで事情をお伝え出来ず、ご心配をお掛けしました。 先日東京地裁で判決があり、控訴無しで勝訴が確定致しました。 無事に司法で事実無根と精神的苦痛が認められたことに安堵しています。 まず今回の経緯につきまして、 ご説明いたします。 事の発端は、2015年頃のことになります。 私がその頃取り組んでいたのは、オトメイト ブランドの女性向け恋愛ゲーム『Collar×Malice』 （2016年8月18日発売、販売：アイディアファクトリー株式会社様　…以下「IF」/開発：デザインファクトリー株式会社様　…以下「DF」）の原画のお仕事でした。 私はもともとDFに所属しており、2013年9月に退社、独立後は2016年9月まで同社専属の契約イラストレーターとして携わっていました。 2015年末頃に同ゲームの公式サイトで公表された複数のキャラ

AWSのVPCに大きなアップデートが！ 今週10/26、AWSにこんな機能アップデートが発表され大変話題になりました。 簡単に言うと 「EC2インスタンスから複数のVPCに対してENI（NIC）を足出しできるようになった」 という大きなアップデートでした。 みんな戦々恐々？ しかし、Twitterのオンプレミス経験者たちは口を揃えて懸念を漏らしています。 「これ、クラウド初心者がオンプレからの移行で "監視セグメントVPC" みたいなものを作ってしまうんじゃなかろうか…」 今回のアプデを見て「ウッ…😅」と感じた方も、改めて何が問題なの？と聞かれると意外としっかり言語化できないかも知れません。これを機にAWSの代表的なサービスであるマネージド論理ネットワーク「VPC」の基本をおさらいしてみましょう。 オンプレ時代の基本を振り返る パブリッククラウド普及前のオンプレミス時代では、企業のシステ

はじめに こんにちはokodoonです タイミーのデータ基盤に対してデータモデリングを始めてしばらく経ったので、現状の全体構成を紹介したいと思います 全体構成 弊社のBigQueryは以下の4層にレイヤリングされています それぞれの役割は以下のような切り分けになっています レイヤー名 役割 データレイク層 複数ソースシステムのデータを未加工の状態でBigQueryにロードする宛先 dbt snapshotによるソースの履歴化 ステージング層 複数ソースシステムのデータを共通した処理でクレンジングする層 DWH層 ソースシステムのデータ形式を分析に適した形に変換する層 ディメンショナルモデリング/ログテーブルをイベント単位に分割/その他便利テーブル作成 データマート層 特定用途に対して1:1で作成されたテーブル群を格納する層 ダッシュボード用テーブル/Looker用テーブル/GoogleSh

IT子会社が設立される主な理由はコスト削減。課題はIT戦略立案能力、待ちの姿勢、先進技術の習得など。ガートナーの調査結果 ガートナージャパンは、国内のIT子会社の実情に関する調査結果を発表しました。 調査は国内の従業員500人以上、売り上げ規模1000億円以上の企業のCIO、CTO、IT担当役員、最高デジタル責任者、デジタルビジネス推進担当役員などを回答対象者として実施されました。有効回答は300社。 回答した企業のうち、「連結対象」「連結対象外」「ITベンダーなどと共同出資」のいずれかに該当するIT子会社を持つ割合は38.0%。 調査結果では、IT子会社設立の主な理由はコスト削減で、親会社から見た喫緊の課題はIT戦略立案能力、受け身の姿勢、スピード感、先進技術の習得などと説明されています。 IT子会社を設立する理由はコスト削減 IT子会社を持つ企業に、設立している主な理由を上位3つまでの

コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕

2023年10月10日、全国銀行資金決済ネットワークは、同社が運用している全国銀行データ通信システムでシステム障害が発生したことを公表しました。この障害の影響により一部の金融機関で送金遅延などが生じました。ここでは関連する情報をまとめます。 560万件の取引に影響 障害が起きたのは全国銀行資金決済ネットワーク（全銀ネット）が運用する全国銀行データ通信システム（全銀システム）のうち、平日8時半から15時半まで稼働するコアタイムシステムで金融機関との接続に使用される中継コンピューター（RC）。障害は10月10日8時半に発生し、10月12日未明に復旧に向けた対応が完了、同日8時半の切替完了したことで復旧した。*1 全銀システムは1,000超の金融機関が参加しており、1営業日当たりの取引件数は2022年実績で約806万件、約14兆円。*2 今回のシステム障害により金融機関間で行われる送金に遅延や取

中国地方DB勉強会 in 岡山の登壇資料です。 そのうちここで登壇動画が公開されることでしょう。 肝心なチートシートは以下のとおり。 PostgreSQL gist.github.com MySQL gist.github.com チートシートだけじゃわからない！困ってる！ Have Fun Techがバージョンアップのサポートしますのでお気軽にご相談ください。 have-fun.tech まとめ やっぱ中国地方DB勉強会は最高だぜ！

リリースから12年を迎えた「Chatwork」は、国内ビジネスチャットのフロントランナーとして、中小企業を中心に41万社以上の企業・組織に利用されています（2023年6月時点）。DAU（デイリーアクティブユーザー）も100万を超えるため（108.6万、2023年6月時点）、ビジネスタイムには絶えず飛び交う大量のメッセージをサービスとして安定して処理することが求められます。 一方で、長期間の開発によって蓄積した技術的負債等に対応するため、システムのアーキテクチャを見直す時期にもあります。それにあわせて開発組織も、巨大なモノリスに対して案件ごとにプロジェクトを組み直す既存の体制から、職能を横断したチームが自律して開発を推進できるフィーチャーチームへの移行がまさに進行しています。 こうした開発改善の実情と進め方について、本部長として推進する田中佑樹さん、エンジニアとしてフィーチャーチームに所属す

mainichi.jp 西日本を中心に学校や寮で食事の提供が停止する事態が起きている。運営会社は広島市に本店のある給食会社ホーユー。ホーユーの名はコンペで何回か見かけたことがある。詳しくは知らない。 給食事業はリターンも少ないけれどもリスクも少ないビジネスだ。給食設備や用具や食器をクライアント側の負担で事業が行えるからだ。ひとことでいってしまえば経費負担が軽いのだ。食材費は実費、人件費も委託費でカバーできる。「莫大な利益が出せるか？」といわれると案件次第だが、一事業所当たりで赤字になるリスクはとても少ない事業である。 そのため、近く破産申告するとみられるホーユーの社長が人件費や食材費の高騰を理由に上げているのを知って「妙だな…」とコナン君のように疑ったのがこの文章を書いた表向きの理由である。なお裏向きの理由は奥様からの「あなたの会社は大丈夫なのか」という不安を取り除くためである。 一般的に

なんか「戸惑う」ぐらいの意味で「バグる」を使う人増えてるけど、実際にバグったものを見たことないんだろうなーって思った 考えたらプレステ以降のゲームで「バグる」ことなんてないんだし、ファミコン、スーファミを触ったことない世代が使っているんだろうな 「バグる」って画面がめちゃくちゃになってプレイできなくなることだよ これを人間に使うとしたら「身体がぐちゃぐちゃになって動かなくなった」なんだけど、そんな寄生獣みたいなことにはなってないでしょ？ もしファミコン世代が人間に「バグる」を使っているんなら、ファミコンを買ってもらえなかった家庭だったのかな？ それならミニファミコンかミニスーファミ買ったら楽しいよ クロノトリガーとかマリオRPGとかできて、コスパめっちゃいいよ （追記） 動詞の「バグる」と名詞の「バグ」の違いもわからんのか。 そんな鈍感な言語感覚で他人にツッコミ入れてて恥ずかしくないの？

初めまして。全農で働く管理栄養士のＳです。 といっても普段の業務では栄養士の資格を活かすことはなく、もっぱら一人暮らしの台所で、詰め込んだ知識をぐるぐるとかき混ぜる程度で完結しているのですが おかげで、自分のための常備菜レシピのストックができました。 その中からぜひおすすめしたいメニューをいくつかお伝えできればと思います。 なぜ常備菜なのか私は料理好きを名乗る割に平日は出来るだけ台所に立ちたくありません。 洗い物が億劫だし一刻も早くダラダラしたい。YouTubeとか映画とか見たい。 というわけで週末、もしくはやる気のある時に一気に作ったものをお弁当に詰めたり家で食べたりして生きています。 野菜の持つポテンシャルを活かしたいイタリアンバルのキッチンでバイトしていた時に教わったことが、野菜にもうまみ、甘みがしっかりあるということでした。 それまでは、野菜は何かいろいろ味付けしないと物足りないと

世界中で「最新のAIはヤバいな」とか「これ以上発展させるのは半年停止したらどうか」と話題になっているのはOpenAIのGPT-4のこと(2023-03-13リリース)