並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 2097件

新着順 人気順

dataの検索結果1 - 40 件 / 2097件

  • 今、中高生にSFを読んでもらうには 2024年5月6日のSFセミナー(全電通労働会館)にて講演

    [DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装de:code 2017

      今、中高生にSFを読んでもらうには 2024年5月6日のSFセミナー(全電通労働会館)にて講演
    • 話題のローコードツール「Dify」で生成AIアプリを作ってみよう! - Qiita

      Difyって何? 少し前から話題の、プログラミングなしで生成AIアプリケーションを開発できるOSSです。 「Dify すごい」 でSNSを検索すると、驚き屋さんがみんな驚いています。このゴールデンウィークはAmazon BedrockとDifyの話題でもちきりでしたね。 元々は「GPTビルダーのOSS版ね。はい解散」という感じだったのですが、最近追加された「ワークフロー」機能がすごく便利のようです。 ちょっとしたアプリなら、ローコードで簡単に作れてしまうとのこと。 最近は自分でPCやサーバー準備して動かさなくても、SaaS版が公式から準備されたようです。無料プランもあります。 やってみた サインアップ 公式サイト右上の「Get Started」からサインアップします。 GitHub連携すると、いきなり開発画面に辿り着きました!いいUX。 「(いち?)から作成」よりワークフローを作ってみまし

        話題のローコードツール「Dify」で生成AIアプリを作ってみよう! - Qiita
      • 2023年出版市場(紙+電子)の占有率はコミック43.5%:書籍(コミックを除く)39.9%:雑誌(コミックを除く)16.6%に ~ 出版科学研究所調査より | HON.jp News Blog

        《この記事は約 3 分で読めます(1分で600字計算)》 公益社団法人全国出版協会・出版科学研究所が発表した2023年のコミック市場推計を元に、コミックを除く書籍・雑誌(いずれも紙+電子)市場を算出した。コミック6937億円に対し、書籍(コミックを除く)が6369億円、雑誌(コミックを除く)が2657億円。市場占有率はコミック43.5%、書籍(コミックを除く)39.9%、雑誌(コミックを除く)16.6%となった。 各市場の推移 出版科学研究所は1月25日に、2023年の出版市場を発表している1 2023年出版市場(紙+電子)は1兆5963億円で前年比2.1%減、コロナ前の2019年比では3.4%増 ~ 出版科学研究所調べ〈HON.jp News Blog(2024年1月25日)〉 https://hon.jp/news/1.0/0/46198。しかし、この時点での紙の書籍市場6194億円に

          2023年出版市場(紙+電子)の占有率はコミック43.5%:書籍(コミックを除く)39.9%:雑誌(コミックを除く)16.6%に ~ 出版科学研究所調査より | HON.jp News Blog
        • データで見る日本保守党の「善戦」― どんな人が投票したのか、独自調査で分析する(米重克洋) - エキスパート - Yahoo!ニュース

          4月28日に行われた衆院東京15区補欠選挙では、日本保守党公認の飯山陽氏が選挙前の下馬評を覆して「善戦」した。立憲民主党の酒井菜摘氏が終始リードしていた一方、他の4候補が小差で横並びの「2番手争い」を繰り広げたすえ、飯山氏は4位(得票率14.2%、2万4264票)につけた。 日本保守党は政治団体であり、国政政党ではないため選挙報道のうえでは「諸派」として取り扱われていた。こうした「諸派」の国政選挙初陣としては一定の存在感を示す結果となった。 そこで、今回は、投開票日1週間前に江東区内の有権者を対象にインターネットで実施していた情勢調査をもとに、どんな有権者が飯山氏に投票したのかを分析し、今後の日本保守党の支持拡大の可能性を読み解く。 調査の概要は末尾に記載した。 どの政党の支持層から得票したのか?日本保守党は今回の東京15区補選が国政選挙の「初陣」だった。日本保守党の得票がどの既成政党を支

            データで見る日本保守党の「善戦」― どんな人が投票したのか、独自調査で分析する(米重克洋) - エキスパート - Yahoo!ニュース
          • Dive deep into security management: The Data on EKS Platform | Amazon Web Services

            AWS Big Data Blog Dive deep into security management: The Data on EKS Platform The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In

              Dive deep into security management: The Data on EKS Platform | Amazon Web Services
            • 複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog

              最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力

                複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
              • 実験の再現性を高めるデータバージョン管理(DVC)の紹介 - techtekt

                データバージョンの管理とは? データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは? データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイルはキャッシュディレクトリに保存され、必要なタイミングで自動的に復元されます。 データのリモートリポジトリを定義することで、データ一式を簡単なコマンド操作で S3 等へ push / pull すること

                  実験の再現性を高めるデータバージョン管理(DVC)の紹介 - techtekt
                • PandasからPolarsへ移行した方がいいのか - Qiita

                  なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・`) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 (画像元:葬送のフリーレン公式Xアカウントのポストより) そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり

                    PandasからPolarsへ移行した方がいいのか - Qiita
                  • 日本におけるデータエンジニアリングのこれまでとこれから

                    2024/04/16(火) に行われた イベントの登壇資料です 先達エンジニアに学ぶ 思考の現在地 Online Conferencehttps://findy.connpass.com/event/313119/

                      日本におけるデータエンジニアリングのこれまでとこれから
                    • 最近のデータカタログの各種機能の有無を確認してみた(2024年4月時点) | DevelopersIO

                      さがらです。 ここ1~2年は新しい製品のリリースが落ち着いてきた印象ですが、Modern Data Stack界隈ではたくさんのデータカタログ製品が存在しています。 私も2年くらい前に色々触って調査したものの、この2年間での各製品のアップデートが凄まじく「どの製品がどの機能を持っているんだっけ…?」と知識が怪しくなってきてしまっている状況です。 そこで、今回改めて各製品の公式ドキュメントをベースに、最近のデータカタログの各種機能の有無を確認してみたので、本記事でまとめてみます。 ※注意事項:各製品のアップデートのスピードは本当に早いため、半年も経てば現時点で出来ていなかったことが出来ているようになっている可能性が高いです。最新の情報はご自身で確認の上、本記事は参考程度にご利用ください。 比較対象のデータカタログ 比較対象としては、以下のデータカタログを比較します。 SaaS Atlan S

                        最近のデータカタログの各種機能の有無を確認してみた(2024年4月時点) | DevelopersIO
                      • ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた - Qiita

                        ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた機械学習データ分析キャリアデータサイエンスデータサイエンティスト Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 その中のAI and Data Scientist Roadmapについての推薦図書まとめです。 雑感 これだけ学んでいれば「こいつ知ってるな」感がありますね。ただ気になる点としては ビジネス、ドメイン知識や分析目的定義などのスキルについて言及がないのは残念。 いきなり数学から入るコースになってますが、一旦は飛ばしてコード写経してから戻ってきても良いと思います。ここで挫折すると勿体無いので。 計量経済学重視の観点はいいですね

                          ITスキルロードマップ roadmap.sh がすごい。AI and Data Scientist について対応する本をまとめた - Qiita
                        • 日本だけ実質賃金が横ばい…「もっと労働生産性を上げろ!」と主張する人たちに見てもらいたい国際比較グラフがこちら

                          nichinichi🏳️‍⚧️🏳️‍🌈 @nichinichibijou こんな悲しいグラフがあるかよ…情け容赦ない搾取が可視化されててシンドイ 日本だけ実質賃金が上がってない(どころか若干下がってる)のに労働生産性だけ右肩上がり…お給料が上がらない(どころか若干下がってる)のに必死こいて働いて生産性を上げることないよ。今こそサボタージュが必要なのでは x.com/shirakawa_love… 2024-04-04 10:08:50 黄色異人/とし雪 @yellowman_a 日本じゃ運用改善で業務効率化、時短にした場合、空いた時間に別の仕事を突っ込まれ給料は上げてくれないという労働者側の感覚が、業務改善は定額プラン(隠語的に)内という経営側の感覚が…という実感はあります。 x.com/shirakawa_love… 2024-04-04 13:24:18

                            日本だけ実質賃金が横ばい…「もっと労働生産性を上げろ!」と主張する人たちに見てもらいたい国際比較グラフがこちら
                          • 2023年ラジコで聴かれた在京在阪中部エリアのラジオ番組TOP10は?radikoが、ラジオ番組・音楽を振り返る年間ランキングを発表!

                            株式会社radiko(代表取締役社長:青木 貴博、所在地:東京都港区)は、2023年ラジコで聴かれたラジオ番組・音楽を振り返る年間ランキングを発表しました。 ■【2023年】ラジコで聴かれた在京在阪中部エリアのラジオ番組をランキング形式で発表 radikoは、ラジオ番組やポッドキャストというオーディオコンテンツとユーザーとの出会いの場を広げ、新たな音声コンテンツのファン創出とラジオ業界の発展を目指すため、2023年1月~12月にラジコで聴かれたラジオ番組・音楽を振り返るランキングを発表しました!スポーツ・お笑い・ニュース・音楽など様々なジャンルの番組がランクインしていますので、このランキングが新たなリスナーと番組の出会いのきっかけとなり、春からの新生活、ラジオを通じてより一層楽しんで頂けたらと思います。 ラジコで聴かれた在京在阪中部のラジオ番組ランキング 2023年にラジコで1番聴かれたラ

                              2023年ラジコで聴かれた在京在阪中部エリアのラジオ番組TOP10は?radikoが、ラジオ番組・音楽を振り返る年間ランキングを発表!
                            • LGの洗濯機がなぜか1日3.6GBもデータ通信をしていると持ち主が困惑、LGが調査に乗り出す

                              LGのスマート洗濯機が、1日に3.6GBもの膨大なデータを通信をしていると報告するX(旧Twitter)の投稿が大きな話題となりました。 Homeowner Baffled After Washing Machine Uses 3.6GB of Internet Data a Day https://www.newsweek.com/homeowner-baffled-washing-machine-uses-3-6gb-internet-1862675 Your washing machine could be sending 3.7 GB of data a day — LG washing machine owner disconnected his device from Wi-Fi after noticing excessive outgoing daily data traf

                                LGの洗濯機がなぜか1日3.6GBもデータ通信をしていると持ち主が困惑、LGが調査に乗り出す
                              • データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools

                                整備したデータ基盤を、事業部や会社全体で活用に持っていく中で「データカタログ」の必要性が増々注目を集めています。 今回は、データカタログを導入し、データ利活用に挑んでいる6社に、アーキテクチャの工夫ポイントからデータカタログ導入によって得られた効果などを伺いました。 ◆目次 株式会社10X 株式会社ビットキー 株式会社エブリー 株式会社Luup Sansan株式会社 株式会社ZOZO 株式会社10X 事業内容 10Xでは「10xを創る」をミッションとし、小売向けECプラットフォーム「Stailer」の提供を通じて、スーパーやドラッグストア等のオンライン事業立ち上げ・運営支援を行っています。Stailerでは業務構築におけるコンサルティングから、必要な商品マスタやお客様アプリ・スタッフ向けのオペレーションシステム等の提供、配達システムの提供、販売促進の支援など、データを分析しながら一気通貫で

                                  データカタログ特集 データ利活用に向けたアーキテクチャ6選 - Findy Tools
                                • 金融時系列のためのデータ拡張入門

                                  No one is an island. Learnings from fostering a developers community.

                                    金融時系列のためのデータ拡張入門
                                  • IPA、「DX実践手引書」の改訂版を公開、「データスペース」と「データ活用におけるAI」を追記

                                      IPA、「DX実践手引書」の改訂版を公開、「データスペース」と「データ活用におけるAI」を追記
                                    • RubyのPolarsでデータサイエンティスト協会の100本ノックやってみた — 1 ~ 15問

                                      記事の趣旨 本記事では、Rust製の高速データフレームであるPolarsのRuby版を利用して、データサイエンティスト協会の提供する「データサイエンス100本ノック(構造化データ加工編)」をやってみることを目的にしています。 Polarsについては、下記の公式サイトを参照してください。 Ruby版のPolarsは、polars-dfというgem名で開発されています。 Rubyを使用したデータサイエンスライブラリをばりばり開発されているankane(Andrew Kane)さんによるgemです。 深層学習やデータフレーム、LightGBM、ベイズ推定など幅広い用途のRuby用データサイエンスライブラリを開発されているすごい方です。 また、本記事では「データサイエンティスト協会スキル定義委員」の「データサイエンス100本ノック(構造化データ加工編)」を利用しています。 実際のデータサイエンスの

                                        RubyのPolarsでデータサイエンティスト協会の100本ノックやってみた — 1 ~ 15問
                                      • Findyデータ基盤のアーキテクチャと技術スタック - Findy Tech Blog

                                        1. はじめに Findyでデータエンジニアとして働いている ひらき(hiracky16)です。 この記事ではFindyで取り組んでいるデータ基盤について紹介します。 Findyでは2023年からデータエンジニアを採用し本格的にデータ基盤構築に着手しています。 これまではBigQuery(Google Cloud)を中心としたデータ蓄積・利活用をしていました。 今後もっとデータ分析、機械学習などのデータ利用を加速するためにデータマネジメントが不可欠だと考えており、データエンジニアを採用しています。 まだ1人目のデータエンジニアがジョインしてから半年間くらいの取り組みですが、現時点のアーキテクチャや技術スタック、伸びしろや展望などを記します。 1. はじめに 2. これまでのデータ基盤の伸びしろ 3. 現状のデータ基盤アーキテクチャ 3.1. 本番環境のIaC化と開発環境の準備 3.2. デ

                                          Findyデータ基盤のアーキテクチャと技術スタック - Findy Tech Blog
                                        • 日本国外、とくにアメリカ在住日本人ってなんであんなに陰謀論に嵌ってるんだ?

                                          なんか、アメリカが日本より治安がいいと思ってる人がごろごろいるんだが。 どれだけデータ出しても「日本は暗数があるのでアメリカの方が治安がいいです」としか言わない機械みたいになっとる。 あんなに簡単に陰謀論に嵌るのか。 治安の良い都市ですら日本よりずっと高い犯罪率で、しかも殺人だの強盗だので誤魔化しようがないのに。

                                            日本国外、とくにアメリカ在住日本人ってなんであんなに陰謀論に嵌ってるんだ?
                                          • 「改札から改札まで」のリアルな所要時間で見えてくる本当に便利な駅【ビジュアルでわかる日本|データに隠された真実】 | サライ.jp|小学館の雑誌『サライ』公式サイト

                                            数字や文字の羅列であるデータもビジュアル化されていると理解しやすいということは、よくありますよね。可視化されることで全体像を理解し、物事の本質も認識しやすくなります。日本では有名チェーン店の店舗数やコンビニの所在地といった身近なものから、少子高齢化や気候変動といった社会問題まで、さまざまなデータが公開されています。これらを可視化することで、今まで見えていなかった日本の姿が見えてきます。 今回は、地理や自然に関するデータをわかりやすく可視化し、講演会なども行なっているにゃんこそばさんの著書『ビジュアルでわかる日本 データに隠された真実』から、主要駅までの所要時間を可視化したデータをご紹介。不動産情報などではわからない、リアルな改札から改札までの所要時間がひと目でわかります。 文/にゃんこそば 不動産広告には載っていない「改札から改札」までの所要時間 駅のホームなどで「○○駅へ直通△△分!」と

                                              「改札から改札まで」のリアルな所要時間で見えてくる本当に便利な駅【ビジュアルでわかる日本|データに隠された真実】 | サライ.jp|小学館の雑誌『サライ』公式サイト
                                            • WebSockets vs Server-Sent-Events vs Long-Polling vs WebRTC vs WebTransport | RxDB - JavaScript Database

                                              For modern real-time web applications, the ability to send events from the server to the client is indispensable. This necessity has led to the development of several methods over the years, each with its own set of advantages and drawbacks. Initially, long-polling was the only option available. It was then succeeded by WebSockets, which offered a more robust solution for bidirectional communicati

                                                WebSockets vs Server-Sent-Events vs Long-Polling vs WebRTC vs WebTransport | RxDB - JavaScript Database
                                              • 【ソフト&ハード週間販売数】『ユニコーンオーバーロード』が首位獲得&3機種版同時にトップ10入り!『Fit Boxing feat. 初音ミク』も好調な売上【3/4~3/10】 | ゲーム・エンタメ最新情報のファミ通.com

                                                Switch『ユニコーンオーバーロード』(Amazon.co.jp) PS5『ユニコーンオーバーロード』(Amazon.co.jp) PS4『ユニコーンオーバーロード』(Amazon.co.jp) 続いて4位には、同じく初登場のタイトルである『Fit Boxing feat. 初音ミク -ミクといっしょにエクササイズ-』がランクイン。 こちらは、手軽にエクササイズが楽しめる“Fit Boxing”シリーズと、バーチャルシンガー・初音ミクがコラボしたボクシングエクササイズゲームで、今後も継続的な売り上げが期待できる1作だ。 Switch『Fit Boxing feat. 初音ミク -ミクといっしょにエクササイズ-』(Amazon.co.jp) また、9位にランクインした『桃太郎電鉄ワールド ~地球は希望でまわってる!~』は、今週の売り上げでついに国内累計販売本数が100万本を突破した。 Sw

                                                  【ソフト&ハード週間販売数】『ユニコーンオーバーロード』が首位獲得&3機種版同時にトップ10入り!『Fit Boxing feat. 初音ミク』も好調な売上【3/4~3/10】 | ゲーム・エンタメ最新情報のファミ通.com
                                                • GM・ホンダ・起亜・ヒョンデなどのメーカーが運転データを明確な同意なく保険会社と共有していて保険料見直しに利用されているという指摘

                                                  常時ネットに接続する機能を有する「コネクテッドカー」は、車両の状態や周辺の道路状況を取得して、ネットワークを通じてデータを共有しています。このデータはどこで渋滞が起きているかといった交通情報の発信にも活用されていますが、一方で、保険会社とも共有され、保険料見直しに利用されていたことがThe New York Timesの調査で明らかになりました。 Automakers Are Sharing Consumers’ Driving Behavior With Insurance Companies - The New York Times https://www.nytimes.com/2024/03/11/technology/carmakers-driver-tracking-insurance.html Automakers Secretly Collect Driving Data,

                                                    GM・ホンダ・起亜・ヒョンデなどのメーカーが運転データを明確な同意なく保険会社と共有していて保険料見直しに利用されているという指摘
                                                  • 『LeanとDevOpsの科学』をきちんと解読する 〜Four Keys だけじゃ絶対もったいなくなる話〜

                                                    スクラムフェス福岡2024での講演資料です。 --- 皆さん、職場でFour Keysを導入していますか? Yesと答えた皆さん、『LeanとDevOpsの科学』は読みましたか? あくまで僕の周囲のみの観測で語るのですが、Four Keysを職場で導入しているという人はとても多いのですが、そのうち、出典である『LeanとDevOpsの科学』をきちんと読んだ人はかなり少ないようです。 そして、ここで敢えて強めの主張をするのですが 『LeanとDevOpsの科学』を読まずにFour Keysをきちんと利用することはほぼ不可能です。 Forsgrenらは徹底した研究の結果として4つのメトリクス(指標)を見出すのですが、その裏には彼女らの沢山の思いが詰まっています。その思いや彼女らの思考を理解し、彼女らの考えをきちんとトレースして始めて、Four Keysは意味を持ちます。 そして『LeanとDe

                                                      『LeanとDevOpsの科学』をきちんと解読する 〜Four Keys だけじゃ絶対もったいなくなる話〜
                                                    • [レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO

                                                      アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。 データ分析に於いて、「データオーケストレーション(Data orchestration)」という分野、カテゴリが存在します。端的に言うと「サイロ化されたデータを複数のストレージから一元化されたリポジトリに移動させ、そこで結合、クリーニング、エンリッチ化し、アクティブ化(ビジネス・インテリジェンス・ツールでのレポート作成など)するプロセス」(端的じゃなかった...) という定義となるのですが、2024年03月05日(火)に開催された『Data Engineering Study #23』にてこの「データオーケストレーション(Data orchestration)」を特集するということでイベントに参加(オンライン視聴)しました。 当エントリでは、その参加(視聴)内容についてざっくりではありますがレポ

                                                        [レポート] 『Data Engineering Study #23 Data orchestration 特集』 #DataEngineeringStudy | DevelopersIO
                                                      • ワークフローオーケストレーション入門

                                                        「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/

                                                          ワークフローオーケストレーション入門
                                                        • dbt導入によるデータマート整備 - ZOZO TECH BLOG

                                                          はじめに こんにちは、ML・データ部推薦基盤ブロックの栁澤(@i_125)です。私はZOZOのデータ基盤におけるデータガバナンス強化を実現するために、Analytics Engineerとして複数の部門を跨ぐプロジェクトチームに参加しています。本記事ではZOZOにおけるデータガバナンス上の課題と、その課題の解決策の1つとしてdbtを導入した話をご紹介します。 目次 はじめに 目次 背景 課題 データマートの乱立 集計定義のばらつき 依存関係の洗い出しが困難 データモデリングツールの比較検討 データ変換に関する要件 データモデリングツールの選定 レイヤリングによる責務の分離 実装方針 今後の展望 dbtモデルを開発する上で工夫したこと 環境の分離 背景 工夫したこと ダミーデータセットの生成 背景 工夫したこと SQLFluffを使ったフォーマット統一 依存モデルを含むテスト dbt Doc

                                                            dbt導入によるデータマート整備 - ZOZO TECH BLOG
                                                          • データウェアハウスのデータモデリングを整理してみた - Qiita

                                                            概要 スタースキーマからスノーフレーク、ギャラクシー、そしてデータボールトやアンカーモデリングまで、各スキーマの特徴、利点、そして適用シナリオを掘り下げます。 スタースキーマ スタースキーマを元に整理します。 スタースキーマ または 星型スキーマ はデータウェアハウスに利用される最も単純なスキーマである。スタースキーマには唯1つもしくは少数のファクト表と複数のディメンション表が含まれる。スタースキーマはスノーフレークスキーマの一種であるが、多くの用途で利用されている。 DWHに利用される最も単純なスキーマ 唯一または少数のファクトテーブルと、複数のディメンションテーブルが含まれる スノーフレークスキーマの一種 モデル ファクト表はデータウェアハウスでの解析で利用され、複数の異なるディメンションに区分される。ファクト表は主要なデータを持つ一方、ディメンション表は相対的にサイズが小さくディメン

                                                              データウェアハウスのデータモデリングを整理してみた - Qiita
                                                            • 経営者こそリスキリング データ分析第一人者の提言 - 日本経済新聞

                                                              【この記事のポイント】・日本はデータ分析をもとに意思決定する経営者が少ない・大学と企業は人材面の風通しをもっと良くすべきだ・技術の基本を学び、AIのミスを見抜く人材が必要だどんな組織でもデジタルトランスフォーメーション(DX)はもはや当たり前。データの扱いにたけた人材の確保は社会全体の課題だ。既存の働き手のリスキリング(学び直し)も欠かせない。滋賀大学は2017年に国内初のデータサイエンス学部を

                                                                経営者こそリスキリング データ分析第一人者の提言 - 日本経済新聞
                                                              • Terraformとdbtを活用してデータ基盤整備の生産性が向上した話

                                                                はじめに 私が所属しているライフイズテックのデータ基盤グループで、ここ2年ほどでdbtとterraformを活用してDataOpsを進め、データ基盤の整備の生産性が向上した話をまとめます。 導入前の状況と課題 弊社のデータ基盤ではデータ基盤が綺麗に整備されていることよりも、プロダクトや事業に貢献できているかを重要と考え、まずデータを使える状態にすることを目指したサービスの導入や基盤構築を行いました。 考え方としてはこちらの DWHにおけるデータモデリングで大事にしている考え方に書かれている内容に近い考え方になります。 そのため、データモデリングの前にRedashやCRM AnalyticsというBIツール向けにデータレイクからデータマートを先に構築していました。 terraformとdbt導入前は、図のような流れで SQLでSnowflake上にDBやスキーマなどを作成 ELTサービスとし

                                                                  Terraformとdbtを活用してデータ基盤整備の生産性が向上した話
                                                                • 人工衛星からみた地球のデータ、なんと無料。使わないともったいない

                                                                  人工衛星からみた地球のデータ、なんと無料。使わないともったいない2024.02.29 17:00Sponsored by J-spacesystems 編集部 「ハイパースペクトルセンサー」のデータが無料で提供されているって知ってましたか? ...いきなりこんなこと言われてもピンとこないですよね。ハイパースペクトルセンサーは人工衛星に搭載されている観測設備。超簡単にいうと、撮影するだけでその物質が何かを識別できるセンサーで、地球の地表にある鉱物やガス、植生などを宇宙から見分けることができます。 以前、ハイパースペクトルセンサーのすごさをわかりやすく解説した動画を公開しているので、まだの方はぜひご覧下さい。 後編となる今回の動画は国産のハイパースペクトルセンサー「HISUI(ひすい)」のお話。撮影したデータはどんなものなのか? それを使って何ができるのか? データを使うにはどうしたらいいのか

                                                                    人工衛星からみた地球のデータ、なんと無料。使わないともったいない
                                                                  • マイクロソフト、GPT-4に任意のドキュメントなどを読み込ませて回答してもらえる「Azure OpenAI Service On Your Data」が正式サービスに

                                                                    マイクロソフトは、GPT-35-TurboもしくはGPT-4に任意のデータソースを指定することでそのデータの内容を読み込み、質問に対して内容を基に回答できるようになる新機能「Azure OpenAI On Your Data」が正式サービスとなったことを発表しました。 例えば、社内規約や社内マニュアルなどを読み込ませると、「PCの修理を申し込むための社内手続きは?」といった、汎用の知識だけしか持たない従来のGPTでは答えられない質問にも回答できるようになります。 任意のドキュメントを読み込ませるための支援ツール「Azure AI Studio」には、Azure OpenAI On Your DataでカスタマイズしたAIを、チャットボットとして公開する機能も備わっています。 カスタマイズしたチャットAIのサービスを、社内や社外に簡単に公開できるようになります。 Azure OpenAI S

                                                                      マイクロソフト、GPT-4に任意のドキュメントなどを読み込ませて回答してもらえる「Azure OpenAI Service On Your Data」が正式サービスに
                                                                    • 結婚相談所にも魅力的な人はいるけど、増田が会えてないだけ

                                                                      https://anond.hatelabo.jp/2024022723544432歳婚活男性だけどもうダメだわ最近のここらへんの投稿が気になったので、40代で結婚相談所に入って成婚できた経験も踏まえて書いてみようと思う。 積極的で魅力的は人はいる自分があった中ではこんな人がいたかな。 お見合いやデートでプレゼントやお土産をくれる お店や場所の提案をしてくれる、場合によっては予約もしてくれるこちらから奢ってばかりだと悪いということで、奢り返してくれる(「今日は私が払いますね!」と言って伝票を取られた)LINEで頻繁にメッセージをくれる、メッセージの内容も魅力的(「ありがとう」が多い、メッセージで「夢に出てきました」と送ってくる人もいた)確かに、消極的な人もいたけど、そういう人とはお見合いより先に進まないことが多いのであまり印象に残らない。 積極的で魅力的は人は、すぐに成婚してしまうので出会

                                                                        結婚相談所にも魅力的な人はいるけど、増田が会えてないだけ
                                                                      • 韓国出生率23年「0.72」、過去最低更新 子育て不安重く - 日本経済新聞

                                                                        【ソウル=藤田哲哉】韓国統計庁は28日、2023年の合計特殊出生率(1人の女性が生涯に産む子どもの数、暫定値)を「0.72」と発表した。22年の「0.78」からさらに低下し、過去最低を更新した。出生数は5年前と比べて3割減り、23万人となった。物価上昇や子育て負担の増加、若者の将来への不安感から結婚・出産をためらう人が多くなった。韓国政府は少子化対策を打ち出してきたものの出生率の反転上昇はみら

                                                                          韓国出生率23年「0.72」、過去最低更新 子育て不安重く - 日本経済新聞
                                                                        • ノーススター(北極星)指標をモニターしてるのにビジネスが成長しないのはなぜか? - Qiita

                                                                          よくスタートアップやSaaSの世界などでノーススター(北極星)指標が注目されます。自分たちのビジネスを成長させるために組織の全員が一丸となって追うべき1つの指標というものです。 例えば、アクティビティの指標であるDAU(Daily Activity Users)やMAU(Monthly Active Users)であったり、またはエンゲージメントを測るためのDAU/MAU、またはそれこそ売上やMRRであったりするかもしれません。 データや数値を元にビジネスを成長させようということで、こうした「ノーススター」指標を決め、ダッシュボードなどで毎週、毎月モニターし始めます。 ところが、ここから誰もが話したくないことが起き始めます。 たいていの組織や企業の中の人達はこの指標をだんだん見なくなる、または本気にしなくなります。 実際見ている人は経験あると思うのですが、こうした指標の数値は良くなったり悪

                                                                            ノーススター(北極星)指標をモニターしてるのにビジネスが成長しないのはなぜか? - Qiita
                                                                          • 危機管理対策本部/ 岐南町公式ホームページ ぎなんねっと

                                                                            岐南町ハラスメント事案に関する町の対応 町民の皆様へ(副町長メッセージ) 令和2年の岐南町長就任以降の職員へのハラスメント事案に対し、令和6年2月27日付で「岐南町ハラスメント事案に関する第三者調査委員会」から調査報告書が提出され、岐南町長による極めて多数のセクシュアル・ハラスメント及びパワー・ハラスメント行為の事実が認定されました。 第三者調査委員会から、本件事案の原因・背景は、町長自身に起因するとの報告がなされましたが、同時に、内部組織が機能不全に陥っていたことも、被害の継続・二次被害を発生させる要因であったと厳しいご指摘をいただきました。改めて、町政に大きな混乱を招いたことをお詫び申し上げます。 本件事案を深く心に刻み、ハラスメント根絶に向け、風通しの良い環境づくりに幹部職員はもとより、職員一同全力で取り組むことで、町政に対する信頼の回復に努めてまいります。 令和6年3月7日 岐南町

                                                                            • You Don't Need Next.js | ドクセル

                                                                              [beta] Next.jsクイズ2 • <p>にはなにが表示されるでしょうか? /app/page.tsx "use client"; import { useCallback, useEffect, useState } from "react"; export default function Home() { const [date, setDate] = useState(); const fetchDate = useCallback(async () => { const response = await fetch("/api"); const data = await response.json(); setDate(data.date); }, []); useEffect(() => { fetchDate(); }, [fetchDate]); return ( <

                                                                                You Don't Need Next.js | ドクセル
                                                                              • Nature Remo+AWS+LINE Notifyで緩やかな自宅監視(1)

                                                                                家族がいると自宅の様子が気になる、けれども監視カメラを設置するのは家族のプライバシー的に行き過ぎた感あり、もう少し緩やかな監視ができないか?と考えた際、照度の変化に着目したソリューションを思いついた。 つまり、家族が帰宅して部屋の電気を付けた、外出のため消灯した、電気を消して寝静まったといった状態の遷移を「照度の変化」によって検知し、スマホに通知する、といった具合だ。 概要 Nature Remo 3は外出先からスマートフォンで家電を制御するためのスマートリモコン製品のひとつであるが、照度や温度センサーが取得した情報を Nature Remo Cloud API によりクラウドから取得できる、という大変素晴らしい特徴がある。 自宅に設置したNature Remoの照度を、AWSのLambda関数により一定時間毎に取得してDynamoDBに蓄積する。前回取得した照度と比べて急激な変化があった

                                                                                  Nature Remo+AWS+LINE Notifyで緩やかな自宅監視(1)
                                                                                • 先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース

                                                                                  どんな企業にとってもデータは「資産」ですが、ユーザーとクライアントのマッチングを軸に事業を展開するリクルートにとっては、ビジネスを支える存在の一つです。 リクルートではサービスに関わるデータを収集・蓄積するデータ基盤を構築し、マッチングの精度向上を含むプロダクト改善などに活用してきました。例えばWebサイトの回遊状況を元にユーザーの興味や関心を推測してリコメンデーションを行ったり、検索結果を提供したりするなど、ユーザーとクライアント、双方が満足できるマッチング機会の創出に取り組んでいます。 このような取り組みにおいて、新しく生まれた価値のある情報を、より素早く活用していく「データの鮮度」は大事な要素になります。データの鮮度とは、すなわちリアルタイム性のこと。多様かつ膨大な量のデータを取り扱うビジネスでは、このリアルタイム性をいかに高められるかが、意思決定の精度や速度に直結します。 リクルー

                                                                                    先進的な技術を“合理的に”導入する。リクルートが「ニアリアルタイムデータ基盤」を実現できた背景 - はてなニュース