並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 1319件

新着順 人気順

visualizationの検索結果1 - 40 件 / 1319件

  • 「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary

    データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 (最速・最短ルート用) まずは動かしてみよう。強くてニューゲームが体験出来るぞ! 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入

      「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary
    • 人付き合いって大事かなと思ったら読みたい3冊 - 本しゃぶり

      人付き合いは大切だと言われるが、実際どれくらい大切なのか。 俺みたいなタイプは知識として教えて欲しい。 人脈と成功の本はこれを読め。 やっぱり人脈か 学生時代に触れた言葉で印象に残っているものがある。それは「人・本・旅」だ。ライフネット生命の出口治明の言葉で、彼は人間が学ぶ方法はこの3つだと常々言っている*1。俺はこれを読んだ時に思った。 「俺は人に会うのは好きじゃないから、代わりに本を倍読もう」 それで積極的に本を読み、年に一回は旅に出るということを続けてきた*2。だが、色々と本を読み続けたことで、あることに気がつく。人と会い、繋がりを作ることは重要ではないか、と。 もしかしたら「学び」だけなら「本」と「旅」だけでもそれなりに得られるかもしれない。だが「成功」を求めるならば、「人」の比重が多いようだ。俺が読んできた様々な本で、「人脈」や「人的ネットワーク」の重要性が語られていた。また、社

        人付き合いって大事かなと思ったら読みたい3冊 - 本しゃぶり
      • この記事の元の本編は削除しました。|樫田光 | Hikaru Kashida|note

        これは何かGoogleの Material Design Guideline - Data Visualization  がとても良くまとまっていたので、自分なりに和訳・編集してまとめたものです。 ※ 注意事項 こちらはあくまで、もとのドキュメントを参考に筆者が和訳・編集したものになります。原文の完全な和訳ではなく、抜粋の範囲や、英=>和の際の意訳を筆者が恣意的に行っています。 筆者の意訳・編集による曲解や元のドキュメントでのオリジナルの文意が気になる方は原文を読むことを強くおすすめします。 和訳の公開の可否についてはGoogle社に直接問い合わせています。1 / 原理原則(Principles) データの可視化は、複雑で内容の多い情報をグラフィカルな形式で表現するコミュニケーション手段である。 可視化の結果、データを比較しストーリーを伝えることが容易になり、データの利用者の意思決定の助け

          この記事の元の本編は削除しました。|樫田光 | Hikaru Kashida|note
        • 最近のポケモンはデジモンっぽいのか、ディープラーニングに聞いてみた - Qiita

          はじめに ポケモンについて何となく知っている人向けの記事です(デジモンは知らなくてOK) 3月ごろにポケモンたかさおじさんが集計したアンケートの分析をお手伝いしたところ、アンケートの自由記述回答の6353件中、155件もデジモンについて言及するコメントがあった。 「デジモンと区別付かないよね」 「もはやポケモンじゃない…。デジモン…。昔のデザインに戻ってほしいなぁ…。。。」 「主観ですが、伝説のポケモンが角張った印象で、デジモンのような印象を受ける。」 「全体的に毛がなさそうなツルッとしたフォルムの子達が増えた気がします。デジモンっぽい」 「デザインがごちゃごちゃしすぎて子供が描くのが難しい デジモンに近くなってきている」 「ダイパまでのデザインがポケモンっぽいデザイン。それ以降はデジモンみたいな雰囲気。」 私は幼少期からポケモンには触れてきたが、デジモンにはあまり縁がなかったため、 デジ

            最近のポケモンはデジモンっぽいのか、ディープラーニングに聞いてみた - Qiita
          • 日本のウェブデザインの特異な事例

            sabrinas.spaceより。 8週間もかからなかったはずのプロジェクト 日本のウェブデザインはどう違うのか? 2013年のRandomwireのブログ投稿で、著者(David)は、日本のデザインの興味深い相違点を強調しました。日本人はミニマリストのライフスタイルで海外に知られていますが、ウェブサイトは奇妙なほどマキシマリストです。ページには様々な明るい色(3色デザイン原則を破っている)、小さな画像、そして多くのテキストが使われています。2022年11月に撮影されたこれらのスクリーンショットで、自分の目で確かめて下さい。 ブログ投稿には、文化的専門家、デザイナー仲間、そして不満を抱く市民によって支持されている、考えられる理由がいくつか挙げられていました。 この理論が今でも正しいのか、また、もっと定量的なアプローチが可能なのか気になったのでやってみました。 私が見つけたもの 各国の最も人

              日本のウェブデザインの特異な事例
            • ソースコードを公開したソフトウェアで収益を得ている会社

              ソースコードを公開したソフトウェアで収益を得ている会社をまとめる。いわゆる「オープンソースソフトウェア(OSS)」という有名な言葉を使わなかったのは、OSS の定義に当てはまらない、またはその可能性があるものが含まれているため。 この記事では "OSS" の定義に当てはまらないものも含め、主要な事業を構成するソフトウェアを一定のライセンスの下で公開している会社をまとめていく。このようにソースコードを公開して利用者やフィードバックを集めるビジネスモデルは open core とか COSS: Commercial Open Source Software と呼ばれているようだ。 企業が「ソースコードが公開されているソフトウェア」を利用するメリットとしては、主に以下の2つがあると考えられる。 コア機能の開発に集中できる 自社のビジネスの核となるソフトウェアの開発に集中し、それ以外の機能的・非機

                ソースコードを公開したソフトウェアで収益を得ている会社
              • HTMLのtableにクラスを加えるだけで、グラフやチャートを簡単に実装できるCSSのフレームワーク -Charts.css

                棒グラフや折れ線グラフ、どうやって実装していますか? Charts.cssなら簡単です。データをtableタグで実装し、CSSのクラスをtableに加えるだけで横棒グラフ、棒線グラフ、折れ線グラフ、エリアグラフなどを簡単に実装できるCSSのフレームワークを紹介します。 HTMLは普通の表組みなのでアクセシブル、グラフやチャートはレスポンシブにも完全対応した優れものです。 Charts.css Charts.css -GitHub Charts.cssの特徴 Charts.cssのデモ Charts.cssの使い方 Charts.cssの特徴 Charts.cssはtableで実装した表組みにシンプルなCSSのクラスを加えるだけで、さまざまなグラフやチャートを実装できるフレームワークです。カスタマイズも簡単で、ユーティリティのクラスも豊富に用意されています。 HTMLとCSSだけで実装 セマ

                  HTMLのtableにクラスを加えるだけで、グラフやチャートを簡単に実装できるCSSのフレームワーク -Charts.css
                • 【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita

                  【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノートJavaScriptd3.jsデータ分析データサイエンスcolaboratory CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript), Colab(Python)どちらでも例を試せる。https://t.co/lGyPElrihg pic.twitter.com/mWZn

                    【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita
                  • データ視覚化のプロが選ぶデータ分析のオススメ本32選

                    データ分析&データ視覚化のコンサルティングをしております、永田ゆかりと申します。 これまで2000人以上の方にデータ分析や活用の研修・トレーニング講師、企業への分析コンサルティングをさせていただいており、仕事をさせていただく中で必要な本を読み続けているうちに、気がついたらデータ分析領域の本を200冊以上読んでいました。 中でもデータビジュアライゼーション・視覚化の領域に関しては私自身の得意領域ということもあり、数多く読み込んでいます。 本記事では数多くのクライアントの方々との問題解決に役立った知識・ノウハウが書かれている良書をご紹介させていただきますので、是非最後までご覧ください。 データ分析における視覚化(ビジュアライゼーション)系のおすすめの本17選1 Storytelling with Data ⇒Amazonで詳細を見る 日本語版で刊行されたGoogle流資料作成術の原著です。 デ

                      データ視覚化のプロが選ぶデータ分析のオススメ本32選
                    • 放送大学マイルストーン('23)|lumpsucker

                      はじめにこの記事は、放送大学の(主に情報コースを中心とする)学生さん向けに、私の履修済み科目の感想と主観的評価を共有して、履修計画の参考にしていただくことを目的に作成しました。下記の記事の通り、2019年-2020年の2年間で情報コースの科目を8割方履修したのでそれなりの網羅性があるかと思います。 (2023年2月追記)その後、選科履修生として履修した他コースの科目や大学院科目などを追加して112科目掲載しています。試験難易度については履修時期によって会場試験・在宅ペーパー試験・在宅Web試験が混在しているので参考程度でお願いします。 タイトルは私が現役生の時に通っていた大学の似たような評価システムから拝借しました。 以下の科目は基本的にナンバリングが低い順に並べています。閉講済みの科目も混じっていますが、記録と後継科目の参考のために残しておきます。あくまで全て(上記の記事にある通り、文系

                        放送大学マイルストーン('23)|lumpsucker
                      • ブラックホールに落ちたらどんな景色が見えるのか NASAが可視化して再現

                        ブラックホールに落ちて行くときにどんな光景が見えるのか、疑問に思ったことはありませんか。そんな疑問に答える映像をNASA(アメリカ航空宇宙局)が公開しました。コンピュータ・シミュレーションにより可視化した映像です。 ブラックホールには、それ以上近づくと光でさえ脱出することができなくなる境界があります。その境界面は「事象の地平面」と呼ばれます。 今回公開された可視化映像は、その事象の地平面の内部まで入って行くものと、事象の地平面に接近後にそこから離れて戻ってくるものと、2パターンが公開されています。 カメラが接近していくブラックホールは、天の川銀河の中心にある、太陽の430万倍の質量をもつ超巨大ブラックホールです。ブラックホールの事象の地平面は約2500万kmにおよびます。ブラックホールは高温で輝くガス円盤(降着円盤)に取り囲まれており、また円盤の内側には光子リングも見えています。 事象の地

                          ブラックホールに落ちたらどんな景色が見えるのか NASAが可視化して再現
                        • ディープラーニングの手法「CNN」の画像識別処理がアニメーションで理解できる「CNN Explainer」

                          「AI」や「機械学習」といった言葉を耳にすることが増えていますが、その仕組みを理解するのは難しいと感じる人もいるはず。ジョージア工科大学のAIに関する研究チームであるPolo Clubが、機械学習の代表的なモデルである畳み込みニューラルネットワーク(CNN)を視覚的に理解できるウェブアプリ「CNN Explainer」を公開しています。 CNN Explainer https://poloclub.github.io/cnn-explainer/ 実際にCNN Explainerを操作しているムービーは以下。 Demo Video "CNN Explainer: Learning Convolutional Neural Networks with Interactive Visualization" - YouTube CNNは機械学習における分類器のひとつで、ニューラルネットワークを用

                            ディープラーニングの手法「CNN」の画像識別処理がアニメーションで理解できる「CNN Explainer」
                          • Mini Tokyo 3D

                            A real-time 3D digital map of Tokyo's public transport system. This data visualization was produced by Akihiko Kusanagi.

                              Mini Tokyo 3D
                            • セキュリティ関連費用の可視化 :IPA 独立行政法人 情報処理推進機構

                              近年、サイバー攻撃が複雑高度化しており、サイバー攻撃が事業継続に及ぼすリスクはどんな企業であっても見逃すことはできません。また、企業が新たな価値創出をし、競争優位性を高めるためにはDX(デジタルトランスフォーメーション)の推進が欠かせません。 これらの課題に取り組む上で、企業のセキュリティ対策は不可欠ですが、実際に自社にセキュリティ製品やサービスを導入するためには、社内予算を確保する必要があります。 しかし、予算権限を有する経営者は必ずしも情報システム(IT)、制御システム(OT)のセキュリティ分野に関する知見があるわけではありません。 そのため、企業のセキュリティ担当者にはセキュリティ対策を経営者が理解できるような言葉で説明することに苦悩し、自社のセキュリティ対策を遂行するための予算確保に苦労する方が多いと考えております。 セキュリティ対策を遂行するための予算を上手く確保できない原因とし

                              • 巨大地震のきっかけは月なのか?->月っぽい - Qiita

                                0. Abstract 巨大地震(M>8のもの)は多くの場合、月による潮汐応力による地球の変形が、発生のトリガとなっているらしい 過去に発生した地震を、統計的に扱って潮汐との関連を議論した論文もいくつかあった しかし、当然といえば当然なのだが、Tidal Phase Angleについて議論していても、Lunar AgeやLunar Phaseを明確に示したものは見つからなかった Tidal Phase Angleは、Lunar Ageとほぼ同じような振るまいとなるので、当然といえば当然か 一般人が自分でTidal Phase Angleを計算できるとは到底思えない しかし、月と太陽の位置なら自分で見ればわかる なので、Lunar AgeとEarthquakeの発生状況を可視化した 1. Introduction この記事は、過去の地震が統計的にどのような 月の位置と位相の時に発生したのか

                                  巨大地震のきっかけは月なのか?->月っぽい - Qiita
                                • 地理空間情報を扱うなら知っておきたいPythonライブラリ、GeoPandas入門~基礎編~ | 宙畑

                                  さまざまなデータを地理空間情報として重畳する上で有用なPythonのライブラリであるGeoPandas。前編ではGeoPandasを用いたデータの描画方法など基礎的な扱い方を紹介し、後編では衛星データと組み合わせて解析結果を可視化する方法を紹介します。 Pythonで地理空間情報を行う場合、GeoPandasの使い方を覚えておくととても便利です。 例えば、都道府県別の気象データを持っていたとします。そのテーブルデータ(csv)には地理情報と言えば、都道府県の名称くらいしかありません。このような場合、これを日本地図の上に重畳して可視化することはできません。 しかし、このデータに地図上に描画できる情報を与えることさえできれば、好きなデータを地図の上に重ねることができます。このようなことをしたい場合に、GeoPandasの使い方を知っておけば助けになります。 今回は、簡単な例を通じて、GeoPa

                                    地理空間情報を扱うなら知っておきたいPythonライブラリ、GeoPandas入門~基礎編~ | 宙畑
                                  • Salesforce.comがBIツールベンダTableauを買収。「これまでにないほどSalesforceの分析機能は強化される」

                                    Salesforce.comがBIツールベンダTableauを買収。「これまでにないほどSalesforceの分析機能は強化される」 Salesforce.comはTableau(タブロー)を買収することで両社が合意したことを発表しました。 Salesforce signs definitive agreement to acquire @Tableau! https://t.co/uHB021s35e Important: https://t.co/HMTWhHPxQa pic.twitter.com/0aA7L0myVt — Salesforce (@salesforce) 2019年6月10日 Salesforce.comは顧客管理や営業支援、マーケティング支援、ヘルプデスクなどさまざまなサービスを提供するクラウド企業。買収されるTableauは有力なBIツールベンダとして知られてい

                                      Salesforce.comがBIツールベンダTableauを買収。「これまでにないほどSalesforceの分析機能は強化される」
                                    • SQL Training 2021

                                      Transcript SQL 株式会社 AI Shift 三宅 悠太 1. データベース 2. SQL I 3.トランザクション 4. データベース設計 5. インデックス 6. 実行計画 7. SQL II データベース データベースとは “A database is an organized collection of inter-related data that models some aspect of the real-world “ (CMU) データベースとは、実世界のある側面をモデル化した、秩序 だった、相互に関連したデータの集まり DBMS • データベース管理システム(DBMS)は、データベースを管理するソフトウェア ◦ 例:MySQL, Oracle Database, SQLite, MongoDB • DBMSの目的は、アプリケーションが簡単にデータベースにデー

                                        SQL Training 2021
                                      • Python ユーザでも『データ可視化入門』で練習できるようにパッケージを作った + Plotnine との互換性ガイド - ill-identified diary

                                        概要 pysocviz が提供する機能 ggplot2 と同じようにできないところとその対策 aes() にクオートされてない変数を指定できない R のように改行できない ggplot2 で使えた色名が使えない ggplot2 で使えた linetype が使えない 文字化けの回避 ggrepel パッケージの利用 scales::percent などの単位・スケール指定 テーマや色パレットのプリセットを変更したい場合 subtitle/caption が表示されない 複数のグラフを連結できない hjust/vjust が使えない グラフ内の図形やテキストの大きさのバランスがおかしい geom_smooth/stat_smooth で一般化加法モデル (GAM) による平滑化ができない geom_quantile の method 指定ができない geom_smooth/stat_smoo

                                          Python ユーザでも『データ可視化入門』で練習できるようにパッケージを作った + Plotnine との互換性ガイド - ill-identified diary
                                        • Google、オープンソースのモジュール依存関係を分かりやすくグラフ化してくれる「Open Source Insights Project」公開

                                          Google、オープンソースのモジュール依存関係を分かりやすくグラフ化してくれる「Open Source Insights Project」公開 Googleは、さまざまなオープンソースソフトウェアがどのような依存関係にあるかを一覧表示やグラフ化表示などで示してくれるWebサイト「Open Source Insights Project」を発表しました。 Introducing Open Source Insights! This exploratory visualization site provides an interactive view of the dependencies of open source projects, and so much more. See the benefits ↓ https://t.co/CgXUMCeTaZ — Google Open So

                                            Google、オープンソースのモジュール依存関係を分かりやすくグラフ化してくれる「Open Source Insights Project」公開
                                          • JSON をプレビューしながら jq のフィルタを書くことができる「jnv」を試してみる

                                            ちなみに jq がインストールされている必要はありません。 jnv does not require users to install jq on their system, because it utilizes j9 Rust bindings. https://github.com/ynqa/jnv#installation JSON navigator and interactive filter leveraging jq Usage: jnv [OPTIONS] [INPUT] Examples: - Read from a file: jnv data.json - Read from standard input: cat data.json | jnv Arguments: [INPUT] Optional path to a JSON file. If not prov

                                              JSON をプレビューしながら jq のフィルタを書くことができる「jnv」を試してみる
                                            • Becoming a Better Writer as a Software Engineer

                                              Writing is an increasingly important skill for engineering leaders. Indeed, poor writing can hamper career progression, above a certain level. Tactics for more clear, more frequent and more confident writing. I’ve observed that my writing is not up to par with my peers. How can I improve my professional writing, as someone working in tech?I get this question from many people: senior engineers who

                                                Becoming a Better Writer as a Software Engineer
                                              • Mini Tokyo 3D

                                                A real-time 3D digital map of Tokyo's public transport system. This data visualization was produced by Akihiko Kusanagi.

                                                  Mini Tokyo 3D
                                                • 共同編集を支える技術とライブラリの活用 - ICS MEDIA

                                                  『Google Docs』や『Figma』といったリアルタイムな共同編集ツールの恩恵を受けている人は数多くいるでしょう。『Visual Studio Live Share』のようなエンジニアに嬉しいツールも生まれ、今日ではオンライン上でも円滑なコミュニケーションが可能になっています。 これらのツールの基礎にあるのが「共同編集」のテクノロジーです。本記事ではこの技術に焦点を当て、その仕組みと主にフロントエンドでの実用例について紹介します。 記事の前半では、リアルタイムな共同編集に用いられる技術やアルゴリズムについて、発展の歴史とあわせて紹介します。解説用のコードにはJavaScriptおよびTypeScriptを使用しますが、フロントエンドエンジニアに限らず共同編集の仕組みについて気になる読者が知識を深めるきっかけとなるはずです。 さらに後半ではフロントエンドの開発者目線で、前半で紹介した技

                                                    共同編集を支える技術とライブラリの活用 - ICS MEDIA
                                                  • 科学技術情報分析の面白さ

                                                    下記のイベントで講演した資料です。私はDay 1に「科学技術情報分析の面白さ」というテーマで発表しました。 データ可視化ショーケースイベント Data Visualization meetup 2021 https://peatix.com/event/3120368 「データ可視化研究の可視化」を始め、テキストマイニングやネットワーク分析を用いた事例を紹介しつつ、特許や論文・学術文献といった科学技術情報の面白さや動向をお話しました。データ可視化・分析に係る方々の参考になれば幸いです。 Day 1 https://www.youtube.com/watch?v=VxaZR55H9dE Day 2 https://www.youtube.com/watch?v=ZFxLzngdN_c

                                                      科学技術情報分析の面白さ
                                                    • 2019-nCoVについてのメモとリンク

                                                      リンク集目次 国内外の状況 政府機関・国際機関等 学術情報 疫学論文 分子生物学/ウイルス学論文 臨床論文 インフォデミック関係 ワクチン関係 変異株関係 時系列メモ目次 新型コロナウイルス(2020年1月6日,11日) インペリグループによる患者数推定(2020年1月18日) 患者数急増,西浦さんたちの論文(2020年1月20日,23日) WHOはPHEIC宣言せず(2020年1月23-24日) 絶対リスクと相対リスク(2020年1月26日) 研究ラッシュが起こるかも(2020年1月27日) なぜ新感染症でなく指定感染症なのか? なぜ厚労省令でなく閣議決定なのか?(2020年1月27日) コロナウイルスに対する個人防御(2020年1月27日) 国内ヒト=ヒト感染発生(2020年1月28日) フォローアップセンター設置,緊急避難等(2020年1月29日) PHEICの宣言(2020年1月3

                                                      • Material Design

                                                        Build beautiful, usable products faster. Material Design is an adaptable system—backed by open-source code—that helps teams build high quality digital experiences.

                                                          Material Design
                                                        • rust.tokyo のまとめ・感想 - mizchi's blog

                                                          このブログを書いてる経緯 rust.tokyo 楽しみ!絶対行く!といってたのに申込みを忘れたところ、じゃあスタッフとしてブログを書けという話になったので、ブロガー枠?らしく感想を書きます。とはいえ書けるのは見たやつだけです。 https://rust.tokyo/sessions# 前提 自分は低レベルプログラミングは詳しくないです。年に3日ぐらい思い出したように Rust 勉強することがある。 wasm 周りのエコシステムはずっと追ってる。 会場の雰囲気 組み込み勢とブロックチェーン勢が多そうな気配を感じた。 Visualization of mechanical CAD drawings using WebAssembly and WebGL Aki / CADDi (発表資料見つからず) 概要 Computer aided design (CAD) models used in m

                                                            rust.tokyo のまとめ・感想 - mizchi's blog
                                                          • State of CSS 2022  |  Blog  |  web.dev

                                                            Browser compatibility A primary reason so many CSS features are set to cooperatively release is due to the efforts of Interop 2022. Before studying the Interop efforts, it's important to look at Compat 2021’s efforts. Compat 2021 The goals for 2021, driven by developer feedback via surveys, were to stabilize current features, improve the test suite and increase passing scores of browsers for five

                                                              State of CSS 2022  |  Blog  |  web.dev
                                                            • TabFS

                                                              Going through the files inside a tab's folder. For example, the url.txt, text.txt, and title.txt files tell me those live properties of this tab (Read more up-to-date documentation for all of TabFS's files here.) This gives you a ton of power, because now you can apply all the existing tools on your computer that already know how to deal with files -- terminal commands, scripting languages, point-

                                                                TabFS
                                                              • LLM Visualization

                                                                A 3D animated visualization of an LLM with a walkthrough.

                                                                • データ集計基盤の改善でLooker導入に至ったワケ - ZOZO TECH BLOG

                                                                  こんにちは。開発部データエンジニアの遠藤です。現在、私はデータ×テクノロジーでZOZOグループのマーケティングを支援するデータチームに所属して、データ処理基盤の運用などに従事しています。 本記事では、Lookerを用いて運用中のデータ集計基盤をきれいなデータをスマートに取り出せる基盤に改良した件について報告します。 データ集計基盤で燻っていた問題 1. クエリ管理の限界 2. 集計定義に対するデータの信憑性が謎 Lookerは何が良い? ~データガバナンス機能~ LookML データディクショナリ Gitによるバージョン管理 データ集計基盤(改)の設定フロー データ集計基盤(改)でのデータマート更新 まとめ データ集計基盤で燻っていた問題 ZOZOでは、サービスに関するあらゆるデータをBigQueryに集約しています。BigQueryに集約した大量のデータからデータマートとして必要なデータ

                                                                    データ集計基盤の改善でLooker導入に至ったワケ - ZOZO TECH BLOG
                                                                  • The cost of JavaScript in 2019 · V8

                                                                    Show navigation Note: If you prefer watching a presentation over reading articles, then enjoy the video below! If not, skip the video and read on. “The cost of JavaScript” as presented by Addy Osmani at #PerfMatters Conference 2019.One large change to the cost of JavaScript over the last few years has been an improvement in how fast browsers can parse and compile script. In 2019, the dominant cost

                                                                    • The State of JavaScript 2019

                                                                      We were pretty sure 2018 would be the last time we did this survey. After all, the JavaScript ecosystem can’t very well keep changing again, can it? But what do you know, turns out JavaScript isn’t quite done changing just yet! And so after over 21,717 respondents took this year's survey we had to dig up our components and charts, curse us-from-a-year-ago for writing such crappy code, and get to w

                                                                        The State of JavaScript 2019
                                                                      • 地理空間情報を扱う上で知っておきたいPythonライブラリ、GeoPandas入門~応用編・衛星データと組み合わせ~ | 宙畑

                                                                        地理空間情報を扱う上で知っておきたいPythonライブラリ、GeoPandas入門~応用編・衛星データと組み合わせ~ 地理空間情報を解析する上で有用なPythonライブラリGeoPandas。後編では、衛星データとシェープファイルを組み合わせて解析することで、テーブルデータを作成することにチャレンジします。筆ポリゴンを任意の大きさのベクターデータで切り取り、切り取ったデータを用いて、衛星データをその範囲で取得し、NDVIの推移を求めます。 前編ではシェープファイルのような地図に重ねることのできる幾何的な情報を含んだデータと、単なるテーブルデータ(ただし、そのシェープファイルと同様のデータを含む場合。例えば都道府県の名称)を重ねて、作成したデータを描画するということを学びました。 後編となる本記事では、シェープファイルと同様に幾何的なデータを含みつつ、ラスターデータとして扱われているもの(代

                                                                          地理空間情報を扱う上で知っておきたいPythonライブラリ、GeoPandas入門~応用編・衛星データと組み合わせ~ | 宙畑
                                                                        • 機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ(2023年12月版)|カレーちゃん

                                                                          機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ(2023年12月版) こんにちわ、カレーちゃんです。Kaggle GrandMasterです。 Kaggleはデータサイエンスに入門するのにとても適しています。ですが、英語の問題などがあり、入門するのが難しい。そこで、Kaggleの「入門」をこうすれば高速に完了できるというnoteを書きます。 同じタイトルの記事を、2020年8月にも書いたのですが、それから2年以上がたちました。それから、おすすめできる資料が増え、また、私が思う入門のコースもやや変わりましたので、更新をしたいと思います。 1.Kaggleに入門(はじめに取り組むと良い資料)Kaggleには、「タイタニックコンペ」という、練習用のコンペがあります。 これは、事故が起こったタイタニックの乗客のデータから、乗客の生死を予測するという、やりたいこと

                                                                            機械学習初心者がKaggleの「入門」を高速で終えるための、おすすめ資料などまとめ(2023年12月版)|カレーちゃん
                                                                          • PythonでApache beam 入門

                                                                            2020-12-26 TensorFlowの勉強をしていたら、Apache beam を前処理に採用していたケースがあり、興味を持ったので深堀りしてみます。 興味が湧いたモチベーションとしては、 データ量が増加しても前処理部分を難なくスケールできそう(前処理部分をスケールさせて高速に実験を回したい、並列化などはすべて良い感じにbeamに任せれそうバッチとストリーミングの両者に対応可能なので、柔軟な機械学習の推論サービスが提供できるのでは? (GCPの参考資料 Data preprocessing for machine learning: options and recommendations)Apache beam を触りつつ分散データ処理を学びたいhttps://github.com/jhuangtw/xg2xg#services を見てみるとGoogle 内部のFlume という並列

                                                                              PythonでApache beam 入門
                                                                            • Linux perf Examples

                                                                              Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te

                                                                              • 世界中で利用される「D3.js」の開発者が10年間で学んだこととは?

                                                                                ニューヨーク・タイムズやOpenStreetMapなど、さまざまなウェブサイトで利用されているデータ可視化ライブラリが「D3.js」です。そんなD3.jsの開発10周年を記念して、開発者のマイク・ボストック氏が「D3.jsを10年間開発する中で学んだこと」を公開しています。 10 Years of Open-Source Visualization / Mike Bostock / Observable https://observablehq.com/@mbostock/10-years-of-open-source-visualization ◆「使用例」がツールの普及に役立つ ボストック氏によると、新たに開発されたツールは、開発者以外の人々にとっては異質なモノであるとのこと。そのため、ツールを普及させるには「ドキュメント」「チュートリアル」「使用例」などを準備する必要があります。 ボ

                                                                                  世界中で利用される「D3.js」の開発者が10年間で学んだこととは?
                                                                                • 【知的生産?】『TAKE NOTES!――メモで、あなただけのアウトプットが自然にできるようになる』ズンク・アーレンス : マインドマップ的読書感想文

                                                                                  TAKE NOTES!――メモで、あなただけのアウトプットが自然にできるようになる 【本の概要】◆今日ご紹介するのは、先日の「未読本・気になる本」の記事でも一番人気だったメモ術本。 ただし通常のメモと違い、「アウトプット前提」でメモを作成するのが、本書の特徴となっています。 アマゾンの内容紹介から一部引用。58冊の本と、数百本の論文という、大量の執筆をしたニクラス・ルーマンという社会学者がいます。彼の著作のクオリティはずばぬけていて、専門分野以外でも古典的名著になっています。 どうしてそんなことができたのか? その答えは、彼が編み出したツェッテルカステンというメモ術にあります。 中古が定価を大きく上回る一方、上記未読本記事の時点では定価だったKindle版が値下がりして、「10%OFF」となっていますから、こちらもお見逃しなく! 2015-06-12i Imagining an index

                                                                                    【知的生産?】『TAKE NOTES!――メモで、あなただけのアウトプットが自然にできるようになる』ズンク・アーレンス : マインドマップ的読書感想文