並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 84件

新着順 人気順

ビジュアライゼーショの検索結果1 - 40 件 / 84件

ビジュアライゼーショに関するエントリは84件あります。 データpython機械学習 などが関連タグです。 人気エントリには 『東工大が無料公開しているPython解説サイト初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方などをひと通り学べる。』などがあります。
  • 東工大が無料公開しているPython解説サイト初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方などをひと通り学べる。

    QDくん⚡️AI関連の無料教材紹介 @developer_quant 金融技術職/ChatGPT等の生成AI,機械学習,データサイエンス,プログラミングの勉強に役立つ情報を発信/良質な無料教材,スライド,動画,サイトを紹介/金融工学x機械学習ブログ運営700記事 quantcollege.net /C++/Python/Julia/Rust/Amazonアソシエイト参加中 note.com/quantdeveloper QDくん⚡️AI関連の無料教材紹介 @developer_quant 東工大が無料公開しているPython解説サイト chokkan.github.io/python/index.h… 初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。 基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方などをひと通り学べる。

      東工大が無料公開しているPython解説サイト初心者の目線に合わせた丁寧な説明で、かゆいところに手が届く教材。基本的な文法、データ構造、ファイル入出力やオブジェクト指向、NumpyとMatplotlibの使い方などをひと通り学べる。
    • この記事の元の本編は削除しました。|樫田光 | Hikaru Kashida|note

      これは何かGoogleの Material Design Guideline - Data Visualization  がとても良くまとまっていたので、自分なりに和訳・編集してまとめたものです。 ※ 注意事項 こちらはあくまで、もとのドキュメントを参考に筆者が和訳・編集したものになります。原文の完全な和訳ではなく、抜粋の範囲や、英=>和の際の意訳を筆者が恣意的に行っています。 筆者の意訳・編集による曲解や元のドキュメントでのオリジナルの文意が気になる方は原文を読むことを強くおすすめします。 和訳の公開の可否についてはGoogle社に直接問い合わせています。1 / 原理原則(Principles) データの可視化は、複雑で内容の多い情報をグラフィカルな形式で表現するコミュニケーション手段である。 可視化の結果、データを比較しストーリーを伝えることが容易になり、データの利用者の意思決定の助け

        この記事の元の本編は削除しました。|樫田光 | Hikaru Kashida|note
      • 新メンバーが多い大型プロジェクトでの不確実性との戦い方 - スタディサプリ Product Team Blog

        ペアプロ・モブプロ、スキルマップ、1-on-1等々… チーム開発にまつわる各論・方法論・話題をよく見る昨今、関心の高まりは歓迎さるべきことながら つまるところそれらが現実のどのような問題を解決していくのか? どのように相互作用するのか? これらが有機的に結びつくことで現実のどのような問題を解決していくか? こうした疑問に答えたり、具体例とともに記した記事はさほど多くないのではと思います。 本記事では昨年度に筆者のチームが約7ヶ月携わったプロジェクトにて、プロジェクト特性に起因する不確実性と我々がいかに戦ったかを記します。チーム開発を行う方にとってこの記事が実りあるケーススタディとなれば幸いです。*1 なお、本記事では以下のことは本旨とは逸れるため割愛させていただきます。 プロジェクトの機能的側面 技術的不確実性 各取り組み単体の詳細 はじめに / プロジェクトの雰囲気を伝える図 この記事で

          新メンバーが多い大型プロジェクトでの不確実性との戦い方 - スタディサプリ Product Team Blog
        • 日本列島の立体模型地図がすごすぎて動けなくなりました

          行く先々で「うちの会社にはいないタイプだよね」と言われるが、本人はそんなこともないと思っている。愛知県出身。むかない安藤。(動画インタビュー) 前の記事:トラックの荷台で飛んでるドローン、トラックが急発進するとどうなるのか? > 個人サイト むかない安藤 Twitter つくばは今日もいい天気だった 前に茨城県に住んでいた頃、彼女がつくばに住んでいたので週末のたび訪れていた。 あの頃も確かつくばはよく晴れていたように思う。そのおかげか木々の生い茂り方がすごい。放っておくとこの一帯だけ太古に戻ってしまうんじゃないかというくらいに、緑が力強い。 空が広くて緑が多くて四角い建物がある。これが僕のつくばの印象です。 そんな「つくばの中のつくば」とも言える、産業総合研究所の敷地内に地質標本館はある。思いっきり研究施設のど真ん中だけれど、受付を通れば基本的に誰でも入ることができるのであきらめないでほし

            日本列島の立体模型地図がすごすぎて動けなくなりました
          • 実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub|Webエンジニアのキャリアを考える!

            実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング 実践とともに、データサイエンスに入門しよう!敷居が高いと思われがちなデータサイエンスですが、データの前処理からの手順は意外とシンプルです。本記事では、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、基本的な知識をサンプルコードと図表を見ながら学びます。 データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事内では、新米データサイエンティストのOさんが登場して、ある案件のデータ分析を担当します。読者のみなさんも、ぜひOさんと一緒

              実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub|Webエンジニアのキャリアを考える!
            • 【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita

              【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript), Colab(Python)どちらでも例を試せる。https://t.co/lGyPElrihg pic.twitter.com/mWZnu7WBEP — tomo-makes@図解速習DEEP LEARNING (@

                【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita
              • C++やPython向けのコード可視化ツール「Sourcetrail」がオープンソースに

                Sourcetrailは、開発者が他人の書いたソースコードを理解し、生産的にコーディングを行えるよう支援する。開発者は既存のソースコードを理解することに多大な時間を費やすが、一般的なコードエディタは、こういった作業にはほとんど役に立たない。 Sourcetrailの主要開発者であるEberhard Gräther氏は、「Google Chrome」のグラフィックスチームにインターンシップとして参加した2012年時点の経験を次のように語っている。 「割り当てられた単純に見えるタスクに着手し、具体的なコードの改善に取り組み始めるとすぐに、Chromiumの巨大なアーキテクチャを理解する機会が全くないことに気付いた。ドキュメントはあまり役に立たず、開発チームのメンバーは非常に友好的だったが、コードベースについて質問するインターンに邪魔されることを好まないことも分かった。そこで、ソースコードを読ん

                  C++やPython向けのコード可視化ツール「Sourcetrail」がオープンソースに
                • 【2019年】データ分析・可視化に本気でおすすめのツール30選(ノーコード型ツール含め) - Qiita

                  一般的なチャート(8) インフォグラフィック(3) 地図・マップ(1) ネットワークグラフ(1) 関数のグラフ(1) エンジニア向け 一般的なチャート(10) 地図・マップ(4) ネットワークグラフ(1) 株価チャート(1) 1.一般的なチャート (1)RAWGraphs RAWGraphs はクラウド型、オープンソースのデータ視覚化ツールであり、 Excelのデータを処理するためによく使われます。RAWGraphsにデータをアップロードし、ほしいグラフを設計して、 SVGかPNGの画像に出力すれば済みます。RAWGraphsにアップロードされたデータは Web側でのみ処理されるので、 データの安全を保証できます。 (2)ChartBlocks ChartBlocks はグラフ作成のオンラインツールであり、スマートデータインポートガイドに従えば、データのインポートとグラフの設計を簡単に完了

                    【2019年】データ分析・可視化に本気でおすすめのツール30選(ノーコード型ツール含め) - Qiita
                  • タスク管理ツールの理想を追い求めた結果→自分で作った|ガッシー | 仕事管理のRepsona

                    Repsona LLCの@GussieTechです。 タスク管理ツール、情報共有ツール、便利ですね! これまでいろんな仕事で、いろんなツールを使ってきました。それぞれ、特に不自由もなく、乗り換えるほどのモチベーションもなく使い続けていたんですが、不満が全くなかったわけではありませんでした。 ・遅い ・ダサい ・わかりにく ・カンバンがない ・ガントチャートがない ・Wiki的なものがない ・なぜか仕事がうまく進まない ・SNSみたいな感じで、社員がもっと楽しくつながれたらおもしろそう ・スキルがレベルアップしてる様子とか、可視化されたらおもしろそう ・勝手に仕事してくれたりしないかな、AIとかで ・使ってたら無意識にPMBOKみたいになるように、レールが敷かれていると便利な気がする ・(ひどいコメントをしそうになったときに)「言葉にトゲがないですか?」とか、ボットがやんわり教えてくれるとか

                      タスク管理ツールの理想を追い求めた結果→自分で作った|ガッシー | 仕事管理のRepsona
                    • Vue.js設計地図 〜設計概念の依存関係からフロントエンド設計を見つめ直す〜

                      Vue.js の設計地図を作成しました。設計概念の依存関係の図式化して理解し、 フロントエンド設計をモデリング起点で考えたブログです。

                        Vue.js設計地図 〜設計概念の依存関係からフロントエンド設計を見つめ直す〜
                      • バッチ処理について考える - Qiita

                        TL;DR ひとくちにバッチといっても色々ある 夜間バッチをもう作るな オンラインバッチはSQL以前にDB設計がんばれ はじめに Twitterのタイムラインで以下のようなツイートが回ってきました。 バッチ処理をみんな舐めてかかったり、ショボイとか思ってる人多い印象なんだけれども、数十万~数千万件規模のデータを処理したことあるのかな。テンプレ通りのコードじゃ動かないよ?ネットに本にも答え載ってないよ?低レイヤも意識しないと動かないよ? 2020年1月10日 ツイートされたわだっしーさんの意図がどこにあるかは確認してないですが、極限の世界でテンプレート的な処理では対応出来ないのはあるよな、と思いつつもある程度はバッチの作法としての書き方があると思っています。 このツイートとその関連ツイートを読みながら、そういえばバッチ処理に関して書いてある記事はあまり見ないなぁ、とおもったので他のネットや本

                          バッチ処理について考える - Qiita
                        • 1300はてブ超!「心理的安全性を0から80ぐらいに上げた話」の久津佑介氏が心理的安全性の “失敗談と教訓” を語る | Backlogブログ

                          一般的に、自律型のチームは他律型のチームよりも開発のスピードが早く、問題を未然に対処できると言われています。自律型のチームに不可欠な要素として、「何でも言いやすい雰囲気」「居心地の良さ」の創出があります。これらは「心理的安全性」とも呼ばれ、米グーグル社が「チームの生産性を高める唯一の方法」として発表したことで大きな注目を集めています。 「バグや障害の多発」「エンジニアの離職率の高さ」「リリースの延期」といった現場の問題解決に心理的安全性がなぜ効いたのか。心理的安全性を創出したプロセスと失敗から学んだ教訓など、現場担当者の視点を対談形式でお伺いします。 ■自己紹介(左から) CAMPFIRE プロダクトマネージャー 久津 佑介(ひさつ・ゆうすけ)さん 印刷会社でエンジニア、開発会社でエンジニアチームのマネージャーを経て、2019年に株式会社CAMPFIREに入社。プロダクトマネージャーとして

                            1300はてブ超!「心理的安全性を0から80ぐらいに上げた話」の久津佑介氏が心理的安全性の “失敗談と教訓” を語る | Backlogブログ
                          • グラフを作ってデータを可視化する時に「見やすい色」を選ぶコツをまとめ

                            ウェブデザインやグラフィックデザインにおいて色の選択は非常に重要かつ難しい作業ですが、デザイナーでなくともグラフを作る際などに色の選択をする必要に迫られることがあります。データを分かりやすく可視化するためには、どのような色の組みあわせを選択すべきなのか、プロでなくともプロのようなグラフを作れるようになるポイントを、ビジュアルコミュニケーションを専門とするLisa Charlotte Rostさんがまとめています。 How to pick more beautiful colors for your data visualizations | Chartable https://blog.datawrapper.de/beautifulcolors/ ◆色相をあれこれピックアップしすぎない カラーホイール上の色を大別すると、赤・オレンジ・黄・緑・青・紫の6つの色相となりますが、データを可視化

                              グラフを作ってデータを可視化する時に「見やすい色」を選ぶコツをまとめ
                            • 「データビジュアライゼーションの基礎」のまとめ グラフ編

                              こんにちは、Wantedlyでデータサイエンティストをしている樋口です! 先日会社で買ってもらったデータビジュアライゼーションの基礎を読みました。データ可視化について網羅的にわかりやすく書かれており参考になったため、記事にまとめてみました。書籍の英語版は無料で公開されているため、よければこちらも参考にしてみてください。 データビジュアライゼーションの知識を学ぶことで、科学的に誤った表現をせずに、芸術的に美しい表現ができ、明確で明瞭かつ魅力的にデータから得られる示唆を伝えることができる様になります。📊 本記事では、特定のライブラリや描画手段によらないデータ可視化の基礎について紹介します。 分量が多くなってしまったので、本記事ではデータビジュアライゼーションの”グラフ"にのみ着目しています。グラフ以外の構成要素(色、タイトル、テキスト、etc.)については別途記事にしたいと思います。 本記事

                                「データビジュアライゼーションの基礎」のまとめ グラフ編
                              • Twitter可視化システムを作ってみたら日本に笑顔が溢れていた話 - NTT Communications Engineers' Blog

                                はじめに はじめまして。 プラットフォームサービス本部 データプラットフォームサービス部門の森分です。 もともと私は、NTT Comのクラウドサービスをベースにした法人向けソリューションの個社別運用やインフラ関連のプロジェクトマネージャ業務を担当しておりました。 最近はSmart Data Platform(以下、SDPF)アーキテクトなる、お客様課題の解決やNTT Comのビジネスの中でSDPFの活用を推進する部隊に参画しています。 データ利活用を支えるSDPFのアーキテクトがデータ利活用に詳しくなければ立つ瀬がありません。 そうならないように日々研鑽を積んでいるわけですが、その中で作ったTwitter分析システムっぽいもののご紹介が本稿の趣旨となります。 本来のデータ利活用プロジェクトでは、課題および仮説をまず明確にして、それに応じたデータ解析を進めていくのですが、本稿では堅苦しいもの

                                  Twitter可視化システムを作ってみたら日本に笑顔が溢れていた話 - NTT Communications Engineers' Blog
                                • https://twitter.com/umi_nakayama/status/1540968151797469184

                                    https://twitter.com/umi_nakayama/status/1540968151797469184
                                  • Pythonで日経平均の推移を観察する (with Quandl API) - Qiita

                                    はじめに 以下のコードはすべてGoogle Colab ノートブックで共有していますので、実際に1つ1つ実行して試すことができます 重要なこと 時系列データを取り扱う対象として日経平均株価を用いています。株価をプロットして遊んでみるなどしますが、その図を見て投資しろとか言うつもりは全くありません。投資は自己責任で行ってください。 目的 主にDataCampで学んだことの自分のためのまとめとして、Quandl APIを用いた株価推移の観察をやってみます。なお、僕は株は詳しくありません。 Qiitaアカウントを作ってアウトプットするのが一番の勉強になるって話を聞いたので、アウトプット練習も兼ねてます。やさしい先輩方いろいろ教えて下さい この記事を読んで得られると思われるもの Pythonを用いたAPIの叩き方 時系列データの処理 時系列データの図示 日経平均に対する感覚 参考元 DataCam

                                      Pythonで日経平均の推移を観察する (with Quandl API) - Qiita
                                    • Dockerでデータ分析環境を手軽に作る方法 - 天色グラフィティ

                                      何かデータ分析を行わなければいけないとき、手軽に分析環境を用意したいというニーズがあります。 Jupyter Notebook上でnumpy、pandas、matplotlib、scikit-learnあたりが使えれば十分でしょうか。XGBoostやLightGBMといったライブラリも使えるようにしておきたいという人もいるかと思います。 一方、ローカルにいろいろなライブラリをインストールしていくと、次第に環境が汚れていってライブラリの衝突などが起こりやすくなってしまいます。 KaggleにはKernelという計算環境があり、そこには主要な機械学習ライブラリが予めインストールされています。データ分析をやっていく上で不自由はありません。今回はDockerとdocker-composeを使ってKaggle Kernelを手元に再現し、ポータブルな分析環境として使う方法を紹介します。 データ分析界

                                        Dockerでデータ分析環境を手軽に作る方法 - 天色グラフィティ
                                      • 「大規模言語モデル(LLM)カオスマップ」2023年度6月版が公開

                                        株式会社ANOBAKAは、直近の大規模言語モデル(LLM:Large Language Models)の開発競争の激化を受け、Generative AI領域で起業を考えている人への参考情報として「大規模言語モデル(LLM)カオスマップ」2023年度6月版を公開したと発表した。 大規模言語モデル(LLM:Large Language Models)とは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルだ。2022年11月に発表され大きな話題となったChatGPTも、2022年初頭にトレーニングした「GPT-3.5シリーズ」を対話向けにファインチューニングしたものであり、大規模言語モデルの応用例の一つだ。 米国同様、日本でも今後アプリケーションレイヤーのGenerative AIスタートアップが多数勃興することが予測されるという。アプリケーションレイヤーのGenerative

                                          「大規模言語モデル(LLM)カオスマップ」2023年度6月版が公開
                                        • 28歳、一念発起して未経験からデータサイエンティストを志した2年間の軌跡 - Qiita

                                          はじめに 経済産業省の試算によるとAIやビッグデータといったデータサイエンティストが関わる分野では2020年に4.8万人が不足すると言われています。 まだまだ、世の中的に需要があり、将来性のある職業ですので、これから目指そうと思われている方も少なくないのではないでしょうか。 私も時代の流れに乗って、データサイエンティストを目指した人の一人です。 「一念発揮して未経験からデータサイエンティストを目指した普通の社会人が、2年後どのような姿になったのか?」 ということに、少しでも興味のある方に読んで頂けましたら幸いです。 そもそもデータサイエンティストとは データサイエンティストは大きく分けて2種類あると考えています。 企業の課題解決のために大規模データを分析し、その結果をもとに状況の改善をすべく施策立案を行うデータアナリスト・コンサルタント寄りのDS サービスに機械学習を用いた機能を実装したり

                                            28歳、一念発起して未経験からデータサイエンティストを志した2年間の軌跡 - Qiita
                                          • ChatGPT Code Interpreter を利用して、お手軽にデータ分析・可視化 - Taste of Tech Topics

                                            カメラ好き機械学習エンジニアの@yktm31です。 先日、OpenAIから、公式のプラグインとして「Code Interpreter」が発表されました。 「Code Interpreter」は、ChatGPT上でPythonのコードを生成・実行する仕組みを持っています。 これまでも、ChatGPTで、プログラムのソースコードを出力することは可能でしたが、実行まではできませんでした。 「Code Interpreter」は、ChatGPTの有料版で利用することが可能ですが、ユーザーが自然言語で指示や要求を出すだけで、 ChatGPTがその内容を理解し、ソースコードの生成から実行まで行えたり、既存のコードを解釈してその動作を説明したりすることが可能になります。 openai.com 本記事では、この「Code Interpreter」を利用して、CSVファイルを元に、データの可視化を行ってみま

                                              ChatGPT Code Interpreter を利用して、お手軽にデータ分析・可視化 - Taste of Tech Topics
                                            • 令和時代のPython作図ライブラリのデファクトスタンダードPlotlyExpressの基本的な描き方まとめ - Qiita

                                              初めに javascriptベースで手軽に対話的な操作が可能な作図が出来るPlotly Express(公式サイト)というライブラリが少し前に公開されたのを見つけました。 今までの静的な作図とは明らかに異なる次元のポテンシャルを感じたので、備忘録を兼ねて基本的な可視化手法の描き方をまとめました。 参考までに、matplotlib+seabornで同様の図を書いたパターンと比較しています。 「基本的な可視化手法」は、以前書いた「探索的データ解析における正しい可視化手法の選び方と描き方」に準拠しています。 Plotly Expressとは Plotly Expressは2019年の3月に公開されたplotlyの高レベルAPI群です。 インタラクティブで複雑な描画を簡単に書けるのが特徴です。 公式サイト: https://plot.ly/python/plotly-express/ API re

                                                令和時代のPython作図ライブラリのデファクトスタンダードPlotlyExpressの基本的な描き方まとめ - Qiita
                                              • 目からウロコの「Apple Card」を1カ月使ってみた。先行ユーザーが語る「クレカを再定義」とは?

                                                Apple Cardはこういった包装で届く。カードの素材はチタン系の金属。デニムなどの色移りがしやすいなどのウィークポイントはアメリカのメディアで話題になっている。 提供:五島正浩氏 8月20日にアメリカでの一般提供が開始された「Apple Card」。カードを入手したという人々の利用報告が次々とネットに上がり始めている。 それに先立つ8月上旬ごろから先行してApple Cardを入手したという一部ユーザーからの報告が行われており、「自分も早くほしい」という利用者の欲求を刺激するのに一役買っていたのは間違いない。 今回はそんな先行入手ユーザーの2人である、シリコンバレー(ベイエリア)在住の起業 家・吉川欣也氏とネットワークエンジニアの五島正浩氏の2人に、先行ユーザーならではの1カ月弱使った感想を聞いた。 ── Apple Cardをかなり早い段階で入手されました。どのような経緯で手元に?

                                                  目からウロコの「Apple Card」を1カ月使ってみた。先行ユーザーが語る「クレカを再定義」とは?
                                                • スキ・キライ・得意・苦手を可視化したら、互いに成長を支え合うデザインチームができた話|宇野雄 / note inc. CDO

                                                  クックパッド VP of Design/デザイン戦略本部長の宇野です。 みなさんは苦手なスキル、得意なスキルをどのように把握し成長につなげていますか?今日はそんなお題に向き合ったクックパッドでの取り組みをご紹介します。 僕が今年2月に入社したとき自身の自己紹介資料に入れた簡単なチャートがあります。それがコレ。 スキルマップって基本的には「得意」を可視化するためにあります。でも「得意」だから好きとは限らない。「苦手」だけど好きだってある。 それを可視化するために「得意/苦手」「スキ/キライ」の2軸で表したものです。 こうするとざっくりこの4分類にわかれます。 ・得意 × スキ ・得意 × キライ ・苦手 × スキ ・苦手 × キライ このチャートには絶対値が存在しないし、第三者評価もない。あくまで「自分では自分のことをこう考えていてこうしていきたい」という意思表示です。まさしく「私はこういう

                                                    スキ・キライ・得意・苦手を可視化したら、互いに成長を支え合うデザインチームができた話|宇野雄 / note inc. CDO
                                                  • データサイエンス設計マニュアル

                                                    本書は広い視野からデータサイエンス全体を俯瞰し、問題を解決する上で重要なことは何か、その設計原則に焦点を当てた入門書です。データを収集、分析、解釈するためのシステムを構築するために必要な、確率・統計の基礎から線形代数、スコアとランキング、統計分析、データマンジング、可視化、数学的モデル、回帰、機械学習まで広範囲にわたってカバーするだけでなく、思考プロセスも重視します。著者は、ニューヨーク州立大学ストーニーブルック校で長年にわたりコンピュータサイエンス教育に携わってきた計算機科学者で、統計学と計算機科学の枠を越えた新しい学問としてデータサイエンスを捉え直し、著者独自のアプローチでデータサイエンスの本質に迫ります。 1章データサイエンスとは 1.1 計算機科学、データサイエンス、リアルサイエンス 1.2 データについての興味深い問い 1.3 データの性質 1.4 分類と回帰 1.5 データサイ

                                                      データサイエンス設計マニュアル
                                                    • Microsoft、オープンソースのAIデバッグ/可視化ツール「TensorWatch」を発表

                                                      Microsoft Researchは2019年6月25日(米国時間)、データサイエンスやディープラーニング、強化学習向けにオープンソースのデバッグ/可視化ツール「TensorWatch」を発表した。TensorWatchは「Jupyter Notebook」で動作し、機械学習(ML)トレーニングのリアルタイム可視化や、モデルとデータの重要な分析タスクを実行する。 Microsoft ResearchはTensorWatchを、「研究者やエンジニアの仕事に役立つ先進的機能を数多く提供する、デバッグツールのスイスアーミーナイフ」とうたっている。2019年6月にスペインのバレンシアで開催された「ACM SIGCHI Symposium on Engineering Interactive Computing Systems」で、TensorWatchのプレゼンテーションを行ったという。 Mic

                                                        Microsoft、オープンソースのAIデバッグ/可視化ツール「TensorWatch」を発表
                                                      • “日本初”実践を想定した新検定 すべてのプログラマーの実力を5段階で可視化 AtCoder「アルゴリズム実技検定」

                                                        AtCoder株式会社(本社:東京都新宿区/代表取締役社長:高橋直大 以下AtCoder)は、IT人材のプログラミングスキルを可視化する日本初の検定「アルゴリズム実技検定」の提供を開始します。 プログラミングコンテストを運営するAtCoder株式会社(本社:東京都新宿区/代表取締役社長:高橋直大 以下AtCoder)は、プログラミングスキルを可視化する日本初の検定「アルゴリズム実技検定」の提供を開始し、12月14日(土)に第1回試験を開催いたします。 ビジネスとITが深く関わり始めている今、世界中の企業で高度なスキルをもつプログラマーの需要が高まっています。その一方で、2018年に経済産業省が行った「IT人材需給に関する調査」によると、2030年には先端的なスキルを持つIT人材は約55万人不足すると推定されています。企業は高いプログラミングスキルをもつ“高度IT人材”の確保に乗りだしている

                                                          “日本初”実践を想定した新検定 すべてのプログラマーの実力を5段階で可視化 AtCoder「アルゴリズム実技検定」
                                                        • アジャイルとリーン・スタートアップを組み合わせた開発プロセス ~第1回 概要~ - selmertsxの素振り日記

                                                          2019年8月にAzitに入社して4ヶ月。 私はSREとしての役割を期待されてAzitに入社したけれども、気がつけばバックエンドエンジニア兼スクラムマスターをやっていました。 バックエンドエンジニアとしては、AWSインフラ環境の完全な作り直しとTerraformによるコード化、Railsの負債解消、監視設定のコード化などを行っていました。 スクラムマスターとしては、初期の3ヶ月はアジャイル開発(スクラム、XPを組み合わせたもの)、そして12月からの1ヶ月はリーン・スタートアップ開発の導入等を行いました。 ここでは、スクラムマスターとして考えた開発プロセスについて資料にまとめます。 なおこの文章は、0-1 の開発フェーズではなく、すでにリリースされたサービスに途中で加わったスクラムマスターの目線で書かれており、対象とする読者も私と同じような境遇にあるスクラムマスターとなっています。 この開発

                                                            アジャイルとリーン・スタートアップを組み合わせた開発プロセス ~第1回 概要~ - selmertsxの素振り日記
                                                          • 狙われるOffice365アカウント。パスワードスプレー攻撃の脅威(大元隆志) - エキスパート - Yahoo!ニュース

                                                            日本国内でもOffice365の採用が進んでいるが、それに比例するように「Office365に対して不正アクセスを受けた」という相談も増加している。昨年もOffice365を採用した大学で不正アクセスが相次ぎ文科省が注意喚起を行う事態となっていた。 ■Offie365が狙われる背景では、何故Office365が狙われるのか?筆者の見解を述べたい。 1.サイバー攻撃者にとって貴重な資産がOffice365へ移動 Office365はExcelやWordといったオフィス文書を作成するアプリケーションからメール配信まで提供する。企業内で作成されるオフィス文書の大半を保管することになる。サイバー攻撃者にとってOffice365は「データの金庫」と言えるだろう。 2.ログイン画面までは、誰でも到達可能 Office365はデータの金庫だが、ログイン画面はクラウド上に存在しているため、金庫の目の前まで

                                                              狙われるOffice365アカウント。パスワードスプレー攻撃の脅威(大元隆志) - エキスパート - Yahoo!ニュース
                                                            • AWSのコンテナ責任者が語るFargate、ECS、App Mesh、EKS、そしてKubernetes

                                                              Amazon Web Services(AWS)のコンテナサービスで、今最もホットな動きとは何か。コンテナ責任者を務めているディーパック・シン(Deepak Singh)氏は、迷わず「AWS Fargate」を挙げる。自身の子のような存在であり、AWSで最も好きなプロダクトだという。 「そのうち、大部分のコンテナアプリケーションのインフラとして、(「Amazon EC2」ではなく)Fargateが使われるようになるだろう。EC2上でのコンテナ配備は、一部のレガシーあるいはステートフルなアプリケーションに限られるようになる。私たちは、広範な利用を支えられるよう、Fargateの機能を強化していく」 AWSはコンテナサービスで、「Amazon Elastic Container Service(Amazon ECS)」と「Amazon Elastic Container Service for

                                                                AWSのコンテナ責任者が語るFargate、ECS、App Mesh、EKS、そしてKubernetes
                                                              • M5StackでCO2モニターを作って、データ可視化と換気を促す通知するものを Azure IoT Central で作ってみた - Qiita

                                                                M5StackでCO2モニターを作って、データ可視化と換気を促す通知するものを Azure IoT Central で作ってみたAzureIoTM5stackAzureIoTCentralQiitaAzure はじめに 以前にM5StackでCO2モニターを作って、直接Teamsに通知するものを作ったのですが、 『M5StackでCO2モニターを作って、Teams通知で換気を促すものを作ってみた』 CO2濃度が高くなると通知が来るけど、その傾向が良く分からない テレワークが増えてくると、いま職場の状況がどうなのかが遠隔で分からない 換気を促す通知は来てるけど、いまいち上手く活用できてない(されてない)気がする という辺りが少し課題かなと思っていました。 なので、今回は上記を解決する為、「M5Stackで作ったCO2モニター」 と 「Azure IoT Central」 を連携させることで、

                                                                  M5StackでCO2モニターを作って、データ可視化と換気を促す通知するものを Azure IoT Central で作ってみた - Qiita
                                                                • 【レポート】サービスメッシュは本当に必要なのか、何を解決するのか #AWSSummit | DevelopersIO

                                                                  こんにちわ、札幌のヨシエです。 AWS Summit Tokyo 2019 3日目のA3-03で行われたセッションのレポートを書きましたのでご査収頂ければと思います。 登壇者 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 原 康紘 AWS 上でのマネージド・サービスメッシュを実現する AWS App Mesh や、Kubernetes ワークロードとの親和性が高い Istio など、サービスメッシュの世界には数々のプロダクトやソリューション、アイデアが生まれつつあります。本セッションでは、マイクロサービスにおけるベストプラクティスの集大成とも言えるサービスメッシュについて、その解決すべき課題と人々が熱狂する理由、サービスメッシュそのものの必要性について掘り下げます。同時に、サービスメッシュを実現する上で最も重要なコンポーネントの一つとも言える En

                                                                    【レポート】サービスメッシュは本当に必要なのか、何を解決するのか #AWSSummit | DevelopersIO
                                                                  • 無料で大量のデータを見やすいグラフで可視化できるオープンソースのセルフホスト可能なアプリ「Metabase」でGIGAZINE読者アンケートの結果を分析してみた

                                                                    「Metabase」はオープンソースでセルフホストも可能なデータ視覚化ツールです。前回の記事でその使い方を確かめられたので、早速GIGAZINE夏のプレゼント大放出企画で集めたアンケートデータを分析してみました。 Metabaseのセットアップや機能については下記の記事で詳しく解説しています。 無料で大量のデータを自動で見やすいグラフなどで可視化し定期的に更新反映されるダッシュボードをオープンソースでセルフホスト可能なアプリ「Metabase」を使ってみた - GIGAZINE GIGAZINEのアンケート結果を読み込むためにPostgreSQLのセットアップを行います。前回に引き続きDockerを利用するので、下記のコマンドでPostgreSQLを起動します。「パスワード」や「ディレクトリへのパス」は適宜書き換えて下さい。 docker run --name metabase-postg

                                                                      無料で大量のデータを見やすいグラフで可視化できるオープンソースのセルフホスト可能なアプリ「Metabase」でGIGAZINE読者アンケートの結果を分析してみた
                                                                    • 【機械学習 × テニス】姿勢推定とLightGBMを用いたテニスのスイング認識【動作検出】 - はんぺんのIT日記(改)

                                                                      はじめに 手法の決定 開発環境 データ取得 動画撮影 アノテーション 関節位置のデータ モデリング 学習用データ データ加工 データ分割 学習 評価 評価用データ Feature Importance Confusion matrix 動作の誤検出 高度化検討 トラッキングの追加 姿勢の検出精度の高いモデルの使用 特徴量の再検討 予測モデルへの転換 関節位置データのAugmentation さいごに 参考 はじめに こんにちは。はんぺんです。 テニスのスイングの検出・分類モデルを作ってみました。 youtu.be モチベーションとしては、インテリジェントデバイス的な何かを作ってみたいというものです。 ちょうど魔法少女リリカルなのはのレイジングハートみたいなイメージです。 インテリジェントデバイスとは、AIを有し自ら思考するタイプのデバイスのこと。 出展:レイジングハートとは (レイジングハ

                                                                        【機械学習 × テニス】姿勢推定とLightGBMを用いたテニスのスイング認識【動作検出】 - はんぺんのIT日記(改)
                                                                      • Jupyter Notebookと Boto3で AWS環境定義書を作成してみる | DevelopersIO

                                                                        Jupyter Notebook(以降 Notebook) は実行可能なプログラムコードや分析結果、グラフなどを含んだドキュメントを作成するための OSSです。 画像:https://jupyter.org/ Pythonによるデータ分析でよく利用されます。 特徴として 「Markdown セル」と「Code セル」 を Notebook内へ配置できます。 データ分析のプロセスの文脈を Markdownセルに書くことで、 プログラムのコメント以上の表現力で、プロセスを記述できることできます。 データの可視化についても、Notebookは優秀です。 Matplotlib のグラフや、Pandas のテーブルなどを Notebook内にインライン表示してくれます。 さて、Markdownセルによるドキュメンテーション、 pandas によるテーブル表記でふと思いました。 「Jupyter No

                                                                          Jupyter Notebookと Boto3で AWS環境定義書を作成してみる | DevelopersIO
                                                                        • Python: seaborn を使った可視化を試してみる - CUBE SUGAR CONTAINER

                                                                          今回は、Python の有名な可視化ライブラリである matplotlib のラッパーとして動作する seaborn を試してみる。 seaborn を使うと、よく必要になる割に matplotlib をそのまま使うと面倒なグラフが簡単に描ける。 毎回、使うときに検索することになるので備忘録を兼ねて。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.4 BuildVersion: 18E226 $ python -V Python 3.7.3 もくじ もくじ 下準備 Relational plots scatter plot (散布図) line plot (折れ線グラフ) Categorical plots strip plot (ストリップチャート) swarm plot (スウォームチャート) box

                                                                            Python: seaborn を使った可視化を試してみる - CUBE SUGAR CONTAINER
                                                                          • あなたの街の地価は? 上昇・下落マップ2024

                                                                            あなたの街の地価は? 上昇・下落マップ2024 2020年3月18日 公開 2024年3月27日 更新

                                                                              あなたの街の地価は? 上昇・下落マップ2024
                                                                            • チャート描画ライブラリ『Plotly』をPythonで試す:インストール&環境設定編 | DevelopersIO

                                                                              データアナリティクス事業本部 サービスソリューション部 サービス開発部のしんやです。 ここまで色々な可視化におけるツールやサービスを個人的に触ってきましたが、何らかの言語でサクッとデータを可視化出来るライブラリとかないものかなーと思っていたところ、『Plotly』というプロダクトの存在を知りました。ザッと内容を確認してみたところとっつき易さと表現の幅の広さが良い感じっぽいぞ!ということで個人的にこのプロダクトを触っていってみようと思います。 ? Announcing Plotly.js 2.0! - Graphing Library / Plotly.js - Plotly Community Forum Webブラウザ上でグラフを描画できる「Plotly.js 2.0」がリリース:CodeZine(コードジン) 目次 Plotly 概要 Plotlyとは Dashとは 環境構築 導入環境

                                                                                チャート描画ライブラリ『Plotly』をPythonで試す:インストール&環境設定編 | DevelopersIO
                                                                              • Fundamentals of Data Visualization

                                                                                Welcome This is the website for the book “Fundamentals of Data Visualization,” published by O’Reilly Media, Inc. The website contains the complete author manuscript before final copy-editing and other quality control. If you would like to order an official hardcopy or ebook, you can do so at various resellers, including Amazon, Barnes and Noble, Google Play, or Powells. The book is meant as a guid

                                                                                • 双曲空間ではじめるレコメンデーション - Gunosyデータ分析ブログ

                                                                                  はじめに こんにちは、MediaAds ML Teamに所属している飯塚(@zr_4) です。 以前書いたブログ*1をベースに変更を加えた論文がRecSys 2019 *2 に通りました(ヤッター)。 埋め込みベースの推薦は、近年最も成功を収めた推薦手法の一つです。 埋め込みベースの推薦を行っている多くの大企業では、精度良くアイテムやユーザーを表現するため、数百次元のベクトルを使用しています。それによって、莫大な計算リソースを日々消費していることと思います。またリアルタイムにベクトルの演算を行うために検索システムを自作している企業も少なくないと思います*3。負荷の大きさから、特定のロジックの実装に踏み込めないケースも多々あるかと思います。 一方で近年、埋め込みの空間に双曲空間を用いることで、階層構造、木構造、Directed Acyclic Graph (DAG) が低次元のベクトルで表現

                                                                                    双曲空間ではじめるレコメンデーション - Gunosyデータ分析ブログ

                                                                                  新着記事