PandasからPolarsへ移行した方がいいのか - Qiita
なぜこの記事を書くのか 皆さん、データ解析を行う際にどのようなライブラリを用いているでしょうか。 おそらく大半の人はpandasを使っているのではないでしょうか。 私もpandas使ってます。簡単だよね(´・ω・｀) しかし、業務でバカクソでけえデータを読み込もうとしたときに、読み込み時間がとんでもなくかかったり、メモリ不足でそもそも読み込めもしないことが起きていました。 読み込みにメモリ食われすぎて他の作業ができずに待機した挙句、燃え尽きたかのようにノーパソのファンが止まると同時にメモリ不足のエラーが出たときには切れ散らかします。 （画像元：葬送のフリーレン公式Xアカウントのポストより） そんなこともあり、AWSなどのクラウドサービスでメモリに余裕を持たせるためにめちゃくちゃ良いインスタンスを使用していましたが、コストの問題で断念しました。 しかし、どうしても読み込みたいということもあり
PythonでTableau風 BIツールによる視覚的データ探索をやってみよう 〜PyGWalker〜 - Qiita
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか？ 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上（Google ColabもOK）で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ＆ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
データ分析初心者は“童心に帰る”べき── 現役データサイエンティストが説く、失敗しないための心構え
コロナ禍の事業継続の姿勢から一転し、新規事業へ投資する企業が増えている。その中でも関心を集めているのがデータ活用だ。これまでの業務を通して蓄積してきたデータを分析し、業務効率や生産性の向上を狙う企業は多い。一方、ノウハウや人材不足により、思うような成果を出せない企業も存在する。 データ分析初心者が陥りがちな失敗の原因とはなにか。データサイエンス人材の育成スクールを運営するデータミックス（東京都千代田区）の代表取締役である堅田洋資さんは「“データを見れば、データが何か答えを教えてくれる”と誤解する人が多い」と指摘する。 続けて「データ分析を志す人は細かなテクニックを書籍などで学ぶ前に、童心を思い出すべき」と話す。自身も現役のデータサイエンティストでもある堅田さんに、データ分析初心者が持つべき心構えを聞いた。 データとは“無口な友達” 堅田さんいわく、データミックスが運営するスクールの受講生の
かなえ@Udemy講師 on Twitter: "「データサイエンスを勉強したいけど、何から手をつけて良いか分からない」という方、東京大学「数理・データサイエンス教育プログラム」のWebページが参考になるかもしれません！学習のロードマップや、各授業のシラバスが載っているので、何を… https://t.co/TFnT3XNl8E"
「データサイエンスを勉強したいけど、何から手をつけて良いか分からない」という方、東京大学「数理・データサイエンス教育プログラム」のWebページが参考になるかもしれません！学習のロードマップや、各授業のシラバスが載っているので、何を… https://t.co/TFnT3XNl8E
【保存版】初心者でも分かるデータ分析の本質とスキルアップの道のり｜naki｜note
こんにちは。naki(@naki_mk)と申します。普段はTwitterに生息しており、日常やビジネスに関連したつぶやきをしています。今回は「データ分析」という仕事について、プロとして仕事をしていく中で私が必要だと考える要件・素養や、勉強するべき内容などをまとめていこうと思います。 本記事の内容は「勉強法」というよりはデータアナリストという仕事に関する哲学に近いものや、自分なりのノウハウが多く含まれているので、参考にする部分そうでない部分は各々判断していただけると嬉しいです。 経歴紹介私は社会人5年目のアラサーで、IT系事業会社でマーケティング部のマネージャーをした後、現在は米国企業(S&P 500)にビジネスアナリストとして勤務しています。業務の内容は主にデータ分析×マーケティングが軸で、PythonやSQLをコーディングしてデータ解析やモデリング構築をしたり、そこから得た知見を他部署に
文春オンラインの記事分析を支える爆速ダッシュボードを作るまで｜Shota Tajima
従来のGoogleアナリティクスである、ユニバーサル アナリティクス（以下UA）のサポートがいよいよ2023年7月に終了することが、先日アナウンスされました（※）。昨年対比やトレンドをチェックすることを考えると、2022年内できるだけ早めに次世代のGoogleアナリティクス（以下GA4）へ移行したいWebメディア運営者も多いかと思います。新しいツールの勉強や、既存システムの改修が必要な問題ではありますが、この機会を、データ収集・可視化の設計を見直し、日々の意思決定の共通言語としてデータを使いやすくするチャンスと捉えてみてはいかがでしょうか。 ※ Google、ユニバーサルアナリティクスのサポートを2023年7月1日に終了。早めのGA4移行を推奨 このnoteでは、前半でダッシュボードによるデータの可視化にコストをかけるべき理由を整理します。後半では、2021年秋に文春オンラインのダッシュ
はじめに — マンガと学ぶデータビジュアライゼーション
はじめに# データビジュアライゼーションとは，数値や文章などのデータに基づいた情報を，人間が理解しやすい形に視覚化する技術を指します． このサイトは，文化庁のメディア芸術データベース・ラボ（MADB Lab）で公開されている四大少年誌（ 週刊少年サンデー， 週刊少年ジャンプ， 週刊少年チャンピオン， 週刊少年マガジン ）のデータを用いて，データビジュアライゼーションの学習を手助けすることを目指しています． データビジュアライゼーション（に限らずデータ分析全般）の学習において重要なのは，分析対象のデータに興味を持てるかどうかです． 本書では約47年の四大少年誌のマンガ作品データを採用しているため，モチベーションを保ちつつ学習を進めることが可能です．
各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
「データをもっと身近に！～国民生活時間調査の新サイト誕生」
調査あれこれ 2020年09月08日 (火) #269 「データをもっと身近に！～国民生活時間調査の新サイト誕生」 世論調査部（視聴者調査） 木村義子 文研サイトには、さまざまな調査結果の論考がPDFで掲載されています。 でも何だか「とっつきにくいな」とか、「調査データを使ってみたいけどPDFは扱いにくいな」…など感じたことのある、メディア関係者や研究者の方も、いらっしゃるのではないでしょうか？ この新サイトは、それらを解決し、世論調査データをもっと多くの方に利活用して頂きたけたら…という思いでスタートした試みです。ぜひ、実際にサイトを、ご覧いただければ幸いです！ ・・・とその前に、このブログでは、国民生活時間調査について少しだけご紹介した後、 「ここをぜひ見て！」というポイントを３つご紹介します。手っ取り早く、サイトの魅力を知りたい方は、ぜひもう少しだけ、お付き合いください。 「日本人は
Torishima on Twitter: "まじかよ気象庁公式の天気予報APIができてるぞ、感激して大声で泣いちゃった https://t.co/2HQumqjel8"
まじかよ気象庁公式の天気予報APIができてるぞ、感激して大声で泣いちゃった https://t.co/2HQumqjel8
効果検証入門から見直す 「データサイエンス」
スポーツメトリクス設計に対比較法を使いまくる / Sports metrics design using pairwise comparison method (spoana#14)
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノート - Qiita
【JS/ Python両方OK!】「データ可視化」が歴史から実装まで体系的に学べるStanford講座の独習ノートJavaScriptd3.jsデータ分析データサイエンスcolaboratory CS 448B Visualization (2020 Winter)は、Maneesh Agrawala氏による、Stanford大で行われた、データの可視化に関する体系的な講義です。 スタンフォード大の"CS 448B Visualization (2020 Winter)" がすごい。 データ可視化の体系的講義。どう図表に変換するかの理論、探索的データ分析、ネットワーク分析等の実践と盛り沢山。 スライドに加え、Observable(JavaScript), Colab(Python)どちらでも例を試せる。https://t.co/lGyPElrihg pic.twitter.com/mWZn
トップページ - RESAS 地域経済分析システム
地域経済分析システム（RESAS：リーサス）は、地方自治体の様々な取り組みを情報面から支援するために、内閣官房デジタル田園都市国家構想実現会議事務局が提供する、産業構造や人口動態、人の流れなどの官民ビッグデータを集約し、可視化するシステムです。
Komiflo on Twitter: "【国内人気エロマンガ統計】エロマンガ読み放題サービスKomifloの集めたデータを基に、2019年の都道府県別人気ジャンルを発表しちゃいます！あなたの住む街ではどんな作品が人気でしょう？https://t.co/bcWLqFkfYl https://t.co/XYYlHeIxwL"
【国内人気エロマンガ統計】エロマンガ読み放題サービスKomifloの集めたデータを基に、2019年の都道府県別人気ジャンルを発表しちゃいます！あなたの住む街ではどんな作品が人気でしょう？https://t.co/bcWLqFkfYl https://t.co/XYYlHeIxwL
データ視覚化のプロが選ぶデータ分析のオススメ本32選
データ分析&データ視覚化のコンサルティングをしております、永田ゆかりと申します。 これまで2000人以上の方にデータ分析や活用の研修・トレーニング講師、企業への分析コンサルティングをさせていただいており、仕事をさせていただく中で必要な本を読み続けているうちに、気がついたらデータ分析領域の本を200冊以上読んでいました。 中でもデータビジュアライゼーション・視覚化の領域に関しては私自身の得意領域ということもあり、数多く読み込んでいます。 本記事では数多くのクライアントの方々との問題解決に役立った知識・ノウハウが書かれている良書をご紹介させていただきますので、是非最後までご覧ください。 データ可視化そのものについて知りたいたは、こちらの記事からどうぞ。 データ可視化とは？その重要性や手法、よくある課題と解決策を解説 データ分析における視覚化（ビジュアライゼーション）系のおすすめの本17選1 S
2019年2月リリース！ 衛星データプラットフォーム「Tellus」でできること | 宙畑
2019年2月21日、衛星データプラットフォーム「Tellus(テルース)」がオープンしました！ あらためて、衛星データの特徴とTellusでできることについてまとめています。 記事作成時から、Tellusからデータを検索・取得するAPIが変更になっております。該当箇所のコードについては、以下のリンクをご参照ください。 https://www.tellusxdp.com/ja/howtouse/access/traveler_api_20220310 _firstpart.html 2022年8月31日以降、Tellus OSでのデータの閲覧方法など使い方が一部変更になっております。新しいTellus OSの基本操作は以下のリンクをご参照ください。 https://www.tellusxdp.com/ja/howtouse/tellus_os/start_tellus_os.html 20
データサイエンティストもしくは機械学習エンジニアになるためのスキル要件とは（2017年夏版） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は2年前の以下の記事のアップデートです。 前回はとりあえずデータサイエンティストというかデータ分析職一般としてのスキル要件として、「みどりぼん程度の統計学の知識」「はじパタ程度の機械学習の知識」「RかPythonでコードが組める」「SQLが書ける」という4点を挙げたのでした。 で、2年経ったらいよいよ統計分析メインのデータサイエンティスト（本物：及びその他の統計分析職）vs. 機械学習システム実装メインの機械学習エンジニアというキャリアの分岐が如実になってきた上に、各方面で技術革新・普及が進んで来たので、上記の過去記事のスキル要件のままでは対応できない状況になってきたように見受けられます。 そこで、今回の記事では「データサイエンティスト」*1「機械学習エンジニア」のそれぞれについて、現段階で僕が個人的に考える「最低限のスキル要件」をさっくり書いてみようかと思います。最初にそれらを書
「パナマ文書」解析の技術的側面
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか？私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Python」×「株価データ」で学ぶデータ分析のいろは
https://portal.opendata.go.jp/