カテゴリカル変数のEncoding手法について - ysaz (ImanazaS) blog
Structured Data（構造化データ）の下処理をおこなう際に避けて通れないのがFeature Engineering（特徴量エンジニアリング）。 特に悩ましいのがカテゴリ変数の扱いで、どのように扱えば良いか困ることが多く、また、使った手法もすぐに忘れてしまいがちなので、自分なりに整理して記事にまとめておきたいというのが趣旨。 １．よく使われる手法 ２．次元を増やさない場合 Label Encoding Count Encoding LabelCount (Count Rank) Encoding Target Encoding ３．次元を増やす場合 One hot encoding Entity Embedding ４．参考記事 １．よく使われる手法 まずはよく用いられる定番の手法から。次元を増やすかどうかで大まかに次の２つに分類できる。 ・次元を増やさない場合（Label, Co
野良ビッグデータへのお誘い
Masanori TakanoSystem Engineer, Technology Researcher at CyberAgent, Inc.
トップページ - RESAS 地域経済分析システム
地域経済分析システム（RESAS：リーサス）は、地方自治体の様々な取り組みを情報面から支援するために、内閣官房デジタル田園都市国家構想実現会議事務局が提供する、産業構造や人口動態、人の流れなどの官民ビッグデータを集約し、可視化するシステムです。
歴代のマンガ、アニメ、ゲーム、メディアアートのデータを一挙網羅！ 文化庁が「メディア芸術データベース（開発版）」サイトを公開
日本が世界に誇れる文化を、後世に残すうえで欠かせないデータベースがついに完成 文化庁はマンガ、アニメーション、ゲーム、メディアアートの作品および所蔵情報を集めた「メディア芸術データベース（開発版）」サイトを、3月17日午前10時より公開しました。 本サイトは、各メディア芸術作品・所蔵情報の調査をはじめとする事業における一環として作成されたものとのこと。発表資料によりますと、データベースにはマンガの単行本・雑誌が33万冊、アニメーションはテレビ放映・劇場版アニメ・OVA（オリジナルビデオアニメ）など約9000タイトル、ゲームは家庭用ソフト・アーケードゲーム・PCゲームが約3万5000タイトル、そしてメディアアートはメディアアート・現代アート関連の展覧会・イベントなどの情報が約1万件網羅されており、誰でもアクセスすることが可能となっています。 それでは、百聞は一見にしかずということで、早速デー
4万台以上のHDDを運用して得たモデル別故障率の「生データ」が公開されダウンロード可能に
By Daniel "LWS" Nimmervoll オンラインストレージサービスBackblazeが公開しているHDD運用データを元にした「メーカー別HDD信頼性レポート」は、特定のメーカーの信頼性の高さや特定メーカー・特定モデルの圧倒的な壊れっぷりなどが一目瞭然で、業界関係者の注目を集めるだけでなく、一般人がHDDを吟味するのに大いに役立っています。しかし、あまりにも突出した故障率の高さを示すモデルの存在が明らかになる一方で、「このデータは本当に正しいのか？」という素朴な疑問が沸いてくるのが自然なところ。そんな疑問に答えるべくBackblazeは、これまで運用してきた4万台を超えるHDDのS.M.A.R.T.(スマート)値の「生データ」を一挙に公開。故障率の集計の仕方まで解説しています。 Hard Drive Test Data - Determining Failure Rates
総務省｜報道資料｜統計GIS機能の強化
総務省は、オープンデータの高度化を更に推進させるため、本日から、政府統計の総合窓口（e-Stat）が提供している統計GIS機能に新機能（jSTAT MAP）を追加しました。 この機能により、市区町村を細分化した小地域ごとに地図と統計データを重ね合わせて表示し、利用者の保有するデータを取り込んで分析できるようになります。 また、この「jSTAT MAP」をタブレット端末で手軽に利用できるアプリ「マップDe統計」の提供なども併せて開始します。 これにより、政府統計のオープンデータを高度化させ、地域振興やビジネスの活性化など様々な分野に貢献できるものと考えております。 ○ 総務省統計局は、統計におけるオープンデータの高度化の一環として、統計GISに独立行政法人統計センターと共に 開発した新機能を追加しました。
ホットペッパービューティーのデータを研究用に公開しました - Advanced Technology Lab
こんにちは。９月１日でリクルートに入社して、４年目を迎えるATLのtatakabaこと高林です。そのような記念日に、リクルートオープンデータ第一弾として、 国立情報学研究所（NII）のご協力のもと、ホットペッパービューティーのデータを研究者向けに公開することになりました。 リクルートオープンデータの第一弾の取り組みになります。 手続き方法については、こちらを参照下さい。 公開する７つのデータセットは、以下の様な項目が含まれております。 店舗マスタ 美容室店舗のマスターデータになっております。店舗マスタには、以下のデータが含まれます 店舗ID(全てのデートセットとヒモ付が可能です。) 店舗名 店舗名読み 住所 緯度/経度 営業時間/休日 店舗代表名/肩書 店舗コメント 店舗URL スタイリストマスタ スタイリストマスタでは、店舗の美容師データの情報を抽出することができ、 得意な技術などのデー
2013年ビッグデータビジネスとデータサイエンティストのまとめ：『ビジネス2.0』の視点：オルタナティブ・ブログ
2013年はビッグデータビジネスが本格的に立ち上がり始めた年でした。一方で、データ分析に対応できるデータサイエンティストの深刻な人材不足が指摘された年でもありました。 2013年のビッグデータビジネスの動向と、データサイエンティストの状況について焦点をあてて整理してみたいと思います。 ビッグデータによるGame Change アメリカは構造的な問題の打開には成長志向の政策と投資の活発化、雇用の促進が必要とし、シェールガスと石油産業、貿易促進、インフラ投資、ビッグデータの分析と教育改革の5つの分野における大規模な投資が必要と指摘しています。 ビッグデータによる小売りやサプライチェーン・マネジメント、製造業の合理化の推進、政府の医療コスト負担を抑制など、経済効果は、1550億ドルから3250億ドルと推計するなど、経済効果が期待されています。 ビッグデータビジネスの成長性 2012年の国内ビッグ
国勢調査など政府統計データをCSV化してダウンロードできる「統計くん」 政府API活用
個人開発者の矢野さとるさんは6月12日、10日に公開された「次世代統計利用システム」のAPIを活用し、国勢調査などの政府が持つ統計データをCSV形式でダウンロードできるWebサービス「統計くん」を公開した。 次世代統計利用システムは、統計のオープンデータの高度化に向け、統計センターが総務省統計局と協力して提供しているシステム。政府の統計ポータル「e-Stat」でデータベース化されている統計データを、XMLやJSONなどで出力するREST方式のAPIを提供している。 統計くんは同APIを活用し、国勢調査、事業所・企業統計調査、全国物価統計調査、家計消費状況調査などについて、調査結果をWebブラウザ上に表示したり、条件を絞り込んで分類したり、CSV化してダウンロード可能。今後は、グラフ生成やクロス集計機能などの実装を検討している。
総務省｜報道資料｜統計におけるオープンデータの高度化
総務省は、政府統計のポータルサイトであるe-Statなどで広く公開している政府統計データについて、より高度な利用を可能とする取組についてまとめました。 総務省統計局は、政府統計の中核的機関として、人口や事業所・企業、消費など国の基幹となる重要な統計を作成しております。データ提供の面においても、e-Statを通じ広く公開してきました。 （政府統計の総合窓口(e-Stat) http://www.e-stat.go.jp） 現在、政府全体でオープンデータへの取組を推進しているところですが、これらの取組をリードする総務省として、政府統計の情報提供のかたちを更に高度化すべく検討を行い、独立行政法人統計センターと協力し、トップランナーとして次のような取組を進めています。具体的には次の3つです。 (1)API機能による統計データの高度利用環境の構築 (2)統計GIS機能の強化 (3)オンデマンドによる
統計を学びたい人へ贈る、統計解析に使えるデータセットまとめ - ほくそ笑む
はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、
wikipediaの隣接市区町村の記載をデータベース化したものをcsvで公開 - 蟻の実験工房（別館ラボ）
思いがけないリクエストがありましたので1年くらい前にやっていたwikipediaの隣接市区町村の記載をデータベース化したものをcsvで公開します。 http://spnene.antlabo.jp/data/city_rinsetsu_utf8.csv 簡単にいうとwkipediaで各市区町村の説明が記載されているページがあります。 このページから「隣接市区町村」の記載部分を抜粋して市区町村の隣接のつながりをデータベース化したものです。 ちなみにそのデータと統計情報を使った可視化マップはこちらです。 http://spnene.antlabo.jp/ [データのフォーマット] ID(元),県名(元),市区町村名(元),ID(先),県名(先),市区町村名(先) [取り扱いの注意] ・作成したのは2011年6月の市区町村をベースとしています。その後の統廃合には対応していません。 ・wikipe
生活定点1992-2018｜博報堂生活総研
生活定点とは？ 1992年から隔年で実施している生活者の意識調査です。同じ質問を繰り返し投げ掛け、その回答の変化を定点観測しています。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
http://www.nflarrest.com/arrest-o-meter.html
NFL Arrests Database | SanDiegoUnionTribune.com
ミスタードーナツ カロリーと栄養成分表