機械学習／データサイエンスに活用できる「政府系」オープンデータセット3選
日本の政府系のオープンデータで一番有名なのが「e-Stat」である。統計学やデータサイエンスに携わるもの／学ぶものであれば、名前は聞いたことがあるだろう。かつては各省庁がバラバラに管理＆公開していた公的データを、一カ所に集めて誰でも簡単に利用できるようにしたサイトである（2008年から運用が開始され、2018年にリニューアルされた）。 統計分野は多岐にわたり、「国土・気象」「人口・世帯」「労働・賃金」「農林水産業」「鉱工業」「商業・サービス業」「企業・家計・経済」「住宅・土地・建設」「エネルギー・水」「運輸・観光」「情報通信・科学技術」「教育・文化・スポーツ・生活」「行財政」「司法・安全・環境」「社会保障・衛生」「国際」「その他」という17分野が提供されている。データセットは、条件指定によるフィルタリングやグラフ化が行える。例えば人口ピラミッドのグラフも簡単に作成できる。 また、もちろん無
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
Googleが患者に無断で医療記録を収集していたと報告される
By stevanovicigor Googleは「プロジェクト・ナイチンゲール」というコード名で呼ばれるプロジェクトの下、アメリカの21の州で何百万もの患者記録を収集していたと報告されています。この大規模な医療記録の収集プロジェクトについて、医師や患者への通知はなかったと報じられています。 Google’s alleged ‘Project Nightingale’ may be secretly gathering health records - The Verge https://www.theverge.com/2019/11/11/20959771/google-health-records-project-nightingale-privacy-ascension Wall Street Journalのロブ・コープランド氏は、プロジェクト・ナイチンゲールによって収集されたデ
Retty、食領域のビックデータ連携基盤「Food Data Platform」--連携の第一弾は出光興産
Food Data Platformは、「Retty」に蓄積され、日々更新され続けるFood領域の各種データを収集／格納／成形／統合／管理し、企業のデータベースとシームレスにデータ連携できるデータ基盤。企業が独自に保有するデータ・データ基盤とFood Data Platformを連携させることで、新たなコンテンツ体験機会の創出、ユーザーインサイトによるマーケティング精度の向上、トレンド分析、商品企画開発、位置情報を活用した出店戦略立案、消費動向調査など、企業独自データの品質向上などに利用できる。 また、データ基盤連携第一弾として、出光興産が運営する旅行プラン作成サイト「ドライブコンサルタント」と「Food Data Platform」の連携を開始した。 同社によると、出光興産が保有する全国に広がるサービスステーションを起点とした地域データと「Retty」の人気店データを掛け合わせることで、
なぜ日本企業は｢ビッグデータ集めなきゃいけない病｣にかかるのか？
私は、シリコンバレーに拠点をもつAIビジネスデザインカンパニー、パロアルトインサイトのCEOとして、過去50社以上の日本企業にAI技術活用に関するアドバイスや導入をしてきました。 業界特化型のAIソリューションを提供する会社ではなく、業界横断的に企業のニーズを見て、それに対してAI技術を駆使した解決策を提案、実装してきた中で見えてきたことがあります。 それは、多くの日本企業、それも超一流の会社ばかりが、｢データ集めなきゃいけない病｣にかかっているということです。 弊社のクライアント企業の経営陣は、よく以下のような質問を投げかけて来ます。 •集められるデータを集められるだけ収集しないと、AI活用できないのか？ •分析するのは｢ビッグデータ｣じゃないといけないのか？ •どれだけの容量のデータが集まれば、｢解析するのに十分だ｣と言えるのか？ データが十分に集まっているだけでは、ゴールにたどり着け
DMM.comのビッグデータ基盤を支える技術
TECH PLAY Conference 2017 の発表資料となります ビッグデータを活用したWebサービスの技術 #techplayconf2017 #techplayjp https://techplay.jp/event/628968 株式会社DMM.comラボ 鈴木 翔太 / 吉田 龍馬 === 弊社ビッグデータ部では、オンプレミス環境で Hadoop をベースとしたデータ基盤の保守運用を行っており、それに加えアドホック分析には Presto、エンジニア・アナリストが利用するBIツールとして Zeppelin / Re:dash、ETLにワークフローエンジン Digdag など様々なOSSを積極的に採用し、より快適な分析基盤の構築に努めています。当セッションでは、ビッグデータ部発足時の分析基盤の課題を解決するためにこれまでにどのような取り組みを行ってきたかをご紹介します。
国の統計を自由にグラフ化！総務省の「統計ダッシュボード」を使いこなそう
マーケターのみなさんにとって人口や地域ごとの住宅着工数のような社会のデータを調査する機会は多いでしょう。 しかし、自分でデータを探し、Excelに落とし込んでグラフを作成する作業は手間がかかります。「明日の会議のために急にデータが必要になった」という切羽詰まった状況を経験したことがある人もいるかもしれません。 そんな方にとって必見なのが、2017年5月に総務省が公開した*『統計ダッシュボード』*です。 今回は、統計ダッシュボードの使い方を解説します。 統計ダッシュボードは国勢調査や経済センサスで得ている5,000ものデータをもとに構成されており、知りたい項目を選択するだけで自由にグラフを作成できます。 商用利用も可能なので、社内資料だけでなく、顧客向けの資料でも活用できるでしょう。 参考： [「統計ダッシュボード」の提供開始｜総務省] (http://www.soumu.go.jp/men
断捨離したほうが、データ分析はうまくいく？ 押さえておきたい3つの落とし穴 - Insight for D
Insight for D終了のご案内 2020年6月30日を持ちましてInsight for Dを終了させていただくことにいたしました。今後はYahoo! JAPANの最新マーケティング情報にて、みなさまに役立つ情報発信を行ってまいります。 “データは多ければ多いほどいい”は本当か？ 日常生活では「片づけ術」や、モノを持たない「ミニマムな暮らし方」が好まれているが、なぜか企業のデータとなると、この話は逆になる。これからの時代、データは価値を創造するお金だ、オイル（燃料）だと称賛され、少しでも多く集めること、増やすことに熱心になる企業が多い。 また、自社だけでデータが足りなければ、外部のデータホルダーにお金を払ってまでデータを集める。しかし、そのようにしてせっせと集めたデータが、自社の目的に見事にはまり、期待していたようなお金を生んでいるかというと、そうではない企業がほとんどではないだろう
DMMにおけるビッグデータ活用の事例紹介！Presto x Golang x Docker を用いたセグメントバナー施策とは？ - DMM.comラボエンジニアブログ
2017 - 04 - 06 DMMにおけるビッグデータ活用の事例紹介！Presto x Golang x Docker を用いたセグメントバナー施策とは？ 15新卒 勉強会 資料公開 はじめに こんにちは！ DMM.com Labo ビッグデータ部の 吉田 です。 2017年3月28日(火) に開催されたレバレジーズ株式会社主催の ヒカ☆ラボ で登壇してきました。 今回は、そこで発表した内容を資料公開も含めて報告させて頂ければと思います！ どんな内容だったか？ タイトルはこちら。 ビッグデータを使ってバナーを動的表示させたらコンバージョンが 350% 増加した話 atnd.org 弊社ビッグデータ部では、1日あたり2億レコード以上の DMM.com 上でのユーザーの行動ログを中心に、 会員データや、各サービスのコンテンツ情報、地域情報のようなオープンデータを収集し、 データドリブンマーケ
もし、あなたが「“ビッグデータプロジェクト”を任せる。何とかするように」と言われたら
本連載におけるビッグデータ基盤の説明には、業界標準であるオープンソースの分散処理基盤である「Apache Hadoop（以下、Hadoop。とりわけ、Clouderaが提供する「Cloudera Enterprise」）を用いますが、考え方そのものは基盤に依存することなく共通なので、Hadoopではない他の基盤を使っていても活用できることでしょう。 第1回目は、「ビッグデータプロジェクトを開始する前に確認しておくべき、事前知識」編として、ビッグデータおよびビッグデータ基盤の概要とその利点を解説します。 Hadoopについて Hadoopは今から10年前の2006年、オープンソースの検索ライブラリの開発者であった米Cloudera チーフアーキテクトのダグ・カッティング氏が開発した、一般的なIAサーバを並べるだけでスケールアウトできる分散処理基盤です。Hadoopが持つ分散ストレージ／分散フ
Power BI
すべての Microsoft 製品 Global Microsoft 365 Teams Copilot Windows Surface Xbox クリスマス セール 法人向け サポート ソフトウェア Windows アプリ AI OneDrive Outlook Skype OneNote Microsoft Teams PC とデバイス Xbox を購入する アクセサリ VR & 複合現実 エンタメ Xbox Game Pass Ultimate Xbox Live Gold Xbox とゲーム PC ゲーム Windows ゲーム 映画とテレビ番組 法人向け Microsoft Cloud Microsoft Security Azure Dynamics 365 一般法人向け Microsoft 365 Microsoft Industry Microsoft Power Plat
自称有識者()が例の副作用100%予測にがんばって答える - 驚異のアニヲタ社会復帰の予備
ちょっとアレなので非公開になりました。 結論 cross validation くらいしよう。
行列のできるラーメン屋 ビッグデータでつくれる？
※写真は本文と無関係です。Photo by Dave Hong 飲食店の商売はきびしい。 店主の役割はいい料理を出すだけではない。開業資金を工面し、料理人や給仕を雇い、店を宣伝して、新メニューをつくり、家賃や材料費のバランスを調整し……プレッシャーや問題が増えるにつれ、つい弱気になってしまうこともある。 本来、飲食店の本業はうまいものを作って人々に喜んでもらうことのはず。にもかかわらず、それ以外のことにとられてしまう時間がほとんどだ。 そこで注目を浴びているのがIT技術だ。 ウェブサービスやアプリを使い、たとえば宣伝費をかけずに話題を作り、手間のかからない予約のしくみを整え、解析データによって流行にのったメニューをつくるなど、小さな店から大手チェーンまでもが新たな取り組みをはじめている。 新技術を導入したことで「年商が400万円も増えた」あるいは「2回転の店が3回転するようになった」という
データに踊らされないようにするためのデザインアプローチ
11月28日に MTDDC Meetup Tokyo 2015 が開催されました。Movable Type に関わるセッションだけでなく、特定の CMS に囚われないディレクションやサイト設計・運用の話もありました。昨年もそうでしたが、WordPress や Drupal といった他 CMS のコミュニティメンバーを交えた座談会もあるのも MTDDC の魅力です。 今回は「データと上手に付き合ってデザインする方法」と題して、クリエイティブとデータを繋げるための考え方や手法を紹介しました。 数字が嘘をつくこともある 近年、すべてを数値化して測定・評価しましょうという動きがあります。本サイトでもデータの重要性を伝え続けていますが、行き過ぎたアプリーチになることもあります。様々な利用者情報を低コストで取得できるようになり、データ分析がより身近になったことは素晴らしいことです。しかし、デザインの決
「R」だけじゃない、使えるオープンソースのデータ可視化ツール
関連キーワード BI（ビジネスインテリジェンス） | ビッグデータ | データサイエンティスト | データ分析 代表的なオープンソース分析ツール「R」を提供するRプロジェクトのWebサイト（出典：The R Foundation）《クリックで拡大》 データ可視化ソフトウェア市場では現在、商用製品が主流だが、データ管理およびアナリティクスにおける他分野と同様に、オープンソースのツールが支持され始めている。こうしたツールには、可視化ライブラリ「D3.js」やマッピングライブラリ「Leaflet」に加え、インタラクティブ可視化機能で強化されており、広く使われている統計分析用プログラミング言語「R」などがある。 併せて読みたいお薦め記事 データ分析事始め ビッグデータ活用、“しくじり案件”から学ぶ7つの教訓 データサイエンティストに縁遠い人のための「機械学習」入門 「データサイエンティスト」として
リクルート、「受験サプリ」好調の裏にビッグデータ活用、知的ゲームでやる気くすぐる
リクルートグループが受験生向けネット学習サービス「受験サプリ」事業で、ビッグデータを活用して成果を上げつつある。スマートフォンアプリの利用動向やWebサイトの閲覧履歴など数万人分のデータを分析。利用率の向上やアプリの使い勝手改善に役立てている。ポイントは難しすぎず易しすぎず、利用者がほどよく意欲を保てる出題内容に調整すること。「知的なゲーム」として楽しめる工夫で支持を広げる。 「利用者数万人分の行動データを分析して、サービス改善への手応えを感じている」。こう語るのはリクルートマーケティングパートナーズで、受験サプリを担当する萩原静厳氏。ビッグデータエバンジェリストとして、受験サプリの利用動向分析とサービス改善を手掛ける。 受験サプリはリクルートマーケティングパートナーズが2011年に始めた。主に大学受験生を対象にしており、PCやスマートフォンから過去の入試問題を無料で見たり、大手予備校の「
提案書や企画書づくりが驚くほど捗る！無料で入手出来る統計データ総まとめ。
プロジェクトを開始する前に、市場調査などで統計データを分析し仮説をたてる事は重要ですが、それらの調査対象が世界規模、全国規模になるとコストが掛かりすぎて（特に個人や中小企業の場合）現実的ではありません。 そこで活用したいのが国や団体、民間企業が公開している無料の統計データです。今日はそんなマーケティング担当者ならきっと必見の情報公開を行なっているサイトをご紹介します。 1. 総務省統計局 総務省統計局では様々な統計データが入手可能です。 国税調査 人口推計 労働力調査 小売物価統計調査 土地統計調査 このようなデータはPDF版が一般的ですがExcel形式でダウンロードできるのも魅力ですね。その他にも以下URLより数多くの統計データが入手できます。 また、統計局ではメール配信サービスも行なっています。興味のある方は登録をおすすめします。 www.stat.go.jp 2. 法務省 法務省でも
米国の最新マーケティング事例、eMetrics Summit 2015を3つのポイントで解説 | イベント・セミナー
2015年3月29日から4月2日の5日間（うち前半2日は小規模なワークショップ）、eMetrics Summit - Big Data for Marketingがサンフランシスコで開催され、取材のため参加してきました。このなかで興味深い米国のデジタルマーケティング最新事例や手法が紹介されていました。そのなかからマーケターの皆さんに、ぜひ知っておいてもらいたいテーマを3つ厳選してお届けします。 アナリティクスデータの民主化マーケティングテクノロジストのニーズが高まるクリック率とオフラインROIの関係の見直しアナリティクスデータの民主化まず、1つ目のテーマとして紹介するのは「データの民主化」です。この「データの民主化」では、2つの側面からデータの民主化について紹介します。 個人情報を個人が管理する時代の到来？IoT（モノのインターネット化）が進むなか、個人の健康に関するデータやDNAに関する
データサイエンティストなら年収1000万円!?無料＆日本語でプログラミングの勉強をする方法
21世紀初頭に「IT革命」という言葉が世の中を席巻してから、インターネットはもはや車やガスなどと同じ社会的なインフラになったと言っても過言ではないのではないでしょうか。 そんな中、データサイエンティストという仕事に注目が集まっています。年収1000万円を越えることも夢ではない職業です。そんなデータサイエンティストにとって不可欠なデータ解析に関する知識を無料で学べる「UDACITYonEdmaps」の使い方を紹介します。 UDACITYonEdmapsとは何か UDACITYとはアメリカ発のオンライン学習サービスの一つで、無料でデータサイエンスが学べるツールです。アメリカでスタートしたこのサービスは、リクルートホールディングスとの契約締結を経て、現在日本ではUDACITYonEdmapsとして展開しています。 UDACITYonEdmapsの前身であるUDACITYでは各企業の開発者などが講
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
使い方ヘルプへのジャンプページ｜東京都