This domain may be for sale!
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成21年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発(分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業)」という
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
こんにちはこんにちは。最近お腹痛いばっかり言ってることで有名なiwanagaです。 DeNAは外部的にはプラットフォーム的な部分の方がフィーチャーされることが多いですが、実はソーシャルゲームの提供も行っています。怪盗ロワイヤルとか、どこかで聞いたことがあるのではないでしょうか。 僕はDeNAでソーシャルゲームが誕生した辺りからずっとサーバサイドを見てきましたが、そんな運用の中で自分が貯めてきた知見とかTIPSをご紹介したいと思います。 かれこれ10タイトル近くはレビューしたり運用したりしてるため結構言いたいことはいっぱいあるので、小出しにしつつ評判よければ次も書きます。 ソーシャルゲームのためのMySQL入門一覧 ソーシャルゲームのためのMySQL入門 - Technology of DeNA ソーシャルゲームのためのMySQL入門2 - Technology of DeNA 「MySQL
東京大学医科学研究所が導入した2000万件もの医学論文を学習した人工知能が、専門の医師でも診断が難しい特殊な白血病を僅か10分ほどで見抜き、治療法を変えるよう提案した結果、60代の女性患者の命が救われたことが分かりました。人工知能は、このほかにも医師では診断が難しかった2人のがん患者の病名を突き止めるなど合わせて41人の患者の治療に役立つ情報を提供していて、専門家は「人工知能が人の命を救った国内初のケースだと思う」と話しています。 このうち60代の女性患者は当初、医師から「急性骨髄性白血病」と診断されこの白血病に効果がある2種類の抗がん剤の治療を数か月間、受けましたが、意識障害を起こすなど容体が悪化し、その原因も分かりませんでした。このため、女性患者の1500に上る遺伝子の変化のデータを人工知能に入力し分析したところ、人工知能は10分ほどで女性が「二次性白血病」という別のがんにかかっている
追記(2017年7月) こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数=下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト()募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
パレスチナ情勢 ウクライナ 速報 朝刊 記事一覧 紙面ビューアー 夕刊 記事一覧 紙面ビューアー 連載 ランキング その他 コメントプラス 特集 動画・音声・写真 土曜別刷り「be」 記者イベント 天気 数独 12星座占い サイトマップ 検索 ヘルプ Q&A(よくある質問) 総合ガイド お申し込み ログイン マイページ 有料会員紙面ビューアーコース登録済み 無料会員(クーポン適用中)紙面ビューアーコース登録済み 無料会員紙面ビューアーコース登録済み 朝日ID会員 紙面ビューアーコース お客様サポート(個人設定) お客様サポート(個人設定) お客様サポート(個人設定) メール設定 スクラップブック MYキーワード 会員特典・プレゼント 提携プレミアムサービス ログアウト
グロースハックを本格的にしようとすると、統計学が出来ると凄く便利!今回は、この記事を見ておけば今からでも統計学を使いこなせるようになる記事をピックアップしましたので、ご覧下さい! ハンバーガーショップで学ぶ楽しい統計学 本にもなっている統計学の入門には最適な決定版サイト。広く使われている統計手法について分かりやすく解説されています。 オンラインで無料で読める統計書22冊 Web上で閲覧可能な統計書がまとめられている超お得な情報が詰まっている記事。 WEBで読める統計関係の良質な資料 統計に関する良質な資料がまとめられている記事。 統計屋による新社会人のための統計系入門書お薦め一覧 統計について学べる入門書についてまとめられている記事。 統計学を勉強するときに知っておきたい7つのポイント 統計学を学ぶ上で、重要なポイントが整理されている記事。 統計学を勉強するときに知っておきたい
2012.12.17 転職 ここ最近、個人の関心や嗜好に合わせて情報を紹介するキュレーションサービスが人気だ。Amazonのような大手ECサイトで利用が進む「レコメンド」や「キュレーション」技術を情報配信分野に応用したサービスだが、このカテゴリーの中で、特に注目を集めているサービスがある。 それが、現役東大大学院生3人が立ち上げた『Gunosy(グノシー)』だ。 自らを「スマートなパーソナルマガジン」と命名している『Gunosy』 人気を集めている理由は、その手軽さと推薦情報の的確さにある。 ユーザーが『Gunosy』を利用するにあたって唯一すべきことは、最初にFacebookもしくはTwitterのアカウントを利用してサービスサイトにログインすることだけ。 あとは『Gunosy』独自のレコメンドエンジンが、過去にユーザーがポストした投稿内容の傾向やソーシャルグラフ内でのアクティビティを分
2017年1月20日追記:『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復:データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
現役高校生プログラマーの率いるワンファイナンシャルは6月12日、お財布に溜まっているレシートを瞬時に現金化できるアプリ「ONE(ワン)」の提供を始めることを明らかにした。スマートフォンのカメラ機能を使ってレシートを撮影すれば、すぐにアプリ内のウォレットに10円が振り込まれるという。振り込まれた現金は銀行の手数料分以上になれば、国内のほぼ全ての金融機関で好きなタイミングで引き出すことができる。 ワンファイナンシャルCEOで高校3年生の山内奏人さんは「レシートには究極のいろんなデータが含まれている。いつ、どこで、誰が何をいくら払って、いくらお釣りをもらって買ったのか。一人ひとりの購買行動やパターン分析ができるようになる」と話す。蓄積データをメーカーなど企業向けに販売していく狙いがある。 山内さんは小学生の時に独学でプログラミングを始め、国際的なプログラミングコンテストやビジネスコンテストで数々
このnoteでは、データ分析をやってみたい人向けに、何を学んだらよいかまとめます。ちなみにこの記事では、「ディープラーニングで何かしたい!」みたいな人ではなく、「データをもとに有益なアウトプットを出せるようになりたい」という人向けの記事となっています。 追記) 反響があり、News Picksではテクノロジー一面に掲載されていました。 また、はてなブックマークでもホットエントリー入りして、5/5現在898ブックマークを突破しました。 データ分析の全体像まず、データ分析を行う上での全体像から見ていきたいと思います。流れとしては大きく分けて、4つあります。 1. データ分析から何を検証したいか決める (調査のデザイン) 2. データ収集 3. データの整形 4. 分析を行う 各フェーズごとに行うことと、何が学ぶべきかまとめていきたいと思います。 1. データ分析から何を検証したいか決める (
はじめに 今回は、ウェブを通じて無料で読むことができる統計に関する書籍を紹介したい。英語で書かれた本が多いが、日本語で書かれた本も若干ある。 入門書 まず、統計の初学者のために書かれた入門書を紹介したいと思う。 福井正康 (2002). 『基礎からの統計学』基礎から扱っている統計の入門書である。統計を扱う際に必要となる場合の数、確率などについて詳しく説明している。理解を助けるための演習問題とその解答がついている。統計処理用のソフトとしてはExcelを使っている。同じサイトに社会科学系の学生向けの数学の教科書もある。 小波秀雄 (2013). 『統計学入門』基礎から扱っている統計の入門書。内容としては、記述統計、確率、確率分布、簡単な推定・検定、相関と線形回帰などがある。確率や確率分布などの理論的な話が占める分量が多いので、分量のわりには、具体的な統計手法はあんまり載っていない。もちろん理論
この記事は下記のURLにあるコミックマーケット90で頒布した同人誌と自分が管理するブログの記事を微修正し、転載したものです。 南関東開発機構 : 同人誌「日本の行政機関が公開中のAPIについて調べてみた本」を公開しました http://blog.livedoor.jp/south_kanto_dm/archives/52143201.html 南関東開発機構 : 日本の行政機関が公開中のAPIについてのまとめ(2016年8月17日暫定版) http://blog.livedoor.jp/south_kanto_dm/archives/52143463.html 前書き この記事の目的は、日本の行政機関等が公開しているAPIを紹介する事です。 日本の情報技術は他国と比較して、立ち遅れている部分があり、これを立て直すのが喫緊の課題であると言えます。 日本政府もこの問題に危機意識を持ち、先日、経
本稿では統計学・データマイニング・機械学習関連書籍について 内容が易しいこと。数学力(特に微積・線形代数)を求められないこと 入手しやすいこと。絶版や学会に入らないと入手不可などではない、値段が安いこと 実務に繋げやすいこと。 持ち運びしやすいこと。忙しい新社会人が通勤中や休み時間ポケットからさっと取り出し、継続して勉強出来ること を主眼に選定したお薦め書籍を紹介します。 (満たせない要望も多いですが) 主な対象者は、文系で数学や統計学をやってこなかった、 プログラミングもわからない(Excelで四則演算やマウス操作くらいは使える) けどいつかマーケティングやデータマイニングやってやるぜ! って考えてる新卒の方です。 筆者自身は経済学科出身の文系で、あまり数学力に自信がないなりに Web企業でデータマイニングをしているという人間です。 ここで紹介している内容で 「統計学・機械学習・データマ
■ Tポイントは本当は何をやっているのか Tポイントが実際のところ何をやっているのかは、以前から確認する必要があると考えていたのだが*1、その加盟店に公共図書館をを加えるという話が出てきて*2、いよいよ待ったなしの段階に入ったと思い、5月から6月にかけて「Tカードサポートセンター」に問い合わせて確認していた。 最初に問い合わせたのは5月8日で、「T会員規約にはこう書かれているが実際には何をやっているのか」と素朴に尋ねたところ、電話に出たオペレータからは、「ファミリーマートを利用した会員にガストでクーポンを出したり、ガストを利用した会員にファミリーマートでクーポンを出したりしている」という趣旨の説明があった。このオペレータは、このようなクーポン発行に、商品名レベルの購入履歴は使用しておらず、ファミリーマートの利用の有無(店舗レベル)に基づいてクーポンを発行しているという認識のようだった。 そ
プロジェクトを開始する前に、市場調査などで統計データを分析し仮説をたてる事は重要ですが、それらの調査対象が世界規模、全国規模になるとコストが掛かりすぎて(特に個人や中小企業の場合)現実的ではありません。 そこで活用したいのが国や団体、民間企業が公開している無料の統計データです。今日はそんなマーケティング担当者ならきっと必見の情報公開を行なっているサイトをご紹介します。 1. 総務省統計局 総務省統計局では様々な統計データが入手可能です。 国税調査 人口推計 労働力調査 小売物価統計調査 土地統計調査 このようなデータはPDF版が一般的ですがExcel形式でダウンロードできるのも魅力ですね。その他にも以下URLより数多くの統計データが入手できます。 また、統計局ではメール配信サービスも行なっています。興味のある方は登録をおすすめします。 www.stat.go.jp 2. 法務省 法務省でも
世界中で話題になっているパナマ文書。各国で政権を揺るがすような事態にもなっていますが、純粋にデータとしてみた場合、これは計算機やデータ解析に関わる人々にも面白いものだと思います。データの中身や背景などについてはさんざん報道されていますのでここでは触れません。一方、現場でどのような作業が行われているのかはあまり報道されていません。現実的な問題として、人力ではどうしようもない量のリークデータを手に入れた場合、調査報道機関はどんなことを行っているのでしょうか?私も以前から疑問に思っていたのですが、先日あるデータベース企業と、データ分析アプリケーションを作成する会社のブログにて、その実際の一端を窺うことができる投稿がありました: Panama Papers: How Linkurious enables ICIJ to investigate the massive Mossack Fonseca
こんにちは!クックパッド編集室メディア開発グループ長の @yoshiori です。 このまえ夏の技術職インターンシップの前半の開発講義・課題部分が終わったのでさっそく公開しちゃいます! ちなみにこのインターンの対象者はプログラミングはわかるし自分で(授業とかではなく)コード書いている人なので超初心者向けでは無く、少なくともひとつ以上の言語でプログラミングが出来る人向けです。 一日目 TDD + git 編(@yoshiori) 講義初日なのでまずは簡単に肩慣らし & 開発の基礎の部分として TDD と git で始めました。 git については軽く説明し TDD は基本のテストファーストで進めて行きました。 ちゃんと何かをするたびにテストを実行し、メッセージを見れば次にすることが分かるというのを体験してもらい、GREEN が良くて RED が悪いのではなく、GREEN を想定しているのに
「不動産テック業界 カオスマップ 最新版」「不動産テック業界 資本金グラフ」公表 | Limar Estate 日本において「ビッグデータでAIで機械学習でマーケティングのブランディングでディープラーニングのリードナーチャリングだ!」でごまかせる業界はもう不動産しかないのか、今年に入ってから「不動産テックでデータ可視化で物件価値の向上でウッハウハですよ!」な会社から融資をお願いされることが増えました。 しかし、残念ながら今のところ投資に値する会社はありません。というか適当すぎてやばい。話聞いてる途中で「え、え、ちょっと待って、それテクノロジーって言えるの?」と遮りたくなるレベルの会社だらけでびびります。 不動産テックはアメリカの話を聞いていると面白いんですが、日本の不動産テックはがっかりを通り越してテック名乗るな馬鹿野郎と言いたくなることばかりです。 他社サイトからスクレイピングしすぎ 融
小売業の特徴は、いわゆる「ニッパチの法則」(売り上げを支える売れ筋商品は全体の2割という法則)。いかにして売れ筋商品の在庫を把握し、将来の需要を予測して、欠品なく並べ続けるかは生命線だ。 一方、ダイソーの特徴は、取り扱う商品点数が非常に多いことだ。 大創産業情報システム部課長の丸本健二郎氏によると、ダイソーは全世界27カ国で5270店に展開し、新商品は毎月約800。「均一価格」は日本と同じだが、価格レンジは各国地域の物価に合わせている。 こういう状況では、「人間の能力では在庫を把握するのは難しい」という前提に立って、丸本氏が取り組んだのが、POSデータの統計的解析から個店ごとの需要予測をして欠品をなくす「自動発注システム」(2015年導入)だった。 着想後、いくつかの店舗で試験的に導入したところ、着実に欠品率が下がり、「チャンスロス」が解消された。
先週の金曜に、超会議でお仕事の関係で東京に戻ってきて、そのまま土日はずっとハッカソンをしていた。 疲れ果てつつ充実したハッカソン後 International Space Apps Challenge(以下ISAC)という、NASAが主催しているハッカソンがある。人工衛星の位置データとか、月面や火星の写真とか、その他ものすごい量の様々なデータを世界中のハッカーに解放して、2日間で何か面白いものを開発もらって、宇宙に親しみを持ってね、というハッカソンだ。 いろいろな都市で行われていて、僕は2011年から東京支部に参加している。会場の大きさの限界だった80人はすぐ埋まったようで、シンガポールに行っていて出れなかった去年はもっと大人数で行われたそうだ。 ■NASAのハッカソン いくつかNASAから課題が提示されているのだけど、昔は「好きに何かやってください」みたいなモノが多く、アウトプットも「星
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く