社内でKaggleの布教活動をやっている話 - yasuhisa's blog
最近、社内勉強会で機械学習についてエンジニアに説明する機会があり、その際にKaggleについても説明しました。一方で うーん、「Kaggler はパラメータチューニングやアンサンブル等の自明でインクリメンタルな改善『しか』できない」というような誤解はどうやって解いていけばいいんだろう。— im132nd (@im132nd) 2018年4月4日 という話もあり、(特にデータサイエンティスト以外の職種の人が)Kaggleをやる意義/メリットについてまとめてみました。ガッと勢いで書いたので、項目に結構被りがあります。なお、書いている本人はKaggleほぼ初心者であまり説得力がないです。Kaggle Masterの人がもっといいエントリを書いてくれるのを期待しています、議論の叩き台エントリです!! Kaggleをやる意義/メリット 様々なデータセットを触ることができる kernelでデータ分析の
データサイエンティストを目指して勉強した1年間まとめ - Qiita
はじめに 本記事では、データサイエンスについて学んだこと、データ分析業務に携わって、経験したこと、気付いたことをまとめています。特に、後半を中心にまとめています。前半についてはこちらの「データサイエンティストを目指して半年で学んだことまとめ」に書いています。ご興味があれば、読んでいただければと思います。 全てはビジョン（あるべき/ありたい姿）を明確にしてから始まる データ分析で最も重要になるのが、ビジョン（あるべき/ありたい姿）の明確度にあると感じています。ビジョンが明確であるほど、課題・目的も明確に設定でき、課題解決のための仮説検証、必要なデータの準備と、ビジョンの実現に向けたデータ分析ができるようになります。勿論、ビジョンが明確であれば良いというものではないかもしれません（必要なデータが集められない等）が、少なくとも、意味のない作業を減らすことは可能だと考えられます。 逆にビジョンが明
あまりにも多くのスタートアップがデータ分析するときに犯す４つの失敗パターン - Qiita
ホテルを直前に予約する時に人気のあるHotel Tonightというサービスを提供しているスタートアップがこちらシリコンバレーにあります。そこでデータ分析のチームを率いているAmanda Richardsonが、スタートアップがデータを使うときによく犯す間違いをこちらの"The Four Cringe-Worthy Mistakes Too Many Startups Make with Data"という記事の中で4つにまとめていますが、今日はそちらを紹介したいと思います。これらはもちろんスタートアップに限らず、どのようなサイズの会社でも、とくに新しいデータ分析のプロジェクトを始める時によく見られる失敗パターンだと思いますが、こちらの記事では間違いだけでなく、逆にこうすればいいという提案も最後にわかりやすくまとめられているので、是非参考にしてみて下さい。 それでは、以下抜粋です。 間違い１
知識0だった僕がデータ分析をこれまでどう学び、これからどう使うのか - プロクラシスト
長かったデータ分析ガチ勉強カレンダーも最終日*1。 自分のこれまで歩いてきた道を軽く振り返ったあと、自分が思う機械学習/データ分析のあり方について書き連ねたいと思う。あくまで一つの価値観として楽しんでもらえればと思います。 データ分析って何？状態から やったこと わからないところを聞くレベルに達するまで わからないところが分かるようになると アルゴリズムをどう理解したか。 自分が思う、これからのデータ分析 良いデータが集まるところに価値が生まれる 実務のデータ分析は高い精度よりも低コストと高い説明能力 データ分析はトップダウン あくまで人間の補助、人間とのシナジーを考える まとめ データ分析って何？状態から データ分析業務を行うにあたって、まずはじめの難関は、言葉の壁だった。ほぼコンピュータと無縁の世界で生きてきた私は、「Linuxって何？Vimって何？」っていうのを毎日繰り返していた。
Fluentd / Embulk / Elasticsearch / Digdag を学ぶのに最高な「データ分析基盤構築入門」を読んだ - kakakakakku blog
出版されてから少し時間がたってしまったけど，「データ分析基盤入門」を読み終えた．ページ数が多く，持ち運ぶようなサイズではないので，家でちょこちょこ読み進める感じになってしまって，想定以上に時間がかかってしまった． データ分析基盤構築入門[Fluentd、Elasticsearch、Kibanaによるログ収集と可視化] 作者: 鈴木健太,吉田健太郎,大谷純,道井俊介出版社/メーカー: 技術評論社発売日: 2017/09/21メディア: 単行本（ソフトカバー）この商品を含むブログを見る はじめに 目次にも書いてある通り，「データ分析基盤」というテーマで Fluentd / Elasticsearch / Kibana の解説が詳細にまとまっている．さらに付録には Embulk と Digdag の解説もあり，このあたりの技術スタックに興味がある人にとって最高な一冊なのではないかなと思う．また，
みんなのウェディングのデータ分析基盤の現状 — みんなのウェディングエンジニアリングブログ
こんにちは、みんなのウェディングの小室 (id:hogelog) です。 今回はみんなのウェディングにおけるデータ分析基盤の現状についてご報告させていただきます。 三行まとめ 忙しい人のために先に結論を書くと bricolage と embulk で Redshift に集めて re:dash で分析 です。 データ収集 データ収集は bricolage のジョブネット機構を用いて bricolage の各種ジョブや embulk を連携させ、Redshift にデータを取り込んでいます。 参考までに https://github.com/hogelog/dwh-example に簡単な構成例を準備しました。 MySQL → Redshift みんなのウェディング http://www.mwed.jp/ のデータベースとしては MySQL を利用しています。 MySQL から Redshi
Talend、TreasureDataを今から覚える人のための「顧客理解のためのビッグデータ分析基盤」勉強会レポート | DevelopersIO
Talend、TreasureDataを今から覚える人のための「顧客理解のためのビッグデータ分析基盤」勉強会レポート 11/13(木)に「顧客理解のためのビッグデータ分析基盤」という勉強会をTalendさん、TreasureDataさんと一緒に開催をしました。クラスメソッドからは甲木が登壇したので、その様子をレポートしたいと思います。 Talend や TreasureData について、名前はよく聞くけど一体どんな製品なんだろう？という方が読まれると、だいたいこういう製品なのかー、というのがおわかりいただけるかと思います。 勉強会のプログラムはこんな感じです。 「クラスメソッド・カスタマーストーリーのご紹介」 クラスメソッド株式会社 AWSコンサルティング部 ソリューションアーキテクト 甲木洋介 「ハイブリッド環境で威力を発揮するビッグデータ統合ツールのご紹介」 Talend株式会社 マ
それってホントに『分析』？｜freee データマイニングエンジニアに学ぶ本質的なデータとの向き合い方 | キャリアハック（CAREER HACK）
こんにちは。freee 株式会社 データマイニングエンジニア 坂本登史文です。 あなたの周りにあるたくさんの「データ」。これらを活用できていますか？うまく活用できているかたも、まだまだこれからの方もいらっしゃると思います。本記事では、データ活用の失敗例をお話ししながら、本質的なデータとの向き合い方をお伝えします。 陥ってはいけない！ロースハラミ現象とは では早速、突然ですが、データ活用の失敗例である「ロースハラミ現象」をご紹介します。焼肉店のデータ分析担当になった気持ちで読んでいただければと思います。 あなたはとある焼肉店のデータ分析担当として働いています。このお店、以前は比較的好調に経営が出来ていたのですが、直近3ヶ月で売上が下がってきています。 そこであなたは店長から「売上が下がっている理由を分析してほしい」と依頼されました。 あなたは手始めとして、いろいろな切り口で売上を分解してみる
「ITエンジニアのためのデータサイエンティスト養成講座」関連の最新 ニュース・レビュー・解説 記事 まとめ - ITmedia Keywords
ITエンジニアのためのデータサイエンティスト養成講座（10）： 時系列分析II―ARMAモデル（自己回帰移動平均モデル）の評価と将来予測 過去の時系列データを基に、将来予測につながるモデルを検討、実際に将来予測を行って検証してみましょう。（2014/9/1） ITエンジニアのためのデータサイエンティスト養成講座（9）： 時系列分析Ｉ ――ARMAモデルと時系列分析 システムログも金融取引データも時系列で分析できる。ビジネスシーンで求められるデータ分析の多くを占める「時系列データ」分析の基礎を解説。（2014/6/24） ITエンジニアのためのデータサイエンティスト養成講座（8）： 富山県民を分類してみたら……？――クラスタリング分析の手法 あるグループを属性ごとに分類する「クラスタリング分析」の基本を学ぼう。今回も自治体が公開しているオープンデータを題材にします。（2014/3/19） I
そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 渋谷駅前で働くデータサイエンティストのブログ
データサイエンティストブームが去りつつある一方で、データ分析ブームそのものはじわじわと広がり続けている感じのする昨今ですが。最近また、色々なところで「本当にビジネスやるのに統計学って必要なの？」みたいな話題を聞くことが増えてきたので、何となくざっくりまとめて書いてみました。 ちなみに今回の話題の参考図書を挙げようと思ったら、この辺ですかね。 とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた― 作者: 石田基広,りんと出版社/メーカー: 共立出版発売日: 2013/09/25メディア: 単行本この商品を含むブログ (13件) を見る 統計学入門 (基礎統計学) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (78件) を見る 本当は赤
その分析、Hadoopなら速く安くできます
ビジネスデータを分析するビジネスインテリジェンス（BI）分野の新たなプラットフォームとして注目されているHadoop。Hadoopでは、どのようなデータ分析が可能なのでしょうか？ 現在、Hadoopビジネスの牽引役であるClouderaのJeff Hammerbracher氏が、Hadoopでデータ分析が可能なビジネス上の課題を示した「10 Common Hadoop-able problems」（Hadoop化可能な10の一般的課題）と題したプレゼンテーションを公開しています。 Hadoopにとって得意な処理とは、複雑で複数のデータソースからなる大量のデータの分析であり、それをバッチ処理の並列実行によって実現することです。 従来は、データがあまりに複雑だったり膨大だっために、計算時間やコストなどの理由で実現が難しかった処理でも、Hadoopによる低コスト化、計算時間の短縮、高い柔軟性など
素人の僕が、データ分析に自信を持つようになったある発見 - 人と組織と、fukui's blog
2010年03月13日 22:01 カテゴリ事業家養成講座 素人の僕が、データ分析に自信を持つようになったある発見 Posted by fukuidayo Tweet 僕は1999年に就職活動をしました。会社は全部で8社ぐらい？受けたのかな。 受かった会社の選考よりも、落ちた会社の選考のほうが覚えているもので、あるシンクタンクを受けたときに提出したレポートの出来の悪さと、あるコンサルティング会社を受けたときに出たケーススタディーの答案を前に、頭が真っ白になったときのことは、今でもたまに思い出します。 どうやって分析し、自分の見解を示せば良いのか、まるでわからなかったのです。 それから数年がたち、僕はケーススタディーを受ける側ではなく、つくる側になりました。 データの見方を教え、伝える側になったのです。 そうなれたのは、データを分析する。ということに関して、助言を与え続けてくれた先輩・上司が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
超実践！Excelデータ分析講座