開発者がビッグデータ分析にPythonを使う時によくやる間違い | POSTD
システムの構築、新しい技術の習得、PythonやDevOpsなどに情熱を注ぐソフトウェア開発者です。現在はチューリッヒを拠点とするビッグデータのスタートアップで働いており、データ分析およびデータ管理ソリューションのためのPythonの技術を磨いています。 1 はじめに Python は開発時間を短縮できるという点で一般的に評価の高い言語です。しかし、Pythonを使って効率よくデータ分析をするには、思わぬ落とし穴があります。動的かつオープンソースのシステムであるという特徴は、初めは開発を容易にしてくれますが、大規模システムの破綻の原因になり得ます。ライブラリが複雑で実行時間が遅く、データの完全性を考慮した設計になっていないので、開発時間の短縮どころか、すぐに時間を使い果たしてしまう可能性があるのです。 この記事ではPythonやビッグデータで作業をする時に、最も時間を無駄にしがちな事柄につ
分析経験ゼロから、NTTぷららがデータサイエンスチームを立ち上げた理由 | IT Leaders
IT Leaders トップ ＞ 経営課題一覧 ＞ データ活用 ＞ インタビュー ＞ 分析経験ゼロから、NTTぷららがデータサイエンスチームを立ち上げた理由 データ活用 データ活用記事一覧へ [インタビュー] 分析経験ゼロから、NTTぷららがデータサイエンスチームを立ち上げた理由 2013年5月14日(火)緒方 啓吾（IT Leaders編集部） リスト データ分析人材の不足が指摘される中、情報システム部門主導で、データサイエンティストチームを立ち上げたNTTぷらら。同チームの堀内氏と安達氏に、設立の背景や狙いを聞いた。 データ分析チームを作ったワケ —データサイエンティストのチームを社内に設立されたと伺いました。 堀内 実は、社内ではデータサイエンティストという言葉は使っていないんですが、システムを担当する技術部門の中に、データ分析の専任チームを置いています。メンバーは、私を含めて6名。
データの分析をタダで引き受けてはならない10の理由 - ネガティブにデータサイエンティストでもないブログ
それなりの分析屋であれば誰もが経験があることでしょう。データを扱えない人から、データを扱える人と思われるために、分析の依頼をされることが。それも軽い気持ちから始まるタダ（無償、無料）の場合が。 そう呼ばれたくない実務者が多いのに、それを叫ぶ組織が多いという不思議な昨今のデータサイエンティストの流行はそろそろ終わってほしいのですが、データの分析という行為自体はいつの時代も不滅です。 私も企業や大学、知人や家族などからデータの分析を頼まれることがよくあります。もうしょっちゅうです。もちろんネットや金融やらのビッグデータに限ることではありません。だいたい相手は私が本業でやっているニッチな統計処理なんて理解していません。ただ、なんとなく、あいつに聞けばいいみたいな風に思っているだけでしょう。それはEXCELの使い方から、簡単な統計処理の説明といった参考書でも読めば即解決なことや、クローリングや統計
たとえ有償でも絶対に引き受けてはいけないデータ分析依頼の3タイプ - 渋谷駅前で働くデータサイエンティストのブログ
id:dscaさんのタダでは引き受けてはいけないネタが大ブレークしてるみたいですね。 データの分析をタダで引き受けてはならない10の理由 - ネガティブにデータサイエンティストでもないブログ 受託系便利屋的なポジションの悲哀が大変よく透けて見える良記事だと思うんですが、一方で仮に金を取ったとしても引き受けてはいけない案件というのもよくあるものです。 ということで、便乗して「たとえ有償でも絶対に引き受けてはいけないデータ分析依頼の3タイプ」とか僕がこれまで経験してきた様々な現場and/or案件での事例を踏まえて、適当に吹聴してみようと思います。 なお、「前処理が煩雑」とか「DB整備が貧弱でCSVでデータをやり取りしなければならない」というような構造的な問題点は別物なので、今回は割愛しましたごめんなさい。 （※これは他所の様々な現場での話を聞き取ってまとめた話であり、現職場の話ではありません！
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
