新卒向け「統計学の基礎」100ページ超 SaaS企業が無料で資料公開
資料では、統計学がどんな学問なのか、統計学を学ぶことにどんな意義があるのかという初歩から解説。その上で統計学を「記述統計学」と「推計統計学」に大別し、それぞれの特徴や手法、注意点を説明している。 今回の無料公開は、ブレインパッドで働く有志のデータサイエンティストが技術資料などを外部に発信するプロジェクト「OpenBrainPad」の一環。「統計学をこれから学ぶ人も復習する人もぜひ利用してほしい」（ブレインパッド）という。同プロジェクトでは、過去にはプログラムのバージョンを管理するシステム「Git」のハンズオン（実際に手を動かして学ぶ）資料なども公開している。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデータ分析の手法を解説する無料講座だ。 AIの基礎をZoomで講義 新人研修用
1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検
総務省、きょうから「社会人のためのデータサイエンス入門」を無料開講 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
第1回支援技術利用状況調査報告書 | 日本視覚障害者ICTネットワーク
掲載：2021年8月9日 更新：2022年4月10日 更新履歴 2022年4月10日：本調査の報告会のレポートへのリンクを追加 参考：イベント・レポート：第1回支援技術利用状況調査結果報告会 はじめに この報告書は、日本視覚障害者ICTネットワーク (JBICT.Net) が2021年4月から5月にかけて実施した第1回支援技術利用状況調査の結果をまとめたものです。 調査概要 本調査は、2021年4月21日から5月31日の期間実施し、Webとメールで回答を受け付けました。 上記期間中に344件の回答が寄せられました。このうち、Webによる回答が318件（92.44パーセント）、メールによる回答が26件（7.56パーセント）でした。 344件の回答のうち、336件（97.67パーセント）が有効回答でした。 必須の設問への回答が記入されていなかったもの、記入されたメール・アドレスが明らかに誤って
何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか - 渋谷駅前で働くデータサイエンティストのブログ
先日、Quora日本語版でこんなやり取りがありました。 基本的にはここで述べた通りの話なのですが、折角なのでブログの方でも記事としてちょっとまとめておこうと思います。題して「何故データサイエンティストになりたかったら、きちんと体系立てて学ばなければならないのか」というお話です。 問題意識としては毎回引き合いに出しているこちらの過去記事で論じられているような「ワナビーデータサイエンティスト」たちをどう導くべきかという議論が以前から各所であり、それらを念頭に置いています。なお毎度のことで恐縮ですが、僕も基本的には独学一本の素人ですので以下の記述に誤りや説明不足の点などあればご指摘くださると幸いです。 一般的なソフトウェア開発と、統計分析や機械学習との違い 統計分析や機械学習を仕事にするなら、その「振る舞い」を体系立てて学ぶ必要がある きちんと体系立てて学ばなかった結果として陥りがちな罠 余談
社会人が統計学や機械学習を学ぶなら「落下傘方式」で - 渋谷駅前で働くデータサイエンティストのブログ
今日何気なく呟いたツイートが、見ていたら結構RT&favされていた模様で。 社会人が統計学とか機械学習を独習するには、いわゆる「落下傘方式」が良いと思う。必要な時にその項目だけ学んで実践する。その繰り返しで学問体系のマス目が埋まっていけば良し。あと、初めに体系立ったテキストを分からなくても良いので通読するのも良し。だいたいの地図が頭に入る。— TJO (@TJO_datasci) 2014, 3月 31 この後も色々補足で呟いたんですが、せっかくなので簡単にまとめたものを書いてみました。これから社会人で統計学や機械学習を学ぼうと考えている人の参考になれば嬉しいです。 あ、これはベタな言い方をすれば「データサイエンティスト（死語）になるにはどうしたら良いか」にもつながる話なんですが、ここではもっと広く「統計学や機械学習を使う仕事をしたいと思ったらどう独習するべきか」という話にしておこうと思い
なるべく数式を使わない！滋賀大学の無料データサイエンス講座が開講 | Ledge.ai
画像は『滋賀大学「大学生のためのデータサイエンス（Ⅱ）」講座PV～ gacco：無料で学べる大学講座』より オンライン講座サイト「gacco（ガッコ）」では11月16日から、滋賀大学データサイエンス学部による「なるべく数式を使わない」という方針で構成した「大学生のためのデータサイエンス（Ⅱ）」が開講される。受講料は無料。 本講座では、機械学習の諸手法とその応用について説明する。まず「機械学習とは何か？」という説明から始め、その後に機械学習の応用事例を紹介。応用事例を先に見ることによって、機械学習の有用性が理解でき、機械学習の手法をより積極的に学べるとしている。 次に、分類問題と回帰問題の具体的な手法を説明し、同時に特徴量の設計・選択など、実践的なテクニックについても紹介する。最後に、近年、発展の著しいニューラルネットワークについても説明してくれる。また、本講座は、機械学習の分野のなかでも教
機械学習で入ってはいけないデータが混入する「リーケージ」とその対策
機械学習で入ってはいけないデータが混入する「リーケージ」とその対策：もう失敗しない！製造業向け機械学習Tips（1）（1/2 ページ） 製造業が機械学習で間違いやすいポイントと、その回避の仕方、データ解釈の方法のコツなどについて、広く知見を共有することを目指す本連載。第1回では「リーケージ」について取り上げる。 ⇒連載「もう失敗しない！製造業向け機械学習Tips」バックナンバー 筆者はデータサイエンティストとして、機械学習自動化プラットフォーム「DataRobot」の導入サポートをさまざまな製造業のクライアントに提供してきました。本連載では、その経験に基づいてお話させていただきます。 機械学習が使われる製造業特有の分野は、物性予測、工程管理、予防保全、故障予測、要因分析など多岐にわたります。しかし筆者は、それらの多くで同様のミスが繰り返されていることに気が付きました。これらの間違うポイント
分散・標準偏差 - ITの隊長のブログ
統計学３級取るぞ！！！ 親の顔より何度もみた分散と標準偏差 $ python >>> a = [5, 3, 4, 10, 3] >>> a_ = sum(a) / len(a) # 平均 >>> a_ 5.0 >>> s = sum([(i - a_)**2 for i in a]) / len(a) # 分散 >>> s 6.8 >>> import math >>> math.sqrt(s) # 分散をルートでかけると標準偏差 2.6076809620810595 www.youtube.com もう１つの方法でとく >>> x2_ = sum([i ** 2 for i in a]) / len(a) # xの2乗の平均 >>> x2_ 31.8 >>> x_2 = (sum([i for i in a]) / len(a))**2 # xの平均の2乗 >>> x_2 25.0 >>
データサイエンティストというかデータ分析職に就くための最低限のスキル要件とは - 渋谷駅前で働くデータサイエンティストのブログ
追記（2017年7月） こちらのスキル要件ですが、2017年版を新たに書きましたので是非そちらをご覧ください。 「データサイエンティストというかデータ分析職に就くためのスキル要件」という話題が某所であったんですが、僕にとって馴染みのあるTokyoR界隈で実際に企業のデータ分析職で活躍している人たちのスキルを眺めてみるに、 みどりぼん程度の統計学の知識 はじパタ程度の機械学習の知識 RかPythonでコードが組める SQLが書ける というのが全員の最大公約数＝下限ラインかなぁと。そんなわけで、ちょろっと色々与太話を書いてみます。なお僕の周りの半径5mに限った真実かもしれませんので、皆さん自身がどこかのデータサイエンティスト（）募集に応募して蹴られたとしても何の保証もいたしかねますので悪しからず。 統計学の知識は「みどりぼん以上」 データ解析のための統計モデリング入門――一般化線形モデル・階層
渋谷駅前で働くデータサイエンティストのブログ
これは初めてこのブログに来た方々向けのトップ固定記事です。最新記事の更新状況に応じて随時更新されます。 はじめに 公式のプロフィールはLinkedInに掲載しております。 このブログの内容は個人の意見・見解の表明であり、所属組織の意見・見解を代表しません。またブログ記事の内容の正確性については一切保証いたしません。学術的・技術的コンテンツを求めて来訪された方は、必ず学術書や論文などのオーソライズされた資料を併せてご参照ください。むしろ僕自身の学習のプロセスを記録しているだけの備忘録的記事が多いため、誤りもまた多いはずです。後学のため、誤りを見つけた場合はコメント欄などでお知らせいただけると有難いです。 また、ブログの中で取り上げられているデータ分析事例・データセット・分析上の知見など全ての記述は、いずれも特別に明記されていない限りはいかなる実在する企業・組織・機関の、いかなる個別の事例とも
実務で使う統計手法は、５つ。すごい、そんなシンプル？
このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、2014年に「データサイエンティスト・オブ・ザ・イヤー」を受賞され、ビジネス・サイドにおける、データサイエンスのリーダー的存在です。 その渋谷さんの「実務で使う分析手法は５つで十分、マーケターこそデータサイエンティスト候補」という講演は、多くの示唆に富んだものでした。 まず、みなさんが気にしている５つの手法とは、 クロス集計 ロジスティック回帰 決定木 アソシエーション分析 非階層的クラスター分析（k-meansなど） の５つです。統計の教科書にはさまざまな手法が出てきますが、マーケターが実務で使うのはこの５つ程度だと説明されるのです。でも、この説明には、私も思い当たる部分があります。東大の数学
テーブル・カラム・インデックス統計情報 - オラクル・Oracleをマスターするための基本と仕組み
CREATE TABLE RIVUS.STAT_SAMPLE ( ID_10 NUMBER(1,0), ID_100 NUMBER(2,0), NAME VARCHAR2(100), CREATED_ON DATE DEFAULT SYSDATE ); -- CREATE INDEX RIVUS.STAT_SAMPLE_IX10 ON RIVUS.STAT_SAMPLE (ID_10); -- CREATE INDEX RIVUS.STAT_SAMPLE_IX100 ON RIVUS.STAT_SAMPLE (ID_100); 統計情報の削除 統計情報の削除には、DELETE_〜_STATS シリーズを
IEの増加傾向続く - 6月ブラウザシェア
Net Applicationsから2014年6月のデスクトップブラウザシェアが発表された。2014年6月はMicrosoft Internet Explorerがシェアを伸ばした。先月シェアを減らしたChromeは今月はシェアを増やしている。Firefoxは先月に引き続きシェアが下落。Firefoxはこのところシェアの低下が続いている。 バージョン別に見るとMicrosoft Internet Explorer 8.0のシェアが21.25%で1位。先月よりもシェアを増やしており、バージョン別ブラウザとしては高いシェアを持ち続けている。Microsoft Internet Explorerはこれに11.0、9.0、10.0が続いている。最新の11.0へ移行する傾向は弱くなり、8.0が強い存在感を示している。ChromeはChrome 35.0への移行が進んだ。
良書だと思う、色々な分野の統計本の紹介 - Interdisciplinary
メモがてら、これまで読んで解りやすかったり明瞭だと思った統計関連の本をご紹介します。精読はしていないけれどこれは良さそうだ、と思ったのも入れます。適当に分類して、カテゴリーごとに。 私自身も勉強中なので、これいいよ、というのがあれば教えてもらえれば幸い。 ※本の画像→説明文 という配置にしてあります ※上下巻ある場合には上巻のみリンクします 準備 少なくとも、中学生で習うくらいの数学は解っていないといかんともしがたいと思います。で、統計を勉強してみたい、でも数学は中学で挫折した、という私みたいな人間も多いだろうな、と。 方程式のはなし―式をたて解くテクニック 作者: 大村平出版社/メーカー: 日科技連出版社発売日: 1977/09メディア: 単行本購入: 7人 クリック: 281回この商品を含むブログを見る関数のはなし〈上〉 作者: 大村平出版社/メーカー: 日科技連出版社発売日: 201
TechCrunch | Startup and Technology News
Yellow, an asset financier for solar energy and digital devices in Africa has raised $14 million series B funding in a round led by Convergence Partners with participation from the Energy Entrepreneur Fisker, the electric carmaker founded by the Danish auto designer Henrik Fisker, is gearing up to enter the Chinese market where competition is increasingly cut-throat, following in the footsteps of
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
