最近、データサイエンスが流行っていることもあり、線形回帰モデルについても解説記事を見かけることが多くなりました。情報にアクセスしやすくなったのはいいことだと思うんですが、ずっと以前から間違いや解説の不足が多い理論なので、私なりに解説を試みたいと思います。全体的にあまり厳密ではありませんが、線形回帰モデルを学びたての方には有益な記事になるかなと思います。 あと、私も勉強中の身なので、間違いがあったらご指摘いただけたら嬉しいです。 本題 さて、よくある間違いとは以下のような解説です。 線形性の仮定が満たされていないので、線形回帰モデルを使ってはいけない 残差が正規分布&等分散ではないので、線形回帰モデルを使ってはいけない 回帰係数に対するt検定の結果をもとに、p値が大きい説明変数を除外する 多重共線性があるとよくないので、変数間で相関が強い、もしくはVIF値が大きい変数を除外する AICが小さ
はじめにこんにちわ、UKIです。 金融引き締めによって株式投資に苦しい期間が続いていると思いますが、いかがお過ごしでしょうか。 今回は少し長めの記事を書いてみましたので、お付き合い下さい。 結論だけ知りたい方は、目次の「株のトレーディング手法まとめ」まで飛んでください。 マケデコについて本記事は、マケデコ&J-Quants Advent Calendar 2022の最終日の記事となります。 マケデコとは、Market API Developer Communityの略称で、簡単に言うと「東証が公式データを提供しますので、しっかり相場分析して投資に活かしてください」というコミュニティです。 ディスコードでのディスカッション、APIやラッパーに関する最新情報の共有、初心者や上級者向けのセミナーの開催などが行われています。 マケデコの協賛は、日本取引所(JPX)のデータ部門子会社である株式会社J
皆さんこんにちは! ABEJAでデータサイエンティストをしている服部といいます。 本記事はABEJA Advent Calendar2022の10日目の記事になります。 背景 引っ越しから2年.... データサイエンティストとしてのリベンジ 前回の反省を踏まえて.... 1. お得そうに見える土地には絶対に理由がある 2. 土地の数はせいぜい限られていて全部探すのも難しくない 今回解く課題 土地探しにおける意見の違いとは? どうやってデータサイエンスを使って夫婦の擦り合せを行う? アプローチ 実装 1. 架空の土地条件をランダムに沢山作る 土地条件の項目数や取りうる範囲が増えすぎないようにする 自分たちにとって関連性が高い項目を入れる 2. 作った土地に対して夫婦それぞれで値段をつける LINE Botの概要 バックエンド 土地情報の作成とFireStoreに登録 妻からのフィードバック
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
2022年12月6日 デロイト トーマツ グループ(東京都千代田区、CEO 木村研一、以下デロイトトーマツ)と西南学院大学(福岡県福岡市、学長G.W.バークレー)は、データサイエンスに関する高度人材育成を通じた地域社会への貢献を行うことを目的に、データサイエンス教育に関する連携協定を締結しました。 社会のデジタル化が急速に進む中、国内外の経済活動や地域が抱える課題解決のためにはデジタル技術の活用が必要であり、その担い手となるデジタル人材の育成・確保が急務となっています。日本国政府においても2022年6月7日に閣議決定された経済財政諮問会議(骨太の方針)にてデジタル推進人材を2026年度末までに230万人育成する方針が示されており、文部科学省も全国の大学等において「数理・データサイエンス・AI」等の教育を強化し、文系、理系を問わずこれらを応用できる人材を育成する取組として現在「数理・データサ
上智の大学院で学ぶ、 データサイエンス 上智大学大学院 応用データサイエンス学位プログラム (修士課程) 学位名称/ 修士(応用データサイエンス) 入学定員/50名
2023年4月、上智大学大学院に修士課程「応用データサイエンス学位プログラム」が誕生する。社会人や学部卒業生など多様な人材を対象に、2年間の集中的なカリキュラムを提供し、データサイエンスの知識を身に付けた即戦力の育成を目指すという。さまざまなデータを取得・分析・活用する取り組みが社会のスタンダードとなっている現代において、データサイエンスに特化した大学院を新設する狙いとは。曄道佳明学長、大学院で教壇に立つ理工学部情報理工学科の矢入郁子准教授、RPAやAIを基盤とした自動化プラットフォームを提供するUiPathのエバンジェリストで、非常勤講師を務めるテランドロ トマ氏の3名に語ってもらった。 曄道 データ駆動型社会の到来に向けて社会基盤が劇的に変化する中、データサイエンスの知識を積極的に活用し、現代社会における多様な課題の解決に取り組める人材の育成が急務だと考えたからです。社会のあらゆる分野
一橋大学は2023年度開設のソーシャル・データサイエンス学部で、社会科学とデータサイエンス(DS)をほぼ同等に学ぶカリキュラムを構築した。経営・経済学系だけでなく法・政治学系にも目配りをした科目配置は珍しい。演習に日銀や世界銀行、兼松、トヨタ自動車、Sansanなど約20機関が協力の予定。約3件の共同研究や、企業向けリカレント(学び直し)教育も検討中だ。 一橋大学の新学部生は1年次から社会科学と、統計、情報、プログラミングのデータサイエンス(DS)を学ぶ。選挙結果分析など「政治学とDS」、自然言語処理を使った紛争解決の記録文書のテキストマイニングなど「国際政治とDS」といった科目もある。「ソーシャルDSの法と倫理」は必修で、他大学DS学部にはない学びが目に付く。 社会科学とDSを融合する3年次の課題解決型学習(PBL)は、25年度開講でデータ提供元の専門家も指導に入る。日銀の金利や為替レー
(Image by Gordon Johnson from Pixabay) TL;DR 今年の6月に僕自身がデータサイエンティストに転じて10年という節目の年を迎え、10月でDavenportの「データサイエンティストは21世紀で最もセクシーな職業である」HBR総説から10周年になるのを機に、この10年間のデータサイエンティストという職業の変遷を振り返ることにしました。 6月の回顧録記事でも書いた通り、僕がデータサイエンティストの仕事に就いてから今年で10年になります。最近も同じかどうかは分かりませんが、古くから「10年ひと昔」という常套句がある通りで個人的には大きな節目の年だと感じています。 一方で、今年の10月にはあまりにも有名な「データサイエンティストは21世紀で最もセクシーな職業である」HBR総説が出てから10周年を迎え、後述するようにDavenportは「今もデータサイエンティ
「9thシンポジウム~データサイエンスの最前線~」11月14日(月)ハイブリッド開催 毎年開催しているデータサイエンティスト協会主催のシンポジウム、今年は11月14日(月)10:00~17:40(懇親会=18:00~20:00)にハイブリッドで開催します。 チケット購入者の方は、イベント終了後1ヶ月間アーカイブを視聴いただけます(一部対象外セッションあり)。 お得な早期割引は、今月末日までのお申し込みとなっておりますので、お早めにお申し込みください。 また、学生の方(社会人学生除く)は、オンライン視聴のみ無料でお申し込みいただけますので、ご興味のあるセッションがありましたら、ぜひお申し込みください。
(Image by ElasticComputeFarm from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになっている点、予めご容赦いただければと思います。 初級向け5冊 総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 回帰モデル PRML 機械学習の実践 Deep Learning 統計的因果推論 ウェブ最適化 ベイズ統計 時系列分析 グラフ・ネットワーク分析 SQL コメントなど 初級向け5冊 初級向け書籍リストはあまり出入りがないのが通例ですが、今回も微妙に入れ替わりがあります。 総論 AI・データ分析プロジェクトのすべて[ビジネス力×
Download our executive summary for a profile of today's working data scientist and their tools
日本で言えば同じ学年のレジェンド, アルバート・プホルスが通算700号本塁打を打って驚いている人です. ここ最近, (休んでいる間のリハビリがてら*1)PyCon JP 2022の準備および, 来年以降のMLBを楽しく見るために野球データ基盤(ちなみにメジャーリーグです)を作っていたのですが, それがいい感じに完成しました. アプリとデータ基盤をどのように作ったのか どのような処理, どのようなユースケースで動かしているのか これらをどのようなアーキテクチャで実現したのか 以上の内容をこのエントリーに書き残したいと思います. なおこのエントリーは, PyCon JP 2022のトーク「Python使いのためのスポーツデータ解析のきほん - PySparkとメジャーリーグデータを添えて(2022/10/15 16:00-16:30)」の予告編でもあります. なので, 後日のトークをお楽しみに
NVIDIAは2022年9月8日、「DLIデータサイエンス教育キット」の日本語版を提供開始した。DLI(Deep Learning Institute)は、NVIDIAが提供するデジタルスキル育成プログラム。日本語版への翻訳は滋賀大学が協力している。日本のデータサイエンス教育の普及を目的にしており、教育機関に所属する教員は無償でダウンロードし、データサイエンス教育に活用できる。 データサイエンスのさまざまな領域の基礎と応用を学習可能 DLIデータサイエンス教育キット(英語版)は、ジョージア工科大学とプレイリービューA&M大学の研究チームがNVIDIAと共同開発した。同キットは、講義用スライドや演習課題、DLIオンライントレーニングへのアクセス権、クラウドのGPUインスタンスのクレジットなどを含む。NVIDIAは「教材や演習、学生の理解度を評価するためのテストやクイズなどをパッケージにして提
NVIDIA DLI 教育キット プログラム 「NVIDIA Deep Learning Institute (DLI) 教育キット プログラム」では、GPU をカリキュラムに取り入れようとしている大学教員を支援するため、ダウンロード可能な教材とオンライン コースへのアクセスを提供しています。一流の大学の研究者と共同開発した教育キットは、使いやすさと完全なカリキュラム デザインを兼ね備えています。教員は学術理論を現実世界に応用して、次世代の技術者に極めて重要な演算処理スキル セットを習得させることができます。 今すぐ登録 教育キット NVIDIA DLI 教育キットには、ダウンロード可能な指導用教材とオンライン コースが含まれています。これらを使用すれば、アクセラレーテッド コンピューティング、データ サイエンス、ディープ ラーニング、グラフィックス、ロボティクスといった分野の専門知識を実
NVIDIAと滋賀大学は9月8日、データサイエンス教育用の講義資料「DLI データサイエンス教育キット」の日本語版の無償提供を始めた。同資料はNVIDIAのデジタルスキル育成プログラム「Deep Learning Institute」(DLI)の講義資料で、滋賀大学が日本語に翻訳したもの。教育機関の教員向けに提供する。利用にはNVIDIAの開発者アカウントが必要。 講義資料では「データサイエンスとRAPIDSの入門」「データ収集と前処理(ETL)」「データセットにおけるデータ倫理とバイアス」「データ統合と分析」「データビジュアライゼーション」「Hadoop、Hive、SparkとHBaseによるスケールと分散コンピューティング」「機械学習(分類)」「機械学習(クラスタリング、次元削減)」「ニューラルネットワーク」などの分野を取り上げる。 資料の元になった「DLI データサイエンス教育キット
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く