![「Pythonで儲かるAIをつくる」はビジネス向けの超実践的な機械学習本でした - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9449c9db4388eeb4c8c79bd8b9f8f8c89aee3743/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200809%2F20200809110655.jpg)
import torch x = torch.tensor([1., -1.]) w = torch.tensor([1.0, 0.5], requires_grad=True) loss = -torch.dot(x, w).sigmoid().log() loss.backward() print(loss.item()) print(w.grad)
はじめに — 機械学習帳
import torch x = torch.tensor([1., -1.]) w = torch.tensor([1.0, 0.5], requires_grad=True) loss = -torch.dot(x, w).sigmoid().log() loss.backward() print(loss.item()) print(w.grad)
Skip to the content. 機械学習の研究者を目指す人へ 機械学習の研究を行うためには、プログラミングや数学などの前提知識から、サーベイの方法や資料・論文の作成方法まで、幅広い知識が必要になります。本レポジトリは、学生や新社会人を対象に、機械学習の研究を行うにあたって必要になる知識や、それらを学ぶための書籍やWebサイトをまとめたものです。 目次 プログラミングの準備 Pythonを勉強しよう 分かりやすいコードを書けるようになろう 数学の準備 最適化数学を学ぼう 基本的なアルゴリズムとその実践 機械学習の全体像を学ぼう 基本的なアルゴリズムを学ぼう 深層学習の基礎を学ぼう scikit-learnやPyTorchのチュートリアルをやってみよう サーベイの方法 国際会議論文を読もう Google Scholarを活用しよう arXivをチェックしよう スライドの作り方 論文の
イントロ「Amazonのこの商品をチェックした人はこの商品もチェックしています」や「YouTubeのあなたへのおすすめ」、「Twitterのおすすめユーザー」などのレコメンド機能は多くのWebサービスに組み込まれております。そのレコメンドによって、ついつい商品をたくさん買ってしまったり、夜遅くまで動画を見てしまった経験はないでしょうか。 この記事では、レコメンドシステムの裏側はどのような仕組みになっているのか、そもそもレコメンドとはどういうものなのかを具体例を交えながら俯瞰できればと思います。レコメンドシステムのアルゴリズムの詳細には触れず、ビジネスにおいてどのような形で実装されているかにフォーカスしています。ネット上に公開されているレコメンドに関するスライドや記事、論文のリンクをまとめましたので、アルゴリズムの詳細などはリンク先の記事でご確認ください。 対象の読者は、自社のサービスにレコ
文系大学生が機械学習を０から始めて９か月でKaggle銀メダルを獲得するまで - Qiita
今回自分は０から始めて９か月でコンペで銀メダル(6385分の249位,top4パーセント)を獲得できました。 自分の今までの流れをおさらいしていきます。 それまでの僕のスペック 数3と行列はほぼ何も分からない プログラムはrubyとjavaはそこそこに書ける、pythonは知らん 勉強の流れ １２月末 機械学習を始めると決心、とりあえず何をやればいいかよく分からないがpythonが必要らしいのでprogateでpythonをやってみる １月 数学が必要らしいので、行列と微分積分について１から学んでみる。今から考えると、行列の基礎をさらえたのは良かったですが、それ以外はこの時間は絶対いらなかったなと考えています。 微分積分 行列 ２月 Udemyで多くの講座を受ける、詳細は以下の記事にまとまっています https://qiita.com/HayatoYamaguchi/items/c8051
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング - エンジニアHub｜Webエンジニアのキャリアを考える！
実践データサイエンス─サンプルコードと図表で学ぶ、前処理・モデル評価・パラメータチューニング 実践とともに、データサイエンスに入門しよう！敷居が高いと思われがちなデータサイエンスですが、データの前処理からの手順は意外とシンプルです。本記事では、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、基本的な知識をサンプルコードと図表を見ながら学びます。 データサイエンティストとしてのスキルを向上させるには、データの前処理や特徴量の作成、モデルの評価・訓練、ハイパーパラメータの調整など、広域にわたる知識を身に付ける必要があります。 この記事は、そうした知識を「サンプルコードと図表を見ながら、分かりやすく学習できること」を目指して作成されました。記事内では、新米データサイエンティストのOさんが登場して、ある案件のデータ分析を担当します。読者のみなさんも、ぜひOさんと一緒
データサイエンティスト生活でお世話になった本｜くに | 武田邦敬
みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびに本を買い、その本でわからないことがあればまた本屋に行き、自分が少しでも理解できそうな本を探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋が本だらけになってしまいました。 正直に言って読み切ったという実感のある本はありません。しかし、実務で何かしらお世話になった本は数多くあり、そういう本は手放さずに手元に置いています。
言語処理100本ノック 2020 (Rev 2)
言語処理100本ノック 2020 (Rev 2) 言語処理100本ノックは，実用的でワクワクするような課題に取り組みながら，プログラミング，データ分析，研究のスキルを楽しく習得することを目指した問題集です． 詳細 ツイート
メルカリで写真検索とEdge AIチームに所属している澁井（しぶい）です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください！ PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください！ GitHub：https://github.com/mercari/ml-system-design-pattern GitHub Pages：https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた
深層学習の数理
Curriculum Learning （関東CV勉強会）Yoshitaka Ushiku61.6K views•43 slides Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料Yusuke Uchida15.5K views•38 slides
機械学習で使用する手法を全公開 - Qiita
株式会社デジサク がお送りするプログラミング記事、 今回はAI(機械学習)について扱っていこうと思います。 ※ 無料セミナーも開催中なので、ぜひご覧になってみて下さい。 はじめに kaggleや学習サイトなど誰でも機械学習を学べる機会が増えてきました。 その反面、情報量が多すぎて全体感を掴めていない人が多いと感じています。 そこで、様々な参考書や記事で紹介されている機械学習で使用する手法を全公開しようと思います。 細かなコーディングはリンクを貼っておくので、そちらを参照されてください。 SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら Twitterアカウント「Saku731」 もフォロー頂けると嬉しいです。 機械学習の一連手順 まず、機械学習を習得するために必要なスキルは下記です。 実務の場では数段細かな作業が必要になりますが、最初は下記を勉強するだけで十分で
【Python】 機械学習の可視化が捗るライブラリ「Yellowbrick」 - フリーランチ食べたい
機械学習Podcast「TWiML＆AI」で先週取り上げられた可視化ライブラリ「Yellowbrick」が非常に便利だったので紹介します！ちなみにPodcastには作者の1人であるRebecca Bilbroさんが出演しているので興味持った方は是非聞いてみてください。 twimlai.com www.scikit-yb.org Yellowbrickとは 一言で言うと、機械学習に特化した可視化ライブラリです。実装的な面で言うと(こちらの方がわかりやすいかもしれません)、scikit-learnとmatplotlibをラップして、scikit-learnライクなAPIで使うことができるものです。 例えば相関行列のヒートマップをプロットしたい場合は次のように書くだけでグラフを作ることができます。 visualizer = Rank2D(features=features, algorithm=
日経 xTECH内に人工知能（AI）専門チャネル「ビジネスAI」を2019年10月に立ち上げたのを機に、知識共有サイト「Qiita」上でAI／機械学習の記事を同年12月に募集したところ、49本もの記事が集まった。投稿いただいた皆さん、ありがとうございました。 今回、ビジネスAIの編集担当として私が設定した「お題」は以下の3つ。各テーマについて日経 xTECHがQiitaアドベントカレンダーのスポンサーとなり、2019年12月1日～25日まで1日1本ずつ記事を募集した。 AI道場「Kaggle」への道 機械学習をどう学んだか 機械学習ツールを掘り下げる この結果、機械学習を独習するお薦めの書籍やサービス、Kaggleなどの機械学習コンペに入門する方法など、AIや機械学習に興味があるエンジニアにとって大いに参考になる記事が集まった。投稿者の属性についても「ゴリゴリの文系」や「おじさんSE」「中
べいえりあ🌙🌙🌙 on Twitter: "自分は機械学習を学びたい全ての人類に（CourseraのAndrew Ngのコースをやった後に）Andrew NgのStanfordのCS229の講義を見ることをオススメしてるんですけど、その講義の2018年度バージョンが公開され… https://t.co/OUokFft3ea"
自分は機械学習を学びたい全ての人類に（CourseraのAndrew Ngのコースをやった後に）Andrew NgのStanfordのCS229の講義を見ることをオススメしてるんですけど、その講義の2018年度バージョンが公開され… https://t.co/OUokFft3ea
「Amazon Forecast」が正式リリース。過去の時系列データを与えるだけで機械学習による予測をしてくれる、専門知識不要のサービス
「Amazon Forecast」が正式リリース。過去の時系列データを与えるだけで機械学習による予測をしてくれる、専門知識不要のサービス Amazon Forecastは、なんらかの時系列データおよびその時系列データに影響を与えたであろう周辺情報、例えばある店舗の売り上げの時系列データおよび、その店舗の場所の天候、気温、交通量、曜日や祝祭日など売り上げに影響すると思われる周辺情報を与えると、予測に必要な機械学習モデルの構築、アルゴリズムの選定、モデルの正確性の検証や改善などを全て自動で実行し、売り上げに関する予測のデータを出力してくれるというサービスです。 一般に、機械学習を活用するには、学習用のデータと検証用のデータを用意し、学習用のデータから求められた予測結果を検証用データで検証して正確性を評価し、より適切なモデルやアルゴリズムを選択する、といった作業が発生します。 Amazon Fo
これから異常検知を勉強される初心者、中級者の方のために一問一答集を作ってみました。 実際にあった質問も含まれますが、ほとんどの質問は、私が勉強しながら疑問に思ったことです。 なお、各質問には私の失敗談を添えております。皆さんは私のような失敗をしないよう 祈っております(^^)。異常検知に特化した内容となっておりますので、ご了承ください。 初心者の方向け 勉強の仕方編 Q：異常検知を勉強したいのですが、何から手をつけて良いのか分かりません。 A：書籍を買って読むのがおススメです。 最初、私はネット情報で勉強していました。しかし、それにも限界があります。 ところが、書籍（入門 機械学習による異常検知）を買って読んだところ、かなり知識を 得ることができました。最初から、書籍を買っていれば、一年くらい得することができたのに... と思うこともあります（^^； ただ、こちらの本はディープラーニング系
異常検知入門と手法まとめ - Qiita
異常検知について勉強したのでまとめておきます。 参考文献 下記文献を大いに参考にさせていただきました： [1] Ruff, Lukas, et al. "A Unifying Review of Deep and Shallow Anomaly Detection." arXiv preprint arXiv:2009.11732 (2020). [2] 井手. "入門 機械学習による異常検知―Rによる実践ガイド" コロナ社(2015) [3] 井手,杉山. "異常検知と変化検知 (機械学習プロフェッショナルシリーズ)" 講談社サイエンティフィク(2015) [4] 比戸. "異常検知入門" Jubatus Casual Talks #2(2013) [5] Pang, Guansong, et al. "Deep learning for anomaly detection: A rev
おれたちは生成AIに苦手なことをやらせがち〇〇について教えて系の質問は全部ダメ。堂々と嘘をつくのは勿論、回答が抽象的すぎて役に立たないことが露呈した。 この批判がまさにそうなのだが、どうもわれわれ日本人は「ChatGPTが一番苦手なこと（≒自分が知らないことを教えてもらう）にChatGPTを使おうとする」という傾向があるらしい。日本の経営者に聞いたChatGPTの使い道のアンケートでは、「仕事で調べものをする時に活用する」が39.3%でトップだ。これが米国の職場でのChatGPT利用法の調査だと、上から順に、 アイディアを出すコンテンツを作成するメールに返信するプログラムコードを書くレジュメやカバーレターを書くプレゼンテーションを作成する となっていて、情報検索や調べもののタスクは上位5位に入っていない。総じて米国の働き手は、ChatGPTを自分に情報をインプットするためのツールではなく、
目次[非表示] 1.はじめに 2.AI関連の指針・原則・ガイドラインの動向 2.1.国内における分野横断の主なAI関連の指針・原則・ガイドライン 3.ChatGPTの業務利用に関する動向 3.1.ChatGPT等の業務利用を推進する企業様のニュース 3.2.ChatGPTの業務利用を制限・禁止する企業様のニュース 3.3.AIサービスの業務利用に関するガイドライン策定のニュース 4.ChatGPTのプライバシーポリシーと利用規約における留意点 4.1.情報漏えい 4.2.情報の正確性 4.3.参照 5.ChatGPT Web版の業務利用における情報セキュリティ上の留意点のまとめ 5.1.情報漏えい 5.2.情報の正確性 6.まとめ はじめに昨今、ChatGPTに関する話題に注目が集まるなか、「業務利用」について検討される企業様が増加しています。実際に、クラウドリスク評価「Assured（ア
0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、
概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、 そのやり方として基本的な統計学が十分に使えると思っています。 今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。 また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境 以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う
出典：日経クロステック、2020年2月7日 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 日経 xTECH内に人工知能（AI）専門チャネル「ビジネスAI」を2019年10月に立ち上げたのを機に、知識共有サイト「Qiita」上でAI／機械学習の記事を同年12月に募集したところ、49本もの記事が集まった。投稿いただいた皆さん、ありがとうございました。 今回、ビジネスAIの編集担当として私が設定した「お題」は以下の3つ。各テーマについて日経 xTECHがQiitaアドベントカレンダーのスポンサーとなり、2019年12月1日～25日まで1日1本ずつ記事を募集した。 AI道場「Kaggle」への道 機械学習をどう学んだか 機械学習ツールを掘り下げる この結果、機械学習を独習するお薦めの書籍やサービス、Kaggleなどの機械学習コンペに入門する方法など、AIや機械学習に興味がある
ちょっと前に、しょうもないことを某所で放言したら思いの外拡散されてしまいました。 機械学習の説明可能性（解釈性）、大半のケースで求められているのは厳密な分類・回帰根拠ではなく受け手の「納得感」なので、特に実ビジネス上は説明可能性に長けたモデルを開発するより、納得できないお客さんを巧みに関係性構築した上で口八丁で完璧に説得できる凄腕営業ピープルを雇う方が重要— TJO (@TJO_datasci) 2019年11月23日 これ自体は与太話なので実際どうでも良い*1のですが、最近色々な研究や技術開発の進展はたまた実務家による考察などを見ていて、「機械学習の説明可能性（解釈性）というのは思った以上に複雑な迷宮だ」と感じることがままあったのでした。 ということで、今回の記事では僕のサーベイの範囲でザッと見て目についた資料などを超絶大雑把にリストアップした上で、主に実務における説明可能性とは何かとい
機械学習について勉強したいので調べてみたのですが、 同じ記事や同じ本をおすすめされてることが多かったので、自分なりにまとめてみました。 私は数学も機械学習も無知だし、まだ何も機械学習のコードを書いてません。 ただのリンク集になってます。 実際にやってみた画像認識の内容も含めたブログ記事はこちらです 機械学習をやるまえに 最初に機械学習で何をしたいのかを決めることが重要 ゴールを持つことが学習の進み具合を変えるらしい。 たしかに、やりたいことがあれば、勉強量も定着量も全然違う気がする。 無駄な知識を学ばないことも大切なんでしょう。 すべての理論を理解しようとしない。 機械学習は難しすぎるのでまず理解できないし、少しずつ簡単なものを実践して理解していくことが大切。 まずはコードを書く！ コードを書いていけば、なぜ動くのかをおおまかに理解していける。 数式や理論の理解は後回し、慣れろ、ってことで
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト テキストデータの特徴量化について 仕事ではテキストデータを多用するので、機械学習などで扱うためにテキストデータを特徴量にするためのアプローチを色々と整理してソースコードを残しておきたいと思います。今回はあくまでも私の知っているものだけなので、網羅性はないかもしれませんが悪しからず。 （2019/08/18 追記）Stackingをカジュアルに行えるvecstackというモジュールを用いた予測も試してみました。下の方の追記をご覧ください。 アプローチ テキストデータを特
![[Python]機械学習などでテキストデータを特徴量にする際のソースコード集](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
こんにちは、クックパッドマート流通基盤アプリケーション開発グループのオサ（@s_osa_）です。 生鮮食品の EC サービスであるクックパッドマートでは、「1品から送料無料」をはじめとするサービスの特徴を実現するために、商品の流通網を自分たちでつくっています。 このエントリでは、商品をユーザーに届けるための配送ルートを自動生成している仕組みについて紹介します。 解決したい問題 配送ルートとは クックパッドマートにはいくつかの流通方法がありますが、ここでは「ステーション便」と呼ばれるものについて解説します。他の流通方法などを含む全体像が気になる方は以下のエントリがオススメです。 クックパッド生鮮 EC お届けの裏側 2022 年版 - クックパッド開発者ブログ ステーション便では、ハブと呼ばれる流通拠点からユーザーが商品を受け取りに行く場所であるステーションへと商品を運びます。東京都、神奈川
GitHub - microsoft/ML-For-Beginners: 12 weeks, 26 lessons, 52 quizzes, classic Machine Learning for all
🌍 Travel around the world as we explore Machine Learning by means of world cultures 🌍 Azure Cloud Advocates at Microsoft are pleased to offer a 12-week, 26-lesson curriculum all about Machine Learning. In this curriculum, you will learn about what is sometimes called classic machine learning, using primarily Scikit-learn as a library and avoiding deep learning, which is covered in our forthcomin
Beyond FAIR: What Data Infrastructure does Open Science Need?
言語モデルのChatGPTや画像生成AIのDALL·Eを手がけるAI研究所のOpenAIは、AI技術の悪用を防ぎ社会に友好的な形で発展させることを目的に、サム・アルトマン氏やイーロン・マスク氏らが2015年に発足させた非営利組織です。そんなOpenAIの創始メンバーに名を連ねるイルヤ・サツキヴァー氏が、AIをオープンにするという設立当初の理念は誤りだったと、IT系ニュースサイト・The Vergeのインタビューの中で語りました。 OpenAI co-founder on company’s past approach to openly sharing research: ‘We were wrong’ - The Verge https://www.theverge.com/2023/3/15/23640180/openai-gpt-4-launch-closed-research-il
Four years after partnering with Apple on the launch of the Apple Card, Goldman Sachs may be eyeing the exits. The Wall Street Journal reports that Goldman is “looking for a way out” of it
Learn prompt engineering best practices for application development Discover new ways to use LLMs, including how to build your own custom chatbot In ChatGPT Prompt Engineering for Developers, you will learn how to use a large language model (LLM) to quickly build new and powerful applications. Using the OpenAI API, you’ll be able to quickly build capabilities that learn to innovate and create val
少なくとも、この分野に経験の無い人がこの本だけを読んでもほとんど理解できないでしょう。 ファイナンス機械学習に対応したPythonライブラリとJupyter notebookが存在するでもあきらめることなかれ！ このファイナンス機械学習を元にして実際にコードに起こされたJupyter notebookとPythonライブラリが存在します。 http://www.quantsportal.com/ Jacques Joubertさんが開設しているWebサイトですが、彼の修士課程のプロジェクトが「ファイナンス機械学習」に基づいたPythonライブラリ(mlfinlab)の作成とファイナンス機械学習をJupyter Notebookで解説した物、その解説pdfという物です。 ファイナンス機械学習で説明されている概念について実際にコード化されています。 それらのコードを読んでいくと、ファイナンス機
機械学習で使われる評価関数まとめ - Qiita
はじめに 評価関数（評価指標）についてあやふやな理解だったので、代表的な評価関数をまとめてみました。 評価関数とはそもそもどんなものなのか、それぞれの評価関数はどんな意味を持つのか、実際に使う時のサンプルコードを簡単にまとめています。 評価関数の追加や内容の修正は下記でしています。 評価関数とは 評価関数とは学習させたモデルの良さを測る指標を指します。 目的関数との違い 機械学習を勉強していると、目的関数や損失関数、コスト関数などいろいろな名前を目にします。 まずは、目的関数との違いについて確認します。 目的関数 モデルの学習で最適化される関数 微分できる必要がある つまり、学習中に最適化されるのが目的関数、学習後に良さを確認するための指標が評価関数ということになります。 損失関数、コスト関数、誤差関数は目的関数の一部になるそうです。 （いくつか議論がありそうなのですが、ほとんど同じものと
Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
今すぐブラウザで試して遊べる｢AI｣5選
今すぐブラウザで試して遊べる｢AI｣5選2019.06.16 22:0048,111 David Nield - Gizmodo US ［原文］ （ Emiko Tastet/Word Connection JAPAN ） AI=人工知能です。｢愛｣ではありません。 AIと書いてあるのを見て、｢アイ｣と読んだおじいちゃんがいるらしいですが、ギズモードでAIといったら人工知能のことです。さて、AIや機械学習にもいろいろあるみたいだけど、機械学習とかニューラルとかっていったい何なんでしょうね。米GizmodoのDavid NieldがAI関連の面白いサイトを紹介してくれています。私が気に入ったのは最後のTalk to Books、機械学習に人生指導してもらえました。それでは、ぜひお試しください。 AI、AIって、よく聞くしどうやら巷にはありふれているみたいだけど…いったい具体的に何ができてどう
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
NTTコム「ディープラーニングの社会実装が進まない理由」として製造業の事例を紹介 DLLABイベントで - ロボスタ ロボスタ - ロボット情報WEBマガジン
「Deep Learning Lab」（ディープラーニング・ラボ）は、ディープラーニングを中心とした先端技術の持つ可能性を、実際のビジネスへ応用するべく、技術とビジネスの両面に精通したプロフェッショナルたちが集まるコミュニティ。Microsoft AzureとChainerを、主要なプラットフォーム/フレームワークとして、開発やビジネスの現場の声を共有する場にもなっている。 そのDEEPLARNING LABは6月8日、東京大手町で「DLLAB 2周年イベント: ディープラーニングの社会実装を阻むものは何か？」(主催:日本マイクロソフト株式会社)というセミナーとワークショップ、ミニ展示ブースで構成されるイベントを開催した。 基調講演には東京大学の松尾豊氏とマイクロソフトのRahul Dodia氏が登壇した。 また、協賛企業を中心に多くのセミナーも行われた。その中からNTTコミョニケーション
文章要約AI タンテキ
【重要】文章要約AIタンテキポータル サービス終了のお知らせ この度、文章要約AIタンテキポータルは、誠に勝手ながら2023年8月31日(木) 19:00をもちまして、サービスを終了させていただくこととなりました。 長らくご利用いただきまして、誠にありがとうございました。 詳細や返金対応の流れにつきましては、こちらをご覧ください。
社内勉強会での発表資料です。 「失敗事例を通じて、機械学習の検討で抑えるべきポイントを学ぶ」をコンセプトに作成しました。AI・機械学習を検討する広くの方々に活用していただけると幸いです。 あとがきを下記に書きました。よければこちらもご参照ください。 https://qiita.com/bezilla/items/1e1abac767e10d0817d1
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hiroshi Takahashi
これから推薦システムを作る方向けの推薦システム入門｜masa_kazama
WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
機械学習システムの設計パターンを公開します。
「AIをどう習得したのか教えて」と大募集し、技術者から集まった記事49本を紹介
【一問一答】マヅコの知らない「異常検知」の世界 - Qiita
日本人が生成AIに苦手なことをやらせるのはアトムのせい
セキュリティ担当者がChatGPTの業務利用方針を検討するうえでの留意点
画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita
ビジネスで使えるPythonを使った統計的データ分析手法まとめ - Qiita
「AIをどう習得したのか教えて」と大募集し、技術者から集まった記事49本を紹介
機械学習の説明可能性（解釈性）という迷宮 - 渋谷駅前で働くデータサイエンティストのブログ
機械学習の超初心者が、みんなが良いと言う記事を読んでまとめてみた - Qiita
[Python]機械学習などでテキストデータを特徴量にする際のソースコード集
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
クックパッドマートの配送ルートを自動生成している仕組み - クックパッド開発者ブログ
効果検証入門から見直す 「データサイエンス」
OpenAIの共同設立者が「私たちは間違っていた」と語る、AIの危険性からデータをオープンにしない方針へと大転換
TechCrunch | Startup and Technology News
ChatGPT Prompt Engineering for Developers
書籍「ファイナンス機械学習」を完全に理解するために役立つ参考資料
OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
失敗から学ぶ機械学習応用
www.ability-f.com
chihiro3.lo.gob.jp
www.6aca.net
mendou-kusagariya.hatenablog.com
tkhoumu.hatenablog.com
fleur.paradisia.jp