画像の機械学習が劣化する理由 - Qiita
前書き 注意：ここに書いていることは2020年代としては、古すぎる見解になっている。 近年の自己教師あり学習の大幅な進展で、ここで述べているようなアプローチは大幅に古めかしいものになっている。 ・自己教師あり学習の進展は、画像認識タスクに対する共通のbackbone を作り出しており、後段で個々の画像認識タスクに対するfine-tuningをするアプローチに変わってきている。 ・そのため、ラベル付きの限られたデータで特徴量の抽出をしていたのが、自己教師あり学習に基づく特徴量の抽出になっている。 ・各人、自己教師あり学習について調べることをお勧めする。 主旨 単純に学習データを追加するだけでは学習が改善しないことがある。そのような場合へのヒントを著者の限られた経験の中から記述する。 はじめに 画像認識の機械学習を改善するためにはデータを追加すればよい。 そう思っている人が大半だろう。 ただ、
Joy Watson Taniguchi @JoyTaniguchi 🇺🇸🇯🇵 Sociolinguist. Endangered Languages and Dialects. Shizuoka Institute of Science and Technology. 社会言語学/危機言語・方言 Yokohama DeNA Baystars. Posts are my own. joytaniguchi.com Joy Watson Taniguchi @JoyTaniguchi 今、学生が行っているオノマトペ（擬音語・擬態語）の調査が本当におもしろい。絵を見て空所にオノマトペを入れる問題で、日本語母語話者は9割以上が同じオノマトペを記入するところ、学習者（主に留学生）は見事に回答がバラバラ。100人近くに調査して、ほぼ全員が異なる回答、という設問もある。 2022-06-25
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米イリノイ大学アーバナ・シャンペーン校の研究チームが開発した「JoJoGAN: One Shot Face Stylization」は、入力した1枚の顔画像を漫画「ジョジョの奇妙な冒険」のキャラクター風に変換する機械学習フレームワークだ。「空条承太郎」など、作中のキャラクタースタイルに似せた顔に変換する。このフレームワークは、大量のペア画像データセットを使わず、1枚の顔画像から学習できる特性を持つ。 画像をスタイル変換するモデルは、大量のペア画像データセットを必要とするが、そのデータを準備するにはコストがかかる。数枚の画像からスタイル変換する研究も報告されているが、詳細なスタイルや多様性を
【大炎上】イラストAIサイト「NovelAI」明確に絵描きの敵だった（danbooru という無断転載サイトを学習データに利用）
NovelAI @novelaiofficial @NilaierMusic Since we are training on Danbooru, it also learns character names and their visuals. You can prompt for "masterpiece portrait of smiling rem, re zero, caustics, textile shading, high resolution illustration" and get this: pic.twitter.com/2wqDmAxCJa 2022-09-25 10:20:30
学習データに最適化されすぎて本来の目的が達成できなくなる「過学習」と同様の現象はAIだけでなく社会全体で起こっているという主張
機械学習における過学習(過剰適合／オーバーフィッティング)とは、AIが学習データのみに最適化されてしまい、未知のデータに対する予測能力が低くなってしまうという現象です。そんな過学習と同様の現象が機械学習分野だけでなく社会全体のさまざまな場面でも発生していると、Google傘下の人工知能研究所・Google Brainの研究者であり近年の画像生成AIに広く用いられている「拡散モデル」の論文執筆者でもあるJascha Sohl-Dickstein氏が主張しています。 Too much efficiency makes everything worse: overfitting and the strong version of Goodhart’s law | Jascha’s blog https://sohl-dickstein.github.io/2022/11/06/strong-Go
相河柚希 (Aikawa Yuzuki)🍊 @artartn 漫画家。小学館『野生のJK柏野由紀子は、異世界で酒場を開く』➀➁ 次作連載準備中。 個人創作『大法螺の神々』 。反応薄。 天安門事件（スパム避け） 📧artartn@gmail.com 棲息地→ potofu.me/artartn profcard.info/u/YVwnpnmibZc1… 相河柚希 (Aikawa Yuzuki)🍊 @artartn 何度か言った事があるけど 僕が画業を始めた当時、連載を目指さず同業者から「格下」と思われていた「学習漫画」を描き続けたのは子供達の為でもあった。 例え僕が早世しても僕の描いた物は遺る。肉体は無くとも知識と言う財産を子に与える事が出来る。 僕は学習漫画を描くのが好きだ。 2019-12-05 21:30:39 相河柚希 (Aikawa Yuzuki)🍊 @artartn 描け
結局Githubに学習履歴を統一した方が諸々良かった
改めて説明する必要もないのですが、本や動画サービスによるインプットに関してはマークダウン形式でまとながら行うため、そこまでアウトプットが苦ではありません。 逆に外部サービスを使った資格学習のための問題演習などは少し手間です。 読書や動画サービスのようにマークダウンにまとめながらアウトプットしてもよいのですが、資格系の問題演習は移動時間や隙間時間に利用することも多いので、都度Githubにコミットするのは難しいです。 なんとか作業を自動化したいので以下のような方法を利用するようにしてみました。 学習履歴のデータを取得する 例えばStudyplusではAPIが提供されています。 利用しているサービスによっては、このようにAPIを提供してくれていたりするので、これを利用してデータを取得します。 またサービスの利用規約を確認して、常識的な範囲で自身の学習履歴のデータをスクリプトを組んで取得するのも
高校生に「AIに奪われない大事な仕事ってなんですか？」って質問されたので、「根回し」って答えておいた「確かに」「それすらも学習されそう」
若新雄純 @wakashin 高校生に「AIに奪われない人間ならではの大事な仕事ってなんですか？」って質問されたので、「根回し」って答えておきました。 2022-08-10 12:04:06
ChatGPTにブログ全エントリを学習させて「おしえてきしださん」を作る - きしだのHatena
最近「100万件の文章をChatGPTに学習させて応答チャットを作りました」みたいなニュースがあって、違和感があります。 ということで「ChatGPTにブログ全エントリを学習させて「おしえてきしださん」を作る」としたときに、どんな仕組みになっていて、なぜ「ChatGPTに文章を学習させて」ということに違和感があるか見てみます。 とりあえずこんな感じで、質問に対して答えれてるっぽいチャットができました。 まず、Embedding APIを使って、全エントリのベクトルを得てMongoDBに突っ込んでおきます。 このエントリでやってるので、そのまま使います。 GPTのEmbeddingを利用してブログの投稿に対する近いものを探し出す - きしだのHatena 質問が入力されたら、質問文も同じようにEmbeddingでベクトルをとってきます。 var req = EmbeddingRequest.
画像は公式サイトより アマゾン ウェブ サービス ジャパン株式会社（Amazon Web Services、AWS）は、機械学習のスキルを身につけられるとうたうトレーニングや「AWS 認定試験」の情報を掲載する「AWSで機械学習をマスターする」日本語版ページを公開した。 公式サイトより 同ページに掲載しているトレーニングは、機械学習、人工知能（AI）、ディープラーニング（深層学習）をビジネスに応用し、新しい分析情報や価値を手に入れる方法について学習できるというもの。65以上のデジタルコースを利用できる。価格は無料のものが多い。 公式サイトより 「デベロッパー」「データサイエンティスト」「データプラットフォームエンジニア」「ビジネス上の意思決定者」といったジャンルから、好きなトレーニングを選択することも可能。 たとえば、「データサイエンティスト」向けには、「データサイエンスの要素（中級コース
はじめに この「Pythonで基礎から機械学習」シリーズの目的や、環境構築方法、シリーズの他の記事などは以下まとめページを最初にご覧下さい。 本記事は、初学者が自分の勉強のために個人的なまとめを公開している記事になります。そのため、記事中に誤記・間違いがある可能性が大いにあります。あらかじめご了承下さい。 より良いものにしていきたいので、もし間違いに気づいた方は、編集リクエストやコメントをいただけましたら幸いです。 本記事のコードは、Google Colaboratory上での実行を想定しています。本記事で使用したGoogle ColabのNotebookは以下となります。 01_linear_regression.ipynb \newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm
クリエイターは生成AIとどう向き合うべきか？(unsplash） 生成AIに関する話題は、連日のようにSNS上で“推進派”と“規制派”が激しい論争を繰り広げている。なかでも、イラストなどのクリエイティブな分野では、特に議論が紛糾している状態にある。SNSで目にするのは生成AIを規制したほうがいいとする意見であるが、推進したほうがいいという意見も多い。現在進行形で進化している生成AIの扱いをどのようにすべきか、結論が出るには至っていないのが現状だ。 そんななか、生成AIに自身の絵柄を学習され、無断で絵柄LoRA（注：生成AIの絵柄学習モデル）を作成された漫画家がいる。『疫神のカルテ』などの作品がある樋口紀信である。樋口は生成AIを悪用され、実際に被害を受けた経験から、積極的にSNSで発信を行っている。いったいその被害の実態はどのようなものなのか。そして、生成AIと我々はどう向き合うべきなのか
「機械学習で時系列予測はできるのか」論議がTransformerと共に帰ってきた - 渋谷駅前で働くデータサイエンティストのブログ
先日、こちらのポストをお見かけしました。 AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。 論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twitter.com/nUXb4bGiQ3— GO Inc. AI Tech (@goinc_ai_tech) 2023年9月28日 なるほど、NN全盛というかNN一択の時代にあっては時系列予測もNNでやるのが当たり前になったのだなという感想でした。大昔「沖本本」で古典的な計量時系列分析を一通り学んだ身としては隔世の感がありますが、これもまたNN時代の趨勢なのでしょう。 なお、元論文2点は上記リンクから辿
画像生成AI「Stable Diffusion」にたった数枚のイラストから絵柄や画風を追加学習できる「Dream Booth」が簡単に使える「Dreambooth Gui」レビュー
画像生成AI「Stable Diffusion」はあらかじめ学習したデータセットを基にして、プロンプトあるいは呪文と呼ばれる入力文字列に沿った画像を自動で生成します。そのStable DiffusionのAIモデルに画像を追加で学習させる「Dream Booth」という手法があるのですが、コマンド入力による操作が必要で、演算処理に何十GBものVRAMを必要としました。しかし、Dream BoothをGUIで、しかもNVIDIA製グラボであれば10GB程度の環境でも使える「Dreambooth Gui」がリリースされたので、実際に使ってみました。 GitHub - smy20011/dreambooth-gui https://github.com/smy20011/dreambooth-gui Dreambooth Guiを使うためにはDockerとWSL2のインストールが必要となります。
どうして先週来たコンサルの言うことは信じ、長く一緒に働いてきた社員の言うことは無視してしまうのか？「最近は社員も学習したので…」
ももこ🐬 @MWX2ZYz7Aj29kHm 来たのは先週でも、来るまでに熟慮してコンサルに頼むことを判断してるから。気持ちとして、充分に考えて選んだ高額なコンサルが間違いだとは思いたくないじゃん。 twitter.com/jinanbou519/st… 2021-10-05 22:50:43 Nisebe @Nisebe_Japan @jinanbou519 あるあるですよね。コンサルにお金払ってるからその分価値があると思い込んでしまう傾向が...んで数ヶ月後に意味がないとわかり以前の状態に戻る。 2021-10-05 19:58:47
Geoffrey Hinton tells us why he’s now scared of the tech he helped build ジェフリー・ヒントン独白 「深層学習の父」はなぜ、 AIを恐れているのか？ 深層学習の父と呼ばれるジェフリー・ヒントンが本誌の取材に応じ、グーグルを退社した理由を語った。グーグルを辞めてから話したい「AIの問題」とは何か？ by Will Douglas Heaven2023.05.08 233 54 ジェフリー・ヒントンがグーグルを退社するという電撃発表をした5月1日の4日前、私はロンドン北部の美しい通りにあるヒントンの自宅で彼に会った。ヒントンは、「バックプロパゲーション（逆伝播）」と呼ばれる現代の人工知能（AI）の中核をなす非常に重要な技法の開発に貢献した深層学習のパイオニアだ。しかし、グーグルに10年間在籍したヒントンは、AIについて現在
作家本人の絵柄のみを学習させる「ピュアモデルAI」作品が初披露…漫画家の里中満智子、倉田よしみが参加 | Anime Recorder
エンドルフィン、SUPERNGINEは2024年3月27日、東京・永田町で開催された一般社団法人マンガジャパン及びデジタルマンガ協会合同「早春の会」で、ピュアモデルAIによって制作したマンガ作品を初披露した。 現在、市場で出回っている生成AIの多くは他の権利者の絵柄も学習した状態であるため、安易に使用してしまうと作家本来の”個性”が失われるだけでなく、著作権侵害のリスクもはらんでいる。 一方で、エンドルフィンとSUPERNGINEが提供するサービスは、 契約した漫画家のデータ だけを 学習 させる、ピュアモデルAIによるもの。 加えて、著作権者である漫画家の許可がなければ作動せず、また 漫画家自身が そのすべての学習成果を コントロール できるよう、オーダーメイド型でサービスを提供する。 契約した漫画家のデータ以外の学習は徹底的に排除し、厳しい管理体制を構築することで、 作家の著作権と作品
私の Rust 学習記録 2021
※ この記事は 2021/10 時点での内容です。 社内勉強会で 2021 年に発表した内容で、外部公開しようと思って寝かせてしまっていました。 記事としての鮮度は落ちてますが、頑張って書いたものなので Zenn に公開しておきます。 概要 社内異動を機に業務で Rust を書けることになった私の Rust 学習記録です。 今までの言語経験はメインが Ruby、少し JS/TS、趣味で Go をやっていたぐらいです。 学習の方針 なんでもかんでも Rust で書く。 Rust は GC のないシステムプログラミング言語として大体 C 言語と同等のレイヤーからカバーできるので、書こうと思えば OS から Web アプリまで書ける。 yew のような UI 構築用のライブラリもあるので、フロントエンド開発もできる。 というわけでなんでもかんでも Rust で書ける。 リポジトリ運用 デプロイの
「この虫の名は？」すぐ解決 20万匹の害虫画像を学習した、駆除を支える「クラウド×AI」がスゴい（1/3 ページ） 「ショウジョウバエが5匹、ユスリカが30匹」──。害虫駆除業者は、害虫の発生経路などを突き止めるため、虫を捕まえて目視で数える作業を日々行っている。この負担を軽減するため、AI・IoT・クラウドの技術を駆使し、害虫の撮影や分類を自動で行うシステムを、害虫駆除用品の専門商社が外部ベンダーと協力して開発。2018年から提供している。分類の精度は職人を超えるという。 「害虫をカメラで撮影し、画像をクラウド上のストレージに転送した上で、AIで解析する仕組みです。AIは約20万匹の害虫の画像と名前を教師データとして学習しているため、約95％の精度で名前を判別できます」 そう話すのは、害虫モニタリングシステム「Pest Vision」を企画した、専門商社「環境機器」経営企画部 副部長の亀
テストデータでの予測結果 先日新橋を散歩していたときの会話。 妻 "こういう路地って新橋らしさあるよねー" 私 "本当です？どういうところで当てられるの？" 妻 "歩道の雰囲気？" 私 "うーん" ということで、MLエンジニアたるもの、そんなことが本当にできるのか機械学習で検証してみましょう。 写真から撮影場所を当てる 作るもの 港区らしさとは 柵でわかる中央区・千代田区・江東区 最もXX区に間違えそうなYY区の写真とは 技術的な話 参考論文: PlaNet Google Streetview API と Geolonia API 学習について 他の地域の分類機を作る 自分の撮った写真の地域を当てる Limitation まとめ We are hiring! おまけ: モデルと勝負！ 写真から撮影場所を当てる こんにちは、AI・機械学習チームリーダーの大垣(id:Hi_king)です。 こ
内容をさらに盛り込んだ「最高の勉強法」が書籍化されました→https://amzn.to/3t7YIux 効果的な勉強方法について、科学的根拠を示しながらまとめてみました。多くの人が行っている再読・繰り返し読むということやハイライトをすることは、他の勉強方法に比べて効果が低いと考えられています。勉強をする時は、アクティブリコール、間隔反復・分散学習、連続的再学習、など、とにかく繰り返しアウトプットすることを意識してみてください。さらに覚えにくい場合は、記憶術を使うことをお勧めします。 0:00 はじめに（勉強法について） 0:36 今回の勉強法に関する動画の構成 1:05 安川の成績 2:42 他の勉強法と比べて効果が低い勉強法①繰り返し読む・再読 4:32 他の勉強法と比べて効果が低い勉強法②ハイライト・線を引く 5:52 効果が高い勉強法①アクティブリコール 9:18 アクティブリ
池戸万作＠政治経済評論家 @mansaku_ikedo @info_history1 交通費は当たり前として、会場までの「移動にも時間給」が発生するという感覚は持って頂きたいですね。研究室からオンラインでお願いするのが妥当だと思います。これなら受ける人は出て来ると思います。 2024-03-06 11:59:28 池戸万作＠政治経済評論家 @mansaku_ikedo @info_history1 当方は政治経済評論家ですが、既存の講演ネタで、新たな要望には答えない形で、時間をもう20〜30分は短縮して、自転車で行ける地元や周辺自治体であれば、受けるかもしれません。ただ1人1000円は徴収して、10人で1万円は最低でも欲しいですね。もしくは交通費ゼロのオンラインセミナーですかね。 2024-03-06 11:30:33
機械学習システム開発と運用の落とし穴
クローズドで行われた勉強会の資料です、画像認識まわりでありがちなハマりどころについて解説しています
CG学習向けの高校数学＋α
YouTubeでの説明はこちら。 https://youtu.be/U31fEl3Lotc
【2021年最新】Pythonのおすすめ学習サイト8選！｜プログラミング・IT 未経験からの攻略法｜variiis PROGRAMMING MEDIA
Pythonは近年AIや機械学習、データ分析の分野で注目を集めている言語ですので、Pythonをこれから学ぼうという人は少なくないのではないでしょうか。 Pythonを習得できれば、ITエンジニアとしてスキルアップできますし、Pythonを使ってルーティンワークを効率化できたりもします。 Pythonは今後より需要が増していくことが予想されるので、将来性があり、学習する価値がある言語です。 そこで本記事では、Pythonに興味がある人向けにPythonのおすすめ学習サイトを紹介していきます。 本章では、Pythonのおすすめ学習サイトをまとめて紹介していきます。 Progate Progateは、Pythonを実際にコーディングしながら学習できるサイトです。 Progateでは、Python1～5までのコースがあり、初学者でも段階的にステップアップしていくことができます。 加えて、Pyth
このエントリーはフィヨルドブートキャンプ Part 2 Advent Calendar 2020の9日目の記事です。 プログラミングを始めるにはパソコンが必要ですがMacとかを用意するにはいきなり10万円以上のお金がかかってしまい敷居が高いです。そこで中古のパソコンとLinuxを使って1万円代で環境を用意しようというお話です。WebプログラマーはLinux知識が必須なのでこれを使えばLinux力養成（強制）ギプスとしても働くのでとてもいいです。 パソコン選び おすすめはThinkPadの中古専門店 Be-Stockで中古のThinkPad X230を買うことです。 大体14,000円ぐらいで売ってます。 Linuxをインストールするパソコンは安ければなんでもいいんですが、ThinkPadは中古市場に出物が多く安定して流通していること、Linuxをインストールして使う人が多いため情報が豊富な
三浦瑠麗 Lully MIURA on Twitter: "大衆的な民主主義の時代においては、一番の権力者は民衆です。彼らに全く受け入れられない「アート展」には持続可能性がありません。公共の場を借りた展示が、多くの人の学習意欲を満たし、十分に教育的で説明的であってほしい、という需要に応えるものになっていくことが求められている結果です。"
大衆的な民主主義の時代においては、一番の権力者は民衆です。彼らに全く受け入れられない「アート展」には持続可能性がありません。公共の場を借りた展示が、多くの人の学習意欲を満たし、十分に教育的で説明的であってほしい、という需要に応えるものになっていくことが求められている結果です。
プログラミングせずAIをDIY！ Webブラウザで動くGoogleの機械学習サービスを試す AIの出来栄えは？
プログラミングせずAIをDIY！ Webブラウザで動くGoogleの機械学習サービスを試す AIの出来栄えは？：遊んで学べる「Experiments with Google」（第19回）（1/3 ページ） 「Experiments with Google」は、Googleが人工知能（AI）や拡張現実（AR）といった最新技術の可能性を示すために、実験的な応用例を紹介するショーケースだ。膨大なコンテンツを公開しており、その多くはスマートフォンやPCで試せる。 この連載では、多種多様な応用例の中から興味深いものをピックアップ。実際に遊んだ体験レポートを通して、裏側にあるテクノロジーや、技術の活用方法とその目的を解説する。 読者の皆さんも、ぜひ自分の手で試しながらその仕組みを学んでもらえたらうれしい。きっと、最新技術の魅力に気付くはずだ。 プログラミングできなくてもAIを作れる「Teachable
以下の記事を元に、「OpenAI API」のファインチューニングの学習データのガイドラインをまとめました。 1. 学習データの書式ファインチューニングするには、単一の入力「プロンプト」とそれに関連する出力 「コンプリーション」 のペアで構成される学習データが必要です。これは、１回のプロンプトで詳細な手順や複数の例を入力するような、ベースモデルの使用方法とは大きく異なります。 「学習データの書式」のガイドラインは、次のとおりです。 ・プロンプトが終了してコンプリーションが開始することをモデルに知らせるため、区切り記号 ("\n\n###\n\n"など) でプロンプトを終了する必要があります。区切り記号は、プロンプトの他の場所で使用されない文字列を指定します。 ・コンプリーションが終了することをモデルに知らせるため、停止記号 ("\n"、"###"など)でコンプリーションを終了する必要がありま
概要 この講義では、深層学習や表現学習の最新技術について、主に教師あり・教師なし深層学習、埋め込み手法、距離学習、畳み込み・再帰型ニューラルネットワークや、それらを用いたコンピュータビジョン、自然言語処理、音声認識などの応用技術を取り扱います。 この講義は「DS-GA 1001 Intro to Data Science」あるいは大学院レベルの機械学習科目をすでに履修していることを前提とします。 講義 凡例: 🖥 スライド, 📓 Jupyter notebook, 🎥 YouTubeビデオ. 週 形式 タイトル 資料
｢YouTube学習＝ほぼ時間の無駄｣の決定的理由
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
Dockerで構築する機械学習環境【2024年版】
Dockerを使った機械学習環境の構築方法 株式会社松尾研究所で働いているからあげ（@karaage0703）です。松尾研究所では、機械学習（ここでは、予測モデル、画像認識からLLMまで幅広く扱います）を使う多数のプロジェクトが走っています。プロジェクトの特性は多種多様なので、環境構築方法は様々なのですが、松尾研究所では、環境構築方法の1つとしてDockerを推奨していています。今回はDockerを使った機械学習環境の構築方法を紹介します。 松尾研究所の特にインターン生を想定した記事にはなりますが、他の組織、個人の方にも参考になる部分があるかと思いWebに広く公開させていただきます。 なぜDockerで機械学習環境を構築するのか？ 具体的な手法に入る前に、まずはDockerで機械学習環境を構築する理由から説明したいと思います。説明が不要な方はここはスキップしてもOKです。 そのために、Do
画像はUnsplashより 在宅時間が増加したであろう現在は、学生や社会人が人工知能（AI）について身につける絶好のチャンスと言える。「AIについて何か勉強したい」「G検定やE資格を受けてみたい」という人も少なくないのでは。 近頃、Pythonなどのプログラミングについて勉強したり、G検定やE資格の対策をしたりできる学習コンテンツが無料で公開される機会が増えつつある。そこで、2020年10月30日現在、無料で学べるAI関連の学習コンテンツを集めてみた。 2020年第3回「G検定」対策講座が無料に 約2万円分 株式会社AVILENは、日本ディープラーニング協会（JDLA）による2020年 第3回 ジェネラリスト検定「JDLA Deep Learning for GENERAL 2020 #3（G検定）」の開催にあわせ、約2万円分の「G検定対策講座」を無料で提供している。期間は11月末まで。
なぜこの記事を書いたのか？ 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアスが存在していて、特定の条件下では信用出来ないことがある。そういった条件を広く知ってほしいということでこの記事を書いた。 この記事では人工データを生成しバイアスを再現してみた。また、こういったバイアスに対処したという論文を見つけたので軽く紹介する。おまけとしてgainベース以外の特徴量重要度についても紹介する。 目次 なぜこの記事を書いたのか？ 想定読者と実験の枠組み 想定読者 限定する枠組み 特徴量重要度とは？ 特徴量重要度にバイアスが生じる条件 1. 解像度が低い場合 2. 特徴量同士
[Developers Summit 2023] ソフトウェアテスト新時代の幕開け: 機械学習とデータサイエンスで実現するテスト運用の高度化
Developers Summit 2023 の公募セッションで発表した資料です。https://event.shoeisha.jp/devsumi/20230209/session/4142/
![[Developers Summit 2023] ソフトウェアテスト新時代の幕開け: 機械学習とデータサイエンスで実現するテスト運用の高度化](https://cdn-ak-scissors.b.st-hatena.com/image/square/0efe72a56b9d43a41e40530a646876ce37b6a9d5/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F2037a09e17cf4398ab0006d4fcfea1f9%2Fslide_0.jpg%3F24408296)
GitHub、パーソナライズした「あなたがコントリビュートしやすいオープンソースのイシュー」を機械学習で推奨してくれる機能など公開
GitHub、パーソナライズした「あなたがコントリビュートしやすいオープンソースのイシュー」を機械学習で推奨してくれる機能など公開 オープンソースになにか貢献したいと考えたとしても、どこから手を付けたらいいのか、自分が貢献できそうなプロジェクトやイシューはどれか、選択するところから始めなければならないとすると、貢献へのハードルはやや高いものになってしまいます。 GitHubはこうした課題を解決し、オープンソースへの貢献をより手軽に行えるよう、ユーザーにとって貢献しやすいオープンソースのプロジェクトやイシューを推奨する新機能を発表しました（発表は約1カ月前の1月22日でしたので、やや少し前のことですが）。 この機能は大きく以下の3つで構成されます。 興味のある分野のオープンソースプロジェクトを推奨 特定の分野に興味があり、その分野のオープンソースを探しているのであれば、「github.com
「集中力を失う」ことが学習において重要かもしれないという研究結果
物事を学習したりタスクを遂行したりする上で「集中力」は重要であり、集中力を保つためのさまざまな方法が考案されています。ところが、学習において集中力を失うことは必ずしも悪いことばかりではなく、時には集中力を失うことが学習を後押しする可能性があるという研究結果が発表されました。 Pay attention and you might miss it: Greater learning during attentional lapses | SpringerLink https://doi.org/10.3758/s13423-022-02226-6 Losing Focus May Actually Boost Learning, Study Finds : ScienceAlert https://www.sciencealert.com/losing-focus-may-actually-
元ミス学習院AV女優・結城るみなが覚醒剤所持で逮捕「誰かに教え込まれた」 元カレとの“コカイン脅迫トラブル”も《事務所関係者が証言》 | 文春オンライン
「20日昼頃、結城容疑者が自宅へ帰宅する際にマンションロビーに入ったところへ、麻薬取締官が声をかけました。そのまま家宅捜索をすると覚醒剤を発見し、覚醒剤取締法違反の疑いで逮捕しました」（捜査関係者） 結城は2020年3月にAVメーカー「プレステージ」から女優としてデビュー。デビュー前に、元交際相手に対し《何故私がAVデビューしたかって…？ お前への復讐》と、ツイートしたことが話題を呼び、デビュー前からTwitterのフォロワーが5万人を超えていた。
Kaggleは実務の役に立つ？ データサイエンティストがKaggleから学んだ「教師あり学習」の勘どころ - エンジニアHub｜Webエンジニアのキャリアを考える！
エンジニアHub > 記事一覧 > Kaggleは実務の役に立つ？ データサイエンティストがKaggleから学んだ「教師あり学習」の勘どころ Kaggleは実務の役に立つ？ データサイエンティストがKaggleから学んだ「教師あり学習」の勘どころ 機械学習のトレーニングとして、Kaggleに挑む方は多いでしょう。ただ、Kaggleで鍛えて、データサイエンティストとしての実際の業務に生かせるの？こんな疑問にこたえるべく、日本経済新聞社のデータサイエンティスト、石原祥太郎さんが、「仕事とKaggle」の関係性を綴ります。 日本経済新聞社でデータサイエンティストとして働いている石原です。 本稿では、筆者が社外活動として取り組んでいる世界規模の機械学習コンペティション「Kaggle」を紹介します。特に「Kaggleがどのような観点で実務に役立っているか」という筆者の経験談を基に、Kaggleの魅力
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「日本語母語話者は知っているオノマトペを無限に書き出すが…」調査でわかった日本語母語話者と学習者の違いがおもしろい
ジョジョのキャラクター風に顔写真を変換する「JoJoGAN」 1枚の画像からAIが学習
「学習漫画は『格下』と見られている」…作者の嘆きに「そんな筈がない」「この学習漫画はすごかった」など、大きな反響。
「DeepL」公式アプリが機能アップで実用度マシマシ、外国語学習にも使える！ [てっぱんアプリ！]
![「DeepL」公式アプリが機能アップで実用度マシマシ、外国語学習にも使える！ [てっぱんアプリ！]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4335ce27e0f879b95cd848765f18d95560db18e5/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1473%2F535%2Fthumbnail.jpg)
AWS、機械学習のスキルが身につくトレーニングや認定試験情報を掲載する日本語サイト | Ledge.ai
Pythonで基礎から機械学習 「単回帰分析」 - Qiita
人気漫画家 生成AIに絵柄を無断学習される“なりすまし横行”に苦言「削除困難ギリギリ現行法を回避する」
ジェフリー・ヒントン独白 「深層学習の父」はなぜ、 AIを恐れているのか？
「この虫の名は？」すぐ解決 20万匹の害虫画像を学習した、駆除を支える「クラウド×AI」がスゴい
機械学習で逆ストリートビューを作り、写真から港区らしさを判定する - エムスリーテックブログ
最高の勉強法・効率的な覚え方【科学的根拠のある効果的な学習方法について医者が解説】
ご老人の学習サークルから講演依頼を断られてしまうと話が→詳細を聞いて納得した
1万円台で始めるプログラミング学習 - komagataのブログ
OpenAI APIのファインチューニングの学習データのガイドライン｜npaka
深層学習 DS-GA 1008 · 2020年度春学期 · ニューヨーク大学データ・サイエンス・センター
今すぐ無料でG検定やPythonを学べる学習コンテンツ7選 | Ledge.ai
特徴量重要度にバイアスが生じる状況ご存知ですか？ - 学習する天然ニューラルネット