0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、
輸送問題と呼ばれる問題があります． この問題は，普通は線形計画法やフローのアルゴリズムを使って解かれます． この記事では，この輸送問題を近似的に行列計算で解くアルゴリズム（エントロピー正則化 + Sinkhorn-Knopp アルゴリズム）を紹介します． 輸送問題とは アルゴリズム 得られる解の例 なぜこれで解けるのか？ 競プロの問題を解いてみる 機械学習界隈における流行 まとめ 輸送問題とは 輸送問題とは以下のような問題です． 件の工場と 件の店舗からなる，ある商品の流通圏があるとする． 各工場には 個の在庫がある.． 各店舗では 個の需要がある． 在庫の総和と需要の総和は等しいとする （すなわち ）． 工場 から店舗 に商品を一つ運ぶためには の輸送コストがかかる． 各工場 から各店舗 への輸送量 を適切に決めて，各店舗の需要を満たしつつ輸送コストの総和を最小化せよ． 輸送問題は最適化
【図解】誰でもわかるTransformer入門！凄さ・仕組みをわかりやすく解説 - すえつぐのNLP&LLM
始めに こんにちは！自然言語処理（NLP）・自然言語生成（NLG）の解説記事を書いている、すえつぐです！ 突然ですが、BERT、GPT-3、PaLMを使ったことはありますか？Transformerはこれらの最先端のモデルに使用されている、現代のNLPモデルには欠かせないモデルです。おそらくBERTやGPT-3でTransformerを知った、このページに来たという人も多いのではないでしょうか。機械学習、特にNLPの勉強をしている方々は、Transformerの概要は知っておいた方が良いと思います。 ただ多くのサイトは、いきなり細かい仕組みの解説をする中級者以上向けの記事が多いですよね。 そこで、このページでは、Transformerの入門〜中級までの解説をしていきます！まず入門として、「Transformerの使い道」「Transformerの何が凄いのか？」を先に解説します。その上で「T
【恐怖】 抱っこひものバックルを外し赤ちゃんを落とすいたずらが横行 「娘が落ちてきて…」 1 名前：みつを ★：2019/09/20(金) 20:44:50.94 ID:zh/aIxpp9 お母さんが赤ちゃんを胸に抱く「抱っこひも」の背中のバックルを外す「いたずら」が横行しているという。SNSでいくつもの体験談が投稿されている。「混雑しているバスで、途中から乗ってきたおばさんが、お母さんの抱っこひもの背中のバックルを外した」「カチッと音がしたら、娘が落ちてきて慌てた。知らない女の人に、抱っこひものバックルを外されてた」 30代の女性の被害はこうだ。6か月の娘を抱っこひもで抱いて、デパートのエスカレーター（下り）に乗っていたら、後ろから手が伸びてきて背中に当たり、痴漢かなと思ったら、抱っこひものバックルに触ったのがわかったという。「子どもの命が危ないと、震えがきてパニックになりました」 急い
強化学習におけるLLMの活用パターン調査 はじめに：実世界における強化学習の課題 LLM×強化学習 人間はゼロショット推論によりサンプル効率の良い学習ができる LLMによるゼロショット推論の例 さまざまなLLM活用パターン 1. 報酬モデルとしてのLLM LLMによる代理報酬モデル VLMによる外観ベース代理報酬モデル 外部知識にもとづく報酬モデル設計 2. 計画モデルとしてのLLM LLMによるセマンティック計画 LLMによる構造的な探索計画 3. 方策モデルとしてのLLM LLM as 確率方策 マルチモーダルLLM as 確率方策 参考：GPTアーキテクチャの転用 4. 世界モデルとしてのLLM Language Models Meet World Models (あとで書く) おわりに：VLM as 確率方策に期待 はじめに：実世界における強化学習の課題 レトロゲームで人間並みのパ
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog DataLabsのSpeech teamに所属している小松です。環境音認識に関する基礎研究を行っています。環境音認識とは我々の身の回りで起こる多種多様な音、たとえば咳や話し声、物音などを機械に自動的に検出・認識させる技術です。この技術は音に関する分野の中で最もホットで急成長しているトピックの一つであり、環境音を専門に扱う国際コンペティション/ワークショップ、DCASEも毎年開催されています。 そのコンペティション部門であるDCASE2020 Challengeのtask 4に、LINEは昨年度のインターン成果 [1] を主軸にした名古屋大学、ジョンズ・ホプキンス大学との合同チームで参加し、世界1位を獲得することができました。本
Nostr の面白さをエンジニア目線で解説してみる
はじめに 今年は、SNS でありプロトコルでもある Nostr に出会いました。2023年2月の参加でしたがもう、どういった経緯で Nostr を見付けて参加したのかすら思い出せなくなってしまいました。ここ数年、X/Twitter が API という物を開発者に触らせなくなってしまいました。僕は X/Twitter が大きくなった理由の1つが、API をオープンにした事で数多くの bot やサービスがが登場した事だと思っていて、API が自由で無くなった X/Twitter をとても残念に感じています。次第に SNS に関連する何かを作るモチベーションはさっぱり無くなってしまっていました。 そんな中で見付けた Nostr はエンジニアのオアシスとでも言える SNS だと感じました。 Nostr の思想 X/Twitter は中央集権型の SNS であり、以下の様な問題を持っています。 障害
この記事は私, wataokaが1年間をかけて作り続けた超大作記事です. 総文字数は8万を超えていますので, お好みのところだけでもみていってください. ついにこの時が来ました！！！！！ 1年間書き続けたQiita記事です！！！！！ ご覧下さい！！！！！https://t.co/eKBwP1zoeB — 綿岡 晃輝 (@Wataoka_Koki) December 31, 2020 俺的ランキング 動画での解説も挑戦してみました！ ぜひぜひご覧下さい！ 動画のリンク 第3位: Likelihood-Free Overcomplete ICA and Applications in Causal Discovery wataokaの日本語訳「尤度が必要ない過完備ICAと 因果探索における応用」 - 種類: ICA - 学会: NeurIPS2019 - 日付: 20190904 - URL:
機械学習をサービスに導入するノウハウ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめての○○特集2本目の記事です。 ヤフーのサイエンス部門に所属する山本康生です。主に広告やYahoo!ショッピングに対して機械学習の施策によるサービス改善を担当しています。今日は「機械学習をサービスに導入するノウハウ」というテーマで、機械学習をサービスに組み込みたいという動機から、それを実現するまでの背景をヤフー社内の事例を交えてご紹介します。 ヤフーでの深層学習を含む機械学習の適用範囲は多岐にわたり、中核事業である広告への適用[1][2]に始まり、Yahoo!ニュース[3]、Yahoo!ショッピング、ヤフオク![4]、GYAO!、その他多くのサービスに組み込まれています。 機械学習を適用したい「タスク」を決めましょう 皆さん
The characters are virtual YouTubers affiliated with Nijisanji and are © Ichikara, Inc. (see footnote) They have a very lenient guideline for derivative works which I have interpreted that official artworks can be used in the pursuit of hobbies as long as they are not sold or used for commercial purposes. In fact, there are fan-made games created using official materials. I think that what I'm doi
第一位 Focal Loss for Dense Object Detection 物体検知のためのFocal Loss これは不均衡データに対処するための損失関数Focal Lossを提案した論文なのですが, とにかくそのシンプルさにやられました. 画像のFLの式を見てください. たったこれだけです. ptは正解ラベルに対する予測値なのですが, ptが大きければ大きいほど損失値をしっかり抑えられるように設計された関数となっています. 正解ラベルに対して0.6と予測するサンプルを学習に重要視せず, 0.3とか0.1とか予測しちゃうサンプルにしっかりと重要視するのです. 自分も7月くらいまでは不均衡データに関する研究していたのですが, 自分が考えた多くのアイディアが結局Focal Lossの下位互換に帰結してしまうのです. しかもこの損失関数の汎用性は非常に高く, あらゆるタスクに入れること
最近の物体検出 2019/05/30
最近の物体検出 2019/05/30 1. 最近の物体検出 2019/05/30 2. お品書き •イントロ • 歴史の振り返り •最近の動向 • キーポイント系 • multi-scale対応 3. イントロ 4. https://twitter.com/RUSH1L/status/889963452143357952/photo/1https://www.youtube.com/watch?v=VOC3huqHrss 5. MegDet 詳細不明 (ensemble) 52.5 SNIP (R-FCN, DPN-98, DCN) (ensemble) 48.3 Mask R-CNN ResNeXt-152 32x8d CornerNet Hourglass-104 SNIPER (Faster R-CNN, R-101, DCN) NAS-FPN RetinaNet, AmoebaNe
サッカーFIFAワールドカップ（W杯）カタール大会決勝トーナメント1回戦が5日（日本時間6日）に行われ、1次リーグE組1位の日本代表は同F組2位のクロアチアと対戦。延長戦でも決着はつかず、試合の行方はPK戦へ。日本は敗れて史上初となる8強入りに届かなかった。 先攻となった日本は1番手の南野、2番手の三笘が連続でGKリバコビッチに止められた。 日本が幸先よく先制した。前半43分、右サイドのコーナーキックで堂安はショートコーナーを選択。伊東からのパスに堂安が左足で鋭いクロスを入れる。ファーサイドへ走り込んだ吉田に当たり、ゴール前の前田が左足で流し込んだ。その後、オフサイドの有無でVARのチェックもゴール判定は変わらずプレー再開。前半終了間際の大きな大きな先制点となった。（以下略、全文はリンク先で） 終わった…ベスト8は遠かった… クロアチア相手によく互角で戦いました。 胸張っていい！お疲れ様！
こんにちは、Research Internの荒尾(@karolis_ml)です。 日進月歩の勢いで研究が進んでいる深層学習ですが、教師あり学習でもっとも大事なデータのアノテーション、応用分野ではまだまだ大変ですよね。例えば、犬の写真から犬種を判断する分類器を作ろうとして教師データが必要になったとき、あなたは以下の画像にどんなラベルをつけるでしょうか? 出典: Pixabay 犬好きの方は正しくアラスカンマラミュート、そうではない方は似た有名犬種であるシベリアンハスキーと答えられたことでしょう。マラミュートの茶色い目(かわいい)や小さめの尖った耳(かわいい)を見分けて正しくラベル付けをするのは、決して簡単ではありません。 このようなアノテーションの分野に関して当ブログでは以前、Bounding BoxやSegmentationの効率化についての研究サーベイを行いましたが、この犬種分類のような
損失関数・不均衡 不均衡データにおけるsampling ランク学習のListNetをChainerで実装してみた 不均衡データへの決定打となるか！？「Affinity loss」の論文を読む、実装する 不均衡データを損失関数で攻略してみる 解説編：オーバーサンプリング手法解説 (SMOTE, ADASYN, Borderline-SMOTE, Safe-level SMOTE) LightGBMでランキング学習 半教師あり学習のこれまでとこれから Struggling with data imbalance? Semi-supervised & Self-supervised learning help! 深層学習 転移学習：機械学習の次のフロンティアへの招待 ディープラーニングの判断根拠を理解する手法 DNC (Differentiable Neural Computers) の概要 +
複雑な領域で人間の意思決定能力を超えるAIの出現により、将棋や囲碁、チェス、ストラテジーゲームなどでAIが人間を凌駕するようになりました。そんな中、チェスの駒運びからプレイヤーが誰なのかを高い精度で特定できるAIが発表され、オンラインチェスにおけるプライバシーが脅かされているのではないかと危惧されています。 Detecting Individual Decision-Making Style:Exploring Behavioral Stylometry in Chess (PDFファイル)https://papers.nips.cc/paper/2021/file/ccf8111910291ba472b385e9c5f59099-Paper.pdf AI unmasks anonymous chess players, posing privacy risks | Science | A
この記事は、NTTコミュニケーションズ Advent Calendar 2019の18日目の記事です。 昨日は @yusuke84 さんの記事、WebRTC Platform SkyWayのサポートについて考えていること でした。 メリークリスマス！ はじめに 会社のAdvent Calendarということで、当初はある程度流れに忖度して技術的なTipsを書こう！ とか考えて、Neural Networkについてネタ探ししてたのですが、結局自分が興味のある話、それも実装よりも理論一辺倒な話に落ち着いてしまった、本記事はそんな成れの果てです。 （まあ１人くらい暴走しても良いですよね、きっと） というわけで、Neural Networkを用いた物理系の表現について、少し前から気になってる話をツラツラと書いていきます。そのうちに、この辺の話を端緒に新規性のある手法を論文化するから、それ相応の評価
最終更新 2021/11/24 本質的な内容は変化していないものの，最新の研究動向に対して本記事で取り上げた論文はかなり古くなっているので注意してください． 本記事より良くまとめられているオープンアクセスの日本語文献があるので，そちらを参照するほうがよいと思います． 深層学習技術のセキュリティ課題についてはこちら 森川 郁也(富士通株式会社), "機械学習セキュリティ研究のフロンティア" 電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review, Vol.15 No.1, 2021 https://www.jstage.jst.go.jp/article/essfr/15/1/15_37/_article/-char/ja 深層学習技術のハードウェアセキュリティ課題についてはこちら 吉田 康太, 藤野 毅(立命館大学), "エッジAIデバイスのハードウェアセキュリテ
【ICLR2020採択論文】GANのなめらかさと安定性 - Preferred Networks Research & Development
リサーチャーの南です。機械学習のトップ会議のひとつであるICLR2020に、2019年度PFN夏季インターンのCasey Chuさん、PFN技術顧問の福水健次教授と共同で書いた論文が採択されました。 Casey Chu, Kentaro Minami and Kenji Fukumizu. Smoothness and Stability in GANs. In International Conference on Learning Representations (ICLR), 2020, to appear. 論文リンク 本記事では、上記論文の内容を簡単に紹介します。 背景: GANと安定化技術 周知のとおり、敵対的生成ネットワーク (GAN, [1]) はとても強力な生成モデルです。例えば、GANによって自然な高解像度画像を生成できることが知られています。下記は高解像度画像生成にお
【記事更新】私のブックマーク「説明可能AI」（Explainable AI） – 人工知能学会 (The Japanese Society for Artificial Intelligence)
説明可能AI（Explainable AI）原 聡（大阪大学産業科学研究所） はじめに2018年に本誌5 月号（Vol. 33, No. 3, pp. 366-369）の”私のブックマーク”に「機械学習における解釈性」という記事を書いた。前記事の執筆から1年が経ち、機械学習モデルの解釈・説明技術を取り巻く社会的な情勢の変化や新たな研究の発展など、数多くの進展があった。本記事はこれら近年の変化・進展についてまとめた、上記の”私のブックマーク”の続編である。本記事を読む前に、まずは上記の前記事をご一読いただきたい。 用語について本記事では、機械学習モデルの出力に加えて、その出力を補助する追加の情報（モデルの解釈、判断根拠の説明、など）を出力する技術一般および研究分野全体を指す用語としてXAI（Explainable AI, 説明可能AI）を用いる。XAIはアメリカの国防高等研究計画局（DARP
次世代の畳み込み？！CondConv - Qiita
はじめに 日課のarXiv論文のチェックをしていたところ、Microsoftから興味深い論文1が出ていました。 Microsoftから動的にConvの重みを変えるDynamic Convolutionの提案。重み自体を出力するのではなく、複数のConvの線型結合の係数を出力する（Attention)。実はGoogleからもCondConvという同様のアプローチが提案されていて（NIPS'19）熱い！ https://t.co/M36wbog1nm https://t.co/lwznevSy2y pic.twitter.com/vNZH6M4CL3 — Yusuke Uchida (@yu4u) December 10, 2019 チラ見してみると、積ん読していたGoogle Brainから出ている論文CondConv2の論文とほぼ同じような主張をしていたので、CondConvのほうを改めて
以下の二つの論文の紹介を中心に、グラフニューラルネットワークとグラフ組合せ問題の交わりについて解説しました。 SIG-FPAI での招待講演の内容に少し修正を加えたものです。 * Learning Combinatorial Optimization Algorithm over Graphs (NIPS 2017) * Approximation Ratios of Graph Neural Networks for Combinatorial Problems (NeurIPS 2019)Read less
(著) 山拓 神経科学 Advent Calendar 2019の2記事目です。人工神経回路 (Artificial neural network, ANN) を用いた研究により、脳の理解はどこまで進んだか、次に何が調べられるべきなのかということについて解説します。 昨年の年末からhttps://github.com/takyamamoto/BNN-ANN-papersにANNと脳に関する論文リストを作成しており (これは先に研究が出てしまう悲劇が頻発したための措置ですが)、このリストがそのまま参考文献となっています。 本記事は特に(B.A. Richards, T.P. Lillicrap, et al. Nat. Neurosci. 2019)での議論を参考にしています(翻訳ではないです)。 この論文はANNと脳についての研究を先導してきた多くの研究者が共著者となっています（一体どうや
ABEJAでデータサイエンティストをしている小林です。 今回は、もしかしたらいつか業務や機械学習コンペに役立つかもしれない情報、LightGBMで弱教師あり学習を行う方法についてお話します。 コードはこちらで公開しております。 目次 はじめに 弱教師あり学習の例（マルチインスタンス学習） LightGBMで弱教師あり学習がしたい！ PU分類 問題設定 解き方 LightGBMの実装 実験 Partial Label Learning 問題設定 解き方 LightGBMの実装 実験 マルチインスタンス学習 問題設定 解き方 LightGBMの実装 実験 おわりに はじめに 機械学習を行うためには、一般的に、大量の入力データと、それら一つ一つに対応した正確なラベルが必要です。 例えば、犬と猫の画像分類を行う場合には、それぞれの画像一つ一つに犬か猫のラベルがついていてほしいですね。 一方で場合に
本記事は，自然言語処理 Advent Calendar 2019 - Qiita です． はじめに 本記事ではトピックモデルと呼ばれるモデル・分野の中で最も有名なLatent Dirchlet Allocation, 通称LDA*1 とその周りのトピックモデルに関して,どんな資料があるのか？,どういった研究があるのか? といったことに主眼をおいてトピックモデルの研究とかを昔していた私の独断と偏見によるリストアップを行いました. 私の頭は2017年くらいで止まっているので、間違っている点があったり、今の主流とは異なる可能性もありますが、 暖かくご指摘いただけると助かります. Latent Dirchlet Allocation[Blei+,03]を始めとするトピックモデルを学ぶに当たって 何が参考になるのか どういった研究があるのか？ 実際にどうやって使うのか？(まだ出来てないよ・・・) と
機械学習と公平性
1 2 3 4 The field of study that gives computers the ability to learn without being explicitly programmed. — A. L. Samuel ※ Programming computers to learn from experience should eventually eliminate the need for much of this detailed programming effort. — A. L. Samuel [Samuel 59] The field of machine learning is concerned with the question of how to construct computer programs that automatically im
rabble.md fiatjafはブログ記事を投稿しましたが、これがblueskyに関していくつかの議論を巻き起こしました：https://fiatjaf.com/ab1127fb.html これは、bluesky開発者のPaul Frazeeから長いskeetストリームの返信が来たことを引き金にしました：https://staging.bsky.app/profile/pfrazee.com/post/3jv72j3fp6g2r そして、私はいくつかの考えをまとめました： 分散型プロトコルの世界は勢いを増しており、NostrやBlueskyのようなプロジェクトが先頭に立っているのは興味深いことです。私たちの多くは、これらのプロトコルの開発に何年もの時間を費やしており、今では世界中で関心を集めています。私は長い間、さまざまな分散型ソーシャルメディアプロトコルを追跡しており、興味がある方は
査読ガチャは甘え――トップAI会議で使われる査読割当てシステムToronto Paper Matching Systemを攻略してキミも超ウルトラ高度AI人材になろう！ - Qiita
査読ガチャは甘え――トップAI会議で使われる査読割当てシステムToronto Paper Matching Systemを攻略してキミも超ウルトラ高度AI人材になろう！機械学習MachineLearning論文研究AI はじめに KLab機械学習グループの濱田です．KLabアドベントカレンダー2021 22日目のこの記事では，トップAI会議で使われる査読割当てシステムToronto Paper Matching System (TPMS)の仕組みを解説します．加えて，TPMSを使う会議で適切な査読者に論文が割り当てられやすくなるような論文の書き方について，私の考えを紹介します． この記事の第一の対象読者は，基本的な研究のやり方と英語論文の書き方は習得したけれど，なかなかトップAI会議に通らず悩んでいる投稿経験3～10回程度の方です．研究内容は良いはずだし，文章も十分に磨いたはずなのに，それ
第1話 機械学習の仕事内容って？実はコードを書くだけじゃない！【漫画】未経験なのに、機械学習の仕事始めました - itstaffing エンジニアスタイル
（出典）https://papers.nips.cc/paper/2015/file/86df7dcfd896fcaf2674f757a2463eba-Paper.pdf ・Configuration：設定 機械学習システムに必要な設定をする ・Data Collection：データ収集 機械学習するためのサンプルデータを集める ・Data Verification：データ検証 / データ照合 データの不備を検証 ・Feature Extraction：特徴抽出 機械学習に必要な特徴量の抽出 ・Machine Resource Management：マシンのリソース管理 システムを動かすサーバーの管理 ・Analysis Tools：分析ツール metabaseなどの分析ツールの整備 ・Process Management Tools：プロセス管理ツール バッチなどの処理を管理 ・Serv
はじめに この記事のターゲットは「文書要約やりたいけど、ゼロからサーベイするのはちょっとしんどい・・・」という人です。おそらく未来の自分ですね。これさえ読めば、2021年以降のサーベイだけでもランドスケープがぼんやりわかるぞってなるように書きました。 記事は全3部の構成です。第一部では時系列順に文書要約というタスクの歴史を辿っていきます。第二部では、第一部でぱらぱらと出てきた知識を体系的にまとめます。最後に第三部において、実際に要約モデルを動かしてみたいと思います。手を動かさないと理解するのは難しいので。 それでは、まずは文書要約の歴史を追いかけてみましょう。 第1部 文書要約の歴史 前ニューラル時代 (2000以前〜2014) → 抽象型要約の登場 (2015) → 抽象型要約の発展 （2016〜2018） → BERTの登場、そして抽出型要約の再流行 (2019) → BERTを超えた
ホクソエムサポーターの白井です。今回はICLR2020 の論文を紹介します。 The International Conference on Learning Representations (ICLR) は機械学習の中でも特に深層学習 を専門とした国際会議です。 OpenReview.net によるopen peer reviewを採用しているので、submitされた論文はだれでも閲覧可能です。(ICLR2020 open review) 2020年はエチオピアで開催予定でしたが、COVID-19の影響でvirtual conferenceとなりました。 今回はNLP系の論文について5本紹介します。 すでに日本語ブログ記事で紹介されているような論文もありますが、自分が興味を持った部分を中心としてざっくりと紹介したいと思います。 以降、とくに記載がない場合、図は論文またはブログからの引用で
コンピュータビジョンの最新論文調査 2D Human Pose Estimation 編 | BLOG - DeNA Engineering
はじめに こんにちは、AIシステム部でコンピュータビジョンの研究開発をしている加藤です。我々のチームでは、常に最新のコンピュータビジョンに関する論文調査を行い、部内で共有・議論しています。今回は 2D Human Pose Estimation 編として加藤直樹 ( @nk35jk ) が調査を行いました。 本記事では 2D Human Pose Estimation に関する代表的な研究事例を紹介するとともに、2019年10月から11月にかけて開催されたコンピュータビジョンのトップカンファレンスである ICCV 2019 に採録された 2D Human Pose Estimation の最新論文を紹介します。 過去の他タスク編については以下をご参照ください。 Human Recognition 編 (2019/04/26) 3D Vision 編 (2019/06/04) キーポイント検
Nostrを用いてblogとmicrobloggingの中間的存在が作れるのでは無いか、という思考と実験 :: #a5ebec
経緯: note1mujewncmefzs0xgz7u8mmcz36a85du63hc2lulgj690xdtyn8z5s9vgt5e はじめに 何故か日本でNostrが流行った。 僕がNostrを知ったのは12月くらいで、"post-Elon Twitterが敵対しているSNS"という雑な認識をしていた。 自分の初めの投稿は去年の12/19らしい。 note1x2tv7h06xh3rgmkas85cxq36m3dk24mrpsw00xus5l44y0husjzs5c4lva [1] 特に日本語が流れている様子もなかったのでその後開くこともなかったが、何やら最近日本人が参入し始めたらしいということを何かの記事で知った。 再び開いてみたら、一方的に認知している人々が複数人いたので再開した。 Nostrについて、改めて調べてみるとなかなかどうして愉快なプロトコルじゃあないかと思い、自分で色々リ
画像データに対するActive learningの現状と今後の展望 ~最新の教師なし学習を添えて~ - ABEJA Tech Blog
1, はじめに こんにちは, Researcher Intern の中野です. 新型コロナウイルスが世界中で猛威をふるい、個人の生活スタイルのみならず社会全体に変革が迫られているのを感じます。 医療従事者の方々には頭が上がりませんが, 機械学習のコミュニティでもKaggleのコンペ, SIGNATEのコンペ等, なんとか状況の改善に貢献しようという動きが見られます. このような直近の例にも見られるように, 機械学習はデータを扱うあらゆる分野での応用が考えられます. 自分も, 大学での専攻は物質プロセス工学（材料工学系）なのですが, 材料工学に機械学習を応用するマテリアルズインフォマティクスという分野での研究を行っています. 軽く内容を紹介させていただくと, 研究では新素材の製造プロセスを, ガウス過程回帰に基づいたActive Learning アプローチを用いて, 低コストかつ高速に最適
人間を超えたゲームAIの基盤となった経済学 〜ナッシュ均衡とその計算アルゴリズム〜 | | AI tech studio
AI Lab 経済学チームの森下(@GotaMorishita)です. 今年7月に複数人のポーカーで圧勝したポーカーAI, Pluribus[1]が話題になりました. Pluribusやその元となったLibratus[2]で用いられた理論は, ミクロ経済学の一分野であるゲーム理論のナッシュ均衡でした. ポーカーを展開型ゲームとして定式化し, そのゲームのナッシュ均衡を求め, それを最適戦略としたのです. ナッシュ均衡を求めるアルゴリズムはコンピューターサイエンスでは盛んに研究されており, LibratusやPluribusではCounterfactual Regret Minimization (CFR)と呼ばれる展開型ゲームのナッシュ均衡計算アルゴリズムを応用したものが使われています[3]. 弊ブログでも, 先日, CFRアルゴリズムを花札「こいこい」に適用させた例を紹介しました(こちら
AI Labの尾崎です。 主に人間とロボットとのインタラクションに関する技術開発を担当しております。 さて、ロボットといえば、コミュニケーションロボットや自動運転車など、自律的に動いてもらって人の労働を助けるものが多いと思います。人の労働を助けるほど、ロボットに人並みに自律的で賢く動いてもらうためには、たとえば、ロボットに視覚を与える必要が出てきます。このときに役立つのがロボットビジョンを始めとした人工知能 (AI) です。特にロボットのAIのようなインターネットの末端 (エッジ) にいるAIをエッジAIと呼びます[1,22]。 最近では深層学習と呼ばれる技術が生まれ、このエッジAIの分野も革新的に進歩しました。深層学習のおかげでロボットは、目の前の歩行者を画像から認識したり、部屋のものを認識できるようになったりしました。しかし、この深層学習で作られたモデルを使うには莫大な量の計算をしなけ
はじめに 他ドメインと比較したニュース記事推薦の特徴 1. ライフサイクルの短さがもたらすコールドスタート問題 2. 深い言語理解の必要性 3. 明示的なフィードバックの利用の難しさ トピック別ニュース記事推薦手法 記事の人気度合い（popularity）の考慮 概要 既存研究 固有表現（Named Entity）の明示的な考慮 概要 知識グラフと知識グラフ埋め込み 既存研究 リッチな言語表現の利用 概要 既存研究 明示的なユーザーフィードバック・post click指標の利用 概要 既存研究 ユーザーの興味をより正確に捉えるアーキテクチャ 概要 既存研究 今後のチャレンジ おわりに はじめに こんにちは、Gunosy Tech Lab (GTL) Media ML チームの大竹です。Gunosyでは「情報を世界中の人に最適に届ける」というミッションのもと、グノシー・ニュースパス・LUCR
概要 GNNは, 信号処理の観点でローパスフィルタの効果を持っている. そして, GNNが通常のMLPに比べて高精度となるようなデータでは, 低周波成分に(タスクに関して)有用な情報が多く含まれており, 高周波成分には無駄な情報が多いようなケースになっているように見受けれられる. また, 実際にタスクの精度を様々なフィルタで比較すると, 信号処理の観点での性質が反映された結果を与えている. GNNの最も大きな役割（通常のMLPとの違い）は, ローパスフィルタとしての性質の影響なのではないかと考えられる. 逆に言うと, ローパスフィルタとしての性質が生かせるようなデータが, GNNの効果が最も期待出来るものなのではないかと考えられる. 内容 はじめに GNNとはどのようなものだったか？ 信号処理のいくつか GNNのローパスフィルタとしての役割 まとめ 1. はじめに Graph Neural
おはようございますまたはこんにちはまたはこんばんは，カイヤンです． 本記事はIQ1 Advent Calendar 2019（主催者 id:chakku000 ）における12月9日の記事です． 参考：IQ1 Advent Calendar 2018 2018/12/11の拙著記事「IQが1のデータ分析：respects いつも何度でも尋ねられること」 おことわり 今回は，ベイズ推論の特異学習理論（Watanabe理論，W理論）についての記事です．IQ1なので数学的に厳密な書き方でないどころか数式が登場しませんのでご了承ください． また，IQ1なために各論文を肯定的に読んでいます（理論が中心の紹介ですが一部の数値実験についても）．クリティカルリーディング要素はありません．申し訳ありません． よりおことわりらしいおことわりはIQ1AdCの雰囲気をぶち壊すので折り畳みます． IQ1AdCそのもの
BERTを超えた自然言語処理の最新モデル「XLNet」
3つの要点 ✔️ 自然言語処理でBERTを超える新しい事前学習モデルであるXLNetが登場 ✔️ マスク間の依存関係を学べないというBERTの弱点を、単語の並べ替えによって解決 ✔️ 長文読解タスクであるRACEで人を超えるスコアを達成 XLNet: Generalized Autoregressive Pretraining for Language Understanding written by Zhilin Yang, Zihang Dai, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le (Submitted on 19 Jun 2019 (v1), last revised 2 Jan 2020 (this version, v2)) Comments: Published by NIPS 2019.
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita
輸送問題を近似的に行列計算で解く（機械学習への応用つき） - 私と理論
【恐怖】 抱っこひものバックルを外し赤ちゃんを落とすいたずらが横行 「娘が落ちてきて…」 : 痛いニュース(ﾉ∀`)
LLM時代の強化学習 - どこから見てもメンダコ
環境音認識のコンペティションDCASE2020で世界1位を獲得しました
【動画解説】2020年に読んだAI論文100本全部解説(俺的ベスト3付き) - Qiita
Talking Head Anime from a Single Image
2019年、俺の読んだ論文50本全部解説(俺的ベスト3付き) - Qiita
【W杯】日本は前回準優勝のクロアチア相手に善戦もPK戦で散る…8強の壁またも破れず :
ノイズのある教師データを用いた機械学習に関する研究サーベイ - ABEJA Tech Blog
機械学習・アルゴリズム関連まとめ - Qiita
AIが匿名のチェスプレーヤーの正体を特定してプライバシーリスクをもたらす可能性
認めたくないものだな… Neural Networkの力学系表現というものを - Qiita
深層学習のセキュリティ課題と論文まとめ - Qiita
グラフニューラルネットワークとグラフ組合せ問題
人工神経回路による脳の理解はどこまで進んだか - 知識のサラダボウル
コンペで使える！？LightGBMで実装する３つの弱教師あり学習 - ABEJA Tech Blog
トピックモデルを俯瞰して学ぶ - ひつじの〜と 備忘録
Nostrのrabble氏の投稿の日本語訳
文書要約の歴史を辿って（＋BERTに文書要約させてみる） - Qiita
深層学習系のトップ会議ICLR2020のNLP系論文についてざっくり紹介 - 株式会社ホクソエムのブログ
エッジAI用デバイスの種類と仕様、処理速度を比較してみた | | AI tech studio
最近のニュース記事推薦手法まとめ 〜固有表現の利用から多様性の向上まで〜 - Gunosyデータ分析ブログ
GNNとグラフ信号処理 - 理とかなんとか
【IQ1AdC】W理論こと特異学習理論の重要論文公式10本ノック【12/9】 - カイヤン雑記帳