AdventCalender論文２日目担当のCurryです！ 今回は画像の中の文字を見つける技術の昔と最新をまとめました。 意外と文字検出の論文紹介ってないんじゃね！？っていう 画像は参照サイト（各章の先頭のURL）、論文中から引っ張ってきてます 文字検出 画像の中の文字を見つけるのは 文字検出 と呼ばれます。英語では Text Detection とか Text Localization という。 つまりこんなタスク。オレンジ線が文字を囲めてるので、検出ができたと判断できる。 入力画像 出力 文字検出の難しさは、以下のようによく言われる。（いわゆる論文のイントロの謳い文句） 1. 文字の多様性 2. 文字の色 3. 文字のコントラストや背景との混同 4. 文字の大きさが違う 5. 文字の方向（いわゆるアルファベットが斜めになっていたり） ちなみに、、、 文字認識 は文字を判別することなの
2つのブログを初投稿させていただいてから早いもので数週間。 自己紹介 - AIソリューションアーキテクトのおしゃべり データ活用人材とはどんな人々か - AIソリューションアーキテクトのおしゃべり 思っていた以上に反響があり、 「面白くて、あっという間に読めた」 「ブログとリアルのキャラが一致しなくて困惑した」 「怪しい壺が買いたくなった」*1 など、数々のご好評をいただきまして非常に感謝してます。 時系列解析って何か色々あってわかりません！(憤怒) さて、本日取り上げたいのは時系列解析。 最近では新型コロナウイルスの感染者数という大々的に報じられる時系列データがあるのでイメージしやすくなったかもしれませんが、手法自体を学んでみると何だか色んな名前が飛び交っていて訳が分からない人も多いのでは。 時系列予測の手法1つとっても 「状態空間モデルはベイジアンなんや、ベイズが一番や！」 「どんな時
なぜ、執筆することって色々と大変なのでしょうか？ 実は、書くことそのものよりも、 文章のチェックや記事の管理が大変だと僕は考えています。 文章を単に書くことであれば、あまり大変ではないのかもしれません。 たしかに最初に書きはじめるには腰が重いときもありますが、筆が乗れば悩まずに書けてしまうのは皆さんも経験があるのではないでしょうか。 記事や原稿を執筆する際の面倒な作業や大変さをすべて解決する仕組みがあれば、これはもうすごく良さそうです。 その発想で Shodo というWebアプリケーションは作られています。 今日は、その ShodoにAIでの文章校正をする機能を追加したことを発表します。 Shodo AIの概要 Shodoとはなにか Shodo（ショドー） https://shodo.ink/ は原稿や記事の執筆をするためのプラットフォームです。 記事の自動校正やチームメンバーとの相互レビ
[LinkedIn discussion, Twitter thread] Never before in my life had I seen so many smart people working on the same goal: making LLMs better. After talking to many people working in both industry and academia, I noticed the 10 major research directions that emerged. The first two directions, hallucinations and context learning, are probably the most talked about today. I’m the most excited about num
はじめに 法律ドメインに特化した自然言語処理は、ビジネス上重要な位置を占めるにもかかわらず、金融や医療等の他の分野と比べいままであまり重きをおかれることがなかった分野でした。 法律関連のタスクに電子機器が使われる機会は徐々に高まっており、自然言語処理を応用し、法律の実務家や法律関連SaaSのユーザに価値を提供する機会もまた増えてきています。 このような状況の中で、自然言語処理の研究者と法律の実務家が一堂に会する機会を設けるためにNLLP (Natural Legal Language Processing)ワークショップが設立されました。 今年はCovid19の影響でバーチャル開催され、KDD(Knowledge Discovery and Data Mining)と同時期に行われています。 sites.google.com 本記事ではNLLP 2019で発表された論文：Sentence
クックパッドマートの多種多様な商品名から、扱いやすい「食材キーワード」を予測する - クックパッド開発者ブログ
研究開発部の山口 (@altescy) です．今回は最近開発したクックパッドマートの商品の「食材キーワード」を予測する機械学習モデルを紹介します． 商品の食材キーワード予測とは？ クックパッドマートでは日々様々な食材が多くの販売者から出品されています．出品される商品の情報は販売者によって登録されるため，多様な表記が存在します．「じゃがいも」の商品名を例に挙げると，「ジャガイモ」「じゃが芋」といった表記の揺れや，「メークイン」「インカのめざめ」といった品種名が書かれているもの，「農家直送」や「お徳用」のようなキャッチコピーがついたもの，など様々です．一方で，商品の検索や推薦を行う際にはその商品がいったい何なのかを簡潔に表す情報が欲しくなります． そこで登場するのが「食材キーワード」です．商品名や商品説明とは別に，その商品がどんな食材なのかを表すキーワードを設定しておくことで，商品名の表記揺れ
区画線認識論文サーベイ - Qiita
論文紹介 1 Spatial As Deep: Spatial CNN for Traffic Scene Understanding (AAAI2018)[4] この論文はspatial cnnという独自で提案したレイアを既存のsemantic segmentationのネットワークに差し込むことで、モデルの精度を高める、ということを主張しています。 学習のフェーズは下記の図の(a)に示されています。 まずは画像をbackboneに通してfeature mapを生成します。次に、ネットワークが二つのブランチに分かれて、右の方はこの画像に区画線何本あるのか、をそれぞれ予測します。１はある、０はなし、という風になっています。ここに四つの数字が出てくるのは最大4本の区画線しか検出出来ないということです。左のブランチは区画線のfeatue mapで、サイズがW*H*5です。５チャンネルの内訳は4
正確には一ヶ月と二日経ちました。 あらすじ そろそろ、NAISTに入って1ヶ月経った感想をまとめます（遅い） もう一ヶ月という大学院生活の1/24の経ったのかという焦りの気持ちと、まだ一ヶ月しか経っていないんだっけという濃密さを感じさせる一ヶ月でした— Takuro Niitsuma (@otakumesi) November 2, 2019 特に断らない限りは情報領域の話です。 もくじ NAISTはいいぞ 秋入学は意外と大変 学校周辺での生活について 今後のTOOD ちなみに入学エントリはこちらから。 www.skyrocketing.work NAISTはいいぞ 本当に入って良かったなと思った一ヶ月でした。 理由はいくつもありすぎて数えることが難しいのですが、ちょこっとだけ触れていきます。 講義は難しいが楽しい 自分は今現在いくつかの講義をとっているのですが、すべてレベルが高くおもしろ
TL; DR 文のトークン化のためのライブラリである konoha の紹介をします． (旧 tiny_tokenizer) ↓みたいな感じで使えます．なにとぞ〜 from konoha import WordTokenizer sentence = '自然言語処理を勉強しています' tokenizer = WordTokenizer('MeCab') print(tokenizer.tokenize(sentence)) # -> [自然, 言語, 処理, を, 勉強, し, て, い, ます] tokenizer = WordTokenizer('Kytea') print(tokenizer.tokenize(sentence)) # -> [自然, 言語, 処理, を, 勉強, し, て, い, ま, す] tokenizer = WordTokenizer('Sentencepie
【記事更新】私のブックマーク「説明可能AI」（Explainable AI） – 人工知能学会 (The Japanese Society for Artificial Intelligence)
説明可能AI（Explainable AI）原 聡（大阪大学産業科学研究所） はじめに2018年に本誌5 月号（Vol. 33, No. 3, pp. 366-369）の”私のブックマーク”に「機械学習における解釈性」という記事を書いた。前記事の執筆から1年が経ち、機械学習モデルの解釈・説明技術を取り巻く社会的な情勢の変化や新たな研究の発展など、数多くの進展があった。本記事はこれら近年の変化・進展についてまとめた、上記の”私のブックマーク”の続編である。本記事を読む前に、まずは上記の前記事をご一読いただきたい。 用語について本記事では、機械学習モデルの出力に加えて、その出力を補助する追加の情報（モデルの解釈、判断根拠の説明、など）を出力する技術一般および研究分野全体を指す用語としてXAI（Explainable AI, 説明可能AI）を用いる。XAIはアメリカの国防高等研究計画局（DARP
目次。 目次。 はじめに。 2020年。 海外大学院に落ちて、東京大学の大学院へ。 経済的な不安定さから脱却するために試行錯誤。 Google AdSense、アフィリエイト（ブログ収益）。 【せどり・転売】Amazonで売れば利益が出る商品リストの販売。 株式自動売買プログラム開発。 ディープラーニングと学術論文の知識を導入。 2021年。 研究。 経済的な不安定さからの脱却。 博士課程修了後の進路（ポスドク）に向けて。 さいごに。 この文章を読んで、面白い！役に立った！...と思った分だけ、投げ銭していただけると嬉しいです。 ofuse.me 【宣伝】ギターも歌も下手だけど、弾き語りをやっているので、よければ聴いてください。 www.youtube.com はじめに。 明けましておめでとうございます。今年もよろしくお願いします。 サムネは、高松シンボルタワー。正月は高松市内を20 km
2017年にGoogleの研究者が提唱した深層学習モデルで、チャットAI「Chat GPT」などに使われる。「どこに注目するか」を重視したことで、自然言語処理での精度や処理速度を大幅に高めた。 米OpenAIの「ChatGPT」は2022年に公開されるやいなや、その精度の高さに世界が衝撃を受けた。このChatGPTは、同社の大規模言語モデル（LLM）「GPT（Chat Generative Pre-trained Transformer）」をベースにしている。Transformerこそ、LLMの根幹である。 Transformerはエンコーダー（符号器）とデコーダー（復号器）で構成し、「どこに注目するか」を重視するアテンション機構を中心としている。大規模並列処理に向いたモデルで、GPUでの処理を想定して設計した。 Transformerは米Google Brain（現在の米Google D
Show and Tell: A Neural Image Caption Generator Oriol Vinyals, Alexander Toshev, Samy Bengio, Dumitru Erhan 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) https://arxiv.org/abs/1411.4555 本記事で読んだのはv2 ひとことまとめ どんなもの？ 画像を入力して，画像の内容を説明した自然言語の文章を生成するネットワークNICの提案 先行研究と比べてどこがすごい？ 画像のエンコードにCNN，デコードにRNNを使っていて，従来手法より性能が高い 技術や手法のキモはどこ？ CNNとRNNを直接つなげることで，CNNからの視覚特徴と，RNNが扱う言語特徴を同じ埋め込み空間に
研究開発部の原島です。在宅勤務中は部のメンバーと 3 時にラジオ体操をしています。今日はラジオ体操の話はおいといてレシピの分量の話をします。 1 人分、2 個分、三枚分、約 4 皿、5 杯くらい、18 cm タルト型、... クックパッドの一部のレシピは 1 人分のカロリーが計算されています。計算されたカロリーは検索結果の絞り込みや献立の作成などに使用されています。 ここでポイントとなるのは「1 人分」というところです。 レシピには、下図のように、その分量が記入されています。クックパッドの全レシピのうち、大体 50% のレシピの分量は「N 人分」という表記です。これらのレシピは、レシピ全体のカロリーを N で割ることで、1 人分のカロリーが計算できます。 レシピの分量 一方、残りの 50% のレシピの分量は「N 人分」という表記ではありません。その半分（全体の 25%）はそもそも表記があり
コスメプラットフォームLIPSと広告クリエイティブ: 最新の研究事例から見る広告クリエイティブの作成支援と自動生成 - AppBrew Tech Blog
こんにちは @shunk031 です。 ご縁があって appbrew Tech Blog へ本記事を寄稿しました *1。 今回のお話は、私が取り組んでいる研究分野の 1 つである「機械学習と広告クリエイティブ *2」を特に評価していただき実現しました。 ここで簡単に、本記事の著者である私の自己紹介をします。私は以下のような自然言語処理の研究を中心に進めております: 基礎研究: 深層学習モデルによる解釈可能な自然言語処理 *3 応用研究: 自然言語処理等による広告クリエイティブの評価や生成 *4 今回こうしたバックグラウンドから、 AppBrew の LIPS において商品推薦を広告宣伝の観点から議論・相談を受ける形でお仕事をさせていただきました。 本記事では、機械学習による広告クリエイティブ作成支援の観点から、最新の研究事例について紹介し、議論することが目標です。 特に AppBrew が
ディープラーニングとJetson nanoでEnd-to-Endな自動走行を実現した話〜Jetpilotを作ってみた〜 - masato-ka's diary
1. この記事について Jetson nanoを搭載した移動ロボットJetbotを作成し、前回はJetbotを使った単眼vSLAMを実行させた。 masato-ka.hatenablog.com しかしvSLAMはPC側で処理される。Jetson nanoはPCへ映像を送信するだけだ。これでは搭載されているGPUが活躍していない。せっかくなのでJetson nanoに搭載されているGPUの威力を体感したかった。 そこで今回はディープラーニング を利用して画像から直接判断して走行する、End-to-Endな自動走行にチャレンジしてみた。コースを追従するだけであれば、単純な画像認識によるライントレースと簡単なルールベースの仕組みで十分だろう。しかし、今回は前提となるルールを作るのではなくデータだけ与えて、ディープラーニングで解くのがポイントとなる。以下の画像のようにJetbotがコース上を追従
Decision transoformer (2021)は、自然言語モデルGPTにおける次トークン予測の枠組みでオフライン強化学習タスクを解けることを示し新たなパラダイムをもたらしました。最近ではDeepMindの超汎用エージェントGATOなどもDecision Transformerベースのアーキテクチャを採用しており、その重要性が増しています。 Decision Transformer とは オフライン強化学習の新たなパラダイム 言語を生成するように行動を生成する 自然言語風アプローチのメリット 条件付き生成：Reward conditioned Sequence modelingの系譜 Multi-Game Decision Transoformer（NeurIPS 2022） Uni[Mask]（NeurIPS 2022）： MaskedLMの導入 GATO（2022）：超汎用エー
介護求人広告サービスのマッチングにディープラーニングを導入した話 - エス・エム・エス エンジニア テックブログ
はじめに 医療・介護・ヘルスケア・シニアライフの4つの領域で高齢社会の情報インフラを構築している株式会社エス・エム・エスのAnalytics&Innovation推進部（ 以下、A&I推進部）でデータ分析基盤開発を担当している長谷川です。 A&I推進部はエス・エム・エス社内のデータを横断的に収集し、データの分析や加工から、データに基づく施策までを行う部門で、現在は介護事業者向け経営支援サービスである「カイポケ」や、介護職向け求人情報サービスである「カイゴジョブ」のデータ分析やレコメンドシステムの開発を行っています。 今回はその中で「カイゴジョブ」における介護求人の課題をディープラーニングによる分類モデルで改善した取り組みについて紹介します。 介護業界の課題 具体的な説明に入る前に、簡単に介護求人の課題感を説明します。 ご存じの通り、昨今の日本は少子高齢化が進み、介護にまつわる課題が毎日のよ
K n o w ledge Acquisition & D i a l o g u e R e s e a r c h T e a m 知識獲得・対話研究チーム Knowledge Acquisition & Dialogue Research Team 奈良先端大 ロボット対話知能研究室 Intelligent robot dialogue laboratory, NAIST その研究 ChatGPT でいいんじゃないですか？ ～LLM時代の対話システム研究～ 理化学研究所GRP/奈良先端科学技術大学院大学 吉野 幸一郎 その研究ChatGPTでいいんじゃないですか？ 1 2023/08/31 ⒸKoichiro Yoshino, Guardian Robot Project, RIKEN K n o w ledge Acquisition & D i a l o g u e R e s
3つの要点 ✔️ 新たに提案するグローバル状態量を用いることで，少量のパラメタを追加するだけで複数の物性値を予測することが可能に ✔️ Pooling層において，結晶内の原子の順番を考慮したSet2SetというPooling方法を採用 ✔️ 原子の埋め込みを用いて，全元素ごとの相関を可視化 Graph Networks as a Universal Machine Learning Framework for Molecules and Crystals written by Chi Chen, Weike Ye, Yunxing Zuo, Chen Zheng, Shyue Ping Ong (Submitted on 12 Dec 2018 (v1), last revised 28 Feb 2019 (this version, v2)) Comments: Chemistry of
【開催報告&資料公開】ML@Loft #6 × MLPP #4 – 自然言語・レコメンド・時系列解析 | Amazon Web Services
AWS Startup ブログ 【開催報告&資料公開】ML@Loft #6 × MLPP #4 – 自然言語・レコメンド・時系列解析 ML@Loft #6 × MLPP #4 「自然言語・レコメンド・時系列解析 」 AWS 機械学習ソリューションアーキテクトの宇都宮 ( Twitter: @shokout ) です。本ブログでは ML@Loft 第6回 x MLPP 第４回「NLP/レコメンド/時系列解析」の開催概要を報告いたします。 ML@Loft は、 機械学習を AWS 上でプロダクション運用しているデベロッパー・データサイエンティストのためのコミュニティイベントです。毎月テーマを設定し、前半は各分野のエキスパートの方々からの LT、後半は機械学習のサービス導入のノウハウや様々なツラミについて、LT のご講演者の方々を交えて参加者全員参加型のお悩み相談ラウンドテーブルという構成で A
どうも、オリィ研究所の ryo_grid こと神林です。 こんにちは。 時系列データに対するディープラーニング適用の一例として、深層強化学習（DQN）させたトレードエージェント（まともなパフォーマンスを発揮する）のモデルを作成し、FX自動トレード（のシミュレーション）をするということにトライしてきました。 深層強化学習でのFX自動トレード（のシミュレーション）がうまくいかないのでオレオレ手法を考えた - Qiita 【続】深層強化学習でのFX自動トレード（のシミュレーション）がうまくいかないのでオレオレ手法を考えた - Qiita 【成功】深層強化学習でのFX自動トレード（のシミュレーション）がうまくいかないのでオレオレ手法を考えた - Qiita 【LSTM導入版】深層強化学習でのFX自動トレード（のシミュレーション）がうまくいかないのでオレオレ手法を考えた - Qiita このテーマに
Attentionは不要!?Google BrainによるTransformer型モデルに対抗できるgMLPを詳細解説！
Attentionは不要!?Google BrainによるTransformer型モデルに対抗できるgMLPを詳細解説！ 2021.05.26 AI論文 学術研究, 画像処理, 自然言語処理 はじめに Google Brainが全結合層を基本としたニューラルネットワークがTransformerと同程度の精度を出すことができることを研究で明らかにしました。この結果、NLP（自然言語処理）だけではなく、最近ではCV（画像処理）の分野でもデファクトスタンダードになりつつあったTransformerをベースとしたモデル構成に再考が求められることになります。 なお、今回利用した図はすべて下記論文（「Pay Attention to MLPs」）から引用しております。 ●Transformer系の解説記事 Facebookチームが開発した画像分類にTransformerを利用した効率モデルDeiTを紹
ACL 2019 参加レポート - Preferred Networks Research & Development
PFNでは自然言語処理（NLP）による研究開発にも取り組んでいます。 自然言語は人にとって最も身近なインターフェースのうちの一つです。 弊社ではこれまでにもロボットへの言語指示（ICRA 2018, CEATEC 2018）などの研究開発の成果を発表してきました。 先日7/28-8/2にイタリアのフィレンツェにて、自然言語処理のトップ国際会議ACL 2019が開催され、弊社からも佐藤元紀と小林颯介が参加しました。今回はその様子を論文紹介とともにお伝えしたいと思います。本記事は2名で協力し執筆しています。 (写真：会場となったバッソ要塞) また、佐藤元紀が東北大学の鈴木潤氏・清野舜氏と執筆した論文 “Effective Adversarial Regularization for Neural Machine Translation” を口頭発表しました。この論文についても紹介します。 ※佐
はじめに 自然言語処理（Natural Language Processing: NLP）の文脈から誕生したTransformerはそのモデルのシンプルさにもかかわらず、大きな成果をあげることに成功しました。そのため、その後NLPにブレイクスルーをもたらしたBERTやGPT-2などのモデルはTransformerをもとにつくられています。現在（2020年）では、DETRなど最新の物体検出モデルにも使われるようになり、Transformerは機械学習を学ぶ上では避けて通ることができないモデル・アイディアであるといえるでしょう。 今回は、近年の最重要モデルといえるTransformerについて発表論文「All you need is attention」を中心に、その誕生背景からモデル概念まで一から解説したいと思います。 なお、今回の内容は以下の二つに大別されます。 ．Transformerが
オンデバイス機械学習モデルでYahoo!知恵袋アプリのUXを改善 〜 Core ML活用事例 #機械学習
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、iOSアプリ黒帯の林（@kazuhiro494949）です。 私は普段の仕事の一環として、横断的に解決が必要な技術課題や新技術のアプリへの実用化などにボトムアップで取り組んでいます。 50を超えるヤフーのスマホアプリ、チームを越えて課題解決やノウハウの共有を実現【デブサミ2019夏】 ヤフーアプリの品質向上戦略 以前このチームでYahoo!知恵袋アプリに機械学習モデルを組み込み、UX改善を行いました。その機械学習ライブラリであるCore ML導入事例を紹介します。 それを通して、アプリの体験向上へ機械学習モデルを積極的に使っていく際のポイントなどをお伝えできればと思います。 Yahoo!知恵袋の不適切投稿判定 Yaho
はじめに これまでに提案されてきたNLPモデル一つ一つについて詳しく知りたかった＆改良の歴史を知りたかったため、特に有名だと思われるものをまとめました。MikolovらによるRNNLM以降を対象としています。 注）提案年については主にarXivのSubmission historyを参照しています。詳細な日付まで分からなかったものもあります。 代表的なNLPモデル・アルゴリズム一覧 RNNLM 提案年：2010 提案者：Tomáš Mikolov1,2, Martin Karafiát1, Lukáš Burget1, Jan “Honza” Černocký1, Sanjeev Khudanpur2 提案者所属： 1Speech@FIT, Brno University of Technology, Czech Republic 2Department of Electrical and
CHI2024を振り返って
ヒューマンコンピュータインタラクション研究のトップカンファレンスであるACM CHI2024がハワイで開催された (5/11–5/16)。会議に出た感想を残しておく。 AIの席巻ある程度予想はしていたがAI、LLMと人間とのインタラクションをトピックにした発表が激増していた。CHIはパラレルセッションで、同時に２０セッションぐらいが並行して発表が行われている。同時刻に開催される複数のセッションタイトルにAIやLLMが入っていて、もはやすべてを見るのが不可能な状態になっていた。 AIと銘打っていないセッションでも、要素技術として機械学習を使っているものは多いので、体感では半分以上の研究発表が何等かの意味でAIを使っている感じだった。少し前までは機械学習としってもSVMやCNN、LSTMぐらいでtransformersを使っていたら新しいね、ぐらいだったのだが、LLMが状況を変えていて「誰でも
目次。 目次。 はじめに。 再開する理由。 なるべく早く経済的な不安定さから脱却しなければいけない。 約940万円の借金（日本学生支援機構JASSOの奨学金）返済がある。 研究職という経済的に不安定な職業に就きたい。 実家がヤバい。 株式自動売買プログラム開発関連の文章が周りから求められている。 プログラム開発が上手くいかなかったとしても、アフィリエイト収益は稼げそう。 株式自動売買プログラム開発関連のアフィリエイト（投資・投機系、プログラミング）は高単価。 参入障壁が高く、競合が少なそう。 パクられるリスクも少なそう。 今後の予定。 この文章を読んで、面白い！役に立った！...と思った分だけ、投げ銭していただけると嬉しいです。 ofuse.me 【宣伝】ギターも歌も下手だけど、弾き語りをやっているので、よければ聴いてください。 www.youtube.com はじめに。 株式自動売買プロ
はじめに 以前、日本語のBERT事前学習済モデルの紹介記事を投稿しましたストックマークの森長です。 前回の記事を多くの皆様に読んでいただき、大変ありがたく思っております。 そこで、今回はBERTに続いて、ELMoの日本語学習済モデルを公開いたします。 ELMoとは ELMoは双方向LSTMを用いて学習させた言語モデルです。 ELMoによって、文脈を考慮した単語分散表現(単語ベクトル)を獲得できます。 自然言語処理では、文脈を考慮した単語ベクトルを用いることで、語義の曖昧性解消が見込めます。 例えば、以下の「人気」という単語のように、文脈によって意味が異なる単語でも、ELMoでは文脈を考慮して文脈ごとの「人気」の単語ベクトルを獲得可能です。 あのキャラクターは人気がある。 この道路は、夜に人気がなくて、危ない。 ELMoの単語ベクトルの具体的な利用方法としては、ELMoで獲得した単語ベクトル
1.2 なぜDeep Metric Learningにしたか 改善前のモデルでも特徴量を頑張って作れば解決できないことはないとは思います。「地名、ジャンル等に引っ張られて、拠点名指定を無視してしまう」パターンでは、クエリを解釈するロジックを入れ、地名だということを理解して地名部分のみを拠点の住所とマッチングさせて、それ以外を拠点名にマッチングさせて、という具合で特徴量を作れば正解できる可能性があると思います。しかし、これは一例で全体的に精度を上げるにはさまざまなケースを人が考慮して特徴量を作っていく必要があるので大変です。 そこで、学習データ（クエリと正解拠点のペア）が大量にあることを生かして、DNN（Deep Neural Network）がよしなに学習してくれるのに期待しました。また、プロダクト化することを考えると遅くとも数百ミリ秒以内で応答する必要があるので、クエリと拠点側をそれぞれ
rga: ripgrep, but also search in PDFs, E-Books, Office documents, zip, tar.gz, etc. - phiresky's blog
rga: ripgrep, but also search in PDFs, E-Books, Office documents, zip, tar.gz, etc.Jun 16, 2019 • Last Update Jul 31, 2022rga is a line-oriented search tool that allows you to look for a regex in a multitude of file types. rga wraps the awesome ripgrep and enables it to search in pdf, docx, sqlite, jpg, zip, tar.*, movie subtitles (mkv, mp4), etc. ExamplesPDFsSay you have a large folder of papers
Transformer is a deep neural network that employs a self-attention mechanism to comprehend the contextual relationships within sequential data. Unlike conventional neural networks or updated versions of Recurrent Neural Networks (RNNs) such as Long Short-Term Memory (LSTM), transformer models excel in handling long dependencies between input sequence elements and enable parallel processing. As a r
注意： Alphafold2の手法解説です。使い方の説明ではありません 構造生物学ドメインにはある程度の説明をつけます アーキテクチャ設計の意図については個人の考察であり、正しさに何ら保証がありません AttentionとTransformerそのものについての説明は行いません AlphaFold2とは タンパク質折り畳み問題について タンパク質はバイオ・ナノマシン タンパク質立体構造の重要性 データ駆動の立体構造予測 AlphaFold2の概観 4つのモジュール AF2のやってることをざっくり理解する 0. データ準備 MSA (Multiple sequence alignment) の作成 MSAへのBERT風マスク導入 テンプレート構造の検索（任意） 1. Embeddingモジュール 入力データのOne-hot化 MSA Representation Pair Represent
Patterns for Building LLM-based Systems & Products [ llm engineering production 🔥 ] · 66 min read Discussions on HackerNews, Twitter, and LinkedIn “There is a large class of problems that are easy to imagine and build demos for, but extremely hard to make products out of. For example, self-driving: It’s easy to demo a car self-driving around a block, but making it into a product takes a decade.”
ECサイト運営の業務効率化のために、商品説明を読んで掲載カテゴリーを提案してくれる人工知能を作成した。ディープラーニング実践の参考事例として、筆者の会社がどう取り組んでいったのかを紹介する。 連載目次 はじめに 人工知能という言葉に話題性があることと、企業には大量の文書が蓄積されていることから、手元にある文書をとりあえず人工知能に与えれば何か知見が得られるだろうと相談されることがある。しかし残念ながら、人工知能や、その要素技術の機械学習やディープラーニングは、ただ文書を与えただけでは期待した結果をもたらしてくれないことの方が多い。 成果が出ない理由の一つとして、データの質が挙げられる。ディープラーニングの登場によって、量の拡大が質を補うといわれることもあるが、それを実現するためには想像以上のデータ量が必要となる。 データが足りないとなると、結局はデータの質を上げる必要が出てくるので、辞書の
ランダムラベルを利用することでテキスト分類が改善する！
3つの要点 ✔️ 予測手順において余分な計算コストをかけることなく性能を向上 ✔️ ラベルスムージング法に対するLabel Confusion Model(LCM)の優位性も検証 ✔️ LCMは混乱したデータセットやノイズの多いデータセットに特に有効であり、ラベル平滑化法（LS）よりもかなりの程度優れていることが実証 Label Confusion Learning to Enhance Text Classification Models written by Biyang Guo, Songqiao Han, Xiao Han, Hailiang Huang, Ting Lu (Submitted on 9 Dec 2020) Comments: Accepted by AAAI 2021. Subjects: Computation and Language (cs.CL); Art
このテーブルからクエリが「quick」ならDoc1が「news」ならDoc2が「fox」なら両方の文書が関連しているドキュメントとして候補になることがわかります。ドキュメントを絞り込んだ後どのように並べるかですが、おおまかに分けるとクエリと文書をベクトルに変換して類似度を比較するVector Space Modelと、関連度を文書とクエリが与えられたときの条件付き確率 $P(rel \mid q, d)$ と定義するProbabilistic Modelがあります。その中でも70年代に発明されたBM25というアルゴリズム ("Best Matching" の頭文字) はElasticsearchに採用されていることもあり広く使われているので、検索に携わっている方ならば一度はこの式を見たことがあるのではないでしょうか。 $$ BM25(q, d) = \sum_{t_{q} \in q} i
[翻訳]AI生成コンテンツの総合調査：GANからChatGPTまでのGenerative AIの歴史｜株式会社ガラパゴス
原文の総文字数15万字超え！生成AI研究の歴史をまとめた論文をChatGPTを使って翻訳しました。ところどころ日本語がおかしいところもありますが、15万もの文字翻訳するのめんどくさい！という方、参考程度にご覧ください。ポイントだけ読み進めるとサクッと把握できます。 こちらの翻訳です 本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。 脚注、参考文献、Appendixなどは本文をご覧ください。 概要【POINT1】ChatGPTはAIGCのカテゴリに属し、効率的で高品質なコンテンツ作成をします。 【POINT2】大規模モデルの利用で、意図抽出や生成結果が向上し、現実に近いコンテンツが生まれます。 【POINT3】この調査では、生成モデルの進歩や未解決の問題・将来の課題について解説しています。 最近、ChatGPT は、DALL-E-2 [1]や
![[翻訳]AI生成コンテンツの総合調査：GANからChatGPTまでのGenerative AIの歴史｜株式会社ガラパゴス](https://cdn-ak-scissors.b.st-hatena.com/image/square/42e972c45efb6ae68a15f6d7f0f7500c7abf73dd/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F102831564%2Frectangle_large_type_2_9569f338254fe055a87e1118321f258a.jpeg%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
AWS Startup ブログ 【開催報告】ML@Loft #4 (Edge) こんにちは、スタートアップソリューションアーキテクトの針原 (Twitter: @_hariby) です。7月19日に AWS Loft Tokyo で開催された機械学習のコミュニティイベント ML@Loft の第4回では Edge Deep Learning をはじめとした技術についての話が盛り上がりました。興味はあったけど予定が合わなかった、という方のために内容をまとめたいと思います。 ML@Loft は機械学習のお悩み相談イベントで、目黒の AWS Loft Tokyo で2019年4月より毎月開催されています。もともとは AWS をお使いのお客さまが、サービスの中に機械学習を取り入れて開発・運用していく際のお悩を気軽に相談できる場が欲しい、ということで始まったイベントです。登壇者 (相談役) が自己紹介
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
画像の中の文字を見つけるのって今どんな感じなの？まとめてみたんご - Qiita
時系列解析に散った子羊たちへの鎮魂歌 - AIソリューションアーキテクトのおしゃべり
いまこそ、執筆を変えるとき。ShodoにAI校正の機能をリリースしました - Make組ブログ
Open challenges in LLM research
英文法律関連テキストを対象とした文境界推定の論文を読む - ヤドカリラボ
NAISTに入学して一ヶ月が経ったので近況報告。 - SKYROCKETING WORK!
トークナイザをいい感じに切り替えるライブラリ konoha を作った - Qiita
「2020年と2021年」の話。 - sun_ek2の雑記。
LLMの根幹「Transformer」とは？並列処理に最適なワケ
画像から説明文を生成するShow and Tellの論文要約 - Qiita
「このレシピは何人分？」を機械学習で推定する - クックパッド開発者ブログ
オフライン強化学習② Decision Transformerの系譜 - どこから見てもメンダコ
その研究 ChatGPT でいいんじゃないですか？LLM時代の対話システム研究.pdf
ついに一つのモデルで複数の材料物性値を予測するモデル(MEGNet)が登場
深層強化学習（DQN）で学習するFXトレードエージェントを作ってみた - Qiita
自然言語処理の必須知識 Transformer を徹底解説！
【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita
株式自動売買プログラム開発を再開しようと思い立った話。 - sun_ek2の雑記。
大規模日本語ビジネスニュースコーパスを学習したELMo（MeCab利用）モデルの紹介 - Qiita
Deep Metric Learningによる、ホテルや飲食店などの拠点検索改善
A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks
スッキリわかるAlphaFold2 - どこから見てもメンダコ
Patterns for Building LLM-based Systems & Products
Deep LearningがECサイトの商品分類でどう活用されたのか
クランフィールド検索実験から2019年のニューラルモデルまで - Qiita
【開催報告】ML@Loft #4 (Edge) | Amazon Web Services