今日話した大学生の授業の受け方、生成AIの技術をフルに使ってて隔世の感がある→賛否両論さまざまな意見が集まるKohei Katada🦒 @kkatada 今日話した大学生の授業の受け方 → Notion AIを使いシラバスをベースにして授業「前」にノートを生成 → 授業中はノートと講義内容の差分だけNotion上で加筆修正 → メモ+参考資料のPDFを生成AIに学習させ、試験前に予想問題と回答例を作って勉強 2024-04-17 00:01:05
読むと「勉強の効率」が上がる、おすすめ本5選
子どもの勉強のサポート、資格取得や仕事のスキルアップのための勉強…。毎日忙しくて、勉強に費やす時間がたっぷり取れないからこそ、効率を上げてインプットの質を高めたい。自分に合った勉強法は、必ずある。勉強のコツが詰まった、おすすめの本を5冊選びました。 1． 『私は合格する勉強だけする』 著者／イ・ユンギュ 実は、あなたは勉強の方法を知らなくて損をしているかもしれません。 たった9カ月で司法試験に合格し、韓国YouTubeで受験生の聖地と呼ばれる登録者数約35万人のYouTubeチャンネル「DreamSchool イ・ユンギュ」を運営する著者。 やみくもに勉強しても点数は伸びません。必要なのは、自分が受ける試験に合った勉強法を見つけること。でも、その勉強法を見つけるのが難しいのです。 この本では、「合格者の手記を読む」ことから始まり、「教科書を丸暗記するにはマーカーをどう引けばいいのか」「試験
日本語の単語を適切な位置で区切って読みやすく改行してくれる軽量でオープンソースなライブラリ「BudouX」の機能＆採用例＆デモはこんな感じ、Chrome 119に実装予定で簡単に利用できる見込み
日本語のページをブラウザで見ているとおかしな位置で改行されることが多いのですが、単語と単語の間にスペースを入れる英語などと異なり、日本語では分かち書きがされていないのが原因。単語の途中で文章が折り返されてしまう原因になっています。BudouXは機械学習モデルを利用して容量を抑えつつ、サードパーティーのAPIやライブラリに依存せずに分かち書きを行ってくれるオープンソースライブラリなので、読みやすい改行が実現できます。 Google Developers Japan: BudouX: 読みやすい改行のための軽量な分かち書き器 https://developers-jp.googleblog.com/2023/09/budoux-adobe.html BudouXの使用イメージは下図の通り。従来は画面幅によっては「最先端」や「テクノロジー」などの単語の途中で改行が行われてしまう事がありましたが、
LLMを効率的に再学習する手法(PEFT)を解説 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、効率的にLLMのような事前学習済みモデルを再学習する手法(PEFT)についてご紹介します。 問題意識 ビジネスで利用する際に乗り越えるべき壁 PEFTとは何か？ PEFTのコンセプト分類 トークン追加型 Prefix Tuning P Tuning Prompt Tuning Adapter型 Adapter LoRA型 LoRA Ada LoRA まとめ 参考文献 こんにちは、アナリティクスサービス部の辻です。 今回は、LLMを効率的に再学習する手法として今後
Python: LightGBM v4.0 の CUDA 実装を試す - CUBE SUGAR CONTAINER
LightGBM のバージョン 4.0.0 が 2023-07-14 にリリースされた。 このリリースは久しぶりのメジャーアップデートで、様々な改良が含まれている。 詳細については、以下のリリースノートで確認できる。 github.com リリースの大きな目玉として CUDA を使った学習の実装が全面的に書き直されたことが挙げられる。 以前の LightGBM は、GPU を学習に使う場合でも、その計算リソースを利用できる範囲が限られていた。 それが、今回の全面的な刷新によって、利用の範囲が拡大されたとのこと。 ただし、PyPI で配布されている Linux 向け Wheel ファイルは CUDA での学習に対応していない。 対応しているのは CPU と、GPU でも OpenCL の API を使ったもの。 そのため、もし CUDA を使った学習を利用したい場合には自分で Wheel を
機械学習エンジニア、あるいはデータサイエンティストの選考に関する徒然 - エクサウィザーズ Engineer Blog
こんにちは！ 構造化データグループのグループリーダー小林広明です。 今回は表題について、いくつか資料の紹介と私なりに思うところを少し書いていきます。 免責事項 応募書類/履歴書 面接 終わりに 免責事項 弊社の選考基準について書いたものではありません。エクサウィザーズの他の面接官は異なる意見を持っていると思います。 ただし、私も書類選考や面接に関わっていて、その視点は入っています。 私は AI Frontier 部に所属していて、こちらのメンバーには基本的に機械学習エンジニアという職名を用いています。 ですが、特に私が所属している表形式データを主に扱うグループでは、一般にデータサイエンティストと呼ばれている職種が担う仕事も多く扱っていると思われるので、この記事では機械学習エンジニア・データサイエンティストの違いには触れずに書いていきます。*1 どちらかといえば中途採用（経験者）での転職希望
第2回 LLM 勉強会
2023年6月19日（月）に国立情報学研究所にて第2回 LLM 勉強会を開催しました。 プログラム 勉強会の運営に関する議論（黒橋） NII からの話題提供（相澤） [資料] NICT の活動報告（鳥澤） [資料] ABCI トライアルの報告（坂口） [資料] レトリバからの話題提供（西鳥羽） [資料] サイバーエージェントからの話題提供（石上・佐々木） mdx プロジェクトに関する議論（ポリシー、各WGの進捗報告、mdx 利用方法）（河原・空閑） [資料1] [資料2] 参加者 現地15名・オンライン50名程度
Scaled Dot-Product Attentionの本当の凄さを考える
近年、機械学習分野で大きな成果をあげているTransformer[1]において、その中核をなすScaled Dot-Product Attention[1]には、革新的な仕組みが備わっています。その仕組みとは、後で詳しく説明しますが、入力に応じて重みを動的に変えることが可能なニューラルネットワークで、これにより驚くほど広範囲で膨大な情報に対する適応性と表現力を実現することができます。本記事では、Scaled Dot-Product Attentionのこの仕組みとその利点について解説し、私なりの解釈を紹介できればと思います。 先に結論を簡単に まず、結論から説明すると、Scaled Dot-Product Attentionは、入力に基づいて重みを変えることが可能なニューラルネットワークという解釈が可能です。ただし、Scaled Dot-Product Attentionは学習パラメータを
第1回 LLM 勉強会
2023年5月15日（月）に国立情報学研究所にて初回となる LLM 勉強会を開催しました。 プログラム 勉強会の趣旨、国の動向など [資料] 黒橋禎夫（国立情報学研究所） 現状の LLM のサーベイ [資料] 河原大輔（早稲田大学） 菅原朔（国立情報学研究所） 栗田修平（理化学研究所） 各機関での試みの紹介 河原大輔（早稲田大学）[資料] 坂口慶祐（東北大学） 佐藤敏紀（LINE） 高村大也（産業技術総合研究所） 参加者 乾健太郎（東北大学・オンライン参加） 鈴木潤（東北大学・オンライン参加） 坂口慶祐（東北大学） 高村大也（産業技術総合研究所） 石垣達也（産業技術総合研究所・オンライン参加） 栗田修平（理化学研究所） 吉野幸一郎（理化学研究所・オンライン参加） 鶴岡慶雅（東京大学）（資料提供のみ） 宮尾祐介（東京大学） 谷中瞳（東京大学・オンライン参加） 吉永直樹（東京大学・オンライン参
「勉強法の勉強会」、エンジニアの勉強ノウハウをいくつも知られる"神"勉強会でした（みんなアーカイブぜひ見て！） #YUMEMIxTORALAB - nikkie-ftnextの日記
はじめに デリシャスマイル〜1、nikkieです。 控えめに言って神！なオンライン勉強会に参加してきました。 レポートを綴ります〜 目次 はじめに 目次 「勉強法の勉強会」 #YUMEMIxTORALAB 勉強法LTラインナップ（見つかった資料ツイートも一緒に） アーカイブ（みんなぜひ見て！） 感想ブログ（気づいた範囲で） 「内需ドリブン勉強法」ぶっ刺さった！ 会場が色めき立った、ツイート読書術 牛尾さんのnote「プログラミングというより物事が出来るようになる思考法」を思い出す 『エンジニアの知的生産術』の「プログラミングはどうやって学ぶか」も思い出す ツイートめっちゃ流れて楽しい 一人同窓会感！ 終わりに P.S. きっかけはKanonさん 「勉強法の勉強会」 #YUMEMIxTORALAB 今回はなんとあのとらラボ！（虎の穴ラボ株式会社）さんとのコラボレーション！ 今回のテーマは、エ
大規模言語モデルのための強化学習｜npaka
以下の記事が面白かったので、軽く要約しました。 ・Reinforcement Learning for Language Models 1. はじめに「ChatGPT」とそれに続く「大規模言語モデル」(LLM)のリリースに伴い、「RLHF」の重要性が議論されました。しかし、なぜ「強化学習」が「教師あり学習」よりも言語モデルの学習に適しているのか疑問に思いました。「教師あり学習」 (Instructionチューニング) で十分ではないでしょうか？ 私は、ある程度納得のいく理論的な議論を思いつきました。そして、特にChatGPTのようなモデルには、強化学習のケースを支持するだけでなく、それを必要とする追加の論拠があることに気がつきました。この追加の議論は、OpenAIのJohn Schulmanによる講演の（前半部分で）綴られています。この投稿は、彼の主張をより多くの言葉で繰り返し、また、明確
GWの休みに勉強しよう！！！有名IT企業の研修資料まとめ - Qiita
勉強について エンジニアの皆さん。エンジニア以外の皆さん。 ・勉強しようと思っているけど、何を勉強したらいいかわからない ・ネットを漁っても良質な教材が出てこない ・他人がどんなことをしているか気になる こんなお悩みありませんか？ 今回は、有名企業の研修資料をまとめましたので、勉強のネタにしてみてはいかがでしょうか？ 新人、ベテラン関係ありません！ GWに暇を持て余したら、こちらをご覧くださいね サイボウズ サイボウズです。 22年度の内容が公開されていました。 ■モバイルアプリ開発 ■サイボウズのアジャイル・クオリティ ■MySQL - テストデータが偏るということ ■モブに早く慣れたい人のためのガイド ■テクニカルライティングの基本 ■ソフトウェアテスト ■セキュリティ ■ソフトウェアライセンス 講義資料と講義動画まで公開されています。 資料が苦手な人でも学習が捗りますね。 ラクス こ
大規模言語モデルの知識を補完するための Retriever の紹介 - ACES エンジニアブログ
こんにちは、株式会社ACESでインターンをしている篠田 (@shino__c) と申します。普段は博士課程の学生としてNLPの研究をしています。 ここ数ヶ月で ChatGPT に加えて GPT-4 等の大規模言語モデル (LLM) が次々とリリースされていますね。 ChatGPT (gpt-3.5-turbo) はAPIの使用料が安いことから、多くの人が気軽にLLMを使用できるようになり、AI、特にNLPを売りにしている多くの企業は技術的にどうやって競争優位性を築けばいいのか模索しているのではないでしょうか。 その問いに対する１つの答えになりそうなものに、Retriever というものがあります。 例えば、社内にある外部には出せない文書を元に顧客からの質問に答える質問応答のサービスを作りたい場合、ChatGPT のような LLM の訓練にはそのようなデータは使われていないため、prompt
「今後はシミュレーションが重要に」PFN岡野原氏が話す深層学習の展望 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
デジタル人材育成プラットフォーム「マナビDX」を開設しました！ （METI/経済産業省）
経済産業省と独立行政法人情報処理推進機構（IPA）は、デジタル人材の育成を推進するため、デジタル知識・能力を身につけるための実践的な学びの場として、ポータルサイト「マナビDX」を開設しました。ポータルサイトでは、デジタルスキルを学ぶことができる学習コンテンツを紹介するとともに、すべての社会人が身につけるべきデジタルスキルを示した「DXリテラシー標準」も掲載しています。 1．背景・趣旨 新型コロナウイルスの感染拡大を契機に、従来から進められていたデジタル化が加速化し、オンラインでの消費活動や企業のDX実現に向けた取組みなど、国民生活、企業活動など社会のあらゆる場面でデジタル技術活用が急速に進んでいます。 一方、企業・産業のDXの実現に向けては、経営層やDXを推進するチームのメンバーはもとより、組織内のあらゆる構成員の理解や貢献が必要不可欠であり、デジタル知識・能力を身に付けるためには、講義の
オンライン学習の新しい潮流としてのコーホート・ベース・モデルのオンライン講座（Cohort-Based Courses：CBCs)｜市川裕康 (メディアコンサルタント）
オンライン学習の新しい潮流としてのコーホート・ベース・モデルのオンライン講座（Cohort-Based Courses：CBCs) 新型コロナウィルスの感染拡大により教育現場、社会人の学びが大きな変化を余儀なくされる中で、よりインタラクティブで学びの成果を得るための取り組みとして、オンライン上で行われる「コーホート・ベースモデル」の講座（Cohort-Based Courses：CBCs)が注目されているようです。 「コーホート」という単語自体馴染みがないかもしれませんが、コホートベースの学習とは、個人が参加するグループが一緒に教育プログラムを通じて進める共同学習スタイルのことです。eラーニング、そしてMOOCs(Massively Open Online Courses）と呼ばれる、動画を通じた学習を中心としたUdemy, Courseraなどの講座との比較される形で最近注目を集めていて
日本経済新聞社での事前学習済み言語モデルの構築と活用 — HACK The Nikkei
研究開発部署「日経イノベーション・ラボ」の石原です。 Nikkei Advent Calendar 2022の 23 日目を担当します。 日本経済新聞社では、ユーザへより良いサービス利用体験を提供するため、広くデータの利活用を進めています。 本記事では特に「自然言語処理」と呼ばれる領域に焦点を当て、2022 年の主要な取り組みの一つとして、昨今の急速な進展の根幹を担う「事前学習済み言語モデル」の構築と活用に関する事例を紹介します。 最初に自然言語処理や事前学習済み言語モデルの概要を説明し、その後に日本経済新聞社での取り組みをまとめます。 日本経済新聞社では積極的な対外発表が推奨されており、本記事は技術ブログ・外部登壇・論文発表で公表済みの内容をもとに構成しています。 自然言語処理とは 自然言語処理とは、人間が日常的に使っている言語（自然言語）をコンピュータで処理するための一連の技術です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LLM 勉強会
「DeepL」公式アプリが機能アップで実用度マシマシ、外国語学習にも使える！ [てっぱんアプリ！]![「DeepL」公式アプリが機能アップで実用度マシマシ、外国語学習にも使える！ [てっぱんアプリ！]](https://cdn-ak-scissors.b.st-hatena.com/image/square/4335ce27e0f879b95cd848765f18d95560db18e5/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1473%2F535%2Fthumbnail.jpg)
AI 激動の年！2022年の人工知能10大トレンドと必読論文
