サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Appleイベント
snowman-88888.hatenablog.com
こんにちは、品川です。大学教員になって約3年半、ボスの定年退職に伴い、異動することにしました。 新しい所属先はSB Intuitionsです。民間企業ではありますが、研究機関登録もされていて科研費もそのまま移すことができます。まだ学生の投稿中の論文誌が残ってたりするのでありがたいですし、色々と面白いことができそうでワクワクしています。 アカデミアから民間に移った理由はいくつかありますが、雑に箇条書きにすると アカデミアの世界しか知らないことにリスクを感じたから 情報系のポストが増えていて、新しいことにチャレンジして失敗しても教員として戻れる可能性がそこそこありそうだから 大量のGPUをぶん回したい気持ちが高まっていたから 日本の中でも最高の教育を提供する研究室に所属して教育の可能性や限界を思い知ったから。結局教員が多忙過ぎるし、教育がスケールしないのが問題(私が成長させたいと思う「できない
こんにちは、品川です。大学教員になって約3年、今の所属はボスの退官に伴い、今年度で終了になる予定なので、備忘録としてぽつぽつと反省をまとめていこうと思います。今回は大学教員としての仕事の仕方についてです。 せっかく大学教員になるのだから、学生ファーストで少しでも学生に良い経験を積んでもらって能力を伸ばして成果もたくさん出して修了してもらいたい、あわよくばD進してもらいたいという思いでここまでやってきました。結論から言うと道半ばで、ようやく大学教員の呼吸にも慣れてきたという感じですが、思ったような方向に結果は伴わなかったので大学教員の難しさを思い知りました。 機械学習のニューラルネットワークと異なり、ナマモノの人間ニューラルネットワークを相手にする仕事なので、なかなか思うようにはいかないものです。それなりに楽しい期間でしたが、全体としては反省点が多かったです。 一番の反省点は学生指導を頑張り
こんにちは、品川です。 本記事は研究コミュニティ cvpaper.challenge 〜CV分野の今を映し,トレンドを創り出す〜 Advent Calendar 2022の2日目の記事です。 adventar.org 自己紹介 メタ視点の研究効率化Tipsとは? 研究室生活の概要を知って目標を立てる ①知っておこう:研究室教育は実践の場 ②知っておこう:研究室生活は転用可能な技術(transferable skills)の塊 ③実は裏テーマとして「自分をコントロールする技術の研究」が重要だったりする 裏研究テーマの実践:相対化で自分の強みと弱みを見つける 性格診断やストレングスファインダーも役に立つ 方法論の調査 仮説を立てて検証する 自己紹介 はじめての方へ向けて自己紹介です。品川政太朗と申します。奈良先端大で助教をしています。 大好物はVision and Languageと対話システ
こんにちは、品川です。Vision Transformer入門という本の執筆に参加しました。いよいよ本格的な販売がはじまります。どんな本なのか注目してくださってる方もいらっしゃると思うので、著者陣の一人の視点から執筆の背景と書評を少しだけ書こうと思います。 gihyo.jp 執筆の背景 書評 第1章 TransformerからVision Transformerへの進化 第2章 Vision Transformerの基礎と実装 第3章 実験と可視化によるVision Transformerの探求 第4章 コンピュータビジョンタスクへの応用 第5章 Vision and Languageタスクへの応用 第6章 Vision Transformerの派生手法 第7章 Transformerの謎を読み解く 第8章 Vision Transformerの謎を読み解く 手薄になっている内容 執筆の背
こんにちは、品川です。 言語処理学会2022に参加してきました。楽しかったです。 懇親会にも参加してきてNAISTの他研や他大学の学生さんたちと話していたのですが、「懇親会で声をかけたくてもかけられなくてもどかしい思いをしてました」という声がありました。 懇親会では、論文に出て来ないような(しばしば本当に重要な)裏話や、研究や研究室生活、就活などに関するノウハウについての情報交換が行われたり、新しい研究や共同研究の話が生えたりしています。これを逃す手はありません。でも、初めての学会でそもそも知り合いも少ない場合にどうやって声をかけたらいいかわからないというのは解決すべき重大な問題です。万人に通用するとは思いませんが、個人的に使っているコツをいくつか紹介したいと思います。 まず、事前準備をしておくと良いです ご存じの通り、懇親会には(一部の場合を除き)定型のルールが存在しません。サバンナです
こんにちは、品川です。本記事は強化学習 Advent Calendar 2021 17日目の記事です。 今回は以前献本いただいた「深層強化学習入門」についてご紹介したいと思います。 www.kyoritsu-pub.co.jp 噂の深層強化学習本を頂いたので拝読しました!概論として基礎知識や問題設定、課題感がギュッとコンパクトにまとまってました。特に7章以降は学習させるための工夫とか実験の作法だとか重要な点がさらっと詰め込まれてて勉強になりました。分厚い本と組合せて行ったり来たり読み進めると良さそうです pic.twitter.com/3nIEoQmGkE— Seitaro Shinagawa (@sei_shinagawa) 2021年4月14日 オレンジと黒白の装丁がカッコよくて素晴らしいです。 目次 前置き 本題:「深層強化学習入門」は誰向けの本? 前置き 強化学習は様々な分野で用い
こんにちは、品川です。本記事は強化学習 Advent Calendar 2021 6日目の記事です。 短いですが、最近の言語生成周りの強化学習関連の話題を取り上げたいと思います。 言語生成周りの強化学習のおさらい(2020年時点での私の理解) 最近の言語生成の強化学習①:REINFORCEもPPOへ徐々に移行中 最近の言語生成の強化学習②:価値ベース?できるよ。そう、事前学習済み言語モデルならね 言語生成周りの強化学習のおさらい(2020年時点での私の理解) 言語生成モデルの訓練にはTeacher forcingを用いる 言語生成で最もよく使われている強化学習手法は、方策勾配法の最も簡単な手法であるREINFORCEアルゴリズムである(他にもActor-criticや、DQNをはじめとする価値ベースの手法などが使われている) REINFORCEでは、生成した文に対してあらかじめ報酬を算出し
こんにちは、品川です。 学生さんが自分の研究の進め方に悩んでいるのを最近(通年)よく見ます。例えば、何をしたら新規性が出るのかとか、指導教員との研究議論や進捗報告のコミュニケーションがうまくいかないといったことです。 こういうところで苦しんだり悩むようになるのは成長の証でもあると思っていて、「ああ~~成長しているんじゃ~~もっと成長した姿を見せてくれ~~」と嬉しくなってしまいますが、具体的な行動としてどのような選択肢をとれば改善できるのかが頭にないと、ただ悩んだだけで何も解決しない可能性もあります。私もできた学生ではなかったので、学生時代ずいぶん四苦八苦していたのですが、そんな中で、私が学生時代に読んでいたor読みたかった書籍で特にためになった本を5冊紹介したいと思います。こういう方法もあるんだということを知ることで、この記事を読まれた学生さんの気持ちが少しでも楽になれば幸いです。 新規性
こんにちは、品川です。 最近仕事でGPT-2,3について調べてたのですが、日本語GPT-2を作っているプロジェクトのことを知りました。 github.com 見てみると学習済みモデル(small, medium)が公開済みで、fine-tuning用のコードなども揃っておりいたく感動しました。 本記事は生成結果をぜひみてみたいということで試してみたという趣旨の記事になります。 使い方は上記リポジトリのREADMEを読んでいただければ良いかと思います。 contextをオプションで指定することで、contextに沿った生成が可能とのこと。なるほど、ならば架空のNAIST生をD進させてD進後の状況を独白してもらうことも可能・・・? 早速試してみる(この結果はフィクションです) python gpt2-generate.py \ --model gpt2ja-medium \ --num_gen
品川です。最近本格的にBERTを使い始めました。 京大黒橋研が公開している日本語学習済みBERTを試してみようとしてたのですが、Hugging Faceが若干仕様を変更していて少しだけハマったので、使い方を備忘録としてメモしておきます。 準備 学習済みモデルのダウンロード Juman++のインストール pyknp、transformersのpipインストール ベースのコードを修正して動かしてみる おまけ get_sentence_embedding関数内の各変数の表示 BERT modelのforwardの引数と出力の関係 準備 学習済みモデルのダウンロード 下記の黒橋研のサイトから、学習済みモデル(.zip)をダウンロードして解凍します(この時ダウンロードするのはtransformers用のモデルです) BERT日本語Pretrainedモデル - KUROHASHI-CHU-MURAW
最近めっきり記事を書いてないので、今後はメモくらいのつもりでもいいから小出しに書いていこうと思う。 chainerがv1.22.0でVGG16LayersとResNet50Layersをchainer.linksでサポートした。 Standard Link implementations — Chainer 1.22.0 documentation これによってcaffeの学習済みモデルがより気軽にchainerで試せるようになったようだ。 ちょうど学習済みモデルを手っ取り早く使いたいなと思ったところでタイミングが良かったので早速試してみた。 今回はVGG16Layersのみについて書いていこうと思う。 基本的な使い方 基本的な使い方はchainerのリファレンスをみるのが手っ取り早い。 Standard Link implementations — Chainer 1.22.0 docu
MS COCO Dataset Introduction from Shinagawa Seitaro www.slideshare.net 割と使うのに苦労しているMS COCOデータセットについて大まかにまとめた。
ChainerはVariableに変数を渡してforwardパス、backwardパスを計算するので、パス内に特殊な操作が入ると計算ができなくなる、と困るのでいくつかchainer.functionsに便利な関数が用意されていた。ipython起動してchainer.functionsをインポートしてからdir(chainer.functions)とかで一度関数の一覧を見てみると結構役に立ちそうな関数があったりする。 今回は主に配列や行列操作でお世話になったので、それらをメモとしてまとめておく。 以下、 from chainer import functions as F とする。 F.reshape(shape) numpy.reshapeのVariable版。 F.broadcast_to(x,shape) numpy.broadcast_toのVariable版。配列や行列のxをsh
このページを最初にブックマークしてみませんか?
『snowman-88888.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く