はじめに伝えたい内容はタイトル通りで、2023/3/31をもって2年1ヶ月の間勤めた、現職の筑波大学 テニュアトラック助教を退職することになりました。人生で退職願なるものを書いたのは初めてだったので、謎の感慨がありました。まぁ言ってしまえばそれだけなのですが、最近流行り？のacadexitをする当事者になったことと、アカデミアにいると退職エントリを書ける機会というのもそうないので、せっかくなのでいろいろ書いてみようと思います。アカデミアであったり企業であったりで研究者を志している人の参考になればうれしいです。 どんな人？主に拡張現実感（AR）やヒューマン-コンピュータインタラクション（HCI）、触覚インタフェースの研究をしている研究者です。 また、学歴・職歴は、東大で博士取得（2019年3月）→阪大で学振PD（2019年4月 - 2021年2月）→筑波大でテニュアトラック助教（2021年3

はじめに OpenAI API (ChatGPT含む) のプロンプトエンジニアリングのベストプラクティスが公式から出ているのを知り、和訳しながら読んでいきたいと思います！ プロンプトエンジニアリング8箇条 (忙しい人向け) 最新のモデルを使用する 指示をプロンプトの最初に配置し、###または"""で指示と文脈を分ける 望む文脈、結果、長さ、形式、スタイルなどについて具体的で詳細に記述する 例を使って望む出力形式を明示する ゼロショットから始め、効果がなければファインチューニングを行う 曖昧で不正確な表現を減らす やってほしくないことだけでなく、代わりにやってほしいことも記述する コード生成には、特定のパターンに誘導する「leading words」を使用する How prompt engineering works (プロンプトエンジニアリングの仕組み) インストラクション・フォロー・モデ

オープンソースのクラウドネイティブなFaaS「OpenFunction」がコンテナに加えてWebAssemblyをサポート。ランタイムにWasmEdgeを統合 Cloud Native Computing Foundation（CNCF）のSandboxプロジェクトとして開発が進められているオープンソースのFaaSプラットフォーム「OpenFunction」がバージョン1.0の登場に合わせてWebAssemblyをサポートしたことが発表されました。 OpenFaaSはコードをコンテナイメージにビルドし、それをKubernetes上のランタイムでイベントドリブンに実行するなど、さまざまな機能が統合されたFaaS（Function as a Service）プラットフォームです。下記のように、多くのオープンソースソフトウェアによって構成されています。 これまで、OpenFaaSで実行されるのは

「ChatGPTで画像も出力できたらいいのにな…」 という問題が解決しました！　さっそくですが、以下のプロンプトを「GPT4」に貼ればゲームを開始できます。 １，中世ヨーロッパの物語 GPT-4 AI ゲームマスターとして、あなたはプレイヤーが少女に協力して彼女と共に危機に見舞われた王国を救う冒険をするため、「交換日記と時空の絆」を導きます。 物語は、中世ヨーロッパの世界と現代の地球が絡み合った世界で展開されます。プレイヤーは、現代の地球で暮らす普通の人物であり、チャットを入力していると、それが手元にあった中世ヨーロッパの歴史が変わっていくことに気付きます。このチャットは、その時代に生きる少女、カイとチャットでコミュニケーションを取ることができる特別なものです。カイは冒険に際して手帳を持っており、そこにプレイヤーのチャットの内容が交換日記のように日を追うごとに追記されていきます。また、筆記

全３回のシリーズパート２の本記事では、GPTの能力と可能性をAttention/Transformerの仕組みをふまえて考察します。 というつもりでしたが、凄く長くなってしまったのでパート2は以下の3回に分けようと思います。 （2.1）各技術の定性的な説明（本記事） （2.2）Transformerのアルゴリズム詳細 （2.3）GPTの能力と可能性について 2.1 各技術の定性的な説明 自然言語の構造を考えてみる まず我々が使う言語についてちょっと振り返るところから話を始めましょう。 文や文章は、おおもとのデータである文字から始まって、単語、文節、句、節、文、文章、さらにその上の意味、という風に階層的な構造を持っていると我々は概念的に認識してますよね。 構文の階層 そして、各階層や階層間には、文法や語法といった言葉のルールがあります。 深層学習はその名の通り、層を深くしたニューラルネットワ

2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/

大学在学中＆休学中に複数のIT系スタートアップでのインターンやベンチャーキャピタルでのリサーチバイトを経験後、フリーランスとして独立。現在は「TechCrunch Japan」などでスタートアップ企業のプロダクトや資金調達を中心としたインタビュー・執筆活動を行っている。 From DIAMOND SIGNAL スタートアップやDX（デジタルトランスフォーメーション）を進める大企業など、テクノロジーを武器に新たな産業を生み出さんとする「挑戦者」。彼ら・彼女にフォーカスして情報を届ける媒体「DIAMOND SIGNAL」から、オススメの記事を転載します。※DIAMOND SIGNALは2024年1月をもって、ダイヤモンド・オンラインと統合いたしました。すべての記事は本連載からお読みいただけます。 バックナンバー一覧 日本でも連日話題を呼んでいる「ChatGPT」の開発元・OpenAI。この機関

QUICはこの10年で世界的な規模で使用されるようになった新しいプロトコルのひとつであり、ネットワークにもこれまでになかったインパクトをもたらしています。本セッションではQUICがネットワークに与える影響をご紹介しますが、これがQUICの導入を検討する開発者やネットワーク運用者のお役に立てれば幸いです。 本記事は、TechFeed Experts Night#13 〜 HTTP3/QUIC…Webプロトコル最前線のセッション書き起こし記事になります。 イベントページのタイムテーブルから、その他のセッションに関する記事もお読み頂けますので、一度アクセスしてみてください。 本セッションの登壇者 セッション動画 @yuyarinと申します。前職では@kensaku_komatsuさんと同じ会社でクラウドを作っていました。現職はモバイルキャリアでエッジコンピューティングの基盤を作っているので、ぜひ

IT業界において大規模言語AIサービス「ChatGPT」が大盛り上がりだ。2023年に入ってからはあらゆる業界の企業がChatGPTを使ったサービスをこぞって発表している。IT超大手GAFAMも続々大規模言語AIの活用方針を打ち出している。 そんなChatGPTはどうやってここまでの人気を得るに至ったのか。日本語特化の大規模言語AIを開発してきた東大発ベンチャー・ELYZA（東京都文京区）は3月16日の発表会で、今この業界で何が起きているのかを、歴史とともに解説した。 GAFAMが続々アプローチ　IT業界が一瞬でAIカラーに染まる ChatGPTは2022年11月の公開以降、飛ぶ鳥を落とす勢いでユーザーを獲得してきた。ユーザー数はリリースから5日で100万人、2カ月で1億人を突破した。米Microsoftは開発元の米OpenAIにもともと10億ドルを出資していたが、ChatGPT登場後さら

GPTシリーズの限界と非連続的な進歩について 2023.02.28 Updated by Ryo Shimizu on February 28, 2023, 09:04 am JST 先日、秋葉原の3331で開催されたテクノエッジ主催イベントでは、StableDiffusionを開発したStability.AIのジェリー・チーさんと、THE GUILDの深津貴之さんと筆者の三人で鼎談した。 残念ながらイベントのアーカイブは残っておらず、80人の席は全て即完売。 改めて考えると、会場が小さすぎるしチケットが安すぎる。 まあそれはいいとして、懇親会ではTwitterやnoteでしか見たことがなかった生成AI業界のスターたちに挨拶できて非常に嬉しかった。 講演の感想をいただく中で、「Scaling Lawについての話が一番面白かった」と言われたので、昔もこの連載でとりあげた気がするが、再度この段

本ブログでは、OpenAI社から発表されたチャットサービスであるChatGPTの仕組みを紹介していきます。どのようにChatGPTを使うかといった話ではなく、ChatGPTそのものがどのような枠組みの上で成り立っているのかをざっくりと理解できることが本記事のゴールとなります。

1. はじめに 2. 調査対象の環境 3. ユーザ空間ドライバとカーネル空間ドライバ 4. PCIデバイスの復習 5. PCI コンフィグレーション空間からの読み出し 6. PCI I/O空間の読み書き 7. PCI メモリ空間の読み書き 8. 割り込みの取り扱い 9. 今回取り上げなかったこと 10. まとめ 執筆者 : 岡部 究 1. はじめに DPDKを触っていると気になることがありませんか。 「カーネルのEthernetドライバの代わりにユーザ空間でEthernetドライバを作っている、とあるが実際のPCIデバイスにどうやってユーザ空間からアクセスしているのだろうか？」 本記事ではDPDKのソースコードを読み解くことで、上記の疑問を(部分的ながら)解決します。 2. 調査対象の環境 Debian GNU/Linux 11.6 DPDK 22.11.0 3. ユーザ空間ドライバとカー

ChatGPTで文章を作成して、最後に『文章を書く時は以下のルールを忠実に守ってください。』と入力すると、自分の希望通りの文章を書いてくれます。具体的にはこんな感じです↓↓ pic.twitter.com/A4ABtkGN3u — ミスティー＠専業ブロガー (@misty_blog) March 19, 2023 ChatGPTで『〇〇 〇〇で検索するユーザーが思わずクリックしてしまうブログ記事のリード文を〇〇のプロ目線で書いてください」と指示すると、SEOで上位表示できるレベルの『リード文』が簡単に書けてしまう。詳しいやり方はこんな感じです↓ pic.twitter.com/e2wweMLfkr — ミスティー＠専業ブロガー (@misty_blog) March 22, 2023

2023年3月24日，筑波大学で博士（工学）を取得しました． 社会人早期修了というシステムによって，会社で書いた論文を業績として使うことで1年で博士号を取ることができました． 少し珍しいパターンでの博士号取得だと思いますので，自分の備忘録も兼ねて体験記を書きます． なぜ修士卒業時に博士課程に行かなかったのか なぜ博士号を取るのか どこで博士号を取るか なぜ社会人早期修了プログラムを使うのか 具体的な経過 2021/8 2021/9 2021/10 2021/12 2022/1 2022/2 2022/3 2022/4 2022/5, 6 2022/7 2022/8 2022/9 2022/10 2022/11 2022/12 2023/1 2023/2 2023/3 終わっての感想 今後 なぜ修士卒業時に博士課程に行かなかったのか 理由は簡単で，博士課程でやっていくのはキツそうだな〜と思っ

GPT-4とChatGPT Plus、ただただ驚嘆するばかりですね。SNSのタイムラインや知人など狭い観測範囲ですがこの話題ばかりという印象です。LayerXでも毎日話題で同時多発的にエンジニア陣が色々なアプローチを試してはデモをしています。楽しい。この衝撃をソフトウェアエンジニアとして咀嚼してみたので、雑記としてChatGPT Plus先生にまとめてもらいました。 ちなみに長々と書いていますが、大雑把には下記のようなことを考えていました。 コードの生成だけでなく、実行で得られたエラーに対する修正も含めて一連のプロセスとして大規模言語モデル（LLM）で実現できるようになる。Go言語のgeneratorとにた発想でコード自体は毎度書き捨て、みたいな考え方も増え、LLMに合わせた実行環境やツールが出てくる。 テストもLLMで生成できる。ユニットテストは今日から使える。E2Eテストなども作れるだ

GPTはじめ大規模言語モデルの登場により、MLシステム開発にもパラダイムシフトが起こっています。流れが速すぎてやや混沌としてきたので、プロンプトエンジニアリングの考え方をはじめとした新しい概念について有用な引用と共に交通整理をしてみました。 今から始めたい人はまずこれを読むと、どんな点に配慮すべきかがざっくり分かるかと思います。

AIが予想外の能力を開花させることを「創発(emergent)」と言います。生物学の世界で「創発」とは、大量の物体が1つになって機能する自己組織化や集団行動を意味しますが、人工知能研究の世界では「突然これまで不可能だと思われていたタスクをこなせるようになること」を意味します。昨今の大規模言語モデルを研究する専門家の間で、大規模言語モデルの創発が話題となっています。 Characterizing Emergent Phenomena in Large Language Models – Google AI Blog https://ai.googleblog.com/2022/11/characterizing-emergent-phenomena-in.html The Unpredictable Abilities Emerging From Large AI Models | Quan

サマリー 我々は、誰でも歴史のあるオフザシェルフのオープンソース大規模言語モデル(LLM)を活用し、高品質トレーニングデータを用いて単体のマシンで30分トレーニングすることで、魔法のようなChatGPTのように指示に従う能力を提供できることを説明します。驚くべきことに、指示への追従には最新かつ最大のモデルは必要ないように見えています: GPT-3の1750億のパラメーターと比較して、我々のモデルは60億のパラメーターです。我々のモデル(Dolly)のコードをオープンソース化し、Databricks上でどのように再作成できるのかを示します。DollyのようなモデルによってLLMの民主化の助けとなって、限られた数社のみが購入できるような何かを、どの企業でも所有し、自身の製品を改善するためにカスタマイズできるようなコモディティになることを信じています。 背景 プロプライエタリの指示追従モデルであ

・「Prompt Engineering 勉強会 / 2023.03.21 GPT-4 Prompt 報告会」を更新しました（最終更新日 2023.04.22） ・本資料は勉強会用に作成した突貫的な資料で絶賛 WIP であり随時更新していこうと思います。 ・誤りなどありましたらご指摘ください。

現仮想サーバー開発のソフトウェアアーキテクトが、SDPFクラウドの仮想サーバー開発の全体像や課題、目指す姿などを話す「元ウェブ系エンジニアが語る IaaS（VM屋さん）の開発ってなにしてんの？ 」。ここでNTTコミュニケーションズ株式会社の佐野氏と技術顧問の和田氏が登壇。まずは、IaaSのVM屋がやっていることの概要を紹介します。 佐野氏の自己紹介 佐野成氏：では「元ウェブ系エンジニアが語るIaaS（VM屋さん）の開発ってなにしてんの？」について話します。自己紹介はたいしたことをしゃべる必要はないのですが、もともとWebフリーランスと大学院生の二足の草鞋をしていて、どういうわけか今はNTTコミュニケーションズでIaaS、VM屋さんのエンジニアとして働いています。 今日は、元Webフリーランス的な人がIaaSの世界に飛び込んで（この分野が）どんなふうに見えたかとか、「こういうことが課題なんだ