CTO 室の恩田です。 今回は GitHub Copilot Enterprise を評価してみて、現時点ではまだ採用しないことを決めた、というお話をご紹介したいと思います。 きっかけ とあるエンジニアが Slack で自身の times チャネルに時雨堂さんの GitHub Copilot Enterprise のススメという記事を投稿したことが発端でした。特に感想はなく URL に 👀 だけが添えられていたので、後で見るぐらいのメモだったんだと思います。 それを見かけた別のエンジニアが技術雑談チャネルにその投稿を共有して、これは凄そうと話題を向けたところ、CTO の「評価してみる？」の一言で、有志が集って評価プロジェクトが始まりました。 雑談チャネルできっかけとなる投稿が共有されてから、30分足らずの出来事でした（笑）。 この話題が出たのは金曜日でしたが、週明け早々に稟議を終え、火曜

今のLLMを取り巻く状況について紹介します。

2月29日に、文化庁で「文化審議会著作権分科会」の第7回が開催されました。著作権の専門家によってその制度について議論をする場ですが、今年度は2023年7月より「AIと著作権」について議論されてきました。3月に文化庁から政府に報告する「AIと著作権に関する考え方について（素案）」の最終案に近いものが発表され、1月下旬から2月上旬にかけて募った「パブリックコメント（パブコメ）」の結果報告もされるということもあり、注目されました。登場したのは「AIと著作権に関する考え方について（素案）令和6年2月29日時点版」、パブコメの結果を受けて、これまでの内容に微修正が施されていました。しかし、そこからわかったのは、文化庁の一貫したスタンスでした。 文化庁 文化審議会 著作権分科会 法制度小委員会（第7回） パブコメへの反応は「素案の内容周知」 発表物から議論を集めたのが発表資料に「パブコメの結果」が追加

そこで調子に乗って、このアルバムリリース直後に、バンドメンバーに日本の音楽誌がインタビューしたという想定で、ChatGPTに受け答えしてもらいました。その結果がこちら。 The Midnight Odyssey - 「The Odyssey of Echoes」リリース直後のインタビューインタビュアー: 鷹野隼人（Cosmic Prog Chronicles） ――まずは、素晴らしいアルバム「The Odyssey of Echoes」のリリースおめでとうございます。このアルバムを通じて表現したかった主なテーマは何ですか？ ジェイク・ハーパー (リードボーカル & ギター)ありがとうございます。このアルバムでは、時間と空間を超えた旅、そして内面の探求をテーマにしています。私たちは、聴き手に音楽を通じて冒険を体験してもらいたいと考えています。 アルバム「The Odyssey of Echo

昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装

Youtubeで配信しながら全プロンプトを実行しましたので、各節へのリンクを整理しました。時間のところにYoutubeへのリンクになっています。 もしずれていたら、その時間まで移動して視聴ください。 はじめに (4:00) 1章 ChatGPTの基礎知識 (5:50) 2章 ChatGPTの基本的な使い方 (6:28) 3章 ChatGPT Plusのセットアップ (7:32) 4章 ファイルのアップロードとダウンロード (12:40)4.1 アップロード・ダウンロード (13:03) 4.2 扱うことができるファイル (16:02) 5章 繰り返し作業を一瞬で (16:55)5.1 文字列操作 (17:20) 5.2 正規表現でのパターンマッチ (25:36) →54ページの正規表現でできることの例の説明 (29:09) 5.3 ファイルの一括操作 (46:20) 5.4 QRコード作成

これは全社会人が読んで得をする書籍ですが、特に「パソコンが得意ではない社会人の方」が読むと一番効用が大きいように思いました。 また、私自身IT業界で働いていて世間一般的には「パソコンが得意な人」だと思いますが、それでも知らなかった使い方もたくさんあり学びが多かったです。 この書籍の推しポイントやりたいことベースで書いてある 日常のあらゆる面倒なことに手が届く パソコン触りたての人がつまづきそうなポイントへのフォローが丁寧 （例：ChatGPTはShift Enterで改行できる、など） 試行錯誤のうえのプロンプト（＝AIに対しての指示）が載っているので出力が安定している （※ ChatGPTをはじめとしたLLMは同じ入力でも毎回出力変わります。また、ちょっと言葉が足りなかったりするだけで意図しない出力が返ってきますがそのあたりへの気配りが非常に丁寧です） 著書の専門性が高い（Kaggle

サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

ホーム AI論文解説, LLM, プロンプト 「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する 「自分を信じて限界を超えてください」など感情をグッと込めた指示プロンプトが添えられると、ChatGPTなどのLLMのパフォーマンスは向上する 2023/11/3 AI論文解説 LLM プロンプト AIDB Research 感情を込めたプロンプトが大規模言語モデル（LLM）の性能を向上させることが示されました。「自分を信じて限界を超えてください」や「困難は成長のチャンスです。」といった自信や成長に関わる要素を含む指示が、モデルの出力品質に貢献するとの報告です。 この発見は、人間の感情を取り入れたアプローチが、人工知能の分野においても重要な役割を果たす可能性を示唆しています。Microsoftなどの研究グル

近年、精神療法の領域でAIの活用に注目が集まっています。そんな中、カーネギーメロン大学などの研究者らによって新たなフレームワーク『Diagnosis of Thought (DoT)』が考案されました。このフレームワークは、LLMによって人々の「認知の歪み」を診断する目的に特化しており、専門家によって高く評価されています。 認知の歪みとは、例えば「0か100か」のような極端な考え方や、他人の考えを勝手に推測するなど、不健康な思考パターンのことを指します。 DoTフレームワークを用いた診断結果は、人間の専門家が出す診断結果とも高い一致性を示しており、その有用性が確認されています。 （追記）なお、本フレームワークに基づくMyGPTを作成しました。記事末尾にURLを記載するため、興味のある方はぜひお試しください。 参照論文情報 ・タイトル：Empowering Psychotherapy wit

Twitterから離れるにあたり念の為データをバックアップしました。（方法）せっかく過去の全てのツイートのデータを取得できたのでCode Interpreterに入れてどんな人物か推定させてみました。 面白半分に分析を始めましたが思ってた以上に推測されてだんだん怖くなっていったという記録です。 読み込み もうこれぐらいでは驚きませんがアップロードしたら余分な行を削除してJSONだけを取り出して読み込みました。 分析内容を提案してもらう 分析内容を考えるなんて人間のすることではありません。考えてもらいます。 年別の時間帯別の投稿数 2013年に起業したのでツイートが減り、2019年に会社をやめたのでツイート数が増えています。2020年は学校に通っていたのでツイート数が増え、2021年にまた起業したのでツイートが減っています。 2017年は子会社社長として働いていたのでツイート数が特に減ってい

ウェブをますます暗い森にし、人間の能力を増強する新しい仲間としての生成AI 2023.06.19 Updated by yomoyomo on June 19, 2023, 16:16 pm JST 少し前に佐々木俊尚氏の「オープンなウェブ世界とジェネレーティブAIの終わりなき戦いが始まる」という記事を読みました。自分の電子書籍に『もうすぐ絶滅するという開かれたウェブについて』というタイトルをつけたワタシ的にも、オープンなウェブが生成AIに脅かされるという話は興味があるのですが、今年はじめに読んだ、Oughtでプロダクトデザイナーを務めるマギー・アップルトンの「拡大する暗い森と生成AI」を思い出しました。 昨今この分野は動きが速く、半年前の文章でも随分昔に思えたりするものですが、都合良いことに、4月にトロントで開催されたCausal Islandsカンファレンスでマギー・アップルトンが「拡

ChatGPT関連のニュースを最初めちゃくちゃ嫌っていたうちの母親（57歳の主婦）が実際に使い始めたらどハマりしてしまったらしい。それだけなら面白いもんだが2ヶ月前、遂に「OpenAIのエンジニアになる」と言い出した。ちなみに母は一度も日本から出たことはないしプログラミングやIT系に勤務した経験もない。 ニューハンプシャー州にあるコミュニティカレッジのオンライン英語学習コースとCamblyというアプリで英会話やライティングを勉強しながら、Pythonやデータ構造、アルゴリズムの勉強をしている。本を読んで色々作りながらPython Certificationsという試験の勉強をしているらしい。 俺は2ヶ月前まで色々パソコンの基本的な使い方やファイルとかフォルダの違いについて教えていたが、もう多分母の方が詳しい。その情熱を数十年前に俺の教育に注いでくれればよかったのに。まあボケ防止にはなるだろ

「ChatGraph」はChatGPTのノードエディターで、ノードを組み合わせることで複雑なシステムを視覚的に構築できます。ChatGPTの高い性能を有意義に使えそうだったので、実際に使ってみました。 【ChatGPTのノードエディタ】ChatGraph - β - uynet - BOOTH https://booth.pm/ja/items/4728147 まずは、上記のリンクからChatGraphの配布ページにアクセスして「無料ダウンロード」をクリックします。今回は無料版を選択しましたが、ChatGraphには画像生成機能が付いたお布施版も存在しています。 ZIPファイルをダウンロードしたら、Windows標準機能や対応ソフトで解凍します。 ZIPファイルを解凍するとChatGraphの実行ファイル「graph.exe」が現れるのでダブルクリックして起動します。 ChatGraphの

ブログ「読書猿 Classic: between/beyond readers」主宰。「読書猿」を名乗っているが、幼い頃から読書が大の苦手で、本を読んでも集中が切れるまでに20分かからず、1冊を読み終えるのに5年くらいかかっていた。 自分自身の苦手克服と学びの共有を兼ねて、1997年からインターネットでの発信（メルマガ）を開始。2008年にブログ「読書猿Classic」を開設。ギリシア時代の古典から最新の論文、個人のTwitterの投稿まで、先人たちが残してきたありとあらゆる知を「独学者の道具箱」「語学の道具箱」「探しものの道具箱」などカテゴリごとにまとめ、独自の視点で紹介し、人気を博す。現在も昼間はいち組織人として働きながら、朝夕の通勤時間と土日を利用して独学に励んでいる。 『アイデア大全』『問題解決大全』（共にフォレスト出版）はロングセラーとなっており、主婦から学生、学者まで幅広い層か

AIもうええわい 2023.04.16 Updated by Ryo Shimizu on April 16, 2023, 03:24 am JST むかし、僕がいた業界は「ドッグイヤー」と呼ばれていた。 犬のように歳をとるのがはやいという意味だが、ドッグイヤーの感覚に慣れた僕にとっても、最近のAI関係のニュースの多さ、進歩の速さは異常だし疲れてきた。 この連載も、「一ヶ月くらい書いてないのでは」と思って確認すると、今月の頭に書いていた。まだ二週間しか経ってない。 何か書こうと思って、とりあえず何かタイトルを適当に打ち込もうとすると、「AIもういいわい」というフレーズが浮かんだ。 こんなこと誰かが先に言ってそうだなと思って検索すると、あんまり見つからなかったから、いまのうちに書いておくことにする。 最近のAI業界の進歩を映画業界に例えると、毎週スターウォーズが公開されているような状況である

LLMがここまで人々を惹きつける理由 最新型のLLMであるGPT-4が持っているパラメータ数は100兆個（！）とも言われている。勿論、ポジトロン頭脳にはならざるLLMの「中身」を人間は自由に見ることができるのだが、100兆個のパラメータの「値」がわかっても「なぜ、GPT-4は難しい質問に専門家張りの答えを（時に）返せるのか？」という問いに応えられる人類は、今のところこの世界に存在しない。実際にLLMが課せられているのは、文章の一部の意図的に隠されたところを当てる「穴埋め問題」とか、どの文章がどの文章の次に来るかという「文章の連続問題」に過ぎないので、それを学んだだけ（正確にはファインチューニングと言って目的に応じた「軽い」追加的な学習は必要である）でそんな器用なことができるのか、本当のところを理解している人はいないのである。 そんな馬鹿な、と思う人もいるかもしれないが、実はこの現象は人知れ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

あるメタファーの空間において二つのメタファーの対比(B)についてGPT4に列挙(1)させ、それからその対比を抽象化(2)させる。その後、抽象化した対比を異なるドメインに応用して具体化(3)させた