そろそろ前職を退職してから、はてなで働き始めて5年(!)が経とうとしている。5年も働いていると、昔何をやっていたか、その当時どういう気持ちで働いていたかを忘れてしまう。備忘録っぽく書き残しておこう。ポエムです、長いです、大体自分向けに書いてる。 NTT CS研 => 株式会社はてな チーム開発への適応 インフラ苦手意識の克服 教師なし機械学習の本番環境での運用 データ基盤とCustomer Reliability Engineerへの挑戦 今後はデータエンジニアリング NTT CS研 => 株式会社はてな 基礎研究職からWebアプリケーションエンジニアへの転職だった。ログを残しておくと、こういう時に振り返れて便利。 NTT CS研を退職して、株式会社はてなに入社しました - yasuhisa's blog 割と珍しい(?)転職ではあったかもしれないが、機械学習や自然言語処理はアルゴリズム単
YouTuberが4chanでAIを訓練して「ヘイトスピーチマシン」を生み出しネットに放流してしまう、AI研究者は困惑と懸念を表明
世界最大規模の画像掲示板である4chanは、多くの匿名ユーザーによりサブカルチャーから政治まで幅広いトピックの会話が交わされていますが、比較的検閲が緩いため過激な言論やヘイトスピーチの温床にもなっています。YouTuberのYannic Kilcher氏が、4chanの中でも特に物議を醸す「/pol/(Politically Incorrect板、政治的非中立／政治的に正しくない／非ポリコレ板)」から抽出した330万件のスレッドで訓練したAI「GPT-4chan」を作ったところ、過激で人種差別的な発言をまき散らす「ヘイトスピーチマシン」が誕生してしまったとのことです。 This is the worst AI ever - YouTube AI Trained on 4Chan Becomes ‘Hate Speech Machine’ https://www.vice.com/en/ar
AI研究団体・OpenAIが発表して話題を呼んだ対話型AI「ChatGPT」は、テキスト自動生成AI・GPT-3の派生形である「GPT-3.5」をファインチューニングした自然言語処理モデルです。チューリッヒ工科大学で機械学習とロボティクスの博士号課程に進んでいるダニエル・デュガス氏が、GPT-3が行っている数学的処理工程について解説しています。 The GPT-3 Architecture, on a Napkin https://dugas.ch/artificial_curiosity/GPT_architecture.html ◆入力／出力 まずGPTの「入力」とは一連のN個の単語のことで、「(入力)トークン」とも呼ばれます。そして、GPTの「出力」とは、入力トークンの最後に配置される可能性が最も高いと推測される単語です。例えば「not all heroes wear(すべてのヒーロ
エイプリルフールに便乗しているサイトまとめ2024年版
By ほしのるる 毎年おなじみのエイプリルフールが今年も始まりました～！どれが本当でどれがウソなのか、もしかしたらネタのふりをしているだけでマジなのではないか？というようにして現実と虚構が溶け合っていくカオスな一日のはじまりはじまり～。 ◆エイプリルフールのネタのタレコミのやり方 この記事中に未掲載のネタで「エイプリルフールやってる！」というのを発見したときや「うちもエイプリルフールをやってます！」という自薦の連絡はネタのタレコミ用メールフォームから送信してもらえればOKです！ ・掲載されやすくなる押さえるべきポイント GIGAZINE編集部員がサイトを見に行っても「どれがエイプリルフールのネタなのだ……？」ということで瞬時に判断できない＆ネタの意味がわからず記事化をあきらめてしまうしかない……となったり、「どこかがいつもと違うらしいが元のサイトの状態を知らないので、どこがどう変化したかま
RPGなどのゲームをプレイしている最中に、村人のようなノンプレイヤーキャラクターが同じことしか言わなかったり、同じ行動ばかり続けていることにがっかりしたことがあるゲーマーは多いはず。ジョージア工科大学と、Facebook AI Research(FAIR)が協力して行った最近の研究で、「目標を持って会話したり行動したりするファンタジーゲームのAI」が発表されました。 How to Motivate Your Dragon: Teaching Goal-Driven Agents to Speak and Act in Fantasy Worlds (PDFファイル)https://arxiv.org/pdf/2010.00685.pdf Teaching AI agents to communicate and act in fantasy worlds https://techxplor
はじめまして@vimmodeです。普段はMNTSQというリーガルテックの会社で自然言語処理をしています。今回はBERTとBERTまでの流れを簡単に紹介します。 自然言語処理で今やデファクトスタンダードとなりつつであるBERT。登場当時はモデルの複雑さに伴う計算環境や計算リソースの確保が難しく気軽に動かせなかったが、ColabやKaggleカーネル環境が整備されたきたおかげで誰でも気軽に使えるようになりました。 また、haggingface社が公開したBERTと関連モデルのラッパーライブラリであるtransformersによりわずか10行程度でBERTモデルを記述できます。 一方、自然言語処理を始めて間もない段階でいきなりBERTを突きつけられても理解の壁が高いと思いますので、今回は数式やコードを使わずにBERTに至るまでの流れを簡単に紹介したいと思います。 ※これらはあくまで私の理解であり
Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31 要約 機械学習は、製品や処理、研究を改善するための大きな可能性を秘めています。 しかし、コンピュータは通常、予測の説明をしません。これが機械学習を採用する障壁となっています。 本書は、機械学習モデルや、その判断を解釈可能なものにすることについて書かれています。 解釈可能性とは何かを説明した後、決定木、決定規則、線形回帰などの単純で解釈可能なモデルについて学びます。 その後の章では、特徴量の重要度 (feature importance)やALE(accumulated local effects)や、個々の予測を説明するLIMEやシャープレイ値のようなモデルに非依存な手法(mo
文章のなかの地理空間 － 地理空間情報科学(GIS)と自然言語処理(NLP)の融合へ向けて －
MIERUNE Meetup mini #4（ https://mierune.connpass.com/event/257222/ ）で使用した発表スライド（一部修正版）
流行のLLMを勉強したくて沢山本を読みました。 この後もしばらくLLM（GPT）関係の出版が続きそうなので、現状の本でまとめてみました。 参考： nowokay.hatenablog.com まとめ。 Transformerの仕組みを知りたい人で、画像のDeep Learningなら分かるって人はVision Transformer入門 言語モデルをデータセットを作る所からやってみたい人には、作ってわかる! 自然言語処理AI とにかくすぐに動かしたい人には、機械学習エンジニアのためのTransformers ビジネス的に何ができるのかを知りたい人はBERT入門 Vision Transformer入門 Vison Transformerになっていますが、Transformerの説明がとても詳しくお勧めです。実際に写経してパーツパーツで動かせるのはこの本だけ。Transformer一点突破な
[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models
パラメータを固定した事前学習済みモデルに対して、ごく少数のパラメータからなる低ランク行列を導入・学習することで、モデル全体のfine-tuningと同等の性能を発揮できる手法であるLoRAと、その論文について解説した資料です。 深層学習を用いた自然言語処理の歴史的な変遷と周辺技術から、LoRAが必要とされるに至った背景まで丁寧に解説します。
![[輪講資料] LoRA: Low-Rank Adaptation of
Large Language Models](https://cdn-ak-scissors.b.st-hatena.com/image/square/65cb19b58389a8172f4ae0e0bffde9aca1b0c31e/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F1a79cc87bdcc460ab0db72d0d9f2f902%2Fslide_0.jpg%3F25289431)
SQLiteでベクトル検索を可能にするsqlite-vssそんなポータブルで便利なSQLiteですが、そのSQLiteでベクトル検索ができるとなるとより夢が広がります。 SQLite自体はファイルベースなので、あらかじめベクトルデータを設定したSQLiteデータベースファイルをアプリに組み込んで配布しても良いわけです。そうすればデータベースサーバを用意しなくて済む分コストも圧縮されますし、組み込みなのでアプリからは軽量に動作します。 ホスティングする場合でもFly.ioのようにボリュームイメージを利用できるPaaSを利用すれば、問題なく運用が可能です。 前置きが長くなりましたが、このような夢を叶えてくれる拡張がsqlite-vssです。ベクトル検索はFaissベースで実装されています。 とっても良さげではあるのですが、実際に組み込んでみた場合のコード例が見つからなかったので、手を動かして試
国立研究開発法人情報通信研究機構（NICT（エヌアイシーティー）、理事長: 徳田 英幸）は、ユニバーサルコミュニケーション研究所データ駆動知能システム研究センターにおいて、独自に収集した350 GBの日本語Webテキストのみを用いて400億パラメータの生成系の大規模言語モデルを開発しました。今回の開発を通し、事前学習用テキストの整形、フィルタリング、大規模計算基盤を用いた事前学習等、生成系の大規模言語モデル開発における多くの知見を得ました。現在は、更に大規模な1,790億パラメータの生成系大規模言語モデル（OpenAI社のGPT-3と同等規模）の学習を実施中で、また、学習用テキストの大規模化にも取り組んでいます。今後、共同研究等を通して民間企業、国研、大学等と協力して、日本語の大規模言語モデルの研究開発や利活用に取り組む予定です。 NICTでは、これまでWebページを収集し、インターネット
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
こんにちは。Turing株式会社の機械学習チームでインターンをしている九州大学修士1年の岩政(@colum2131)です。 Turingは完全自動運転EVの開発をするスタートアップです。 自動運転技術において、カメラやセンサ情報は正確な制御をする上で不可欠な要素である一方、自然言語やマルチモーダルな処理が必要となる状況もしばしば存在します。特に完全自動運転車においては、音声認識によってドライバーの音声命令を認識し、リアルタイムで適切な制御を行うことや、複雑な交通状況の背景にあるコンテクストを理解させるといった要求が出てきます。そのために、「基盤モデル」と呼ばれるような、自然言語処理を含む大規模モデルの学習が必要になってくると、私たちは考えています。 そこで本記事では、言語モデルの発展の流れとTuringが目指す基盤モデルの開発について紹介します！ 1. 言語モデルとは？ 近年の言語処理モデ
AI（LLM）についてまだみんなが知らない8つの事実（論文：Eight Things to Know about Large Language Modelsについて）
いかにも海外の煽り記事みたいなタイトルを付けてしまったが、おおむねそういう感じの内容の論文が発表されて、興味深かったので今回はそれについて書いてみたい。 最近、「AGIが人類を滅亡させる！」みたいなAI人類滅亡説がにわかに広がっているらしい。 これの言い出しっぺみたいな人は、ユドコウスキー氏という方らしいが、彼は何十年も前からAI脅威論を言っていたらしい。そういう人もいるとは思うが、最近はそれを真に受けちゃう人が増えてるらしい。ChatGPTの実力に驚いた人が増えたからだろうか。 ホワイトハウスでFox Newsの記者が「AIが人類を滅亡させるってホントですか？」と質問しちゃうというような、パニック映画さながらの出来事まで起きている。これはエイプリルフールではない。 ホワイトハウスでFox Newsの記者が「機械知能研究所の専門家がAI開発を無期限に停止しないと文字通り地球上のすべての人間
【深津式プロンプト】「ChatGPTに役割を与える」活用例と使い方 | マーケターが知っておきたい生成AI
2022年11月末のリリース以降、1週間未満でユーザー数が100万人を突破するなど、大きな注目を浴びるChatGPT。マイクロソフトが検索エンジンBingとChatGPTを融合した、新しい検索機能を発表したことでも話題を呼んでいる。 そんなChatGPTにいち早く注目し、さまざまな活用方法を考案しているのがnote株式会社 CXOの深津貴之氏だ。同氏は2月9日（木）、「あなたの仕事が劇的に変わる!? チャットAI使いこなし最前線」と題したイベントに登壇し、豊富な具体例とともに仕事でも役立つChatGPT活用術を公開した。 本レポートではChatGPT初心者に向けた基礎知識を整理したうえで、“深津式”ChatGPT活用術を紹介していく。 ChatGPTとは？ 何がスゴイ？ChatGPTとは、OpenAI社が開発した自然言語処理のAIモデル「GPT」を搭載した、対話型のAIチャットツールのこと
はじめにLayerXの代表をしています福島と申します。本日はLLM(Large Language Model, 大規模言語モデル)について、なぜ大事なのか?経営者の視点でどうこの波を考えればいいのかについてです。 LLMが今非常に話題になっています。ChatGPTの裏側もこのLLMからできていると言えばわかりやすいでしょうか。 私は現在、LayerXという会社を経営しております。LayerXでも多分に漏れず、LLMに対するものすごいワクワクと、この波に対応しないと会社が消えてなくなるという強い危機感を抱いています。 私自身が元機械学習エンジニア、現在現役の経営者というキャリアを歩んできました。その立場から、なるべくわかりやすく、LLMの波というものを経営者がどう捉えるべきか、どう波を乗りこなすべきかの一助となればと思い筆を取っています。(機械学習のプロの方からすると、おいおいそれは単純化し
クオリアというのは、たとえば赤い色をみたときに、それがカラーコードとして同じであっても、リンゴの赤と血の赤で想起される「赤らしさ」が違うよね、そのそれぞれの「赤らしさ」とは？みたいな話です。 それがChatGPTの挙動と対応づけれるんではないだろうか、と。 ※ クオリアを解明できるという話ではありません もしくは、「りんご」と言ったときにあの赤い果物の直接的なイメージだけではなく「こないだ食べたのはちょっと固かった」だとか「スーパーで300円で並んでた」だとか「皮をむくのがめんどかった」だとかいろいろ想起されることも含めた「りんごらしさ」のことです。 正確にいえば、何かの単語や物体を意識したときに「らしさが生まれること」をクオリアと呼んでるんだと思います。 そいういうクオリアというのが結局なんなのか、というのが問題になってると思うのだけど、ChatGPTを見るとなんとなくクオリアというのが
本１冊を機械翻訳で訳してみた - Qiita
昨年暮れに、新 企業の翻訳者を目指す皆さんへという本を出版しましたが、その本を機械翻訳を使ってまるまる１冊英語に翻訳してみました。翻訳済みの英語はこちらです。PDFファイルを無料でダウンロードいただけます。 使った機械翻訳システムはみらい翻訳です。Google翻訳やMicrosoft Translatorも試してみましたが、少なくとも昨年夏にいろいろ試した結果、（英日はわかりませんが）日英の翻訳品質が一番良い印象でした。もっとも、定量的な評価をしたわけではないので、あくまでも「印象」です。 私は1980年代の終わりころに機械翻訳の研究をしていました（学位も機械翻訳の研究でいただきました）。ですので、ある程度は機械翻訳のことはわかっていると思っていました。初期のもくろみは、辞書の整備と十分な前編集を行うことで、ほぼ後編集なしで本１冊をまるまる英訳することでした。後で述べるように、今の機械翻訳
生成AIサービスの活用によって生産性を劇的に改善させた企業がある一方で、期待した成果を得られずに結局使わなくなってしまったという事例も多い。明暗を分けるのは何か。いち早く生成AIを実装したコネクテッドワークスペース「Notion」の日本法人であるNotion Labs Japan ゼネラルマネジャー アジア太平洋地域担当・西勝清氏と、研究室や経営する会社でNotionを使っている落合陽一氏に、生成AIサービス活用について語り合ってもらった。 生成AI「使う人、使わない人」で生じるギャップ ――日本における生成AIサービスの活用状況をどのように見ていますか。 西 新しいテクノロジーは時折登場して世間を驚かせますが、今回のLLM（※1）については、当初、日本の大企業や官庁の反応は非常によかったと思います。ところが、それは初速のみ。今では海外のほうが活用が進んでいる印象です。 ※1 生成AIの種
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま
ChatGPTのリリースでGoogleは「コードレッド」を宣言、AIチャットボットが検索ビジネスにもたらす脅威に対応するためにチームを再割り当て
AI開発団体のOpenAIが発表した「ChatGPT」は、自然言語処理モデルの「GPT-3」の進化系である「GPT-3.5」がベースになっており、質問文を打ち込むと人間が書いた文章と見分けが付かないほどに高精度の文章で回答してくれます。そんなChatGPTの登場に、ユーザー数世界最大を誇る検索エンジンを持つGoogleの経営陣が事業に対する深刻な脅威への警戒を示して「コード・レッド」を宣言したと報じられています。 ChatGPT and Other Chat Bots Are a ‘Code Red’ for Google Search - The New York Times https://www.nytimes.com/2022/12/21/technology/ai-chatgpt-google-search.html Google at 'code red' over ChatG
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks（PFN）は深層学習などの最先端の技術を最短路で実用化することで、これまで解決が困難であった現実世界の課題解決を目指しています。コンピュータビジョン、自然言語処理、音声認識、ロボティクス、コンパイラ、分散処理、専用ハードウェア、バイオインフォマティクス、ケモインフォマティクスといった幅広い分野で研究開発を行っており、それを支えているのが Kubernetes を用いて構築しているオンプレミス/ベアメタルの GPU クラスタです。 本セッションでは、PFN が Kubernetes を用いてクラスタを運用するなかでどのような障害が起きるのかを紹介し、また障害対応をどのように自動化しているのかを具体的に使用/開発したソフトウェアを含めてご紹介します。また Kubernetes クラスタの管理、アップグレードの自動化にも取り組んでおり、それを実現する Clus
はじめにこの記事は、文系出身の若手SIer社員が放送大学で情報学を勉強した記録です。主に似たような境遇の方への情報共有を目的に執筆しました。こんなやり方もある、という参考になれば嬉しいです。 簡単に自己紹介通信会社の名前が頭につくシステムインテグレータ（SIer）で、フロントエンドエンジニア兼UIUXデザイナーとして働いています。私立大学の文系学部を卒業後、研究留学を経て東京大学の学際情報学府という大学院で修士を取得し、2018卒として新卒入社して現在3年目ですそうこうしてるうちに5年目になりました。 大学院は広い意味での情報系ではあったものの、「社会情報学」と呼ばれる分野で、いわゆるコンピュータサイエンスではありませんでした（ICT4Dと呼ばれる国際開発学と情報学の合いの子のような分野の研究をしていました）。入社前には応用情報技術者試験にも合格し、何とかついていけるかなと思っていました。
ChatGPT を上手く使う方法として、非常に長いプロンプトが共有されているのを見たことがある方は多いと思います。ただ、実務で使う場合長いプロンプトより短いプロンプトの方が扱いやすく API を利用する際のコストも少なく済みます。「ユーザーが作成した Excel マクロをメンテナンスしてほしい」と言われると 90% のエンジニアは不吉な予感に胃が痛くなると思いますが ( ※個人の感覚です ) 、今後誰かが生み出した長文プロンプトが業務に欠かせないものになっていて数文字変えると挙動が変わるようになっていたりしたらメンテナンスには想像を絶する苦痛が伴います。 プロンプト内の表現が性能へどのように寄与するのか計測することができれば、不要な表現を削り短くすることができます。本記事では、既存の書籍や記事をもとに期待する回答の基準点を定め、基準点よりどれだけ差異ある返答が得られたかで評価する方法を提案
AWS re:Invent 2020の会期中に発表された新サービス/アップデートのまとめです。 今年も、後から出来るだけ素早く簡単に振り返ることができるようにまとめました！ 凡例 (無印) 新サービス (Update) 既存サービスのアップデート (APN) パートナー制度に関連したリリース/アップデート 12/1 (火) 今年の開幕は「Amazon EC2 Mac instances」でした。 Amazon EC2 Mac instances macOS用のAmazon Elastic Compute Cloud （EC2） Macインスタンス EC2 Macインスタンスを使用すると、iPhone、iPad、Mac、Apple Watch、Apple TV、Safari用のアプリ開発者は、macOS環境を数分でプロビジョニングしてアクセスし、必要に応じて容量を動的に拡張し、AWSの従量課
OpenAI が提供している ChatGPT は非常に面白いですね。今年以後、GPTやChatGPT周りがさらに流行ると思います。 この記事は、TypeScriptでChatGPTクローンを作る第一弾です。長くなりすぎるため、この記事では、GPTを使った検索エージェントを実行するまでを取り上げます。 検索エージェントは「ぼっち・ざ・ろっくの作者は？」と尋ねたら検索エンジンとGPTを使って「はまじあき」という結果を生成できる技術です。 またこの記事や、続く記事でLangChainのプロンプトをあれこれ読み解いていこうと考えています。 筆者は機械学習の初心者であるため、間違ったことが書かれている可能性があります。間違いがあった場合は、ぜひご指摘いただけると幸いです。 なお、この記事では添削にChatGPTおよびGPT-3.5を使っています[1]。 どうやってTypeScriptでChatGPT
【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで｜ppp
【文春オンライン「ChatGPTには逆立ちしてもできないことがある」平井鳥取県知事が誤解覚悟で「使用禁止」を訴えた真意】の記事を読んで ■5/22追記 投稿したのは数日前なのに、なんだこれ？ ちょっと怖い。 ■はじめに 日曜日、chatGPT-4（以下「GPT」）のプロンプトや拡張機能を色々と試していました。また、GoogleのBardも使えるようになっていたので、素人なりに試行錯誤していました。 朝から何時間も試行して疲れたので、ちょっと気分転換にTwitterの”おすすめ”に流れてくるツイートを漫然と見ていました。 すると、見出しの記事が流れてきました。別に私は鳥取県知事に対して好意も悪意もない・・・というか、あの時おすすめツイートが流れてこなければ、他組織の首長のインタビューを読むことは恐らくなかったでしょう。北海道知事や沖縄県知事が何をしようと関心ないし、それと同じ程度に関心ないも
機械学習モデリングの広辞苑的書籍「Kaggleで勝つデータ分析の技術」が良かったので筆者に媚を売る - Stimulator
- はじめに - 当ブログでは恒例になっている、献本されたので筆者に媚を売るシリーズです。 今回は10/9に発売予定の「Kaggleで勝つデータ分析の技術」という書籍なんですが、既に発売前にしてAmazonベストセラー1位。豪華著者陣とKaggleにおいては日本有数の起業と言っても過言ではない、DeNA株式会社の豪華レビュワー。筆者がブログを書いていたり、u++さんがめちゃくちゃ丁寧な書評を書いていたり、Kaggle Grand Master各位の薦めツイートも出てきた段階で、もう私が媚を売る必要すらないと思いますが、良かったので感想だけでも残しておければと思います。 Kaggleで勝つデータ分析の技術 作者: 門脇大輔,阪田隆司,保坂桂佑,平松雄司出版社/メーカー: 技術評論社発売日: 2019/10/09メディア: 単行本（ソフトカバー）この商品を含むブログを見る 端的に言えば、テーブ
ソフトウェアの中身を大きく2つに分解すると、プログラムとデータに分かれます。コードコンプリートやA Philosophy of Software Designなど、評判の良いソフトウェア設計の本はいくつかありますが、それらはどれもプログラムの説明がメインでデータのライフサイクルについての説明はなかったと思います。しかし、データの表現にもいくつもの方針があって、それによるトレードオフがあるな、というのはもやもやと考えていたので、その考えをまとめて文章にしてみました。 データといっても、処理中の短期間の間では変わらない、いわゆるマスターデータ的なデータです。ジャーナルというか、トランザクション的なデータはここでは触れません。 この記事では、それぞれのトレードオフについて考えていきます。 即値（リテラル） 定数 コマンドライン引数 環境変数 設定ファイル ダウンロードコンテンツ オンラインデータ
画像や文章の自動生成、顔認識、ゲームのプレイなど、人間の行動を模倣するAIを開発するためには、膨大なデータセットで学習する必要があります。データセットの内容にはインターネットに存在する画像や文章が使われるケースが多くありますが、このインターネット上にある文章に含まれる誤字がAIの発達に大きな影響を及ぼすと、IBMリサーチ・Amazon・テキサス大学の研究者が発表しています。 [1812.00151] Discrete Adversarial Attacks and Submodular Optimization with Applications to Text Classification https://doi.org/10.48550/arXiv.1812.00151 If AI can read, then plain text can be weaponized – TechTa
冷たい空気がストッキングを通過する灰色の空の下を歩き、少し早めに会場に着いた。 ここは、友人と私の母校。いつもは学生食堂として使われているテーブルの数々に、白いクロスがかかり、銀色のカトラリーと花の装飾が並んでいる。 席次を見る。同級生は一人もいない。一人だけ、知っている名前が私の名前の隣に並んでいた。彼は、以前盛大にキレて縁をぶち壊してしまった社長だ。友人は、きっとこのことを知らなかったのだろう。 トイレに行ったり、荷物の整理をしたり、席次や食事のメニューを見たりしながら時間を潰す。会場には人が増えてきて、会話する声の総量が増大する。社交性のない私は、同じテーブルに座る知らない他人に会釈すらできなかった。 披露宴が始まる。扉の向こうから、新郎新婦が入場する。花とレースに身を包まれた小さな体が近づいてくる。友人は、ウエディングドレスが誰よりも似合っていた。 彼女は私と同じ、アダルトチルドレ
はじめに 人間のコミュニケーションは言語だけではなく、表情・仕草など数多くの非言語情報が含まれています。機械的・プログラム的に人の行動を分析・解釈するときには、そのような非言語情報も加味し意味づけを行っていくことでより多くの情報を取得することができます。画像処理、自然言語処理、音声認識など各分野でこれらの技術は研究開発されていて、マーケティングやロボットとの交流システムなど数多くのフィールドで応用されることが期待されています。今後も大きく発展していくことでしょう。 前回の記事(「たけのこの里」を「きのこの山」に『正しく』自動で修正して差し上げるプログラム) では、文章中の誤りを修正するためにテキストからの感情推定APIというものを使ってみました。このような自然言語処理技術を活用することで、話者の抱いている感情を推定し、その感情によって違った反応を返すことができるようになります。例えば、話者
はじめに 最近、翻訳サービスをリリースしたりしてから、機械学習の勉強をどこでしたらいいのか聞かれることが増えました。 機械学習関連の知識は遷移が激しいので、書籍には限界があります。 ですので、その度に「twitterが一番勉強になる」と答えていました。 が、この回答は聞き手依存な無責任な回答な気もしたので、この際フォローすべき人をまとめておこうと思います。 時折機械学習系でない人も紛れているかもしれません。 とりあえず40アカウントおすすめするだけの記事なので、抜け漏れはあると思いますが、後日補完していこうと思います。 登場するアカウントには何の許可も取っていませんが、独断と偏見でアカウントの特徴をメモしていきます。 (メモとはいえ失礼のないよう書いたつもりです) 0. goto_yuta_ 私です。機械翻訳や、論文のまとめなどの話が多いです。自作の機械翻訳サービスの中身に触れたりします。
アジャイルプラクティスガイドブック チームで成果を出すための開発技術の実践知 チーム・組織にプラクティスを導入し、根付かせるために！ 116の手法を一冊にまとめた“実践”の手引き チームでのアジャイル開発には、開発技術やツールなどの「技術プラクティス」の活用が重要です。 プラクティスはそれぞれの目的や役割を意識することで効果を発揮します。しかし、目まぐるしく状況が変化する開発では、当初の目的を忘れて、プラクティスに取り組むこと自体が目的化してしまうチームも少なくありません。 本書は、チーム・組織でアジャイル開発に取り組んできた著者が、プラクティスの効果的な選択・活用のしかたについて、自らの実践経験に基づいてまとめたガイドブックです。 架空の開発現場を舞台にしたマンガとともに、チーム開発の様々なシーンで役立てられるプラクティスを、幅広くかつわかりやすく解説しています。開発現場に備えておけば、
ChatGPTを使ってプレゼン資料を作る エンジニアのみなさんはコードを書くことは得意でもLTなどで発表するプレゼン資料（スライド）を作成することが苦手の方もいらっしゃいますよね。そんな人（自分含む）にChatGPTを使ってスライドを作成する方法についてまとめましたので共有します。 ちなみに、現状(2023/03/30時点)のChatGPTには直接スライドを出力できるような機能はないので、下記のような感じで工夫するとChatGPTを使って爆速でスライドが作れちゃいます。 使用するツール ChatGPT Marp for VS Code Marpって何?という方は下記の記事をご参考ください。簡単に言うとMarkdownからスライドを作成できるものです。もちろん皆さん大好きなPowerPointやPDFにも出力可能です。 作成フロー 1.ChatGPTでプレゼン資料にしたい内容をMarp形式で
［CEDEC 2023］メタスコア85点を獲得した国産インディーゲームは，いかにして作られたのか。セッション「『メグとばけもの』のつくりかた - 心を揺さぶるゲームの技術」をレポート
［CEDEC 2023］メタスコア85点を獲得した国産インディーゲームは，いかにして作られたのか。セッション「『メグとばけもの』のつくりかた - 心を揺さぶるゲームの技術」をレポート ライター：大陸新秩序 2023年8月25日，ゲーム開発者向けカンファレンス「CEDEC 2023」にて，セッション「『メグとばけもの』のつくりかた - 心を揺さぶるゲームの技術」が行われた。 本セッションには，インディーゲームデベロッパ Odencatの代表取締役社長 佐藤大悟氏（以下，Daigo氏）が登壇し，同社の「メグとばけもの」（PC / Mac / Xbox Series X|S / Nintendo Switch / Xbox One）の開発過程を披露した。 「メグとばけもの」とは Daigo氏によると「メグとばけもの」は，HP99999の化け物が少女を守って戦うゲームで，内容は「ありきたりな設定で
こんな感じの文章を自動生成できます。 二人の男女を一様に観察していました。私は仕方なしに立って、再び封の中へ、自分の左右前後を見廻して母の頭は陛下の病と父の病と父の病とを結び付けて考えるのが変に気味が悪かったのです。固よりそこにはまるで解りませんけれど、おそらくそんな意味じゃないでしょう。私の考えは行き詰まればいつでも両方が同時に奥さんのいる事をとうから自覚していました。先生の附近で盗難に罹ったものが、僻んだ私の眼を擦りました。それでも鷹揚に育った私は、もっと海の中で遊んでいられるか、宅へ帰って食卓に向った時、両親の死に断えた私の卒業する前に、また一種の弛みができても、決して強い言葉で説明しました。 モチベーション 同じようなツール・サービスはいくつも公開されていますが、ほとんどが以下の 3 つの方式を採用しており、個人的にはあまり満足できていませんでした。 短い定型文の繰り返し: 一種の
スクエニのAI検証実験プロジェクト『ポートピア連続殺人事件』Steam無料配信スタート。野心的実験ながら、苦渋の“雑談機能削除”が影響残す - AUTOMATON
スクウェア・エニックスは4月24日、『SQUARE ENIX AI Tech Preview: THE PORTOPIA SERIAL MURDER CASE』を無料配信開始した。Steamストアページより、プレイすることができる。 本作は、『ポートピア連続殺人事件』をベースにした“自然言語理解の体験用ソフトウェア”だ。オリジナル版『ポートピア連続殺人事件』ではプレイヤーが文字列を入力してキャラの行動を決定し、物語を進めるコマンド入力式のシステムが採用されていた。同システムでは自由な文字列を入力してゲームを遊べるものの、すべき行動がわかっているのに適切な文字列がわからないといった事態も起こりえた（ファミリーコンピュータ移植版では、コマンド選択式が採用）。 一方、本作では入力されたテキストの判別に自然言語処理（Natural Language Processing）を採用。大量のテキストデー
大規模言語モデル (LLM) の進化: GPT 以降の最新動向 / AWS Dev Day 2023 - Evolution of LLM since GPT
このセッションでは、最新の大規模言語モデル (LLM) とその技術的進歩を紹介し、自然言語処理タスクやクリエイティブなテキスト生成、コード生成などの実践的なデモンストレーションを通じて、LLM の多様な応用例を探ります。また、スタートアップや大企業での活用事例や学術研究での成果を紹介し、LLM の未来に関するチャレンジや機会についても議論します。このセッションを通じて、開発者やアーキテクトは LLM の最新動向を理解し、その応用や技術的な発展に対する洞察を深めることができます。 https://aws.amazon.com/jp/events/devday/japan/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなで働き始めてからほぼ5年になるので振り返ってみる - yasuhisa's blog
OpenAI開発のテキスト生成AI「GPT-3」がどんな処理を行っているのかを専門家が解説
ファンタジー世界が舞台のゲームでAIが「目的があるかのように」話したり行動したりできるようにする研究
自然言語処理でBERTまでの流れを簡単に紹介 - moriyamaのエンジニアリング備忘録
Interpretable Machine Learning
初心者が言語モデルを勉強するための本（2023年6月版） - ぱたへね
SQLiteでベクトル検索ができる拡張sqlite-vssを試す｜mah_lab / 西見 公宏
日本語に特化した大規模言語モデル（生成AI）を試作｜2023年｜NICT-情報通信研究機構
実践！大規模言語モデル / 1000億パラメータ越えモデルを動かすには？
LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方｜福島良典 | LayerX
クオリア問題はChatGPTで説明がつく - きしだのHatena
落合陽一がNotionで実践する｢共有知｣の活用法 | Notion | 東洋経済オンライン
ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog
文系出身の若手SIer社員が放送大学で情報学を勉強してレベル上げした話｜lumpsucker
ChatGPT の長いプロンプトに意味があるのか気になったときに試す評価方法｜piqcy
AWS re:Invent 2020で発表された新サービス/アップデートまとめ - Qiita
TypeScriptでGPT-3.5を使ってChatGPTクローンを作る1 - GPTで検索エージェント
データライフサイクルとトレードオフ | フューチャー技術ブログ
インターネット上の文章にわざと誤字脱字をまぎれこませることでAIを狂わせるサイバー攻撃の可能性
友人の結婚を素直に祝えない｜ゎ｜note
俺・・・感情がねえんだ・・・ ←色んな感情推定器で本当に感情が無いのか分析してみる - Qiita
【厳選】機械学習の学習におすすめのTwitterアカウント40選 - Qiita
【2024年】ITエンジニア本大賞まとめ - Qiita
ChatGPTを使って爆速でプレゼン資料を作る - Qiita
自然な日本語ダミーテキストを生成するWebアプリを作りました