テクノロジーカンファレンス「Google Cloud Day ’23 Tour in TOKYO」の登壇資料です。詳細は当社ニュースをご参照ください。 https://kazaneya.com/5a50c1c1bb7b42f1bd9eb7b35d813ba1 --- スモールチームで 300 万テーブル規模のデータ基盤を構築・運用し、社内・社外にデータを提供しています。スケーラブルな仕組みやデータ流通を実現するヒントになればと思います。 具体的には - BigQuery へのマイグレーション - dbt によるデータモデリング - IAM や AnalyticsHub によるデータ共有 - BigQueryML による異常検知 - CS 活動におけるデータ活用 といったテーマを扱います。 ---------------------------------------------------

コモレ☆ビヨリ🧨🩷1周年ワンマン4/30 @komorebiyori_09 Re:RIPLIE(@RIPLIE_KRY)くれないピンク(38歳)／／／ファンマ作っちゃった→🧨🩷TikTokでよく変身してる tiktok.com/@komorebiyori_… instagram.com/komorebiyori09…

Pythonでデータ分析するとき、Jupyter Notebookを使う人は多いことでしょう。 試行錯誤の結果、ほぼ分析の流れが定型化した場合、必要の都度、Jupyter Notebook に記載されたPythonコードを頭から単に実行するケースも、まぁまぁあります。 定型化された分析業務を、データサイエンティストなどが実施する必要はありません。 そのため、Jupyter Notebookのファイルを共有し、必要な人（データサイエンティストでない人）が必要なときに、定型化された分析業務を実施する、ということも実務の世界では起こっています。 必要な人（データサイエンティストでない人）にとっての興味は分析結果であって、Pythonコードではありません。 PythonのライブラリーMercuryを使うことで、Jupyter NotebookをWebアプリ化し、グラフなどの出力のみを表示することが

約30,000点の部品からできているクルマ。 そこには働く人の想いとくふうが詰まっています。 トヨタのクルマづくりの中心にあるのは、 「人」なのです。 約30,000点の部品からできているクルマ。 そこには働く人の想いとくふうが詰まっています。 トヨタのクルマづくりの中心にあるのは、「人」なのです。

2023-04-29 前回の記事の続き1で、Twitter の検索システムシリーズ第 2 弾です。 Earlybird とは?Twitter の検索システムであり、 Apache Lucene をベースにした、リアルタイム検索システム。 論文はここで、 Blog 記事は The Engineering Behind Twitter’s New Search Experienceは 2011 年に公開されている。 TODO: 論文に書かれず、Blog 記事にのみ書かれている内容もあったので読んで追記しておく Web 検索はある程度成熟してきた分野だが、SNS のリアルタイム検索はまだ 2011 年当時いまだ未成熟で未開拓な分野Twitter で新たに開発したのが、 Earlybird と呼ばれるリアルタイム検索に特化した検索エンジンLucene の NRT 機能が導入され始めたのが、2011

当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ この記事では最近のAIブームの火付け役になったGPTシリーズについて簡単にまとめていきたいと思います。

本記事は 2022年度 新人卒業記念Week 2日目の記事です。 🌸 1日目 ▶▶ 本記事 ▶▶ 3日目 📚 はじめに LangChainについて LangChainの機能 LLMs Prompt Template Document LoadersとIndexes Chains Agent まとめ はじめに こんにちは。新人の堤です。この1年はAWSを中心としたサービスの開発や運用を行っていました。最近はChatGPTなどのLLMを使って遊ぶのにはまってます。 今回は最近自分が色々試しているLangChainというライブラリについてご紹介したいと思います！ LangChainについて LangChainとはChatGPTなどの大規模言語モデル(LLM)を使ったサービスの開発を支援するためのライブラリです。LangChainを使用することで、LLM単独ではできないような他の計算や知識のソ

最近話題のRWKV-LMのRWKC-v4neo 14Bモデルを手元のPCで動かしましたので手順を書き残しておきます。とても簡単に書いてありますが、だいたい私が実行した通りです。 スペック CPU Intel Core i7 12700K 64GB Memory(16GB x 4) NVIDIA GeForce RTX 3070(8GB) ※ただしCPUモードで動かしています Windows 11 Python 3.9.12 PyTorch 1.13.1+cu117 なお、17Bモデルは64GBメモリでは本来不足なので、swap領域を増やしています。Windows 11の場合、「設定」⇒「バージョン情報」⇒「システムの詳細設定」⇒「詳細設定」タブ⇒「パフォーマンス」の「設定」ボタン⇒「詳細設定」タブ⇒「仮想メモリ」の「変更」とたどって、「カスタムサイズ」で十分大きなswap領域を設定します（

今回はこの中で紹介した例で出てきた「zero-shot-react-description」というAgentを使って以下の質問をしたときに内部でLLMとどういう連携をしているのか？を調べたのでそのまとめになります。 "Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?" 今回動作検証に用いたコードは以下の通りです。 import langchain from langchain.agents import load_tools from langchain.agents import initialize_agent from langchain.llms import OpenAI langchain.verbose = True llm = OpenAI(temperat

私は30代中盤で既婚済み子持ち(一人)のソフトウェアエンジニアというバックグラウンドがあります。そして、業務では英語を使い会議やコミュニケーションをしています。 昨年から英語が公用語のチームに参加しました。 会議やSlack、ドキュメントの記述などすべてのコミュニケーションが英語になり、早急に英語力を伸ばす必要性がでてきました。 そこで、12月16日から3月16日までの3ヶ月間PROGRITを受講して毎日3時間英語学習をしました。 www.progrit.co.jp 結果は...VERSANTのスコアが11点アップし、日本人平均を抜け出すことができました！ PROGRITの期間中、どういった学習をしたのか、感想などを記録として残しておきます。 少し長いですが、誰かの参考になることを願っています。 3ヶ月の学習成果 学習量 学習内容 シャドーイング 瞬間英作文 単語 多読 多聴 スピーチ オ

【徹底解説】これからのエンジニアの必携スキル、プロンプトエンジニアリングの手引「Prompt Engineering Guide」を読んでまとめてみた こんにちは。CX 事業本部 Delivery 部のきんじょーです。 ここのところChatGPT と戯れてアプリを作ったり、様々なプロンプトの検証をしていましたが、言語モデルの性能を最大限に引き出すために、体系的にプロンプトエンジニアリングを学びたいと考えていました。 GitHub に「Prompt Engineering Guide」という素晴らしいリポジトリがあったので、読んで検証した内容をブログにまとめていきます。 本記事は、執筆時点の上記リポジトリの内容を元にしていますが、意訳や独自に検証した日本語のプロンプトを含みます。 上記リポジトリも絶賛開発中の段階のため、最新情報や原文が気になる方はリポジトリを直接参照してください。 目次 プ

DeNAは3月1日、AI生成に関する資料「DiffusionによるText2Imageの系譜と生成画像が動き出すまで」を公開した。238ページにわたる大規模なもので、テキストから画像を生成する「Text2Image」や動画生成「Text2Video」を中心に、最新トピックをカバーしている。 資料では、急速に技術発展しているDiffusionモデルの基礎解説から、Text2Image／Text2Videoに関するさまざまな最新手法、AI生成にまつわる権利関係などの問題点について網羅的にカバーしている。

エンジニアとして世界の最前線で働く選択肢　～渡米・面接・転職・キャリアアップ・レイオフ対策までの実践ガイド 作者:竜盛博技術評論社Amazon 目的 突然ですが、今年2023年に新卒から12年務めた日本企業を退職し、 中国の企業に転職して現地で自動運転システムエンジニアとして 働くことになりました。 今まで海外で働いた経験も無く、中国語も話せない、そしてコロナ禍 ということもあり、日本企業から中国企業へ転職するというのはかなり 大変だったのですが、なんとか無事に自動運転システムエンジニアとして 雇ってもらうことができました。 自分の今回の転職活動経験が他の誰かの参考にもなればと思い、今回の 記事にまとめることにしました。かなり盛沢山の内容ですが、最後まで 読んでいただけると嬉しいです。 目次 目的 目次 自己紹介 現職について 転職理由 彼女との国際結婚 海外で自動運転技術の研究開発をした

www.iwanami.co.jp 内容 1章 生成モデルの一つとしての拡散モデル、拡散モデルとスコアマッチング法との関係について 2章 SBMとDDPMについて、学習対象の導出、統一的理解 3章 時間連続極限の場合と拡散モデルの高性能について 4章 条件付き生成、高解像度化、群不変、同変性 5章 アプリケーション 感想 他の本 画像生成AIブームによって注目されるようになったアルゴリズムである拡散モデルのおそらく日本語では最初の解説書です*1 拡散モデルの学習、生成手法はGANなど既存の生成型モデルとはかなり異なる部分が多く、理解が難しいところがあり、またその高性能を説明する理論は未だ完全ではないです。 本書は各種関連論文に記載されている導出の計算式が順を追って丁寧に書かれているにも関わらず本文が100ページくらいしかなく非常に密度の高い本です。広範な既存研究を順を追って理解できるように

2023年2月16日開催、サイバーエージェント メディア事業部主催のデータ活用に関する勉強会「メディアサービスにおけるデータ・AIの活用事例 #2」登壇資料です。 https://cyberagent.connpass.com/event/270224/