Langchainを使用したKnowledge Graphの構築と質問応答 - Qiita
はじめに 「Knowledge Graph（知識グラフ）」は、情報を関連付けて構造化するグラフベースのデータモデルです。エンティティ（例：人、物、場所、概念など）間の関係をノードとエッジで表現することができます。以前紹介したRetrieval（本記事の下に該当記事へのリンクがあります）を用いた方法と似ているのですが、Retrievalが基本的には1:Xでデータベースから回答に関連した情報を探しにいくのに対し、知識グラフでは、逆引きを含むX:Xのような情報が複雑に関連している場合や、複雑なクエリの解決に役立ちます。一方で、情報の正確性確保やスケーラビリティの問題などの課題も存在します。 今回は、Langchainを使用して、テキストから知識グラフを構築し、その知識グラフを基に質問応答を行う方法について解説します。知識グラフを使うことで、ChatGPTだけでは回答の難しい、現在の出来事や専門知
祖母が就寝するとDBインサートができなくなる - Qiita
世の中には、一見関係なさそうな物理現象がITシステムに不可思議な影響を及ぼすことがあります 例えば,500マイル以上離れた場所にメールが送れないという話だったり 中国人のAさんがお茶を入れると会社のネットが繋がらなくなる という話があります。 私の場合は、祖母が就寝するとDBインサートが失敗する、という状況でした 実家の見守りシステム 問題が起きているのは、離れた実家にいる一人暮らしの祖母の状態を見守るために作成した自作のシステムです。 気温や湿度、CO2濃度、明るさ、部屋のドアの開閉、冷蔵庫の開閉の状況をモニタリングできるようにしています。 Raspberry Piに各種センサが接続され、定期的にInfluxDBに送信し、Grafanaという可視化ツールでいつでも見られるようにしています。 これらの情報を見ることで、祖母の家の部屋の温度が適切か、活動しているか、部屋にいるかなどが分かりま
自然言語処理のサンプルデータセットを簡単に取り扱えるライブラリdatasetsの紹介 - Qiita
datasetsで公開されているデータセットはdatasets.list_datasets()で確認できます。 本記事の投稿現在（2021年2月24日）では680件のデータセットが公開されているようです。 import datasets # 公開されているデータセット一覧 print(datasets.list_datasets()[:10]) # 最初の10件だけ表示 print(len(datasets.list_datasets())) # 全件数も確認 # ['acronym_identification', 'ade_corpus_v2', 'adversarial_qa', 'aeslc', 'afrikaans_ner_corpus', 'ag_news', 'ai2_arc', 'air_dialogue', 'ajgt_twitter_ar', 'allegro_revi
オセロAI世界1位になってオセロAIをｶﾝｾﾞﾝﾆﾘｶｲｼﾀ話 - Qiita
オセロAIを作り始めた日のこと あれは2021年4月のこと、今思い返せば偶然が重なって起きた出来事でした。 第一の偶然は、ゲームAI(ゲームを自動プレイするAI)世界4連覇の方になぜかゲームAIの初歩的な話を30分程度教わっていたことです。 第二の偶然は、Twitterの知り合いが「オセロソフトRTA」なる競技をやっているのを目にしたことです。なんじゃそりゃ、と思った私はすぐに、その競技が 「オセロで遊ぶプラットフォームをどれだけ早く作るか」を競うものだとわかりました。 面白い、やってみよう。 YouTubeでライブ配信しながら、私はオセロソフトRTAをやってみました。その時のライブはこちら。3時間で完成できれば良いと思っていたのですが、思ったよりも早く終わってしまいました。 オセロAIでも作るか。 こうして私のオセロAI制作が開始しました。 何をしたら良いかわからなかった オセロAIを作
判例PDFをパースする際にハマること - Qiita
概要 最近は行政データをオープンに公開することで、広く官民に使ってもらおうと言う動きが活発だ。裁判所も過去の判例データを公開している。こちらのサイトで、過去の判例データを検索して、判決文や判決に至る根拠を書いたPDFをダウンロードできる。 しかし、そのPDFは人間が読むことを想定しており、PDFの内容を機械が読み取ってデータとして利用することは想定していないように見られる。 今回は、判例PDFをダウンロードして、機械的に読み取り、テキスト化する際にどのような不便があるかを共有する。 アドベントカレンダーへの参加 こちらの記事は、CivicTechテック好き Advent Calendar 2020 12/15に参加しています。 使用ツール PDFから機械的にテキストを抜き出すツールは色々ある が、今回は、pdfminer を利用して判例PDFからテキストファイルを抜き出す。pdfminer
異常検知入門と手法まとめ - Qiita
異常検知について勉強したのでまとめておきます。 参考文献 下記文献を大いに参考にさせていただきました： [1] Ruff, Lukas, et al. "A Unifying Review of Deep and Shallow Anomaly Detection." arXiv preprint arXiv:2009.11732 (2020). [2] 井手. "入門 機械学習による異常検知―Rによる実践ガイド" コロナ社(2015) [3] 井手,杉山. "異常検知と変化検知 (機械学習プロフェッショナルシリーズ)" 講談社サイエンティフィク(2015) [4] 比戸. "異常検知入門" Jubatus Casual Talks #2(2013) [5] Pang, Guansong, et al. "Deep learning for anomaly detection: A rev
桃太郎電鉄の「いけるかな」を実現する高速なアルゴリズムの実装と考察 - Qiita
この記事は「データ構造とアルゴリズム Advent Calendar 2020」16日目の記事です。 15日目の記事はyurahunaさんの「木分解上の動的計画法」で、 17日目の記事はtsukasa__diaryさんの「Lawler の K-Best 列挙アルゴリズム」です。 この記事内で使用しているプログラムやそのテストプログラムは全て以下のGitHubリポジトリで閲覧可能です。プログラムの詳細に興味がある方はこちらをご覧ください（ついでにStarを押していってくれると喜びます🙂）。 Github: ashiba/Imprementation_of_IKERUKANA: Momotaro Dentetsu is a game. 変更履歴 2020/12/21に「最終的に貧乏神が付かない移動方法 ～貧乏神持ちの場合～」, 「最終的に貧乏神が付かない移動方法 ～貧乏神がついていない場合～
ニコニコでアナリティクスを作ったら「分からない」が怖くなくなった話 - Qiita
この記事はドワンゴ Advent Calendar 2020 14日目の記事です。 13日目は saka1_p さん1の ボードゲームの画像認識とアルゴリズム についての記事でした。 こんにちは！ @namaozi です。ドワンゴでニコニコ動画の開発を担当しております。今年でもう入社4年目になります。主に投稿者向けの機能開発に携わることが多く、最近では「 ガレージ 」と呼ばれる投稿者向けのサービスの開発をよく担当させていただいております2。 先日リリースされた「投稿動画のアナリティクス機能」も開発を担当させていただきました。 この記事では、アナリティクス機能の開発で得た経験が問題解決のスキームを俯瞰するきっかけになり、「分からない」への価値観が大きく変わった、という話をしたいと思います。 言いたいことを3行で 「分かる」が増えると「分からない」は増える。「分からない」は自然なので怖くない
にじさんじの配信者の類似性をチャットデータからネットワークグラフにして分析する - Qiita
にじさんじの配信者間で"似ている"配信者はどういう人たちか 唐突ですが、一週間前は文化の日でしたね。せっかくだったので、文化らしいことをしたいなと思い、youtube data apiを使って遊んでみることにしました。 youtube のデータを使ってなにかしよう、となったとき、他の人はどういう分析をするんでしょうか。最近よくみるデータとしてはスパチャランキング・登録者数推移の予測などが思い当たります。 そしてまた唐突に語り始めるのですが、僕はvtuberの配信をラジオ代わりに流していることが多く、いわゆるvtuberのオタクです。オタクのあり方には諸説ありますが、僕はラジオ代わりということもあり雑談配信やマイクラ配信を流していることが多いです。「にじさんじ」の配信を見ることが多い気がします。 さて、「にじさんじ」は言わずとしれた大所帯グループです。約100人の配信者が一つの箱に所属してい
VTuberのホームページをGitHubのプルリクだけで更新していったらどうなるのか？企画に参戦してみた - Qiita
VTuberのホームページをGitHubのプルリクだけで更新していったらどうなるのか？企画に参戦してみたTypeScriptYARNOSSReactVtuber おめシスはいいぞ VTuberのホームページをGitHubのプルリクだけで更新していったらどうなるのか？という企画に参戦してみた。技術的にも非常に面白い試みだったので書き残しておく。 経緯 夜中にTwitterのタイムラインを眺めていたら興味深い動画を見かけた。 【検証】１ヶ月間、プルリクだけでホームページ作ったらどうなるの？ どうやら「おめがシスターズ（通称：おめシス）」というVTuberが、自分たちのホームページをGitHubのプルリクだけで更新していったらどうなるのか？という検証を行なっていた模様。 おめシスのホームページをGithubのプルリクで更新していったらどうなるのか、こっそり検証中です。そのうち動画にします！htt
「米津玄師どこにも行けない説」をword2vecと歌詞を駆使して「どこへ行きたい」か探ってみた - Qiita
これは1人のアーティストに追ったドキュメンタリー記事です。 皆さんは米津玄師(ボカロ名義:ハチ)さんをご存知ですか？ わからないよ〜という方、昨年大ヒットしたアニメ映画「打ち上げ花火、下から見るか? 横から見るか?」はどうですか？ そう！つい口ずさんでしまうあのメロディーです♪その映画の主題歌である「打上花火」の作詞作曲・ボーカルを担当しているのが米津玄師さんになります。 女性ラッパーで有名なDAOKOさんとコラボして歌った素晴らしい楽曲でした。 ボーカロイドやダンスなど様々な舞台で活躍している米津玄師さんですが、自身の楽曲の歌詞についてSNSで話題になっています。 LOSER ->もうどこにも行けやしないのに夢見てお休み パンダヒーロー ->どこにも行けないな Mrs.Pumpkinの滑稽な夢 ->どこへ行こうか？ 恋と灼熱 ->何処にも行けない私をどうする？ メトロノーム ->どこへ行
「サイゼリヤで1000円あれば最大何kcal摂れるのか」を量子アニーリング計算(Wildqat)で解いてみた。 - Qiita
「サイゼリヤで1000円あれば最大何kcal摂れるのか」を量子アニーリング計算(Wildqat)で解いてみた。量子コンピュータナップザック問題量子アニーリングqubowildqat こんにちは！初投稿です！ この記事が誰かに何かでためになれば幸いです！ 背景 僕は先日、この記事↓↓を読んでふと思いました。 サイゼリヤ1000円ガチャをつくってみた(Heroku + Flask + LINEbot) 「サイゼリヤで1000円あったら最大で何kcal取ることができるんだろう？」と。 最近、最適化計算を得意とする量子アニーリングの勉強を始めたこともあって、ナップザック問題をそのまま使えば、計算できるんじゃないか？と思い、早速実験してみました。 ナップザック問題とは ナップザック問題とは重量制限のあるリュックに、値段と重さが定義されたアイテムを詰め込むとき、値段を最大化させるアイテムの組み合わせは
岡田を切る技術 - Qiita
これはとある回顧録 何度も諦めかけましたが、数年の歳月を経て遂に岡田を切る技術が一旦の完成へと至りました。その技術を巡る奮闘の歴史と成果について、ここに記録を残していきたいと思います。 画像時代 まずは「切る」という動作が何を指すかを明確にしておきます。 厳密な定義というよりは、切った感を得るために必要そうなふるまいとして定義します。 平面上のある領域が、任意の直線を境界として分割されること 分割された領域は物理法則に準じてふるまうこと 要するに気持ちよく岡田を切ることができれば目標は無事達成です。 物理エンジン 切った感を高めるためにはやはり「物理法則」に準じたふるまいが欲しくなります。つまりブラウザ上で動く物理エンジンが必要です。 世の中にはフルスクラッチで物理エンジンを作れる人間と作れない人間が居ると思われますが、残念ながら私は後者でした。勝ち目の薄い勝負は避け、素直に巨人の方にすが
YouTubeにパンコントロール機能を追加するChrome拡張を開発した - Qiita
YouTubeのプレイヤーに直接UIを追加して音声のパンニング（左右の振り分け）を可能にするChrome拡張を作った。 ■追記：現在はニコ生、OPENREC、SHOWROOMなど10以上のサイトに対応。 こんな感じで、なるべく画面に溶け込むように調整した。 ここからインストールできる。 目的と特徴 複数の配信を同時に見るときに、画面の位置と音の位置を同期させることによって聞き取りやすくなるような気がする。 プレイヤーに直接コントローラーを埋め込むことで、素早く&直感的に使えるようにした。 使ったもの Content Scripts これによって画面内に要素を追加できる。 Web Audio API StereoPannerNodeを使って音声を操作する。 jQuery 要素の追加とリスナーをシンプルに記述するために。 実装のポイント 動画の場合、音声ソースはvideo要素を指定する。 co
TensorFlow を使ってブラックホールとポンデリングを見分ける (追記あり) - Qiita
はじめに ハワイ、南米、南極など色々な箇所に設置された電波望遠鏡が協力し合う国際プロジェクト「イベント・ホライズン・テレスコープ」が、5500万光年彼方も向こうにある銀河の中心に位置する超大質量ブラックホールの撮影に成功したとの事。ブラックホールが直接撮影されたのは史上初の快挙との事で巷でも賑わっております。 さてこれだけ盛り上がると Twitter でも色々話題になっていて「ポンデリングに似ている」とか「ポンデリングじゃん」とか「ポンデリングにしか見えない」など色々と言われております。 それポンデリングじゃねぇの？ これはもしかしてブラックホールを見た事のない我々に対して、ポンデリングの画像を見せられ騙されているのではないかとさえ思い始めました。Twitter 上にも数多くのポンデリング画像が散見されています。そこで TensorFlow の力を借りて「画像がブラックホールなのかポンデリ
ニコニコ生放送がwebサービスを大人数で開発する際に辿ってきたフロントエンド アーキテクチャ - Qiita
この記事はドワンゴ Advent Calendar 2018 25日目の記事です。 ドワンゴでニコニコ生放送のPC Webフロントエンジニアをやっています、 @kondei です。 いつまでも新人気分だったのに、いつの間にか入社5年目になり、この前ナチュラルに新卒に歴史的経緯を語る立場になっていて勝手にショックを受けました。いにしえの時代（最後期のとはいえ）から現在まで実際に開発して知っているフロントエンド開発者が数人になってしまって貴重なので、いい機会なのでまとめようと思います。 内容的には ニコニコ生放送の watch ページを MobX で作り直している話と重なる部分もあります。 はじめに まず、大人数のフロントエンド開発でアーキテクチャをどうするべきかの一つの解を得たので、それを述べます。 そして、どうしてそうなったのか、つまりニコニコ生放送が過去にどういう問題を抱えてきて、どうい
WebサイトをHerokuで公開してドメイン取得とSSL化までの全手順
2018/6/4 公開していたサービスはAPIのリクエスト数上限を超えたため、停止いたしました ここでは元々作成したサイトも紹介していましたが、F5攻撃を受けたことでAPIのリクエスト数上限を超えてしまいました。 元々勉強の為に作成した物だったのでこのまま対策方法を学ぶのも時間が掛かりそうでしたのでサービスは終了させました。 今後のために対策方法がわかれば、次のサービスを公開する際に一緒に共有しようと思っています。 ここには公開手順のみ残して置きますのでよければ参考にしてください。 本文 自分で作ったwebサービスを公開したことがなかったので、知見を広げる為にもやってみようと思いました。 同じように、知識が浅い人、作ったサービスを公開したいけど何をすればいいかわからないという人の参考になればと思います。 公開手順 GitHubに登録 もしかしたら最初にやるべき事なのかもしれないですけど、ノ
Oculus GoのブラウザについてのWeb開発者目線からのまとめ - Qiita
(2021/12/5追記) 最新のOculusQuestの状況を https://qiita.com/wakufactory/items/b0fdf55da157e7a3346a に書きました。 OculusGoのブラウザは可能性を秘めている 話題沸騰のスタンドアロン型VRゴーグル、Oculus Goですが、ウェブブラウザが標準で搭載されています。 色々遊べそうなので、Webアプリ開発者目線でわかったことをメモって行きます。 OculusGoの標準ブラウザは、デスクトップからすぐに起動することができ、湾曲したウィンドウとして3D空間内に表示されます。 キャプチャだと随分湾曲してますが、実際見るとそれほどでもありません。(でも湾曲しない平面のモードも欲しい) 基本スペック 基本はAndroid7.1のChrome相当なので、エンジン的にはモダンブラウザとして問題なく扱えると思います。 一方で
キズナアイとねこますの声を入れ替える機械学習をした - Qiita
最近バーチャルユーチュ－バーが人気ですよね。自分もこの流れに乗って何か作りたいと思い、開発をしました。 モーションキャプチャー等を使って見た目を変えるのは かなり普及しているっぽいので、自分は声を変えられるようにしようと開発しました。 やったこと キズナアイさんとねこますさんの、それぞれの声を入れ替えられるようにしました。これによって、ねこますさんのしゃべった内容を、キズナアイさんの声でしゃべらせることができます。(逆も) 機械学習手法の一つであるCycleGANを用いて、変換するためのネットワークを学習しました。 パラレルデータ(話者Aと話者Bが、同時に同じ内容を話した音声)が必要ありません 。YouTubeから拾った音声でも変換ができます。 当然ですが、一度学習すれば、利用時には何度でも繰り返し利用できます。 期待できる効果 見た目だけでなく、声まで美少女になれます。やったね。 他にも
日本一マクドナルドから遠い場所 - Qiita
きっかけ 日本マクドナルド様のサイトの店舗検索の地図をみてたら、やたらたくさんの店舗が一度に表示できる。 これって全店舗一度に読み込んでるのかな、とChromeのデベロッパーツールで覗いてみると、全店舗分のJSONが見えた。 全店舗2887件。 ちょっと拝借して長年の疑問を晴らしてみようと思った。『はたして、日本で一番マクドナルドから遠い場所はどこなのか？』 注) 離島は除きます。離島を含めると南鳥島がぶっちぎりです。 Fusion Tablesでプロットしてみる Fusion Tablesに緯度経度をインポートすることでマップに位置をプロットできるのでやってみた。 Fusion Tablesの導入その他に関しては他に説明を譲ります。 とりあえずデベロッパーツールからJSONを丸ごとコピペして編集の末にCSVファイルをでっちあげた。 Fusion Tablesで扱えるように、先頭行にはカラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
