GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog
はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから
ジョージ・オーウェル『1984年』山形浩生訳 目次
次へ：前へ：目次 『1984年』 Nineteen Eighty Four (1949) ジョージ・オーウェル 山形浩生 訳 (hiyori13@alum.mit.edu) 2023年11月 第 I 部 第1章 第2章 第3章 第4章 第5章 第6章 第7章 第8章 第 II 部 第1章 第2章 第3章 第4章 第5章 第6章 第7章 第8章 第9章 第 III 部 第1章 第2章 第3章 第4章 第5章 第6章 補遺：ニュースピークの原理 訳者あとがき その他フォーマット LaTeX版：https://genpaku.org/1984/1984_jp.tex (0.8MB) pdf版：https://genpaku.org/1984/1984_jp.pdf (1.6MB) MS-Word版：https://genpaku.org/1984/1984
[PDF]「なぜ私たちはいつも締め切りに追われるのか。」松尾 豊 独立行政法人 産業技術総合研究所
� � � � �������� �� � ¬ ¬ �� ��� � ������ ���� � ��� ��� ����� ��� ����� ������ ��� � � �� ��� �� ���� � � �� � � � � �� � ��� ��������� ��� �� ��� ��� ����������� �������� �� � ��� �� ��� � � £ � ���� ��� ��� �� � � � � � ��� �� �� ����� �� ���� � �� ���� ��� ��������� � ������� � �� �� � ��� �� � ������ � � � �� ���� ���� � ! "���#� � $ � ��������� ���� � � ���� � % � �� � � � �� � ���� $ � ����
本の原稿のバージョン管理を始めて20年たちました - golden-luckyの日記
「本の編集ではテキスト原稿のバージョン管理しか勝たん」という信念を押し通してきて、そろそろ20年近くになりました。厳密には19年くらいだと思うので、タイトルは誇張です。 久しぶりに編集者にとってのバージョン管理に言及したくなったので書いてみました。 目次です。 なんで「テキスト原稿のバージョン管理」の話をしなくなったか 「誌面レイアウトしたPDFとか紙に赤字を入れる」で編集するのもう無理… そこでテキスト原稿のバージョン管理 具体的にどうすればいいのさ 前提からつらつら書いていたらやたらに長くなりそうだったので、全部捨てて書き直したのに、それでもそれなりに長くなってしまった。 最後の節に書いた「 「原稿の移り変わり」を管理するのではなく、「原稿にありうる無数の可能性」を管理する 」というヒントだけでも持ち帰ってもらえればうれしいです。 なんで「テキスト原稿のバージョン管理」の話をしなくなっ
よくわかるパルスオキシメータ
2022年3月31日より、 一般社団法人日本呼吸器学会ホームページを大幅にリニューアルいたしました。 リニューアルにともない、ページやファイルのURLが変更になっておりますのでご注意ください。 お探しのページは、移動または削除された可能性があります。 お手数ですが、トップページから再度アクセスしてください。 このページをブックマークに登録されていた方は、 お手数ですがブックマークの更新をお願いいたします。 The page you’re looking for can’t be found. Please click here to go to the site top. If you bookmarked this page, please update.
プログラマーから見たPDFファイル - アンテナハウス PDF資料室
更新日: 2020年8月14日 このページの目的 プログラマーは、クライアントから提供されたPDFファイルで、その要求を実現させようとしたとき、PDFのどんなところを見ているのでしょうか。このページでは、ちょっと珍しい視点でPDFファイルを解き明かしていきます。 自分でプログラムを書いてPDFファイルからテキストデータを取り出したいという人も、ぜひご一読ください。 はじめに PDFファイルをクリックすると、あたかも紙に印刷したかのように、どんなマシンでも同じような見た目で文章や画像がディスプレイに表示されます。 この単純な事実は、日常的にPDFファイルを利用していると当たり前に感じられるかもしれません。しかし、よくよく考えると驚くべきことです。 いったい、どのような仕組みがあれば、「過去から現在に至るさまざまな種類のコンピューターで見た目を変えずに同一の紙面を再現する」という目的を達成でき
計算論的思考
584 computer scientist m p u t a t i o n a l T h i n k i n g 情報処理 Vol.56 No.6 June 2015 翻 訳 1 3R 1 Reading, wRiting, aRithmetic 3R 基 専 応 般 計算論的思考 Wing 2006 2014 CACM 2014 1 8 2014 10 Microsoft Research Asia Wing ACM compute computer compute computational thinking computer computer science computer scientist Jeannette M. Wing Computational Thinking, Communications of the ACM, Vol.49, No.3, pp.33-35
科学図書館
What's New! ●三浦梅園「五月雨抄」――（2022/07/16） ●穂積陳重『復讐と法律』――（2022/07/07） ●三浦梅園『東遊草』――（2022/07/03） ●高群逸枝『女性の歴史・続』――（2022/06/01） ●山本宣治『結婚 三角関係 離婚』――（2022/05/17） ●高群逸枝『女性の歴史・下』――（2022/05/16） ●高群逸枝『女性の歴史・中』――（2022/04/25） ●高群逸枝『女性の歴史・上』――（2022/04/15） ●三枝博音『日本の唯物論者』――（2022/04/10） ●高群逸枝『日本婚姻史』――（2022/03/15） ●岡田武松『測候瑣談』――（2022/03/10） ●三浦梅園「愉婉録」――（2022/02/18） ●三浦梅園「梅園後拾葉」――（2022/02/12） ●三浦梅園「養生訓｣――（2022/01/29） ●三浦
76歳の編集者挑む“科学古典のデジタル文書化”――現役時代に夢見た「科学知識を万人へ」
「科学的知識は万人によって共有されるべきもの」とトップに掲げるそのWebサイトには、北里柴三郎、志賀潔、寺田寅彦、本居宣長、九鬼周造といった日本の科学者・哲学者・偉人や、アルベルト・アインシュタイン、ルイ・パスツール、マックス・プランク、ヴィルヘルム・オストヴァルトなど海外の著名な科学者たちの著作がPDF形式で公開されている。いずれも著作権者の許諾を得て掲載しているという。 その数、500冊以上。PDFは、本をそのまま画像で取り込んだものではなく、組版（くみはん）用のマークアップ言語「TeX」で1冊1冊組版したものだ。実際にPDFを見てみると、丁寧に組版されており、昔の著作でも読みやすい。文章のコピーもできるため、単語の検索も容易に感じた。 一体誰が作ったのか。Webサイトには本人のプロフィールらしきものもない。Webサイト内にあったメールフォームから連絡を取ったところ、返信があった。なん
学年だよりをPDFで。 似たようなことをしたら…無残な結果に - パパ教員の戯れ言日記
短いエントリーです。 学年だよりをPDFで配ってしまえば良いというブコメがありまして、実際に似たようなことをやってみたので、お知らせします。 前のブコメで学年便りの質が…と言われたのですが、使い回し前提のWordだとこんなもんです…学校のパソコン、書体がOS+Officeのデフォルトのままですし… （ちくしょ、一カ所直し忘れておいもフェスタのままだ。半角と全角も混じってて気持ち悪い…） 夏休みの課題一覧と作品用の名札を学校のウェブサイトで配信してみた 夏休みの課題一覧を配るのをやめて、配信にしてみたんですね。作品用の名札もセットで。 夏休みの課題の一覧って、膨大な数の課題から1つか２つ選んで提出なんです。 ということは、そのページ以外は要らないんですね、本来。紙が勿体ない。うちの市、年度末になると紙を買う予算ががないって言って騒動起きます。（大抵どうにかなりますが）なので配信にしました。
新・洗濯表示は「まるで暗号」 「12月から国際マークに」で大混乱？
「覚えられそうもない」「前の方が分かりやすかった」――。衣服の「洗濯表示」マークが2016年12月1日に変更されることを受け、インターネット上に「分かりづらい！」といった不満の声が相次いでいる。 現行の表示は1968年から使われており、消費者にとっては50年近く馴れ親しんだマークが変わることになる。さらに、新表示ではマークの種類が従来の倍近くに増えるほか、「手洗イ」「ドライ」といった日本語表記も消える。こうした表示変更に伴う注意点について、クリーニング業界の関係者に聞いた。 新洗濯表示「△」の意味は・・・ 現行の洗濯表示は日本が独自に使用しているものだが、新しい表示は国際規格に合わせたマークになる。日本語表記が消えるのもそのためで、基本的には言葉を使わずに図形だけで「洗濯ルール」を表記している。 例えば、「△」というマーク。これは、「塩素系及び酵素系の漂白剤で漂白ができる」ことを表したもの
旺文社、過去問をＰＤＦ保存…外部指摘受け削除 : 社会 : 読売新聞（YOMIURI ONLINE）
受験生向けの参考書などを出版する旺文社（東京都）が、過去の入試問題をＰＤＦで電子データ化して保存していたのは著作権法に違反する恐れがあると外部から指摘され、先月、全て削除したことがわかった。 削除対象は大学、高校の入試問題で、延べ約４０００校分に上る。紙の著作物を私的使用以外で電子データに複製することが同法で禁じられているためで、企業が保管スペースの節約などのために行う「ＰＤＦ化」に、意外な課題が浮かび上がった。 同社によると、全国の大学や高校約５００校から毎年、入試問題の問題用紙の提供を受け、一部は権利処理をして出版物に転載したり、出題傾向の分析に使ったりした上で、提供された原本を社内の倉庫で保管していた。ただ、場所を取る上に経年劣化も生じることから、２００７年度以降はＰＤＦ化して同社管理のサーバーで保存し、原本は廃棄してきた。
アニメ新番組に放送延期が続出するわけ
平川哲生 @bokuen 10月期放送アニメが「放送延期続出」の異常事態 excite.co.jp/News/society_g… 今年の10月番も大変ですけども、旧正月を含む来年1月番のほうが本当の意味で山というか地獄なんですよね…。 2016-10-27 01:00:06 zuo3トン＠D8ブレインの超ミクさん @zuo3teng2chun 終に来てしまったかという印象だが、この後の1月期がどうか。10月期は4月からの新人が担当だからでもある 10月期放送アニメが「放送延期続出」の異常事態。背景に制作現場の過酷な環境 | ハーバービジネスオンライン hbol.jp/114251 @hboljpから 2016-10-27 08:11:18 ぽん太 @ponta0754 うちの職場も人手不足が深刻で何とか回しているんだけど、いっそ現場崩壊させて上層部に現状認識させようって話は同僚と良くしま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アメリカのクマ対応マニュアル - 森林ジャーナリストの「思いつき」ブログ
http://repository.seikei.ac.jp/dspace/bitstream/10928/941/1/eibun-21_63-82.pdf
多くの人が誤解している森林の保水力 -- 緑のダムを科学的に理解するための基礎知識 -- 東京大学愛知演習林講師／蔵治光一郎
http://coexistence.world.coocan.jp/tensaiden.pdf
スマホで撮影した書類はテキスト検索できるPDFにする【今日のライフハックツール】 | ライフハッカー・ジャパン
https://kyushu.env.go.jp/%E5%8F%82%E8%80%83%EF%BC%93%EF%BC%9A%E3%83%88%E3%83%A9%E3%83%83%E3%83%97%E3%81%AE%E4%BD%9C%E3%82%8A%E6%96%B9%E3%81%A8%E8%A8%AD%E7%BD%AE%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6.pdf
16-11light.pdf 環境省広報誌 エコジン 「エコジン」は、最近の環境行政情報や、企業や個人の方々の環境問題に対する先導的な取組を紹介し、国民一人ひとりが環境のことを考え、地球のた