Sora: Creating video from text
Sora Creating video from text Sora is an AI model that can create realistic and imaginative scenes from text instructions. Read technical report We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction. Introducing Sora, our text-to-video model. Sora can generate videos up to a mi
これは二段構えの構成を持っています。この二段構えを正確に検出し、テキストを理解することが望ましいです。 Unstructuredを使うPythonのライブラリであるUnstructuredを試してみましょう。 参考記事 導入は非常に簡単です。 pip install 'unstructured[pdf]' 実装も簡単です。 解析コード： from unstructured.partition.pdf import partition_pdf pdf_elements = partition_pdf("pdf/7_71_5.pdf") 表示コード： for structure in pdf_elements: print(structure) 結果： 残念ながら、2段組のカラムを正確に検出することはできませんでした。 Grobidを使うGrobidは、peS2oというオープンアクセス論文のコ
テキストが複数行のときに、行ごとの文字数を同じにしてバランスを自動調整するCSSの新機能「text-wrap: balance;」が、Chromeでサポートされました。 日本語だと複数行の文字数を同じにしたいということは少ないと思いますが、見出しやコピーなどで文字数を揃えたいときに使えます。まぁ使ってもかなりピンポイントになるでしょう。 text-wrap: balance;の基礎知識と使い方、注意点を紹介します。 CSS text-wrap: balance by Adam Argyle 下記は各ポイントを意訳したものです。 ※元サイト様のライセンスに基づいて翻訳しています。基づいてというのは、貢献部分に関して同ライセンスも含みます。 text-wrap: balance;とは テキストのバランスを見つける 制限事項 ブラウザが使用している技術の簡単な説明 text-wrap: bala
ついにChromeで使えるようになったCSSの便利機能！ light-dark()関数、field-sizingプロパティ、句読点括弧のカーニングができるtext-spacing-trimプロパティ
今回のアップデートでは、かなり便利なCSSのプロパティが追加されました。 ライトモードとダークモードのスタイルを簡単に定義できるlight-dark()カラー関数、垂直方向の中央に配置するalign-contentプロパティ、フォームのサイズを入力された文字量に合わせて自動変更するfield-sizingプロパティ、CSSで句読点括弧のカーニングができるtext-spacing-trimプロパティ、これらがブラウザにサポートされるのを待っていた人も多いと思います。 Chrome 123 beta New in Chrome 123 下記は各ポイントを意訳したものです。 ※元サイト様のライセンスに基づいて翻訳しています。基づいてというのは、貢献部分に関して同ライセンスも含みます。 はじめに CSSのlight-dark()カラー関数 CSSのdisplay-modeでpicture-in-p
テキストからCADデータを自動生成する「Text-to-CAD」α版公開 Zoo：CADプログラムにインポートして編集できる 米国スタートアップ企業のZooは2023年12月19日（米国時間）、テキストプロンプトからCADデータを自動生成する「Text-to-CAD」のα版を公開した。Zooは、テキストから3Dモデルを生成する既存のText-to-3Dモデルとの違いとして、点群データ（ポイントクラウド）を使用せず、B-Rep（※）を生成することを挙げている。 ※注：B-Rep（境界表現）は、頂点、エッジ、面で構成される表面を使用して3Dオブジェクトを簡潔に定義し、その外部形状の輪郭を描く。暗黙的モデリングとは異なり、B-Repはオブジェクトのジオメトリとトポロジーを正確に制御し、正確な寸法と公差が重要な製造プロセスに不可欠な正確かつ効率的な設計変更を容易にする。 既存のText-to-3D
テキストの比較に特化したmacOSネイティブのdiffアプリ「Text Differ」がリリースされています。詳細は以下から。 アップデートや修正前後のソースコードやテキスト、画像のデータを比較したい際、前後２つのファイルを並べて差分をハイライト表示してくれるdiffツール(差分ツール)を使うことがありますが、新たにテキストの比較に特化したmacOSネイティブのdiffアプリ「Text Differ」が新たにリリースされています。 Meet Text Differ, a native macOS app that show beautiful differences between 2 texts. リリースノートより Text Differを開発したのはmacOSやiOSに対応したHTTP/HTTPSデバッグ用ツール「Proxyman」を開発する米Proxyman LLC.のNoah T
イラストを描くときや写真のシャドウではハイライトが非常に重要ですが、CSSのシャドウでこの発想は抜けていました。 テキストにCSSでシャドウを設定するときに、上部に1,2pxのハイライトを加えると、よりリアルで美しいシャドウになる実装テクニックを紹介します。 まずは、デモで実際のシャドウをご覧ください。 上部に2pxのハイライトを設定しています。 See the Pen highlight compliment to a text-shadow effect by coliss (@coliss) on CodePen. シャドウとハイライトのCSSは、下記の通りです。 カラーがoklch()で設定されていますが、hex値でも大丈夫です。ポイントは通常のシャドウと一緒にハイライト用のtext-shadowを上部に設定することです。 .highlighted-text-shadow { :r
Windows 95／NT 4.0からあったWordPadがついに廃止 Windowsの標準アプリとして長らく含まれていた「WordPad」が廃止になる。今秋のWindows 11 Ver.24H2から同梱されなくなるようだ。これにより、Windows単体では、RTF形式のファイルを編集できなくなる。 といっても多くの人は、RTFファイルなんか使ってないだろう。まあ、Microsoftの考えも理解できないわけではない。ユーザーが少ないプログラムのメンテナンスをいつまでも続けたくないのだ。 すでに時計やカレンダーのプログラムがなくなり、電卓はオープンソースになった。Windowsに付属する「アプリケーション」と呼べるプログラムは段々と減っている。もっともWindows 1.0xの頃は、サードパーティアプリケーションがまったくなかったため、必要なものであった。 WordPadの廃止に関しては、
以下のツイートを見て、自分の環境でも再現したので気になって調べてみた。 現象 text-spacing-trim プロパティを Yu Gothic UI のテキストに適用すると、一部の括弧類が重なってしまう。これは値に space-all を設定すると解消される。 halt と hmtx を見る Windows に標準搭載される Yu Gothic UI や游ゴシックには、GPOS テーブルに halt 機能タグが含まれている。 halt 機能タグの正式名称は「字幅半角メトリクス」であり、全角の約物を半角として扱う際などに位置を補正する役割を持つ。text-spacing-trim プロパティの実装においても、この halt の値を見て文字詰めを決定している。 TTX（fontTools が提供する解析ツール）を用いて、Yu Gothic UI／游ゴシック の halt と hmtx（水平
I've been using Sublime Text on and off for longer than I can remember. I think Sublime has been around since the start of my "real" career over 10 years ago, but I could be mistaken1. It certainly feels that long. And in that time I have never gotten upset with Sublime. I've never rage quit or ran into an issue of Sublime not being able to do the thing I wanted it to do. As much of a cliche it ma
GitHub - obra/Youtube2Webpage: I learn much better from text than from videos
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
EMNLP2023に採択された論文を眺めていたところ、ある論文が目に止まりました。 「Discovering Universal Geometry in Embeddings with ICA」という論文です。 これは京大下平研の山際さんの論文で、ざっくりとサマると「Word EmbeddingなどのEmbeddingを独立成分分析（ICA）で次元削減することで、人間にとって解釈性の高い成分を取り出すことができる」という論文です。 Vision TransformerやBERTを用いた実験から、モーダルや言語に関わらず解釈性の高い表現が得られたという結果を得ています。 論文内では、文を対象としたEmbeddingであるText Embeddingには触れられていないですが、おそらくうまく動くだろうという見込みがあったため、本手法をText Embeddingに対して実行してみました、という
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、Pinterest社のエンジニアチームが紹介していた、実運用環境におけるText-to-SQLの構築方法に関する記事の紹介をします。 Text-to-SQLを実際の運用レベルで実現するための手法が解説されているので、その内容を解説、そして考察していきたいと思います。 なおこの手法には特に名前などは設定されていなかったので、以降Pinterest社の提案するText-to-SQLをPinterest Text-to-SQLと呼称します。 サマリー Pinterest Text-to-SQLは、RAGのシステムを最適化することで 検索に必要なTableのより正確な抽出 実際に使用されている値に準拠
YouTubeチャンネルの字幕データを検索可能で「あの発言はどのムービーだったっけ？」が一気に解消するツール「Youtube Full Text Search」を使ってみた
YouTubeでは視聴後に自動で別のムービーが再生されたり、関連動画欄の面白そうなムービーをクリックしてしまったりするため、時間を忘れてたくさんのムービーを視聴してしまうことがよくあります。たくさん見過ぎて、後から振り返ったときに「面白いシーンを見つけたはずだったのにどれだったか思い出せない」なんてことも。そんなときに便利なのが字幕を使って文字でシーンを検索してくれるツール「Youtube Full Text Search」です。 NotJoeMartinez/yt-fts: Youtube Full Text Search - Search all of a YouTube channel's subtitles from the command line https://github.com/NotJoeMartinez/yt-fts Youtube Full Text Searchを
この Xwin-LM-13B-V0.1 モデル、13B（130億パラメーター）でありながらAlpacaEval ベンチマークにおいてなんとGPT-4に僅差で勝利している。対ChatGPT戦に至っては圧勝である。 しかもこのモデル、GPTQで量子化したTheBloke/Xwin-LM-13B-V0.1-GPTQ であれば7.26 GBである。 ついに家庭用ゲーミングPCでGPT-4が動く時代が来たのだ。 今を未来と呼ばずしてなんと呼ぶ。 というわけで、ローカルの Text generation web UI で Xwin-LM-13B をロードして色々推論して遊んでみます。 2. WebUI での実行今回はmainブランチのモデルを使用しています。 4ビット、アクトオーダー、グループサイズ128g。 VRAM使用量は64Gよりさらに少ないが、精度は若干落ちる。 Model タブの Downl
日本特化の商用利用可能 text-to-image モデル「Japanese Stable Diffusion XL」をリリースしました — Stability AI Japan
Stability AI は日本に特化した text-to-image モデル「Japanese Stable Diffusion XL（JSDXL）」をリリースしました。商用利用可能な「JSDXL」は、日本語入力の対応に加え、日本スタイルや日本を題材とした画像を生成することができます。 Japanese Stable Diffusion XL 「Japanese Stable Diffusion XL（JSDXL）」は、最新の英語版 text-to-image モデルSDXLに対して、日本語入力はもちろん、日本の文化やものが理解・反映された画像生成に特化させた日本向け text-to-image モデルです。 昨今、SDXL を含む強力な text-to-image モデルが公開されております。これらと翻訳ツールを組み合わせることで日本語入力は可能ですが、日本特有の表現の認識が難しい点や
The first step in building my text editor is to implement the core API. If you’re wondering why I want to do this, the original article is here. I researched several data types, and I tried to be language agnostic. I wanted my decision to not be influenced by any particular language, and first see if there was a “best way” out there, solely based on operations. Of course, a “best way” rarely exist
Text2Landscape: Visualize a Text in Multiple Spaces with R — Force-directed networks, Biofabric, Word Embeddings, Principal Component Analysis and Self-Organizing Maps
First Visualizations: Frequencies Let us first visualize word frequencies. We can get these frequencies with the quanteda package, which implies transforming the column of lemmas (text.lemmas$lemma) into a quanteda tokens object, then to a document-feature matrix. Doing so, we only retain significant parts of phrases (nous, proper nouns, verbs and adjectives). This only partially spares us the tas
iOSで文字認識（Text Recognition）
iOS 13以降で、待望だった「文字認識」機能が使えるようになりました。カメラなどで撮影した画像内にある文字を読み取る [1] ことができます。 iOS 9からあった「文字検出」との違い 文字認識は、Visionフレームワークの一機能として追加されました。 一方、Core ImageのCIDetectorというクラスでは、CIDetectorTypeTextというタイプを指定でき、テキストを検出することができます。 このCIDetectorTypeTextやCIFeatureTypeTextはiOS 9からあるものです。 しかしこちらは文字の「領域」を検出する機能です。何が書いてあるか、までは認識できませんでした。 そこで今まではTesseract[2]というオープンソースのOCRエンジンや、SwiftOCR[3]という（おそらく個人がメンテしている）OSSしか選択肢がなかったのですが、つ
Vertex AI Embeddings for Text で実現する LLM のグラウンディング | Google Cloud 公式ブログ
Ivan CheungDeveloper Programs Engineer, Google Cloud ※この投稿は米国時間 2023 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 いま多くの人々が、ジェネレーティブ AI や大規模言語モデル（LLM）を実運用サービスにどのように導入すればよいか検討を始めています。しかし、例えば「既存の IT システムやデータベース、ビジネスデータと LLM や AI チャットボットをどのように統合すればいいだろうか」、「数千もの製品を LLM に正確に覚えさせるにはどうすれば良いだろうか」、あるいは「信頼性のあるサービスを構築するためにハルシネーションの問題をどのように扱えば良いか」といった課題と直面することになります。 これらの課題に対するシンプルな解決策となるのが、エンべディング（embeddings）と
Introducing speech-to-text, text-to-speech, and more for 1,100+ languages
Introducing speech-to-text, text-to-speech, and more for 1,100+ languages Equipping machines with the ability to recognize and produce speech can make information accessible to many more people, including those who rely entirely on voice to access information. However, producing good-quality machine learning models for these tasks requires large amounts of labeled data — in this case, many thousan
GPTのAPIとText2Speechを組み合わせてAIとの会話体験を実装してみる | DevelopersIO
はじめに OpenAIのDevDayで発表されたText2SpeechのAPIを使ってみたいと思います。Text2Speechとは簡単にいうとテキストの読み上げ機能です。 日本語を読ませる場合、まだ少し英語訛りですが、なかなか人間っぽい発音を行います。 今回はこのText2SpeechのAPIを使って遊んでみたいと思います。 なにを作るのか？ 先程記載したように、Text2Speechでは発話を行うことができます。 この特徴とGPTの会話ができる特性を組み合わせれば、会話っぽいことができるのではないかと思い実装してみました。 今回は試験的に実装を行うため、GPTには「動物博士」としてのロールを与えて動物の雑学を教えてもらいました。 完成形は以下のような動画になります。Text2Speechを利用しているため音声ONの状態での閲覧を推奨します。 発音が英語話者っぽくなっていることや漢字を稀に
Purl is a command-line utility designed for text file parsing and manipulation, offering a modern alternative to traditional sed and perl one-liners. It features intuitive options for filtering, transforming, and managing text data. Importantly, Purl accepts both file input and standard input, providing flexibility for various workflows. Moreover, it supports multiple instances of the -filter and
GitHub - raghavan/PdfGptIndexer: An efficient tool for indexing and searching PDF text data using OpenAI API and FAISS (Facebook AI Similarity Search) index, designed for rapid information retrieval and superior search accuracy.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
【ローカルAI】GUIでCodeLlama-34B-Instruct-GGUFを動かしてみる【text-generation-webui】
概要 ローカルLLMで最近話題の「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かし、「ローカルLLMでもファインチューニングなしでプロンプト指示できる」感覚を体験してみる。 メイン読者ターゲット ご家庭にGPUがある人（CPUでも良いが遅い） 最適化だったり正しい理解ができてるかは別として、とりあえず動かしたい人 導入から書くので、推論スピードだけ確認したい人は下まですっ飛ばしてください。 導入 text-generation-webuiの導入 以下からclone 自分はpyenv+venv派なので python -m venv .venv でactivate。 あとは基本的にinstallationに従えば良い。 数少ないポイントとして、使ってるGPUやOSによってtorchが変わること、昔のGPUだとbitsandbytes
CSS text-wrap: pretty | Blog | Chrome for Developers
From Chrome 117 you can use a new text wrapping feature—text-wrap: pretty from CSS Text Level 4. p { text-wrap: pretty; } https://codepen.io/web-dot-dev/pen/yLGmzLJ Typographic widows and orphans are single words that stand alone at the end of a paragraph or text block. Widows are words alone at the top of a text block and orphans are alone at the end of a text block. They can interrupt the way ou
【個人開発】ChatGPT × Text-to-Speech（Google）で知育サービスを作ってみた
概要 久しぶりに個人開発をしました！ 娘が「コペル」という幼児教室に通っています。 その幼児教室で「コペルギネス」というゲームがあります。 ゲームの内容は下記のようなゲームになります。 50個の(食べ物・動物等)絵が描いてある表を見て、順に作ったお話を先生がお話してくれます。それを２回聞いて、覚えます。自分の手元にも同じカードが５０個あるのでそれを子供が１人で回答用の表に順番通りに並べて貼っていくと言うゲームです。50個のカードのうち何個同じ場所に置けていたかを制限時間内に競います。正解した数が多かった人の勝ちです。 単語と単語にお話をつけ、繋がったストーリーでイメージすることで記憶しやすくする効果があるそうです。 このコペルギネスの練習をするとき、あらかじめ物語を作っておかないと、同じ絵を登場させてしまったり、答えを覚えていなかったりと結構大変なので、それを自動化するWebアプリを作りま
Text editors can be an interesting challenge to program. The types of problems that text editors need to solve can range from trivial to mind-bogglingly difficult. Recently, I have been on something of a spiritual journey to rework some internal data structures in an editor I have been building, specifically the most fundamental data structure to any text editor: the text. Table of Contents Resour
「text-generation-webui」で「Rinna」「OpenCALM」「RWKV」を試したので、まとめました。 ・Windows 11 1. text-generation-webui「text-generation-webui」は、大規模言語モデルを実行するためのWeb UIです。テキスト生成の「AUTOMATIC1111」になることを目標としています。 特徴は、次のとおりです。 ・3つのインターフェイスモード (default, notebook, chat) ・モデルバックエンド (transformers, llama.cpp, AutoGPTQ, GPTQ-for-LLaMa, ExLlama, RWKV, FlexGen) ・ドロップダウンメニューによるモデル切り替え ・LoRA (ロード・アンロード・学習) ・プロンプトテンプレート (Alpaca, Vicuna
Text-to-3Dがアツい 最近かなりText-to-3Dモデルがアツくなってきました。昨年9月末に発表されたDreamFusionから急速に発展し、11月にはMagic3DやLatent-NeRF, 12月にはSJCやDream3D, 今年に入って3月にはFantasia3DやText2Room, 今月5月にはOpenAIのShap-E, Text2NeRFが発表されるなど、ちょうど1年ほど前のText-to-Imageモデルの盛り上がり方を彷彿とさせます。 ※この記事は2023/5/29に執筆したものです その中で、5/25に発表された ProlificDreamerが強すぎるというのがあります。 まずこれを見てください。一番右がProlificDreamerで生成された3Dモデルです。左３つの既存手法はどこかもっさりとしているのに対し、ProlificDreamerはまるでどの視点
Chrome の挙動を見てみる 百聞は一見に如かずと言いますので、実際の挙動を見てみます。以下の図では、text-align: justify を指定したテキストボックスに対し、上段には space-first を、下段には従来の挙動である space-all を設定しています。上段は下段に比べて、自然な組版が実現されていることが見て取れます。 文章は 京葉線 - Wikipedia を改変して使用。CC BY-SA 画像からは、以下の挙動が確認できます。 行頭の括弧（橙色） 1 行目のみアキが残り、2 行目以降は行頭のアキが詰まる（space-first であるため） 連続する約物（ピンク色、青色、緑色） 読点→句点、閉じ括弧→閉じ括弧ではアキなし、中黒→括弧、閉じ括弧→開き括弧では二分（1/2）–全角程度のアキに調整される 行末の閉じ括弧（青色） 必要に応じて行末のアキが詰まる 行末の
I prefer planning week by week, as opposed to creating a task-list every day, here’s what I have for the first couple of weeks: January 2023 Mo Tu We Th Fr Sa Su 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 week 1 done apply leaves done dload boarding pass moved reply to dan week 2 todo reply to dan todo pack bags done travel insurance todo weigh luggage I st
GitHub - pytorch-labs/gpt-fast: Simple and efficient pytorch-native transformer text generation in <1000 LOC of python.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pdfからtextを抜き出す試行錯誤のメモ｜Kan Hatakeyama
イオシスで2年前に買ったスマホが赤ロム化！ 永久保証対応をお願いしてみた タイミングがよければスピード対応、赤ロム永久保証は神サービス!? text by 石田 賀津男
16TBが1万円台！？謎の激安外付けSSDは何もかもが嘘ばかりの偽装品だった 異様に安いSSDは購入前によく下調べを text by 坂本はじめ
CSSの新機能！ テキストの行のバランスを自動調整する「text-wrap: balance;」の基礎知識と使い方
テキストからCADデータを自動生成する「Text-to-CAD」α版公開 Zoo
“PCで自宅ChatGPT”がかなり手軽に！ GUIで簡単導入でき日本語もOKの「Text generation web UI」【イニシャルB】
テキストの比較に特化したmacOSネイティブのdiffアプリ「Text Differ」がリリース。
CSSのtext-shadowでシャドウをつけるときにハイライトを加えると、よりリアルで美しいシャドウが実装できます
WindowsからWordPadが廃止！ RTF（Rich Text Format）はどうなる？
Yu Gothic UIに text-spacing-trim を適用するとバグる
My Text Editor Is Not Open Source
独立成分分析（ICA）を使ってText Embeddingを分析してみた - Qiita
Pinterest社で運用されているText-to-SQLを理解する
Text generation web UI で Xwin-LM-13B-V0.1-GPTQ を試す。｜さいぴ
4万円の14コアCPU「Intel Core i5-14500」のゲーミング性能を検証する。ミドルレンジGPUとの名コンビ誕生か!? 【第2戦】静音ゲーミングPCに仕上げられるのもグレイト！ text by 芹澤 正芳
Text Editor: Data Structures
NVMe/USB 10Gbps対応のクラス最安SSD外付けケースORICO「M.2 NVMe SSD Drive Enclosure PWM2-G2A」を試してみた 【新連載・第1回】アンダー2,000円でサクッと使える実用品 text by 野村シンヤ
GitHub - catatsuy/purl: Streamlining Text Processing
省スペース性は最高峰？小型のワイヤレストラックボール「エレコム M-MT2BRSBK」を試してみた トラックボールだけど“つまみ持ち”のコンパクト設計 text by 佐藤岳大
使いどころがわからない？ ExcelのTEXT関数って実は便利 ～知る人ぞ知る効率化テク【残業を減らす！Officeテクニック】
Text Editor Data Structures
text-generation-webui で Rinna・OpenCALM・RWKV を試す｜npaka
現在最強のText-to-3Dモデル"ProlificDreamer"をちゃんと理解する
Chrome で text-spacing-trim プロパティがサポートされたぞ！！
Plain Text Journaling