なぜSQLiteはバイトコードを使うのか
以前にデータベースを自作しようとして、SQLiteのアーキテクチャを見てみたらVMだったことに疑問を感じ、それをツイートしたところ作者からリプをもらいました。 作者いわく、次のような背景があったとのことでした。 SQLiteを作った当初はデータベースエンジンのことをよく知らないがコンパイラのことをよく知っていた SQLデータベース・エンジンを書くという問題をコンパイラ構築の問題として扱うのは自然なことだった データベースエンジンのコアの部分をVMにするという発想がまったくなかったので、どんなメリットがあるのか？と気になっていました。 それを作者に聞いたら、詳細な説明ページを作ってくれました。 個人的にVMにしたことで、評価&実行のパフォーマンスは多少良くなると思うが、データベースエンジンのパフォーマンスにそれほど寄与していないんじゃないかな？って思ったりしました。 本記事はそのページについ
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
Windows11のすべてを保存する「Recall」機能の記録データからあらゆるものを抽出する「TotalRecall(トータル・リコール)」
Microsoftは、AI特化のWindows PC「Copilot+ PC」で、PC上の作業や視聴履歴をすべて記録して検索できる機能「Recall」を発表しました。この「Recall」がノートPCに記録するすべての情報を自動的に抽出して表示するデモツール「TotalRecall」を、セキュリティ研究者でホワイトハッカーでもあるアレックス・ハーゲナ氏がリリースしました。 GitHub - xaitax/TotalRecall: This tool extracts and displays data from the Recall feature in Windows 11, providing an easy way to access information about your PC's activity snapshots. https://github.com/xaitax/To
シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース オープンソースとして開発されているOLAP用データベース「DuckDB」が正式版となるバージョン1.0に到達したことが発表されました。 OLAP用のデータベースといえば、クライアント／サーバ方式の大規模なサーバアプリケーションが一般的ですが、DuckDBは、SQLiteのようにローカル環境上でシングルバイナリでローカル環境でも簡単に実行できる点が最大の特徴です。 SQLでクエリを記述すると同時に、Python、Java、Node.js、Rust、Go、C/C++、R、ODBCなどから呼び出せるAPIも備えており、クライアントアプリケーションに組み込むこともできます。 対応するプラットフォームはWindows（x86_64）、macOS（Intel/Apple Silicon）、Lin
Hanabi.REST AIにHonoJSのバックエンドを書かせて遊ぶ、Hanabi.RESTというサービスを一般公開します。それに際して、この記事では、Hanabiの紹介と簡単に技術スタックを解説していきます。 皆さんは、AIがプロンプトからUIを生成する、V0というサービスをご存じですか？僕はあれを見たときに、ある妄想が膨らみました。 「V0のAPI版があれば、プロンプトからWebアプリケーションを作れるやん！！」と。 当初はハッカソン用の小プロジェクトとして始めましたが、想定以上に面白い結果が得られたため、開発を継続することにしました。技術的な制約、様々な黒魔術による不安定な挙動、LLMの劣化など、数多くの壁を乗り越えながら、約半年をかけてようやくリリースに至りました！！ 次のリンクから実際にAIが生成したTwitter風のAPIを試すことが出来ます！ また、会員登録すれば誰でもAP
Copilot+ PC上の全てを記録する「Recall」、セキュリティ上の大惨事を引き起こす？ | Gadget Gate
テクノロジー パスワードも口座番号もプレーンテキストで保存 Copilot+ PC上の全てを記録する「Recall」、セキュリティ上の大惨事を引き起こす？ Image:Microsoft マイクロソフトはPC上で見たもの・行ったこと全てを探せる新機能「Recall」を世に送り出そうとしている。6月18日に発売される「Copilot+ PC」に準拠したマシンで利用できる予定だが、この機能がサイバーセキュリティにとって「大惨事」になりかねないと専門家が警告を発している。 RecallはローカルのAIモデルを使い、コンピューター上で見たり行ったすべてのスクリーンショットを記録し、数秒で何でも検索できる機能だ。マイクロソフトは、完全にデバイス上に構築・保存されるため、プライバシーも保護されると主張している。 が、サイバーセキュリティ専門家のKevin Beaumont氏は、本機能に潜在的なセキュリ
週刊Railsウォッチ: Railsコンソールが最新のIRB APIに移行、assertionless_tests_behaviorほか（20240513前編）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。以下のお知らせに先ほど気づきました🎉。 💎Kaigi on Rails 2024 公式サイト オープン！💎 オンラインとオフラインのハイブリット開催です！ 日程：2024.10.25 (Fri.) - 26 (Sat.) 有明セントラルタワーホールhttps://t.co/Jwk5Zro27S#kaigionrails — Kaigi on Rails (@kaigionrails) May 7, 2024 週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点がありましたら@hachi8833までメンションをいただければ確認・対応いたします🙏 Te
システム開発におけるシステムとは何か TRACERYプロダクトマネージャーの haru です。 システム開発と一般的にいいますが、そもそも「システム」とはなんでしょうか。 この記事では、「システム開発」における「システム」について説明します。 システム開発の仕事をするうえで、システムそのものの意味や定義を知っておくことは重要です。 プロジェクトの範囲や目的が明確になり、クライアントやステークホルダーと共通の認識を持つことで、システム開発の成功の鍵を握る要件定義段階での誤解やミスを減らすことができます。 「システム」とは システム開発における、狭義のシステムと広義のシステム 狭義のシステム ハードウェア ソフトウェア 広義のシステム システム思考を取り入れ、戦略や施策の仮説を立てる V字モデルと広義のシステム開発、狭義のシステム開発、ソフトウェア開発の関係 最後に 「システム」とは システム
高まる懸念：Windows Recallから全データを抽出できるツールを、研究者がリリース | Codebook｜Security News
WIRED – JUN 4, 2024 マイクロソフトが最近発表したWindowsの新AI機能、「Recall」。プライバシーやセキュリティに関する懸念からセキュリティ業界では否定的な意見が多数聞かれており、「マイクロソフトはRecallをリコールすべき」という見解を示す研究者もいる。そんな中、「Recall機能からデータを抽出し、表示させる」ことのできるツールがリリースされたことで、同機能が抱えるリスクがますます浮き彫りになった。 Recall機能の概要Recall機能は、ユーザーが操作する画面を5秒ごとに撮影し、そのスクリーンショットをローカルに保存してAIで分析・抽出し、検索可能な状態にするというもの。ユーザーはこれらのデータを利用することで、過去に自らが行った操作や閲覧したコンテンツなどを「思い出す」ことができる。ユースケースを考えてみると、例えば、ある料理サイトでレシピを調べると
Programming note: this week, there will be no The Pulse on Thursday. I’m attending Craft Conference in Budapest, Hungary and delivering my annual conference talk the same day. My keynote is titled “What’s Old is New Again.” I’ll share the recording in the newsletter, once it will become available. I hope you enjoy this detailed deepdive on a lean and nimble startup (Bluesky) for the week! Bluesky
Abusing Go's infrastructure
I apologize if this information is already known, but I couldn’t find any references about it and I wanted to understand what was going on and share with you because I think there is some value doing it. In case this wasn’t known, I apologize to the Go team for not talking to them first and jumping the full disclosure gun (I don’t think it’s that severe). I really like Go! Thanks for all your grea
I think OCaml is a great language. While it’s always too simplistic to put languages on a straight line, I feel it’s alright to say that it’s somewhere in between Java/C#/Go and Rust/Haskell for a couple of reasons: Immutability is the default, but you can use types that are mutable if you need/want to You can throw exceptions if you want, or play it “safe” with a Result type Concurrency can be ha
Ruby on Rails 7.2 Beta 1では、Ruby 3.1以降のCRubyで使えるRubyのJITコンパイラであり、Railsアプリケーションのパフォーマンスを大幅に向上させ、レイテンシを15〜25％改善するYJITがデフォルトで有効化されている。 あわせて、Pumaにおけるデフォルトのスレッド数を5から3に変更し、スレッド数が多すぎる場合にRubyがグローバルVMロック（GVL）が解放されるまでの待ち時間を削減することで、レイテンシ（リクエスト応答時間）を改善した。 また、Ruby on Railsによって生成されるデフォルトのDockerfileには、メモリ割り当てを最適化するためのjemallocが含まれるようになっている。 さらに、アプリケーションの開発コンテナ構成を生成する機能が追加された。同構成では、.devcontainerフォルダ内に、Dockerfile、do
Implementing MVCC and major SQL transaction isolation levels | notes.eatonphil.com
In this post we'll build a database in 400 lines of code with basic support for five standard SQL transaction levels: Read Uncommitted, Read Committed, Repeatable Read, Snapshot Isolation and Serializable. We'll use multi-version concurrency control (MVCC) and optimistic concurrency control (OCC) to accomplish this. The goal isn't to be perfect but to explain the basics in a minimal way. You don't
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース
プロンプトからREST APIを作るサービス『Hanabi.REST』の技術構成
システム開発におけるシステムとは何か - TRACERY Lab.（トレラボ）
Inside Bluesky’s Engineering Culture
Getting OCaml Through the Eye of a Needle
Webアプリケーションフレームワーク「Ruby on Rails 7.2 Beta 1」を公開