【特集】 メモリ8GBだともう少ない？16GBと32GBとの差を用途別に徹底比較
リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得られるということなのだと思うので、可能であればMVCCを採用したいのですが、あまり初学者向けの実装例も見当たらず、どうしたものかと悩んでおります。 SS2PL/S2PLとMVCCの実装の難易度・工数はどの程度違うものなのでしょうか？ また、初めてリレーショナルデータベースシステムを開発する者
Obsidian がすごくいい
Obsidian（オブシディアン） と出会ってまだ3日目ではありますが、ここ最近で一番興味をそそられるアプリだったので紹介します。 A second brain, for you, forever. https://obsidian.md/ 出会いの経緯 を眺めていたときに一つの記事が目に付きました。 私がソフトウェア開発者として Notion から Obsidian に移った理由トップ3 何やら少し挑戦的なタイトルです。私も情報を整理するときに Notion はよく使用しています。不満がないとは言わないものの、Notion の機能を超える情報整理ツールは中々ないことくらいはわかります。 気になった記事は、まず読んでみることです。 読みながらの感想 "Obsidian" ……なんて読むの？ｶﾀｶﾀ……オブシディアン。いやー、スペルも読み方も覚えられないなぁ……。どんな意味なの？ｶﾀｶﾀ……
人工知能（AI）を使って、文章から画像や3Dモデルを生成する技術が注目を集めていますが、Googleがテキストなどの情報から音楽を生成できるAIモデル「MusicLM」を発表しました。GoogleのWebサイトで多数のサンプルが公開されています。 28万時間の音楽を学習 テキストから音楽を生成する技術そのものは以前から存在していますが、Googleの「MusicLM」は、28万時間の音楽を学習させて開発されており、音を複雑に組み合わせた高度な楽曲を生成できるのが特徴です。 ただし、Googleはさまざまリスクを考慮し、MusicLMを一般向けに公開する計画はないそうです。 曲の雰囲気を指示すると作曲、鼻歌もアレンジ MusicLMの生成する楽曲のうち特に印象的なものを、人工知能情報のWebサイトbleedingedge.aiがTwitterに紹介しています。 例えば、「早めのペース、アップ
米ドル/円 が150円と計算しやすくなり、コスト削減の圧力が日々強まる中、皆様お宝探しと垂れ流し回収の真っ最中でございましょうか。 最近はコスト削減や予算について見ることが多いので、その中で出てきた面白げな話に雑談を加えてとりとめなく書いてみようと思います。 削減余地はある 昨年にご好評いただいた AWSコスト削減とリソース管理 | 外道父の匠 を含め色々な削減施策を試みてきましたが、サクッと成果になる箇所から泥沼に動かない所まで様々あったりします。 ただ、どんなアカウントでもトラフィックや処理負荷には波があり、それに対する余剰リソースを確保して構成しているので、その辺をキュッと絞ることまで含めればやれることは必ず一定以上存在することになります。 そういう大きなお宝ではない小さなお宝だと様々あり、古びたとか退職者が作ったとかで、ほぼ使っていない垂れ流しリソースやデータをかき集めれば、チリツ
This is The Entire Computer Science Curriculum in 1000 YouTube Videos
This is The Entire Computer Science Curriculum in 1000 YouTube Videos In this article, we are going to create an entire Computer Science curriculum using only YouTube videos. The Computer Science curriculum is going to cover every skill essential for a Computer Science Engineer that has expertise in Artificial Intelligence and its subfields, like: Machine Learning, Deep Learning, Computer Vision,
コンピュータシステムの理論と実装 をやりきったので、メモを残しておきます。 本の紹介 コンピュータシステムの理論と実装 では、NAND ゲートからはじめて、最終的にはアプリケーションを動作させるところまで、ボトムアップの視点でコンピュータシステムの説明が記載されています。通称「Nand2Tetris」。名前がかっこいいですね。 とてもわかりやすい裏書きの説明は以下 コンピュータを理解するための最善の方法はゼロからコンピュータを作ることで、その構成要素は、ハードウェア、ソフトウェア、コンパイラ、OSに大別できる。本書では、これらの構成要素をひとつずつ組み立てる。具体的には、NANDという電子素子からスタートし、論理ゲート、加算器、CPUを設計。オペレーティングシステム、コンパイラ、バーチャルマシンなどを実装しコンピュータを完成させて、最後にその上でアプリケーション(テトリスなど)を動作させる
Microsoft SQL ServerMySQLOracle DatabasePostgreSQLSolarWinds DPAデータベース運用主要RDBMS製品の比較 2022.09.01 渡部 亮太 主要RDBMS製品の比較 – アーキテクチャ, スキーマ, データベース, メモリ Oracle ACE Proの渡部です。 主要なRDBMS製品についてアーキテクチャを比較します。 大枠を整理することが最大の目的です。細かい例外事項や拡張機能は適宜記載を割愛しています。 2022年9月時点の最新バージョンをベースに記載していますが、記載内容にバージョン依存は少ないはずです。 時間ができた時に随時追記予定です。 もし誤りを見つけた場合は、優しく教えていただけると嬉しいです。→ https://twitter.com/wrcsus4 or ryota.watabe at cosol dot
(数式を使わない) Transformer の直感的な説明 / 真面目なプログラマのためのディープラーニング入門
(数式を使わない) Transformer の直感的な説明 RNN の欠点 Transformer はこれをどう解決したか Transformer の動作原理 複数の要素間の関係を考慮する (Self-Attention、自己注意) 要素の順序を考慮する (Positional Encoding、位置エンコーディング) まとめ 概要: ChatGPT などで使われている Transformer モデルは、 ニューラルネットワークの世界にいくつかの革新的なアイデアをもたらした。 本記事では、プログラマに理解しやすい形でそれらのアイデアを解説する。 実際に使われている数学の詳細には触れない。 (技術的解説については元論文 Attention is All You Need か、 その注釈版である The Annotated Transformer を参照のこと。 日本語では この解説 がわかり
大規模システムでの Linux のメモリ管理
(This post is also available in English.) この記事は Linux memory management at scale を 著者の Chris Down さんの許可 を得て Hiroaki Nakamura が日本語に翻訳したものです。 原文のライセンス は CC BY-SA 4.0 であり、翻訳のライセンスも同じく CC BY 4.0 とします。 cgroup2 プロジェクトでの私の仕事の一部として Linux システムのリソース管理についてエンジニアと話すことに多くの時間をかけてきました。 これらの会話を通じてどんどん明らかになってきた 1 つの事実は多くのエンジニアは、シニア SRE たちでさえも、 Linux のメモリ管理についていくつかのよくある誤解を持っていて、そしてそれが彼らがサポートするサービスやシステムが本来確実に稼働したり効率的
これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
Nand2Tetris(コンピュータシステムの理論と実装)でCPUからOSまで一気通貫で作るのが最高に楽しかった話 - ( ꒪⌓꒪) ゆるよろ日記
どうも、しいたけです。 去年あたりからローレイヤー周りの知識を充実させようと思い、 低レイヤを知りたい人のためのCコンパイラ作成入門 を読んでCコンパイラを書いてみたりx86_64の勉強をしたりしていました。 今年に入ってから、よりローなレイヤー、具体的にはハードウェアやOSについてもう少し知りたいと思い始め、手頃な書籍を探していました。 CPUなどのハードウェア周りについては概要しか知らなくて手を動かしたことがないので、実際に何か作りながら学べるものとして、 O'Reilly Japan - コンピュータシステムの理論と実装 に挑戦することにしました。 O'Reilly Japan - コンピュータシステムの理論と実装 成果物は以下のリポジトリに置いてあります。 yuroyoro/nand2tetris 結論から言うと、やってみて大変楽しめました！ 特にハードウェア周りは今まで挑戦したこ
全ガンダム一言作品評
昨日某所に投稿した物の再掲 機動戦士ガンダム作画は良いとは言えないが万人に薦められる名作 劇場版機動戦士ガンダム今から初代ガンダムを見るならこれを見とけば間違い無しの名作 機動戦士Zガンダム万人向けとは言い難く人を選ぶが名作 機動戦士ガンダムZZ前作以上に人を選ぶが戦闘シーンのクオリティが高い佳作 機動戦士ガンダム 逆襲のシャアガンダム最高傑作と言っても過言ではない宇宙戦闘が描かれる名作 機動戦士ガンダム0080 ポケットの中の戦争とりあえずガンダムを見た事無い人にはこれか初代を薦めれば無難な不朽の名作 機動戦士ガンダムF91二時間足らずの尺に時代を一新した新たなガンダム世界と二人の主人公の対になる家族像の映像を詰め込んだ意欲作 機動戦士ガンダム0083 STARDUST MEMORY初代からZへの空白期間の戦いが超クオリティの作画で描かれる良作 機動戦士Ｖガンダム宇宙世紀の大トリを飾る最
ドラクエ４で「にげる」８回でずっと会心の一撃になるバグ、こういう仕組みで起こってたらしい「そうだったのか！」「これは有益」
殺群 凶虎 @blackknight4000 ファミコンのドラクエ4の「にげる」を8回やると以後の攻撃がかいしんのいちげきになるバグがあるのだけれど、その原因が聴けて良かった。 説明するとドラクエ4ってにげるを4回すると必ず成功するのよ。そんでその回数をカウントしているフラグの隣にパルプンテ用のかいしんのいちげきフラグがある。 2021-05-16 13:05:24 殺群 凶虎 @blackknight4000 ボス戦で逃げられない戦闘の時ににげるを8回すると逃げるカウンターの桁が溢れて、隣のパルプンテ用かいしんのいちげきカウンターに浸食して状態が起きちゃうという。 三十年越しに謎が溶けて良かった。 2021-05-16 13:09:34 殺群 凶虎 @blackknight4000 ミニチュアゲームとPCゲームが大好きです。 現在やってるゲーム:DBD、mtga、フォートナイト、civ6
いつもと変わらない、しょうゆのある日常。 ある日突然、この国から、 “しょうゆ” が消えてなくなってしまう。 なんと、人々の記憶からも。 しかし、高校生のトシキは、その存在を覚えていた。 もしも、この国にしょうゆがなかったら――。
TOMCAT殺害事件 - Qiita
OOMKillerの殺意 顧客EC2のTomcatがアクセスの無い早朝にもかかわらずOOMKillerに突然殺されてしまったので、調査した顛末をたぶん同じような問題に直面されている方もおられるかと思いますので備忘録として記載します。 Javaヒープのチューニングにも多少役立つかと思います。 （この記事はJava8が対象となります。） OOMKillerとはOut of Memory時に、サーバ全体を守るためにメモリーを消費しているプロセスを停止するLinuxの標準機能です。 そのOOMKillerになんとTomcatが突然殺害されてしまいました。 問答無用の辻斬り状態です。 早朝ですのでアクセスログには何も記録されておらず、catalina.outには OpenJDK 64-Bit Server VM warning: Setting LargePageSizeInBytes has no
データエンジニアの私が機械学習・データサイエンスでオススメしたいスキルマップと本まとめ - 2020年版 - Lean Baseball
要約すると, データサイエンス・機械学習周りでよく聞かれること&回答を言語化しました. 「データサイエンティストやりたい」「機械学習エンジニアになりたい」というキャリア志望を持つ方は多いと思います. 私の周りでも, 公私ともにそんな志望者の相談を聞いたり, （主にインターンの学生さんですが）一緒に仕事をしたりする機会もメッチャ多いです. 「ビジネスサイド強いマン」「サーバーサイドエンジニア」という視点からデータエンジニア兼データサイエンティストな自分が, そんな彼ら彼女らにオススメしている, データサイエンティストを目指すためのスキルマップ 各領域のスキルアップを実現するためにオススメしたい書籍 を紹介したいと思います. なお, 昨年も同様のエントリーを書いておりそのUpgrade版となります. shinyorke.hatenablog.com このエントリーの対象読者 データサイエンスに
MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題となったクエリ 今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると適切なインデックスが用意されていてもフルスキャンが発生する事がありました。このクエリがテーブルのほとんどのレコードを網羅するような場合や高速でレコードを大量にinsertして統計情報が追いつかないケー
10年以上前の昔話であり、そんなこともあったのねという話。あるいはエンタープライズサポートってそんなことやってるのねという話。 カーネルメモリダンプLinuxカーネルをエンタープライズに使おうとした企業、富士通やIBM、日立といった企業がこぞってカーネルに入れようとした機能がカーネルがパニックした時に「なぜコケたのか」調べるための機能であった。その最たるものがメモリダンプだった。この機能はカーネルパニックが起きた後のメモリをディスクに吐き出す。この吐き出されたメモリイメージをダンプと呼び、これをデバッガに食わせて原因調査をする。 カーネルデベロッパはパニックが起きたら再現条件を探して理詰めでバグを探すのが得意だが、顧客先でパニックが起きたら「再現させてくれ」とは中々言えないのでこの機能はサポートには重要だった。そして、ダンプ調査の技を持つエンジニアも居た。 地雷型メモリ破壊パニック色々と調
Awesome Dev Tool Tips 🔥
Contents (Click to expand) ↕️ Design Mode Pretty Print Command Pallet and Super Search Snippets Live Expressions Tracking Changes Console Shorthand Find Unused Code Rendering Panel Network Paint Times Network Timings Inspect Network Requests Performance Identifying Memory Leaks Raw Memory Inspection Test bfcache Full Refresh Lighthouse Page Size Breakdown Record User Flows Advanced User Flow Opera
処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
鈴木杏樹が語るKAKKOのすべて
鈴木杏樹が語るKAKKOのすべて 藤井隆が熱望した、吉田豪によるKAKKOインタビューが実現 2023年2月3日 18:30 1519 443 × 1519 この記事に関するナタリー公式アカウントの投稿が、SNS上でシェア / いいねされた数の合計です。 424 709 386 シェア 昨年8月放送の「おげんさんといっしょ」（NHK総合）に登場し、今再び注目されているKAKKOをご存知だろうか。 KAKKOは鈴木杏樹が女優デビュー前の1990年にイギリスで音楽活動をしていた際のアーティスト名。鈴木は17歳のときに単身移り住んだロンドンで念願のデビューを果たしたが、帰国後は歌手・KAKKOではなくタレント・俳優の道を選んだ。芸能界での活躍はご存じの通りだが、その裏で彼女の音楽活動に熱烈なラブコールを送り続けていた男がいた。芸人である藤井隆だ。長年にわたりKAKKOの再始動を熱烈にオファーして
1983年徳島県生まれ。大阪在住。散歩が趣味の組込エンジニア。エアコンの配管や室外機のある風景など、普段着の街を見るのが好き。日常的すぎて誰も気にしないようなモノに気付いていきたい。（動画インタビュー） 前の記事：大阪・堂島で圧巻の配管ビューを楽しむ ＞ 個人サイト NEKOPLA Tumblr UV-EPROMって何？ まずは身近なところから話を始めよう。現代において、ちょっとしたデータを記憶するときに使うのは「USBメモリ」や「SDカード」である。もはやないと困るレベルの生活必需品だ。 それを分解すると出てくるのが、「フラッシュメモリ」と呼ばれる記憶チップである。 この黒いICがフラッシュメモリ。電源を切っても記憶内容を保持できる「不揮発性メモリ」と呼ばれるものの一種だ 少し歴史を振り返ってみよう。 フラッシュメモリが最初に発表されたのは1984年。当時、東芝の研究者だった舛岡富士雄氏
We have a surprise for you today: Raspberry Pi 4 is now on sale, starting at $35. This is a comprehensive upgrade, touching almost every element of the platform. For the first time we provide a PC-like level of performance for most users, while retaining the interfacing capabilities and hackability of the classic Raspberry Pi line. Get yours today from our Approved Resellers, or from the Raspberry
この記事は リクルート ICT統括室 Advent Calendar 2023 18日目の記事です。 こんにちは、ICT統括室の別府(@tky_bpp)です。この記事は、社内の情報流通を社内プロダクト起点で改善しようとしている取り組みの紹介です。 具体的には「社内・社外に分散している情報」を集約することで「各従業員がこれまでどのような仕事をしてきたのか」を可視化しようとしている取り組みです。その中でも、主にプロセス、工夫した点について書いています。そのため、特定の技術スタック、ツールの紹介といった技術的な内容にはあまり触れません。 同じような課題に取り組んでいる方にとって、少しでも参考になれば幸いです。 はじめに 私は現在、リクルートの社内で利用されている従業員検索システムのプロダクトマネージャーをしています。 このシステムには、従業員毎の個人ページがあり、連絡先や所属部署、使用しているパ
兵庫医科大学 医学部および自然科学研究機構 生理学研究所の共同研究グループは、呼吸の頻度やパターンを変えることで、記憶力の強化と悪化の両側面が引き起こされることを初めて発見した。 本研究で用いた遺伝子改変マウスは、光遺伝学（オプトジェネティクス）という技術により、呼吸中枢に光を照射すると、呼吸パターンを自在に操作することができる。マウスの記憶課題中に、記憶する瞬間に呼吸を停止させると、海馬ニューロンの活動が変化し、記憶力が低下するという驚きの結果が得られた。さらに、呼吸の周期性をランダムにした結果、記憶力が強化されたり、呼吸の頻度を半分に減らした結果、記憶が間違った形で作られてしまうなど、呼吸パターンを操作することにより記憶力の強化と悪化の両側面が引き起こされることを発見した。 この結果から、呼吸活動は、脳に作用して記憶や思考に関わる情報処理をある一定の単位としてまとめる役割を持つ上、記憶
思い出す という幸せ
彼女は居ないし収入も低く、自由に使える時間もそれほど多くはない。毎日疲れ果てて家に帰り、健康に悪そうな食べ物を胃に放り投げたら、冷えが厳しい浴室で水圧の弱い湯を浴びる。薄暗い静かな部屋で、安酒を呷りながら明るく賑やかなテレビ画面を眺めていると、いつの間にか眠りに落ちている。そんな毎日だ。 でも俺には、日曜の夜だけのささやかな楽しみがある。「思い出す」ことだ。祖母の家で食べた大きなスイカ。いとこと夢中になって遊んだ競馬のメダルゲーム。修学旅行で友達と乗った保津川のライン下り。塾で目が合った他校の女の子。貯めたバイト代を握りしめて行った地元のバイク屋。職場で優しくしてくれた、親父と同い年の上司。思い出せる限り詳細に、記憶の縁を辿っていく。綺麗な思い出は、いつだって俺に優しい。 どれもこれも、今となっては戻ることの無い遠い過去だ。しかし、だからこそ貴重なものだ。物の本当の価値に気付くのは、いつだ
※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ
「Amazonでさえサーバレスやマイクロサービスを理解できない」とDHH氏が主張する一方で、「進化可能なアーキテクチャこそ重要」とAmazonのVogels博士
Ruby on Railsの作者として知られるDavid Heinemeier Hansson（DHH）氏が自身のブログに5月4日付けで投稿した記事「Even Amazon can't make sense of serverless or microservices」（Amazonでさえサーバレスやマイクロサービスを理解できない）が話題になっています。 これはAmazon Prime Videoの技術部門が3月に自社ブログに投稿した記事「Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%」（Prime Videoの音声映像監視サービスにおけるスケールアップと90％のコスト削減の実現）で紹介された、AWS Lambdaのサーバレスで作られたPrime Videoの監視サービス
systemd serviceから呼ぶシェルではsudoではなくsetprivを使う - 赤帽エンジニアブログ
Red Hatの森若です。 自分でsystemdのservice unitを作るときに、起動用のいくつかのコマンドを記述したシェルスクリプトを呼ぶ事は(理想的ではないですが)あるかと思います。 今回はこの場合に、sudoを利用するとまずい理由を説明して、かわりにsetprivを使うほうがよいという話です。 例題用のservice 実行してみる 別のcgroupだと何がまずいのか? 対策はsetprivコマンド 例題用のservice sudoによるまずい動作を確認するためのできるだけ単純な例として、hoge.service を用意します。 /opt/hoge/hoge.sh #!/bin/bash sudo -u moriwaka sleep 5000 /etc/systemd/system/hoge.service [Unit] Description=hoge [Service] Ty
DiscordがGoで書かれていたコンポーネントをRustに移行しているらしい。Windowsの低レイヤ層の一部で採用されるなど、近年どんどん注目を集めているRustだが、DiscordはなぜRustを選んだのか。その最大の特徴である「パフォーマンスを妨げる要素であるGCを排した上でメモリセーフな言語」であることにクローズアップした面白い内容だったので、えっちらおっちら和訳してみた。英語が得意というわけでもなく、無理やり翻訳しているところも多いのであしからず。ほとんどGoogle翻訳のままというのは内緒。 追記: 7/31にはてブでいっぱいブックマークされたみたい。気になったブコメへの返信を末尾に追記した。 原文: Why Discord is switching from Go to Rust - Discord Blog Rustは様々な分野において第一級の言語になりつつあります。Di
世間ではAppleの新しい製品に使われるARM64 CPUであるM1の話題でもちきりだ。ただし、日本語を話す記者というのは極めて非科学的かつ無能であり、M1の現物を手にしても、末端のソフトウェアを動かして、体感で早いだの遅いだのと語るだけだ。そういう感想は居酒屋で酒を片手に漏らすべきであって、報道と呼ぶべきシロモノではない。 と思っていたら、Phoronixがやってくれた。M1とi7で動くmacOSでベンチマークをしている。 これを考察すると、M1のMac Miniは、一世代前のi7のMac Miniに比べて、メモリ性能とI/O性能が高く、演算性能は低いようだ。このことを考えると、M1の性能特性としては、動画のエンコードやソフトウェアレイトレーシングをするには不向きだが、その他の作業は遜色ないだろう。 問題は、仮想化とRosettaを組み合わせることができないという点だ。x86-64のユー
Twitterの内部構造を読解してみる 前口上 Twitterのようなマイクロブログサービスでは短時間で書き込みも多く、特にタイムライン周りは単にRDBのデータを出し入れるするだけではスケールしなくなります。 インターネット上に断片ながらTwitterの中の人がアーキテクチャについて解説した記事や動画がいくつか落ちていたので、Twitterがタイムラインをどうやってキャッシュしているかについてまとめてみたいと思います(推測を含みます)。 Twitterのテーブル構造 単純なTwitterのテーブル定義をRDBで定義すると以下のようになると思います。 tweets ツイート id user_id contents tweet_at followers フォロワー source_user_id destination_user_id users ユーザー id user_name timeli
ビデオカードのメモリが増設できない理由について、昔この業界に関わったことがある俺が説明してみる。理由は2つで、技術的ハードルが高い点と需要が無いという点である。 その1 技術的ハードルについて現在主流となっているビデオカードのメモリはGDDR6という規格である。こいつは16Gbpsでデータを転送できるんだが、1bitのデータのやりとりに使えるのはわずか62.5ピコ秒しかないということだ。これってメチャクチャやばい話で、僅か数mmの配線長の違いでも信号のタイミングのずれに影響してしまう。PC系のニュースサイトでビデオカードからクーラーを外した写真がよく掲載されているので試しに見てほしいのだが、タイミングずれが起きないようにGPUの周りを囲むように等距離になる位置にメモリが配置されているのがわかるだろうか？また、このような配置には、配線距離が短くなるメリットもあるのだ。 一方、PCに使われるメ
監視について思うとこ - y-ohgi's blog
TL;DR 監視はユーザーにサービスを提供できているかを観測するための行為 SLI/SLOを定めて、SLOを守れるようにモニタリングする ダッシュボードは定常的に表示しておくものと障害時に活用するものを作ると良い アラートはレベル分けして人間が対応しなければならないものだけ人間へ通知する 監視とは サービスを健全に動作させ続けるために監視を行います。 「健全に動作している」の定義はサービスによって異なり、ユーザーにWebページを見せることができることだったり、バッチが正常に終了することだったりします。 最終的にユーザーに正常にサービスを提供できていることを観測するために行うことに変わりはありません。 さてユーザーにサービスを提供するために何を監視しましょうか？ クラウド前提であれば個人的にリソースベース（CPU/Memory）より、 SLI/SLOをベース に監視する事が望ましいと考えてい
どうしてこうなった。 何の話？ WindowsでのSSH-AGENTとSSHの話です。 この記事での用語: SSHとssh, SSH-AGENTとssh-agent この記事では、SSH-AGENTと書いたときにはカテゴリとしてのSSHエージェントを意味します。 ssh-agentと書いたときには、実行プログラムとしてのssh-agentコマンドを意味します。 同様に、SSHと書いたときにはカテゴリとしてのSSHクライアントを意味します。 sshと書いたときには、実行プログラムとしてのsshコマンドを意味します。 SSH-AGENTって？ SSH-AGENTは、秘密鍵での署名を代行1してくれるツールです。 SSH-AGENT に秘密鍵をロードしてしまえば、あとはパスワード(パスフレーズ)入力なしでSSH認証できる agent forward機能を使うことで、SSHした先でさらにSSHすると
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 時間がない方はビデオをご覧ください 僕の失敗は、何も考えずにgit lfs installでディレクトリごとコピーしようとしたこと。 このディレクトリには過去のモデルデータが全部あるので、ひとつ30GBのモデルデータを何十個もダウンロードしようとしていて終わらなかったのだ。 モデルデータは一とつあれば十分なのでひとつだけにする。 次に、chatのリポ
1944年樺太生まれ。1968年東京大学工学部物理工学科を卒業。日本電気（株）に入社以来、一貫して半導体関係業務に従事。半導体デバイスとプロセスの開発と生産技術を経験後、同社半導体事業グループの統括部長、主席技師長を歴任。（社）日本半導体製造装置協会専務理事を経て、2007年8月から（株）半導体エネルギー研究所顧問。著書に『入門ビジュアルテクノロジー最新半導体のすべて』『図解でわかる 電子回路』『図解でわかる電子デバイス（共著）』『プロ技術者になるエンジニアの勉強法』（日本実業出版社）、『半導体・ICのすべて』（電波新聞社）、『電気のキホン』『半導体のキホン』（ソフトバンククリエイティブ）、『図解これならわかる！電子回路』（ナツメ社）など多数。 半導体産業のすべて 元NECの伝説的な技術者であり半導体製造の第一人者が、業界の主要企業とその相関関係を詳細に解説した『半導体産業のすべて』の一部
0 issue "letsencrypt.org" 0 issuewild "letsencrypt.org" 0 iodef "mailto:yourmail@example.jp" §OS再インストール さくらVPSのコントロールパネルから、OSを再インストールするサーバを選ぶ。 www99999ui.vs.sakura.ne.jp §OSのインストール操作 Ubuntu 22.04 LTS を選ぶ。 OSインストール時のパケットフィルタ（ポート制限）を無効にして、ファイアウォールは手動で設定することにする。 初期ユーザのパスワードに使える文字が制限されているので、ここでは簡単なパスワードにしておき、後ですぐに複雑なパスワードに変更する。 公開鍵認証できるように公開鍵を登録しておく。 §秘密鍵と公開鍵の作成 クライアントマシン側で生成した公開鍵を ~/.ssh/authorized_k
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
リレーショナルデータベースシステムを趣味で開発している者です。 現在、開発中のシステムを並行トランザクションへ対応させることを検討しており、どのような手法があるのか調べたところ、SS2PLもしくはS2PLという手法が私と同じように自作をされている方々の中では多く採用されているようだと分かりました。 一方で、PostgreSQLやMySQLなどのプロダクションレベルで利用されているシステムではMVCCと呼ばれる手法が採用されているということも分かりました。 きっと後者の方が多くの場合で高いスループットが得ら
あきお, Ph.D.🇺🇸 on Twitter: "短期記憶から長期記憶に移行する脳内メカニズムを明らかにしたScience論文。 記憶の固定（形成）や想起（思い出すこと）に海馬が重要なのは皆が知るところであるが、海馬依存的な記憶の想起は、マウスでは数日程度で、２週間後の想起には関係がないことが明らかになった。 1/n #神経科学 #論文紹介"
Google、作曲AI「MusicLM」発表。テキストから高度な音楽を生成 - iPhone Mania
AWSが教えてくれないコスト削減の小話いろいろ | 外道父の匠
「コンピュータシステムの理論と実装」をやりきりました - Qiita
主要RDBMS製品の比較 – アーキテクチャ, スキーマ, データベース, メモリ | コーソルDatabaseエンジニアのBlog
AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
もしも、この国にしょうゆがなかったら。 | キッコーマン ホームページ
メモリダンプと模様が見える男｜kamezawa.hiroyuki
AWSでバッチ処理を実装する際の選択肢とサービス比較
USBメモリの大先輩！ 紫外線を当ててデータ消去するメモリで遊ぶ
Raspberry Pi 4 on sale now from $35 - Raspberry Pi
全社横断で「誰が何をやっているのか」を可視化する取り組み
呼吸パターンを操作すると記憶力が変化 兵庫医科大学と生理学研究所が発見
ChatGPTのコア技術「GPT」をざっくり理解する - Qiita
なぜDiscordはGoからRustへ移行するのか - MISONLN41's Blog
macOSのM1とx86-64におけるベンチマーク比較の考察
Twitterはタイムラインをどうやってキャッシュしているか - Qiita
ビデオカードのメモリが増設できない理由について、昔この業界に関わった..
混沌を極めるWindowsのssh-agent事情 - Qiita
完全フリーで3GBのVRAMでも超高速に動く14B大規模言語モデルRWKVを試す｜shi3z
【元NECのトップ技術者が解説！】世界一だった日本の半導体メーカーは、なぜ凋落したのか？
Ubuntu 22.04 LTS サーバ構築手順書