Mercari JPのモノリスサービスをKubernetesに移行した話 PHP Conference 2022 9/24Shin Ohno
東京五輪の開会式が7月23日、国立競技場で行われた。競技場の上空で多数のドローンが市松模様のエンブレムを形成し、地球の形に変わるパフォーマンスがハイライトの1つになった。使われたドローンは1824台。米Intelの「Shooting Star」システムだ。 Intelのドローンは2018年の平昌五輪でも活躍した。このときは1218台でギネス記録を更新した。 Shooting Starは重さ330グラム、ローターの直径が15センチの小型クアッドコプター。LEDライトの組み合わせで40億以上の色の光を表現できる。1台のPCで数千台のドローン群全体をコントロールする。IntelのWebサイトによると、現在は2タイプのドローンがあり、開会式で使われたのはより高性能な「Premium Drone」だ。
この本は組込みシステムやOSのような低レイヤーシステムの開発経験がないプログラマーのような人が、自作OSをはじめるため解説本です。 著者自身、本職はウェブプログラマーですが、趣味で組込みOSの自作をしています。この本はそのノウハウ集のようなものです。 このような低レイヤーシステムはC言語で開発されることが多いのですが、今回はRustを使います。 RustはC言語と比較して、様々なモダンな機能やツール郡を取り揃えている上に、C言語の長所である直接のメモリ制御ができ、パフォーマンスも高いとして組込みシステム開発でつかえるとして注目されています。 Rustそのもの解説は控えめですが、低レイヤーシステム開発特有のテクニックは必要に応じて解説します。 想定読者 ある程度はプログラミング経験があることを前提としています。 また、レジスタやメモリなどコンピュータアーキテクチャに関する基礎用語の説明もちゃ
新しいPCを組んだ。 自作PCを組むのはこれで二台目。一台目については以下の記事で紹介している。 自作PC2021 前回の組み立て時に基本的な部分を学べたので、今回は一度やってみたかった本格水冷に挑戦してみることにした。 組み立て後 組み立て前 この記事では、利用した各部品を紹介していく。前半では水冷にあまり関係無い部分、後半では水冷に関係する部分に触れる。自作PC2027を書くことになる頃合いで読み返したい。 ケース Lian LiのO11 EVO RGBを利用した。 Amazon | LIANLI E-ATX対応ミドルタワーPCケース O11D EVO RGB Black リバーシブルデザイン E-ATX(幅280mm以下) / ATX/Micro ATX/Mini-ITX規格対応 RGBストリップ標準搭載 420mmラジエーター搭載可能 日本正規代理店品 | リアンリー(Li LIA
通勤電車で考えてたやつ 書けてるよ!書けてるよ!コードが書けてるときに使う おいおい、書き換えてるのはコードか?それとも人類の歴史かい?人類史を書き換えるほどのコードを見たときに使う 泣く子も黙るPullRequest!泣く子も思わず黙ってしまうようなPullRequestを見たときに使う コミットがチョモランマ!コミット量がすごい量のときに使う 仕様が歩いてる!自社、他社問わずそのサービスの仕様に詳しすぎる人に使う 頭にちっちゃいスパコン載せてるのかい?頭の回転が早い人に使う キーボードが2つに割れてるよ2つに割れているキーボードを使ってる人に使う もしくは普通のキーボードでも2つ使ってる人に使う ストックオプションでビルが建つぞ!ストックオプションでビルが建ちそうなときに使う 進捗おばけ進捗がすごいときに使う 会社にユニコーンが宿ってる!評価額が10億ドル以上の未上場企業に使う 参考:
N100の格安ミニPCがほしかった(昨今、大体二〜三万くらいで買える) Windowsのライセンスがボリュームライセンスだった、闇とはいえ、キレそう 色々操作すると「組織に許可されてねーわ」的なことを言われたりもする (ここから本題) 回復ドライブつくって全消し再インストールしたら、Microsoft Storeがはいってなかった というか、ほとんどのWindowsアプリがはいってなかった メロスは激怒した ライセンスチェック ダイアログが開き、どのようなライセンスなのか確認できる。 ボリュームライセンスだとガチャ外れ。なお、半外れがあるらしい(再インストールで復活するケースがあるとか??)。 大手だと、OEMとしてPCのハードウェアにシリアルが焼かれており、それを利用できるのでチェックするとよい なんとなくググってると MAK…? とかでないと、どうやら外れらしい(たぶん、KMSが全外れ
この記事でお題にするのはCPUレジスタ上の整数除算です。以下、単に除算とも書きます。 除算は非常に高コストな演算なため、コンパイラは最適化によって、できるだけ整数除算を別の計算に置き換えようとします。 最適化ができる場合の一つとして、割る数が定数である場合があります。頭のいいコンパイラは、除算を乗算とビットシフト等を駆使した演算に置き換えます。この記事では、そういった最適化の背景にある理屈を部分的に解説します。 計算機環境としてはモダンなx86 CPUを仮定します。したがってレジスタは32/64ビットであり、負数は2の補数表現になっています。ある程度は他の命令セットでも通用する話になっているかもしれません。 そもそも整数の除算とは プログラミングにおける整数の除算の定義について確認します。整数$n$を整数$d$で割るとき $$ n = q \times d + r $$ が成り立つように除
パソコンは毎年3回程度の商戦期があり、新しいモデルが登場する。今年も春の商戦期である3月~4月にかけて、新しいモデルが登場した。だが、これらの製品は見送り、夏の商戦期(6~7月頃)に購入することをおすすめする。 最大の理由は、インテルの新しいCPUを搭載する製品が出てくることだ。一般的なユーザーに人気のモバイルノートの新製品はインテルの第11世代のCPUを採用していた。これでも高速なのだが、いよいよ次のモデルである第12世代のCPUを搭載したモデルが、夏頃には出そろってくるはずだ。 ノートパソコンのインテル製CPUは、第8世代、第10世代、第11世代と進化してきたのだが(第9世代はスキップ)、これまでは順調な性能アップだった。ところが、AMDのRyzenの性能アップが著しく、インテルは徐々に旗色が悪くなってきた。 そこで、大きく性能を向上した第12世代が投入されるわけだ。つまり、大幅な性能
そうは、い観世音菩薩@GPT @iruka3 やーい。 おまえのPC、プレステ5以下。www >PS5のおもな仕様は、CPUがRyzen Zen 2(8コア/16スレッド、最大3.5GHz)、GPUがRadeon RDNA2-based graphics engine(最大2.23GHz、10.3TFLOPS)、メモリがGDDR6 16GB(448GB/s)、ストレージはSSD 825GB(最大リード5.5GB/s)、 2020-09-17 09:32:17 そうは、い観世音菩薩@GPT @iruka3 これを上回るPCを組もうと思ったら、RTX3080刺して、ストレージはPCIeカードにNVMeを2枚ぐらいRAID0で刺さないと無理かもねー。 CPUはRyzen売ってるからいいけれど 3080でも、GDDR6Xの10GBしか積んでない 2020-09-17 22:53:03 リンク Pl
深層学習をまじめにやるなら、どう考えても専用のPCが必要になる。 僕は現在、Memeplexというサービスを運営していて、これはさくらインターネットさんから大量のGPUを借りている。借りたGPUは、さくらインターネットの石狩データセンターで動いている。 さらに、ABCIは企画の段階から立ち会って、実際に仕事ではよく使っている。ABCIは5000以上のGPUを擁するGPUクラウド基盤で、その実態はスーパーコンピュータである。 ABCIを使えば、ほとんどの難しいタスクを恐ろしく安い料金で行うことができる。GoogleやAmazon AWSのようなサービスを展開することができない本邦においては、国家が設立し、民間利用可能なABCIは国民にとっての天叢雲剣あめのむらくものつるぎである。 それでもなお、手元には深層学習用のPCが必要だ。しかも一台では足りない。 ABCIがいかに安くても、PCほどの利
2023/09/12 追記 自分の文章スキルの至らなさゆえですが、"雑魚狩り"の指すものを上手く伝えられなかった人がそれなりにいそうです。 ここでの"雑魚狩り"は 「『今まで手こずっていた敵が、途端にザコ扱いできるようになった』という自身の変化を確認する作業」 のことを指します。 雑魚を狩るのが目的ではなく、雑魚を狩ることを通して自分が強いことを確かめるのが目的。 あまりしっくり来る表現が思いつかなかったので本文では"雑魚狩り"と書きましたが、"格付け"としたほうが、より表現として適切かもしれません。 今から本文を読む人は、"雑魚狩り"を"格付け"と読み換えてください。 むろん、このnoteが対人ゲームにおける雑魚狩りや格付けを推奨するものではないことは言うまでもありません。 ※おことわり このnoteは「格ゲーは衰退するしかない。格ゲーは終わり」ということを言いたいのではなく、「格ゲーは
この記事はx86-64の機械語を書けるようになるためのガイドとなることを目指します。読者はアセンブリー言語について既にある程度知っていることを想定します。 情報源 x86-64の機械語のオフィシャルなガイドはIntelのSoftware Developer ManualまたはAMDのAMD64 Architecture Programmer's Manualです。 Intel SDM: Intel® 64 and IA-32 Architectures Software Developer Manuals AMD64 Architecture Programmer's Manual, Volumes 1-5 このほか、Cから呼び出される関数を定義したり、Cの関数を呼び出すためには、呼び出し規約の知識も必要です。使用される呼び出し規約はOSに依存し、Unix系では主にSystem V ABI
Intel AlderLake N100 が入ったミニPC買ったんだけど とても PC が入ってるとは思えない梱包で届いた 悪い意味でおもちゃっぽいけど異様に小さくて軽い筐体 からの Core i5-6500T の 130% ぐらいの CPU 性能 4K ディスプレイ繋いで余裕の GPU 性能 ですげえよかった。 メモリ 16GB SSD 512GB で 3 万弱で買えるのでかなりいいです。これくらいのグレードの PC って前は「どういう用途で使うにしろ、何かを我慢しながら使う」みたいなものだったと思うけど、「大抵の用途ならこれでいい」みたいな性能でる。 https://amzn.to/3GGPEQK
いったいAppleは何をしたの? 「M1」搭載Macが完全に未来のパソコンだった件2020.11.17 23:10141,753 amito アプリもアクセサリもちゃんと動いちゃってます。 11月11日に発表され、別人に生まれ変わったとまで言われた新しいMacBook Air、MacBook Pro 13インチ、Mac mini。正直、びっくりです。なんせ、過去に発売したほとんどのMacBook Proよりも、ほとんどのiMacよりも高速だとわかってしまったんですから。 つまり今まで2、30万円を費やしてやっと手に入れていた性能が、10万4800円(税別、Airの場合)から手に入ってしまうのです。いったい何が起きたのでしょうか? 今さら聞けない「AppleはMacに何をしたのか」を改めて振り返りつつ、僕が新しいMacBook Airを仕事で使ってみた感想を添えてお届けします。 Appleが
どうもこんにちは、あんどう(@t_andou)です。 前回宣言した通りに誰でも簡単にYoutubeの字幕ファイルを作る方法を書きます。 「Youtubeの」と書いていますが、実際はどの動画でも対応してます。 前回の記事 blog.takuya-andou.com まずはGoogleColabの共有 colab.research.google.com 使い方 GoogleColabに記載していますが 1.GPUを使用するように切り替え 上の「ランタイム」→「ランタイムのタイプを変更」からからGPUを選択 2.右上の接続 下のセルを実行すると自動的に接続されるので省略可能です 3.動画をアップロード ここにドラッグ&ドロップでアップできます 大容量のデータの場合、GoogleDriveと連携した方が効率的です 4.入出力のパスの変更 ファイル名に合わせて変更してください 5.全セルを実行 あと
ご来店いただきありがとうございます。新刊『プログラマーのためのCPU入門 ― CPUは如何にしてソフトウェアを高速に実行するのか』発売開始のお知らせです。 ほぼすべてのソフトウェア開発者がお世話になるコンピューターの最重要パーツ、CPU。「演算をする」というざっくりした役割は知っているし、もう少し踏み込んでレジスタやアセンブリ命令、あるいはさらに踏み込んで、NAND/OR/NOT回路による演算装置といった原理を勉強したことがあるプログラマーの方も少なくないと思います。 しかし、現代のソフトウェアにおいてCPUがもたらす大きな価値は、その原理のみならず、むしろその尋常ならざる高速さにこそあるといっても過言ではないでしょう。 CPUの性能は、半導体技術の進化やハードウェア構成の妙といった物理的な要因のみによって決まるわけではありません。その裏には、パイプライン化やスーパースカラ化、さらには分岐
自身のウェブサイト上に他人のパソコンのCPUを使って仮想通貨をマイニングする「Coinhive(コインハイブ)」を保管したなどとして、不正指令電磁的記録保管の罪(通称ウイルス罪)に問われたウェブデザイナーの男性の上告審判決が1月20日、最高裁第一小法廷(山口厚裁判長)であった。 山口裁判長は罰金10万円の支払いを命じた2審・東京高裁判決を破棄し、無罪と判断した。裁判官5人全員一致の意見。 ●最高裁の判断は 第一小法廷はマイニングによりPCの機能や情報処理に与える影響は、「サイト閲覧中に閲覧者のCPUを一定程度使用するに止まり、その仕様の程度も、閲覧者がその変化に気付くほどのものではなかった」と指摘。 ウェブサイトの運営者が閲覧を通じて利益を得る仕組みは「ウェブサイトによる情報の流通にとって重要」とし、「広告表示と比較しても影響に有意な差異は認められず、社会的に許容し得る範囲内」と述べ、「プ
こんにちは、しんざきです。「エイムが苦手でも多少は戦える気がする」という、非常に甘えた理由でバケツを使っています。精進いたしますのでご勘弁ください。 はじめにこの記事の趣旨なのですが、 対人戦ゲームにおける「負けたときのストレス」がなぜ問題になるのか なぜ、初心者が「スプラトゥーン3」を遊んでいると「敗北のストレス」が希釈されるのか、初心者目線での感想 「ナワバトラー」がおまけゲームとしては想像以上に良くできている件について 以上となります。よろしくお願いします。 「スプラトゥーン3」公式サイト ライター:しんざき SE、ケーナ奏者、キャベツ太郎ソムリエ、三児の父。ダライアス外伝をこよなく愛する横シューターであり、今でも度々鯨ルートに挑んではシャコのばらまき弾にブチ切れている。好きなイーアルカンフーの敵キャラはタオ。 Twitter:@shinzaki 対戦ゲームにおける「敗北時のストレス
この記事は Go 2 Advent Calendar 14日目の穴埋め記事です。 はじめに @okdyy75 さんによる Go 5 Advent Calendar 14日目の の記事「だから僕はGo言語を辞めた」 が「ベンチマークっていうのはこうやるんだよ」というのを説明するために反面教師的な意味で良い教材だと思ったので、反証記事を書きたいと思います。 ベンチマークを取りながらコードを改善して、最終的にGoは遅くないからやめる必要はないということ、そして、なぜ遅いという結論になってしまったのかを掘り下げていきたいと思います。 下準備 幸いなことに、ベンチマークのソースコードがGitHubにある ので、こちらを実行しながら問題点を改善していきましょう。 ちゃんとコードが上がっているのは素晴らしいですね! 一方で、元記事には測定環境が明記されていませんでしたので、同じ環境で測定することはできま
ChatGPT開発に必要なGPUは3万基、日本の国策AI基盤は1千基。目前に迫る日本のAI敗戦 2023.08.19 Updated by Ryo Shimizu on August 19, 2023, 16:47 pm JST そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。 AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。 NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。 たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである
毎日AIニュースを追いかけていると、当然、波がある。 「今週は落ち着いてるな」とか「今日はやばいな」とか。 今日は、久々に「やばいな」という日だった。 まず、一日のうちにSOTA(State Of The Art)超えしたという大規模言語モデルを三つくらい見た。明らかにおかしい。 さらに、AttentionとMLPを使わない大規模言語モデルの実装も見た。世界を三次元的に解釈して合理的な質問と答えを行う大規模言語モデルもあれば、4ビット量子化した60モデルは8ビット量子化した30Bモデルよりも高性能という主張がなされたり、Googleは論理回路の設計を強化学習で行なっているという。どれもこれもにわかには信じ難いが、今目の前で起きていることだ。 「シンギュラリティ」の定義には、「AIがAIを設計し、改良し続ける」という部分があるが、今のAIは人間も考えているが、実はAIがAIを設計している部分
史上最年少でタイトルを獲得した将棋の藤井聡太棋聖(18)が21日、スポーツ報知のインタビューに応じた。19日に18歳になったばかりの若き棋聖に18の質問を投げ掛け、素顔に迫った。天才が語る等身大の声を「私生活編」「将棋編」に分けて紹介する。(聞き手・北野 新太) ■いちばん会いたい人 《質問〈1〉》棋聖獲得、改めておめでとうございます。タイトルホルダーとして将棋界を代表する立場になり、他業界との交流も増えると思います。ちなみに「世界でいちばん会いたい人」ってどなたなんでしょうか? 「あ、ハイ…。(米国の半導体メーカー)AMDのCEOでいらっしゃるリサ・スーさんに…。2、3年前に自分がAMDの『RYZEN』(CPU=コンピュータの頭脳部)を使っていることに対してのツイートをしていただいて、かなりうれしかったので。一度はお会いしたいなあと思っています」 《質問〈2〉》パソコンを自作されてますか
Appleは自社の製品セキュリティについて割と詳細に解説したホワイトペーパーを公開している。何故か日本語版もある。 (PDF版) https://manuals.info.apple.com/MANUALS/1000/MA1902/ja_JP/apple-platform-security-guide-j.pdf EDIT: 日本語版は無くなったようだ (PDF版) https://help.apple.com/pdf/security/ja_JP/apple-platform-security-guide-j.pdf EDIT: 新しいURLで公開された (PDF版) https://help.apple.com/pdf/security/en_US/apple-platform-security-guide.pdf このドキュメントは言わば ユーザのプライバシで商売をすることの決意表明
自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている!」ということで、試してみることにしました。 追記: 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます(現状、私の環境では動かせてないです)。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。
DiscordがGoで書かれていたコンポーネントをRustに移行しているらしい。Windowsの低レイヤ層の一部で採用されるなど、近年どんどん注目を集めているRustだが、DiscordはなぜRustを選んだのか。その最大の特徴である「パフォーマンスを妨げる要素であるGCを排した上でメモリセーフな言語」であることにクローズアップした面白い内容だったので、えっちらおっちら和訳してみた。英語が得意というわけでもなく、無理やり翻訳しているところも多いのであしからず。ほとんどGoogle翻訳のままというのは内緒。 追記: 7/31にはてブでいっぱいブックマークされたみたい。気になったブコメへの返信を末尾に追記した。 原文: Why Discord is switching from Go to Rust - Discord Blog Rustは様々な分野において第一級の言語になりつつあります。Di
某月某日、ジサトラハッチから電話があった。 「ウチの若いのが、ソケットの向きを間違えてCPUを装着したようで、ピンが曲がっちゃってるんですけど……直せたりします? Ryzen 9 5950Xなので、さすがになんとかしたくて」 この話を聞いただけだと、多少曲がったピンがあるくらいかなと思っていたのだが、後日、実物をみて驚いた。大きく曲がったピンが6本、傾いたピンはそれ以上という、なかなか悲惨なことになっていたからだ。 自作PCファンであれば、程度の違いこそあれ、このようなCPUのピンを曲げてしまうという失敗を経験したことがあるだろう。手を滑らせて落とす、ソケットに挿す向きを間違える、ソケットから外すときに片側だけ持ち上げる、ドライバーなどの小物をぶつける、グリスでCPUクーラーに貼り付き一緒に抜ける(通称スッポン)など、不幸な事故から過失まで、その原因は様々だ。 CPUといえば、古くは裏面に
最近よく、今話題のAIお絵かきソフト、Stable Diffusionで遊んでいるのですが、問題は、デスクトップパソコンしか強いGPUを積んでいないので、いちいち、デスクトップまで戻らないとできないことです。 でも仕事はだいたいノートパソコンの方でやっていますので、それだとちょっと仕事の合間に遊ぶということができません。 私のノートパソコンには、GTX 1650とかGTX 1660ぐらいの弱いGPUは載っているのですが、ちょっと絵を作らせると1枚1分ぐらいかかってしまうので、あまり試行錯誤かできないので、実用的ではないです。 デスクトップのRTX2060Superなら、だいたい512×512で1枚の絵を4秒くらいでかけますので、それらいのGPUがノートにもほしいなーーー、と思いました。 しかし、そのクラスのノートパソコンを買おうと思うと、それこそ30万円コースでとてつもなく、高いです。しか
世間ではAppleの新しい製品に使われるARM64 CPUであるM1の話題でもちきりだ。ただし、日本語を話す記者というのは極めて非科学的かつ無能であり、M1の現物を手にしても、末端のソフトウェアを動かして、体感で早いだの遅いだのと語るだけだ。そういう感想は居酒屋で酒を片手に漏らすべきであって、報道と呼ぶべきシロモノではない。 と思っていたら、Phoronixがやってくれた。M1とi7で動くmacOSでベンチマークをしている。 これを考察すると、M1のMac Miniは、一世代前のi7のMac Miniに比べて、メモリ性能とI/O性能が高く、演算性能は低いようだ。このことを考えると、M1の性能特性としては、動画のエンコードやソフトウェアレイトレーシングをするには不向きだが、その他の作業は遜色ないだろう。 問題は、仮想化とRosettaを組み合わせることができないという点だ。x86-64のユー
クラウド使いなエンジニアの皆様、猛暑と円安の中いかがお過ごしですか。上層部からインフラコスト削減を突きつけられてはおりませんでしょうか。 今回はおそらく初めてコスト削減についてAWSを軸に書いていきますが、考え方はどこの環境でも似たりよったりなので何かしらの足しになればと思う次第であります。 目次 長いです。ひきかえしたほうがいいぞ! コミュニティに捧げます AWSの売上 コスト削減とは 三大使命 コスト状況整理 Load Balancer 参考リンク 統合による削減 EC2 Autoscaling 参考リンク 情報整理 古いインスタンスタイプの変更 スケジュールの調整 スポットインスタンスの適用 軽量インスタンスの統合・サーバーレス化 アプリケーション処理の軽減 EC2 EBS EBSは高い 不要EBSを削除・スナップショット化 ボリュームタイプの変更 EC2 AMI NAT Gatew
ビデオカードのメモリが増設できない理由について、昔この業界に関わったことがある俺が説明してみる。理由は2つで、技術的ハードルが高い点と需要が無いという点である。 その1 技術的ハードルについて現在主流となっているビデオカードのメモリはGDDR6という規格である。こいつは16Gbpsでデータを転送できるんだが、1bitのデータのやりとりに使えるのはわずか62.5ピコ秒しかないということだ。これってメチャクチャやばい話で、僅か数mmの配線長の違いでも信号のタイミングのずれに影響してしまう。PC系のニュースサイトでビデオカードからクーラーを外した写真がよく掲載されているので試しに見てほしいのだが、タイミングずれが起きないようにGPUの周りを囲むように等距離になる位置にメモリが配置されているのがわかるだろうか?また、このような配置には、配線距離が短くなるメリットもあるのだ。 一方、PCに使われるメ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く