あけましておめでとうございます。本年もよろしくお願いいたします。 久しぶりに登場しました菊池です。 僕は昨年から新しいデータ基盤を構築するプロジェクトを担当しておりまして、最近システムが無事に実稼働してホッと一息したところです。思い起こせば入社時はインフラ担当部署に配属だったのが、広告配信システムの開発をやったり、カジュアルゲーム作ったり。新規事業のスマホアプリを作りつつサーバーサイドの API を作って立ち上げたり、海外向けのサービスを作ったり。いつのまにかメディア運営に関わったりしてきましたが、最近はデータ基盤の開発もやってます。そんなキャリアを歩んできましたが、いつか森の中の開けた草原にあるネット環境の整ったポツンと一軒家で、庭にチャボを放飼にしつつ養蜂をやってみたいと思っています。 話は戻りますが、今回はこの稼働したてホカホカ状態のデータ基盤について概要を紹介したいと思います。よろ
オブジェクトストレージサービスのWasabi Technologiesは、アジアパシフィック（APAC）での事業拡大に向けて、日本国内にAPAC本社を設置。APAC地域では初となるパブリッククラウドサービスの拠点を、東京都内にあるNTTコミュニケーションズのデータセンターに展開。年内には、国内2つ目のデータセンターを開設する予定であるほか、APAC地域でのデータセンターの設置も検討しているという。 Amazon S3の1/5のコスト S3互換のAPIを提供 Wasabi Technologiesは、米マサチューセッツ州ボストンに本社を置き、2015年に創業。2017年からクラウドストレージサービスを開始している。米国、欧州にデータセンターを設置。社員数は150人以上に達する。また、顧客数は2万5000社以上となっており、メディア＆エンターテイメント、研究開発、ヘルスケア、教育、公共、エネル
「Tailwind CSS実践入門」出版記念イベントの基調講演で使用したスライドです。 イベント詳細 → https://pixiv.connpass.com/event/310073/ 書籍 → https://gihyo.jp/book/2024/978-4-297-13943-8
みずほフィナンシャルグループ（FG）は2021年10月8日、傘下のみずほ銀行で2021年8月以降に起こったシステム障害の詳細と、再発防止策の見直しに向けた課題認識を明らかにした。8月19～20日の「5度目」のシステム障害を巡っては、データセンター（DC）の切り替えという「奥の手」を使わなくても復旧させられたという見解を示した。 みずほ銀行に関しては、2021年に入ってから既に8件のシステム障害が表面化している。みずほFGが10月8日夕に開いた記者会見では、8月以降に発生したシステム障害の詳細を説明し、特に「5度目」の障害について時間を割いた。8月20日午前9時から午前9時45分まで、全463店舗で店頭取引ができなくなったという障害だ。午前11時58分まで融資や外国為替の一部取引も不能になった。 関連記事： みずほ銀行窓口業務ストップの真相、DC切り替えをためらい障害が長期化 「4000年に
2022年9月25日、Googleのクラウドサービス「Googleフォト」の公式フォーラムに「以前Googleフォトにアップロードしたデータが破損している」という問題が投稿され、その後も同様の報告が多数行われ始めました。 Corrupted photos - Google Photos Community https://support.google.com/photos/thread/180787712/corrupted-photos Scott Miller 8444氏は、2014年頃にGoogleフォトへアップロードしたという写真を数枚フォーラムに投稿し、「写真を振り返っていたところ、写真の一部が崩れていることが分かりました。適切にアップロードし、保存されていたにもかかわらず、この問題が発生しました」と訴えました。 Scott Miller 8444氏が投稿した写真の1つが以下のも
マンガワンのサーバー 実は過去にプレスリリースの下の方にしれっとスペックを書いたことがあります。 ベアメタルなサーバー大好きクラスタとかの人が話題にしてくれないかなーと思っていたのですが、 私が観測可能な反響は無でした。 もうこの記事の需要の無さが推測されるようではありますが、意図を解説しましょう。 Xeon Gold 6244というCPUはコア数が少なく、クロックが高く、 最近Apple M1で話題のシングルスレッドの能力が高いモデルです。 マンガワンのサーバーではCPUを4つ搭載することで、コア数の少なさをゴリ押しで解決しており、 会社のフラッグシッププロダクトらしい予算の潤沢さが伺いしれます。 また、マンガアプリなのでSSDは搭載量が多いのですが、Optaneの1.5TBを2本搭載しており、 1本を/tmpやアクセスログ、DBのトランザクション一時ファイルの置き場所に、 もう1本をマ
Nuxt.js で開発されていたAI受診相談ユビーのフロントエンドを Next.js で作り直しました。 まだまだ仮説検証を繰り返すフェーズのスタートアップのため、機能開発を止めて一気に置き換えることはできず、機能ごとに少しずつ置き換えてリリースをしました。結果、5人のプロダクト開発チームによる機能開発と並走して、全体の移行を1人で1ヶ月の短期間で終わらせることができたので、その意思決定や過程、工夫を紹介します。 移行前の課題 まず前提として、移行前の Nuxt.js による実装は 2018 年に立ち上がったもので、当時 toC の Web サービスを持っていなかった Ubie が ほぼ 1 人の小さいチームで PoC 的に作り始めたものでした。また、当時の Next.js は今ほど多機能ではないプレーンなフレームワークでした。 これらを踏まえて、当時の状況で MVP を最速で作るための技
テープの時代は終わらない！2030年頃には、400テラバイト対応か2020.07.08 22:0040,081 Andrew Liszewski - Gizmodo US ［原文］ （ Rina Fukazu ） 進化し続ける｢リニアテープオープン｣。 データは大量にあるが、毎日アクセスする必要のあるものではないーーーそんなときにはテープカートリッジが適しています。富士フィルムによれば今後、ひとつのカートリッジあたり400TB（テラバイト）の容量に対応できるようになるのだとか。 テープの時代は終わってなかったテープという形式はもはや古いのではと思われる方もいるかもしれません。カセットテープや8トラックなど、もう長いあいだ使われていない存在のようですが、実際のところテラバイトのデータを保存するには手ごろで信頼性の高い方法として考えられています。 テープドライブからデータを取り出すのは、ハード
SSDが飛んでしまった。ノートPCに増設して使っていた500GBのNVMe対応M.2 SSDだ。幸いにして200GB程度しか使っていなかったが、それでも膨大なデータが消えてしまったのは痛い。実は前兆があった。怪しいと思った時にすぐバックアップを取っていれば最悪の事態を避けられた、と思うと悔やまれる。どんなディスクであれ、いつかは壊れる。そこで、データが取り出せなくなった経緯をまとめた。同様の状況に遭遇した場合の参考になれば幸いだ。 トラブルは立て続けに起こる。キーボードが壊れて修理に出したノートPC。無事修理完了したかと思いきや、今度は増設していたSSDのデータが飛んでしまった。どうやらSSDの物理的な破損のようだ。特にショックを与えたり、高温の場所に放置するなどしたわけでもなく、普通に使っていただけだが、ある日、全くアクセスできなくなってしまった。 PCは昨年5月に購入した14インチのノ
大量の個人情報が入った神奈川県庁のハードディスクがネットオークションに出品された問題で、別のディスクを盗み出したとして逮捕されたデータ消去会社の元社員が「親の治療費が必要だった」と社内調査で説明していることが会社への取材で分かりました。警視庁は動機を詳しく調べるとともに被害の全容を解明する方針です。 これまでの調べで、神奈川県庁の件についても認めたうえで、「入社直後の３年ほど前から始めた。毎日のように持ち出した」と供述していますが、具体的な手口について、ハードディスクはデータ消去室から持ち出し、「事務所近くのコンビニから落札者に発送していた」と社内調査で説明していることが会社への取材で分かりました。 さらに、動機については「金目的だった。親の治療費が必要だった」と説明しているということです。 警視庁は動機について詳しく調べるとともに、３年余りの長期間にわたる被害の全容を解明することにしてい
2021/6/11 #InfraStudy 2nd Season
一部のM1搭載MacBook Proのユーザーの間で、「SSDで異常な量の書き込みが行われている」ことが確認されています。深刻なケースでは、わずか半年でSSDが寿命を迎えてしまう可能性すらあるとのことです。 M1 Mac users report alarming hard drive health readings | iMore https://www.imore.com/m1-mac-users-report-alarming-hard-drive-health-readings M1 Mac owners are experiencing extremely high SSD writes over short periods of time, likely thanks to aggressive swap - Tech News - Linus Tech Tips https:
Cloudflare、CDNエッジで使えるオブジェクトストレージ「R2」発表。Amazon S3互換、読み出しの帯域コストなし、イレブンナインの信頼性
Cloudflare、CDNエッジで使えるオブジェクトストレージ「R2」発表。Amazon S3互換、読み出しの帯域コストなし、イレブンナインの信頼性 Cloudflareは、同社のCDNエッジで実行されるワーカープロセス「Cloudflare Workers」などから使えるAmazon S3互換のオブジェクトストレージ「Cloudflare R2 Storage」を発表しました。 Announcing Cloudflare R2 Storage: Rapid and Reliable Object Storage, minus the egress fees. https://t.co/U2dVhVSb2U #BirthdayWeek — Cloudflare (@Cloudflare) September 28, 2021 Cloudflare R2の特徴は、イレブンナインの信頼性を提
Dr.(Shirai)Hakase #GREEVRStudioLab #AI神絵師本 on Twitter: "息子氏の大学からノートPC指定あり 「メモリ16GB以上 CPU core i 第8世代以降コア数4以上 AMDはその相当品 フルHD解像度 1.5kg以下 Wifi6推奨 SSD必須128GB以上 必須256GB Windows… https://t.co/TQrXDTnhX9"
息子氏の大学からノートPC指定あり 「メモリ16GB以上 CPU core i 第8世代以降コア数4以上 AMDはその相当品 フルHD解像度 1.5kg以下 Wifi6推奨 SSD必須128GB以上 必須256GB Windows… https://t.co/TQrXDTnhX9
","naka5":"<!-- BFF501 PC記事下（中⑤企画）パーツ＝1541 -->","naka6":"<!-- BFF486 PC記事下（中⑥デジ編）パーツ＝8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下（中⑥デジ編）パーツ＝8826 -->","adcreative72":"<!-- BFF920 広告枠）ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag ＰＣ誘導枠５行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"
ソニー・インタラクティブエンタテインメント（SIE）が2012年に発売したネットワークレコーダー「nasne」（ナスネ）。19年に出荷を終了して以降、多くのファンが復活を望んでいたが、バッファローがその新モデルを発売すると発表したのは20年10月のことだった。 新しいnasneのハードウェアは、すでに生産を終了しているSIEからノウハウを継承したバッファローが開発し、21年3月末に税込2万9800円で発売。SIEはコンパニオンアプリ「torne」（トルネ）の開発やネットワークサービスの運営を継続する。 この異色のコラボレーションはどのようにして生まれ、いかにして製品化に漕ぎつけたのか。バッファローとSIE、両社のキーマンに話を聞きながら、nasneの終焉と復活、そして新しいnasneについて探っていく。 「nasneを残したい」思いが重なり生まれたタッグ そもそもSIEがnasneの販売を
Windowsを始め、多くのOSにはファイルの「リンク」機能がある Windowsに限らず、多くのOSが持つファイルシステムには「リンク」と呼ばれる機能がある。ファイルは、パスにより一意に特定可能だが、人間がファイルを管理するとき、どうしても同じファイルを別の場所（パス）にも配置したくなることがある。これを実現するのがリンクだ。リンクには、大きく「ハードリンク」と「ソフトリンク」（あるいはシンボリックリンクともいう）の2種類がある。 ファイルシステムには、ファイル名を管理するディレクトリ領域とファイルの中身を記録する領域がある。ハードリンクはこの仕組みを利用して、同じファイルの中を指し示すファイル名を異なるパスに作る。 特徴として、後から作ったハードリンクもオリジナルのファイル名も区別がなく、どちらも同じファイルとして扱える。通常は、ファイルシステム側に「参照カウント」と呼ばれる情報があり
無限ストレージ
以下イベントの発表資料です https://kernelvm.connpass.com/event/209105/
InfraStudy 2nd #2 の発表資料です
Amazon Web Services ブログ AWS ファイルストレージサービスの選び方 オフィス文書や画像データなどの様々な非構造化ファイルを、ファイル共有サーバや NAS（Network Attached Storage） などに格納して共有で利用されている方も多いと思います。AWS のファイルストレージサービスを利用することで、ファイル共有ストレージを簡単にクラウド上へ構築できます。また、AWS が提供するフルマネージドサービスのため、パッチ適用やストレージのディスク増設などの運用負荷を軽減できるメリットがあります。初期費用が不要の従量課金のため手軽に利用でき、調達が不要なのですぐに利用を開始することができます。また、ストレージのバックアップ機能が備わっているため、手間のかかるバックアップの設計や運用負荷も軽減できます。 AWS のファイルストレージサービスは、Amazon Ela
半導体メーカーの東芝メモリホールディングスは7月18日、10月1日付で社名を「キオクシアホールディングス」に変更すると発表した。同社は昨年6月、東芝が米Bain Capitalなど日米韓企業連合に過半数の株式を売却し、東芝の連結子会社ではなくなっていた。東芝メモリHDのステイシー・スミス会長は「将来、上場企業になるための第一歩を踏み出す」と述べた。 新社名のキオクシア（Kioxia）は、日本語の「記憶」（kioku）とギリシャ語の「価値」（axia）を組み合わせた。同社は「フラッシュメモリ・SSD事業のリーディング企業として、新しい価値を創造し世界を変えていく存在を目指す」としている。 東芝は東芝メモリを売却後に再出資し、現在も約40％の株式を保有している。だが東芝メモリは今回、社名から「東芝」を消し、名実ともに新たなスタートを切る。 関連記事 東芝メモリ、約2兆円で売却完了 東芝は、半導
H/de.(TECHNOJAPAN.net) @hide_loopcube ぎゃー！未開封GD-ROM開けたら腐ってた！！謎の紋様拭き取ろうと思っても表面じゃなくて中だから触れず、もうどうしようもない！やっぱり光学メディアのコレクションもデジタルアーカイブ化しないと死ぬ！ #ドリームキャスト #SEGA pic.twitter.com/5BSXEW2ecg 2020-06-22 10:32:05
ハードディスクドライブ（HDD）のデータはフォーマット程度では完全に消えないので、安易に捨てられなくて困りがち。これを1台につき100円（税込）で物理的に破壊できるサービス、「黒歴史最終処分場。」が話題です。業務上のあれこれやら若気の至りで書いたポエムやら、いろんな秘密を闇の中へ。 「逝けっ！ 黒歴史（ハードディスク） 忌まわしき記憶とともに……」と、シャアの逆襲的な煽り文句でHDDを完全処分。池田秀一ボイスで脳内再生余裕でした 利用者立ち会いの下にHDDを破壊。店に引き取ってもらってもいいし、持ち帰ってもいい 秋葉原のジャンクショップ「秋葉原最終処分場。」が、2020年末に始めたサービス。PCを持ち込んだお客さんからHDDの処理を心配する声が多かったことから開始したそうです。持ち込んだHDDは専用の機械で破壊。利用者自らスイッチを入れて目の前で壊せるので、何かと安心です。 3.5インチH
Ryzen 7 3700Xを使用してオールM.2 SSDの質実剛健系PCを組みました。 パーツ構成やそのパーツを選んだ動機などの話をします。 パソコンの買い替え 個人的な動機とか読者の方は興味ないでしょうから手短に。 パソコンを買い替えたいと思いました。 CPUなんてSandyおじさんですらないAMD FXシリーズだし、M.2とか使えないし、グラボもそろそろ力不足……CPU的なパワー不足は感じていなかったけど、足回りの方が気になり始めてきた。 それに今Zen2 Ryzenめっちゃ流行ってるし良さそうだし欲しくない？欲しい！よし、買い替えだ！！という具合。 というわけでPCを新たに組み立てることに。 シンプルに行こう 今回のPCで重視した方針は「シンプル」です。 前に使っていたPCではグラボ2枚刺し、SSD+HDD、回転数なんて一度も調整しなかったファンコン、DL販売化の流れで使われなくなっ
DBアーキテクチャの比較と選択
Database Engineering Meetup #1 DBアーキテクチャの比較と選択 Cloud-native storage service for bulk load & random lookup workload https://scalar.connpass.com/event/298887/
Linux Daily Topics 2020年1月10日Don't use ZFS ―Linus、ZFSをマージしない姿勢をあらためて強調 「Don't use ZFS. ―ZFSは使わない。その理由はシンプルだ。ZFSはこれまでずっと、バズワード以上の何物でもなく、そして実感するのだけど、例のライセンシング問題は僕にとってZFSを価値のない存在と思わせるだけだ」 1月6日、IT業界に特化したオンラインメディア「Real World Tech」のフォーラムで繰り広げられたあるスレッドにて、Linus TorvaldsはZFSをメインラインにマージする予定がないことをあらためて明確に主張している。 Do not blame anyone. Please give polite, constructive criticism By: Linus Torvalds -Real World Te
今更聞けないDBMSのメモリ管理について
DBMSのメモリ管理について データベース管理システム（DBMS）の設計では、大量のデータと複雑なクエリを処理するために、ハードウェアの特性を最大限引き出すことが求められます。 この記事では、DBMSがどのようにメモリを使ってデータアクセスの速度を向上させ、同時にデータの安全性を確保しているのかを解説します。 DBMSと記憶装置の関係について DBMSが使う記憶装置は次の2つです。 HDD HDDは磁気ディスクを使用してデータを記録・読み取りする記憶装置です。その主な特徴は大容量であり、コスト効率が良いことです。DBMSでは、データの永続的な保存にHDDが用いられます。これにより、システムがシャットダウンされた後もデータが保持され、必要に応じて再びアクセス可能となります。 しかし、HDDのデータアクセス速度はメモリに比べて遅いため、リアルタイム処理や高速なトランザクションが求められるアプリ
答え：「回復ドライブ」アプリでリカバリーメディアを作る 答えはシンプルで、多くのPCメーカーは、Windows PCのリカバリーメディアをWindows標準の「回復ドライブ」アプリから作成するように案内している。 その名の通り、回復ドライブアプリは、Windows PCが正常に起動できなくなってしまった場合に使う「回復ドライブ」というUSBメモリを作成するために用意されている。回復ドライブの本来的な役割は、以下の通りだ。 Windowsが正常に起動できなくなった場合の各種診断 Windowsの起動に必要なファイルの書き戻し この回復ドライブを作成する際に、オプションで「システムファイル」を一緒に書き込むと、追加で以下のファイルが格納される。 当該PC用の各種デバイスドライバー 当該PC（メーカー）指定のプリインストールアプリ／設定 これにより、回復ドライブをリカバリーメディア代わりに利用で
【検証】古いパソコンにAndroid入れたら最強じゃね？ → 違う意味で予想通り アキル 2022年12月30日 皆はAndroidとApple、どっち派？ 僕はもちろんAndroid信者だ。 そんなAndroidだが、パソコンにインストールできるようにする「Android-x86」というプロジェクトが存在する。そう、あのAndroidがパソコンデビューだ。 そんなAndroid-x86なるものを、今回は実際にパソコンにインストールしてみることにした。何ができるかな、どこまでできるかな、ゲームができたら最高だな。期待はしていないが。 本記事はあくまで検証記事で、インストールの仕方とか細かいことは載せないつもりだ。試してみたいよって人はどうぞ自己責任で、ちゃんと調べてから試すように！ まぁ推奨はしないが。 ・本日のスター さぁ、まずは本日のスターをご紹介しよう。インストールする「Androi
クラウドストレージは便利だけど 何十年もお金を払い続けられるか心配…… あらゆるファイルのサイズが拡大傾向にある昨今。スマホで撮影した写真は1枚あたり数MB、画面キャプチャなら10MBを超えることも。子どもの成長記録を動画で保存しようものならGB単位でデータが増えていく。 そうしたファイルの保存先として選択されるHDDは、大容量化・低価格化が進んでいる。大量のデータを低コストで保存できるのはうれしい限りだが、使い続けるほどに故障のリスクも増える、つまり大切なデータを失ってしまう可能性が高まる。 ならばNASという選択肢はどうだろう。しかしNAS環境を自分で構築できるほどITリテラシーが豊富な人ばかりとも限らない。いくら大容量HDDが手に入れやすくなったとは言え、多くのファイルを長期間、的確に管理するのはハードルが高い。 というわけで、このところHDDよりも頼りにされているのが「クラウドスト
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ基盤をサーバーレスで構築したので概要を紹介 - Adwaysエンジニアブログ
Amazon S3互換の低価格ストレージを手がけるWasabiが日本進出
『Tailwind CSS実践入門』 出版記念基調講演
データセンターを切り替えずとも復旧できた、みずほ銀行が「5度目」障害で見解
Googleフォトに保存している昔の写真が壊れていると報告するユーザーが急増中
自分で、でっかいベアメタル(物理)サーバーを作りたい方へ - Qiita
150万MAUのNuxt.js製サービスを機能開発を止めずに1ヶ月&1人でNext.jsに置き換えた話
テープの時代は終わらない！2030年頃には、400テラバイト対応か
円安だけどSSDやフラッシュメモリ価格は下落傾向、480GB SSDは過去最安クラスの3,499円に
こんなSSDはデータが消える？ 不穏な兆候が表れたら今すぐバックアップを（BCN） - Yahoo!ニュース
ディスク流出「親の治療費必要だった」逮捕の元社員 社内調査 | NHKニュース
Cloud Native時代のデータベース
M1搭載Macで「SSDの寿命が縮むほど異常な量のデータ読み書きを確認した」という報告
Microsoft、クラウドサービスの構成ミスで約6万5,000社の機密文書が漏えい
破砕機フル稼働、ＨＤＤを「鉄くず」に 処理業者ら困惑：朝日新聞デジタル
【Ubuntu日和】 【第41回】流行りの超小型USB SSDを使い、Ubuntuをポータブルに運用する
「nasne」復活の裏側で何があったのか バッファロー・SIEのキーマンに聞く
Windowsにおけるファイルリンクについてあらためて説明する (1/2)
VM時代からコンテナ時代へストレージ管理の移り変わり
AWS ファイルストレージサービスの選び方 | Amazon Web Services
NVIDIA、Ampereアーキテクチャ採用で最大2倍高速になった「GeForce RTX 3080」 ～下位の3070でも2080 Tiより高速
【特集】 UHS-I？スピードクラス？複雑怪奇なSDカードのロゴと規格をまとめてみる
東芝メモリ、社名を「キオクシア」に変更 「上場企業への第一歩を踏み出す」
【やじうまPC Watch】 SSDを使っていてもHDDのシーク音が楽しめる「HDD Clicker」
一生買い切り可能な大容量クラウドストレージでリモートワークがパワーアップ 【テレワークグッズ・ミニレビュー 第32回】
「もうどうしようもない！」未開封でもダメだった…ドリキャスのGD-ROMを開けたら腐っていた話
HDDを1台100円で完全破壊 秋葉原の「黒歴史最終処分場。」がいろんな秘密の処分に便利
Ryzen 7 3700XでオールM.2 SSDの質実剛健系PCを組んだ | なうびるどいんぐ
2020年1月10日 Don't use ZFS ―Linus、ZFSをマージしない姿勢をあらためて強調 | gihyo.jp
万が一の備えに！ Windows PCのリカバリーメディアを用意する方法【Windows 10／11編】
【検証】古いパソコンにAndroid入れたら最強じゃね？ → 違う意味で予想通り
冬休みに作るミニPC自宅サーバー上級編、SSD＋メモリ増設で最新Proxmox VE 8.1環境を堪能する！【イニシャルB】
99年間使える！ 買い切り型クラウドストレージ「pCloud」の多機能超コスパぶりを伝えたい (1/4)
【Mac Info】 Macのストレージがいっぱい!? 定番の「DaisyDisk」で整理しよう
ラズパイ×2+NASでライブマイグレーション可能な自宅Proxmox VEクラスタを構築する【イニシャルB】
