最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
Intro CSRF という古の攻撃がある。この攻撃を「古(いにしえ)」のものにすることができたプラットフォームの進化の背景を、「Cookie が SameSite Lax by Default になったからだ」という解説を見ることがある。 確かに、現実的にそれによって攻撃の成立は難しくなり、救われているサービスもある。しかし、それはプラットフォームが用意した対策の本質から言うと、解釈が少しずれていると言えるだろう。 今回は、「CSRF がどうして成立していたのか」を振り返ることで、本当にプラットフォームに足りていなかったものと、それを補っていった経緯、本当にすべき対策は何であるかを解説していく。 結果として見えてくるのは、今サービスを実装する上での「ベース」(not ベスト)となるプラクティスだと筆者は考えている。 CSRF 成立の条件 例えば、攻撃者が用意した attack.examp
sponsored Radiant GZ3500Z790/D5をカスタム BTOってマジ大事。16万円台のふつ～なPCが20万円のi5＆RTX 4060のゲーミングPCに sponsored 音を知る企業による自社ブランドの第一弾製品 一生使いたいヘッドホンを見つけた。その名は「The Industrial-ist Wired」だ！ sponsored 見た目スッキリでキレイなPCが誰でも簡単に組める 自作PCの配線ゴチャゴチャは過去の話、「PROJECT ZERO」製品一覧と作例を紹介 sponsored ファッショナブルなデザインに、カロリー管理や睡眠モニタリングなどの便利機能をプラス！ スマートバンドの着け心地とスマートウォッチの高機能が両方ある！ ファーウェイ「HUAWEI WATCH FIT 3」レビュー sponsored ゲームも作業もすべてがなめらか表示 ヌルヌル動くという
2017年3月にNintendo Switchが発売されて7年になる。発売からこれだけの年数を経ても売れ続けるゲームハードは非常に珍しく、おそらく最終的には1.5億台強を売り上げたニンテンドーDSを超えて任天堂史上最大のヒット商品となるだろう。だが、Switchが最新ハードとして活躍し続けることはなく、近い内に新型ハードが発表されるのは確実だ。 信頼性の高いもの、低いものも含め多くの憶測記事がでて、その真偽を問われるたびに任天堂は記事内容の否定を続けている。本記事もその憶測記事のひとつに過ぎないので話半分で読んでほしい。 新ハードの発売時期・価格・スペックについて、2024年5月時点における数々の記事や過去ハードに関する情報、市場動向などを基に可能な限り"正解"に近づくように推測してみた。 なお、理由は後述するが新ハードがSwitchとの互換性を持つことはほぼ間違いないと思われるので、任天
Google Cloudが、顧客のアカウントを誤って削除し、大規模障害の引き金になる──こんな出来事が海外で起きた。オーストラリアで年金基金を運営するUniSuperは5月8日（現地時間）、自社サービスで起きていた障害について、プライベートクラウドのアカウントが誤って削除されたことが原因だったと発表した。 UniSuperはGoogle Cloudを活用していたが、米Google自身が誤ってアカウントを削除。UniSuperは冗長性を確保するため、別のリージョンにもデータを置いていたが、そちらも無効にされていたという。 アカウントが削除された経緯については「（Google Cloudが）UniSuperのプライベート・クラウド・サービスをプロビジョニングする際の不用意な構成ミスにより生じた」（UniSuper）と説明している。しかし、UniSuperは他社のサービスでもバックアップを確保し
個人事業主や副業用でGoogleに課金するときどれ選べばいいんだよ問題（Google One プレミアム / Google Workspace Individual / Business の比較） - nomolkのブログ
前にも書いたんですけど先日からフリーランスになりました。 それで、さいきん仕事でビデオチャットを使いたい場面がありまして、よく調べるとZoom契約するよりGoogleの有料プランに入ってMeet使った方が安いしなんかオプション機能いろいろついてきてお得そう。ヨッシャ課金するか！！！！！と思ったらなんか課金プランがいっぱいあって途方にくれました。 しかも一覧性の高い比較表がなくて調べるのに苦労したので、その結果を皆さんにも共有します。 いかれたメンバーを紹介するぜ！ プランの選定条件として、下記が前提です 組織（自分以外のメンバー）を持たない個人事業主である Google Meet で3人以上のグループ通話を60分制限なしで使いたい そうすると候補になってくるのは下記3つ。 Google One プレミアム Googleドライブが容量いっぱいになると「容量を追加しましょう！」つって出てくるア
中国で買ったAndroidスマホ、個人情報がダダ漏れだった…2024.05.12 16:35228,946 Lucas Ropek - Gizmodo US ［原文］ （ 禿頭帽子屋/Word Connection JAPAN ） 2023年3月3日の記事を編集して再掲載しています。 中国の国内で販売されているハイエンドのAndroidデバイスを使っていると、至るところで個人情報を抜き取られてしまう――そんな新しい研究結果が発表されました。 通知も同意もないままデータが収集され、ユーザーは常時トラッキングされたり、身元がたやすく明かされたりする恐れがあるとのこと。個人情報保護の点ではまるで悪夢のようだ、と指摘されています。 中国の人気メーカーが対象複数の大学のコンピューター科学者が発表した研究によると、この問題が明らかになったのは、XiaomiやOnePlus、Oppo Realmeなど中
これをどう作ったかの解説。 PWA まず、上のスクリーンショットのアイコンはSafariの「ホーム画面に追加」で作られたものである。タップするとフレームなしのブラウザが立ち上がって、xsystem4（ゲームエンジン）のWebAssembly版が起動する。xsystem4のWebAssembly移植についてはこちらの記事に書いた。 この種のWebアプリはプログレッシブウェブアプリ (PWA)と呼ばれる。最近さっくり廃止されかかったりして、いつまで使えるかは少し心配でもあるが…。 iOS / iPadOS SafariにおけるPWA SafariのPWA対応は他プラットフォームのChromium系ブラウザと大きく違っている点が一つあって、SafariとインストールされたPWAはストレージを共有しない。つまり、例えばSafariでログインしたユーザーがホーム画面にサイトをインストールしてそちらを
Unix 哲学的に考えれば、行を並び替える sort コマンドと重複行を取り除く uniq コマンドは別のコマンドであるべきなように思えます。しかし sort コマンドには -u オプションとして uniq コマンドに相当する機能が組み込まれています。なぜそうなっている（そうなってしまった）のかを「ソフトウェア作法（さくほう）」を参照しながらこの記事で明らかにしたいと思います。 「誰」がuniq機能をsortコマンドに組み込んだ！？ 熱烈的な Unix 哲学の信者は「どうせ Unix 哲学を理解しない GNU が便利だと思ってオプションを追加したのだろう」と考えるかもしれません。しかし uniq 機能が組み込まれたのは Version 7 Unix、つまり Unix の開発者が組み込んだのです。これは 1979 年の Version 7 Unix のドキュメントから明らかです。 sort:
FIDOアライアンスが仕様を策定した「パスキー」は、パスワードではなく生体情報を用いて認証する「FIDO 2.0」を「Webauthn」標準に基いて利用して得た資格認証情報をデバイス単位で管理運用する技術です。このパスキーが抱える問題点について、Webauthn標準に関わったエンジニアのFirstyearことウィリアム・ブラウン氏が自身のブログで解説しています。 Firstyear's blog-a-log https://fy.blackhats.net.au/blog/2024-04-26-passkeys-a-shattered-dream/ Webauthnがパスワードに代わる認証技術として大きな可能性を秘めていると考えていたブラウン氏は、2019年にオーストラリアからアメリカに渡り、友人と共にWebauthnのRust実装であるwebauthn-rsの開発を始めました。その過程で
AmazonのクラウドコンピューティングサービスであるAWSが提供するストレージサービス・Amazon S3では、写真や動画などのデータをアップロードするためにバケットを作成する必要があります。このS3バケットを空の状態にしていると、AWSの請求額が爆発的に増加してしまうという問題を、ソフトウェアエンジニアのMaciej Pocwierz氏が報告しました。 How an empty S3 bucket can make your AWS bill explode | by Maciej Pocwierz | Apr, 2024 | Medium https://medium.com/@maciej.pocwierz/how-an-empty-s3-bucket-can-make-your-aws-bill-explode-934a383cb8b1 Pocwierz氏はクライアント向けに作成
今更聞けないDBMSのメモリ管理について
DBMSのメモリ管理について データベース管理システム（DBMS）の設計では、大量のデータと複雑なクエリを処理するために、ハードウェアの特性を最大限引き出すことが求められます。 この記事では、DBMSがどのようにメモリを使ってデータアクセスの速度を向上させ、同時にデータの安全性を確保しているのかを解説します。 DBMSと記憶装置の関係について DBMSが使う記憶装置は次の2つです。 HDD HDDは磁気ディスクを使用してデータを記録・読み取りする記憶装置です。その主な特徴は大容量であり、コスト効率が良いことです。DBMSでは、データの永続的な保存にHDDが用いられます。これにより、システムがシャットダウンされた後もデータが保持され、必要に応じて再びアクセス可能となります。 しかし、HDDのデータアクセス速度はメモリに比べて遅いため、リアルタイム処理や高速なトランザクションが求められるアプリ
WebAssembly所感
WebAssemblyをちょっといじってみて思ったところをまとめてみます。 設計思想 WebAssembly/designに設計文書がまとまっています。特にHighLevelGoals.mdから読み取れるポイントは以下の4点です。 サンドボックス化された環境であること。 移植性があること。つまり、特定の実CPUアーキテクチャ等に依存しないこと。 少なくともC/C++の(十分に高速な)コンパイルターゲットとして機能すること。 安定した仕様を持つこと。 サンドボックスという観点からは、先行技術として以下のようなものが特筆に値します。 Webサンドボックス JavaScript および asm.js Javaアプレット Flash (ActionScript) NaCl, PNaCl Web以外のサンドボックス OSのユーザーランド、特にLinux userland これらのサンドボックスとの比
4月12日に開局60周年を迎えたテレビ東京は、それを記念して、まいっちんぐマチコ先生の他、「赤ずきんチャチャ」「ミスター味っ子」など過去の名作アニメをTVerとネットもテレ東（テレ東Webサイト）で配信している。 関連記事 NHK、旧「プロジェクトX」の名作回を月に1回のペースで再放送 4月は「黒四ダム」、今後「VHS」回も NHKは、18年ぶりに復活した「新プロジェクトX～挑戦者たち～」を機に、旧シリーズで反響の大きかった回を月に1本のペースで再放送する。 「カメ止め」の監督が作ったショート動画「みらいの婚活」が面白いと話題に IT関係者も絶賛する理由とは？ 映画「カメラを止めるな！」などで知られる上田慎一郎監督が公開したショートフィルム「みらいの婚活」が、IT業界や医療福祉関係者の間で話題になっている。 海外ブランドクレカの成人コンテンツ決済停止、長期化の様相 サービス継続を断念するケ
※2024/05/21 ヒンズーシャッフルに関するQAを追記しました 文章が読めないことで知られているカードゲーマーでも頑張れば読めるように普段とは毛色を変えてカジュアルな文体で書きます。 男の子が遊んでいる画像今回はネットで話題になってたのでシャッフルについて注意喚起をする内容の記事を書きました。 僕の周りにも直接言わないだけで今回挙げているような不正まがいのことしてる人がいっぱいいます。 普段シャッフルについて深く考えてない人にこそこの記事を読んでもらいたいです。 本当に読んでほしい人にはこの記事は届かないそれでは早速不正まがいの行為の例を挙げてみましょう。 不正① デッキを綺麗に並び替えてディールシャッフルディールシャッフルこれ、サマ師もやるような最低な積み込みです。 ※積み込み: カードの並び順を固定する不正 ディールシャッフルは俗に7切りとか8切りとか呼ばれる奴ですね。 枚数を数
はじめに VSCode + Python + Poetry + Docker(docker-compose)でdev-containerを作成して開発を行っていました。 Dockerを勉強し、イメージの軽量化に関する記事を読んでいると、自分が使っているコンテナイメージのサイズが気になりました。 docker images > REPOSITORY TAG IMAGE ID CREATED SIZE > dev-container latest a9b8e3df9087 2.31GB 2.31GB！？ サーバとしてアプリを動かしていないのにここまで大きいなんて… というわけで勉強も兼ねて、イメージの軽量化に取り組みました。 イメージが軽量であるメリット ストレージの節約 これは言わずもがなだと思います。 限られたリソースを有効に使うことができます。 ビルド時間の短縮 Dockerは環境を作っ
GWなのでRaspberry Pi 5複数台をクラスタリングしてGrafana on Kubernetesを構築する | DevelopersIO
はじめに 世の中ではGrafana Weekということで、Raspberry Pi 5複数台をクラスタリングしてKubernetesを作成し、Grafanaを載せてみたいと思います。 というのは冗談ですが、最近趣味で安価に常駐プロセスをデプロイできるホスティング環境に悩んでいました。常駐しないなら最近はゼロコールドスタートなV8 Isolateを使ったCloudflare WorkersやDeno Deployが無料枠が大きくいい感じです。 一方常駐プロセスはHerokuの無料プランがなくなりました。AWS AppRunnerは起動時間を人間が稼働している時間のみに絞っても10$はかかります。fly.ioは、Legacy hobby planでCPU-1x 256mb VM 3つと3 GB 永続ボリュームストレージは無料で扱えます。fly.ioはCLIもよくできているので、軽い検証の場合こ
『３種の神器』と呼ばれるものを始め、私たちが快適な日常生活を過ごす上で、家電という存在は必要不可欠です。 清潔感を保つにも、料理をするにも、家電のサポートがあってこそ。だからこそ、できるだけ大切に長く使いたいものです。 家電の取扱説明書を処分できる『ライフハック』に絶賛の声 家電を長く使うには、適切な使用方法を心がけることが重要。しかし、ハイテクすぎるゆえ、使い方を忘れてしまうのは珍しくありません。 また、大切に使っているつもりでも、時には故障させてしまうことも。慌てて、自宅のどこかにしまった取扱説明書を探しまわった経験はありませんか。 さまざまな機能が搭載されているぶん、取扱説明書は分厚くなっていくもの。持っている家電が多いほど、どうしてもかさばってしまいます。 思い切って家電の取扱説明書を捨てているというのは、澤田翔（@shao1555）さん。自宅で行っている工夫について、X（Twit
ヒット中メトロイドヴァニア『ANIMAL WELL』PC版が「たったの34MB」として話題。PS5版も“壁紙データが大半”説浮上 - AUTOMATON
ホーム ニュース ヒット中メトロイドヴァニア『ANIMAL WELL』PC版が「たったの34MB」として話題。PS5版も“壁紙データが大半”説浮上 個人デベロッパーのBilly Basso氏は5月9日、謎解きメトロイドヴァニア『ANIMAL WELL』を発売し、好評を集めている。そんな本作の容量がSteam版で約34MBしかないことがGamesRadar+などに取り上げられ、SNS上でも話題となっている。 『ANIMAL WELL』は2Dメトロイドヴァニアアクションゲームだ。対応プラットフォームはPC（Steam）/PS5/Nintendo Switch。ゲーム内は日本語表示に対応している。本作でプレイヤーは、透明なスライムのような主人公を操作する。探索すべき迷宮にはさまざまなギミックや生物が存在するものの主人公は攻撃能力を持ち合わせていない。そのためステージなどを注意深く観察しつつ進んで
『図解まるわかり サーバーのしくみ』は、業務で使い慣れているようでその実態には詳しくないというようなエンジニアのために、サーバー全体の概要や「そもそもサーバーが何をしているのか」について、イラストを多用して解説した入門書です。 最初から順に読めば体系的に理解できますし、興味のあるキーワードを拾い読みして知識を積み重ねることもできます。ぜひこの無料全文公開の期間に読んでみてください。 本書を読んでみる ※なお、無料で読むにはSHOEISHA iDへの会員登録が必要です。CodeZine会員の方はそのまま読むことができます。 5/14発売 図解まるわかり 仮想化のしくみ 5月14日（火）には、同シリーズの最新刊『図解まるわかり 仮想化のしくみ』が発売予定です。 本書では視覚的にわかりづらい仮想化技術を、なるべく多くの図解を用いてイメージしやすいように解説。サーバー、ネットワーク、ストレージ、デ
はじめに 本書『Observability Engineering』は、複雑化の一途をたどる現代のソフトウェアシステムに立ち向かうための、強力な武器となる一冊であり本稿はその読書感想文です。Observability Engineering を今から知りたい方はもちろん、Observability Engineering の基礎を改めて学びたい方もぜひお読みください。この記事もかなりの長さになるので普通に書籍を読んだほうがいいかもです learning.oreilly.com 「Observability:可観測性」という言葉は、近年ソフトウェアエンジニアリングの世界で大きな注目を集めています。しかし、その概念の本質を理解し、実践に移すことは容易ではありません。 本書は、そのオブザーバビリティについて、その基本的な考え方から、具体的な実装方法、そして組織への適用まで、幅広くかつ深く解説して
大阪市教育委員会は4月24日、NECに委託していた学校向けネットワークの運用保守業務に関して、約2年間契約金が未払いだったと発表した。未払い金の総計は7億1321万3000円。大阪市教委は未払いだった理由について、各種事務業務が煩雑化してしまったことで対応に手が回らなかったなどと説明している。 大阪市では2022年3月から「大阪市教育情報ネットワーク」を稼働し、児童や生徒、教職員が利用するICT機器向けのネットワーク環境を提供。その運用保守業務をNEC関西支社に委託している。大阪市とNECが契約を結んだのは19年で、契約当初は約5万台の学習用端末を運用保守予定としていたが、22年のネットワーク運用開始時には端末数が約18万台と大幅に増加していた。 本来であれば、ネットワーク運用開始時までに端末増加による追加契約をすべきだったが、大阪市教育委は「運用保守開始時期と端末切り替え（設定変更）時期
フロントエンドから Amazon S3 にマルチパートアップロードしたい - カミナシ エンジニアブログ
はじめに Presigned URL（*) などで、Amazon S3 へのアップロード処理を実装していると、大きなサイズのファイルをアップロードしようとしたときに、以下のような課題に直面することがあります。 一回のPUT リクエストでアップロードできるサイズの上限が 5GB まで 単一の HTTP リクエストでアップロードするため、大きなサイズをアップロードしようとしたときに問題が起きる。例えば、アップロードの処理の途中で失敗したとき、最初からやり直しになる。 このようなときに活用したいのが、マルチパートアップロードです。マルチパートアップロードとは、その名の通り、アップロード対象のオブジェクトを小分けにしてアップロードする方法です。 AWS の SDK には、マルチパートアップロードが簡単に行えるような API が用意されているものの、多くは、S3 にアップロードを行うことができる I
FireWire、i.Link、DV、Lynxといろいろな呼び名があるのがIEEE 1394。IEEEで標準化がなされているので本稿ではIEEE 1394で通すが、AppleはFireWire、ソニーはi.Link、TIはLynxという名称を使っており、また一般にはDV端子と呼ばれることも多かったが、中身は「原則として」一緒である(多少例外はあり：後述)。 SCSIよりも美しいI/Fを求め Appleが立ち上げたIEEE 1394 IEEE 1394の規格をそもそも立ち上げようとしたのはApple Computerで、1986年のことである。1986年といえばMacintosh Plusが出たばかりの頃で、外部ストレージはSCSIを利用していたが、Apple的にはSCSIが美しくなかったのだろう。具体的には太いケーブル(なにしろ8bitのパラレルバスである)やPlug&Playの欠如、5M
15歳で現役高校生の開発者「Holy-fox/子狐」氏は5月9日、パラメーター数7Bクラスとしては日本語能力が最強となる大規模言語モデル（LLM）「ArrowPro-7B-KUJIRA」を公開した。 「AITuberの魂」になることを想定 7Bにおいて日本語能力最強のモデル、ArrowPro-7B-KUJIRAができました。Elyza-task100においては約3.8をマークしています！AItuber用途を主眼において設計されています（それ以外もできるよ！） https://t.co/kiywdI5YCs — Holy-fox/子狐 (@Holy_fox_LLM) May 9, 2024 同モデルはMistral系のオープンソースLLM「NTQAI/chatntq-ja-7b-v1.0」をベースに、AITuber（生成AIを使ったバーチャルYouTuber）やAIアシスタントでの利用を想定
Appleが開発するタブレットであるiPadは2010年に初めて登場し、仕事や娯楽などさまざまな用途に広く利用されています。ところが、iPadのヘビーユーザーであるというガジェット系ライターのフェデリコ・ヴィティッチ氏は「依然としてiPadOSにはAppleが改善するべき多数の問題が残されている」として、解決されていない問題を列挙しています。 Not an iPad Pro Review: Why iPadOS Still Doesn't Get the Basics Right - MacStories https://www.macstories.net/stories/not-an-ipad-pro-review/ ヴィティッチ氏は10年以上iPadを愛用してきたヘビーユーザーであり、これまでにいくつものiPad関連の記事を執筆してきた人物ですが、「iPadおよびiPadOSが抱える
「全く知らない」「勝手に使われた」──日米のアニメ制作会社が相次ぎ声明 北朝鮮のサーバから関連ファイルが見つかった問題で
北朝鮮が管理していたとみられるクラウドストレージサーバから、米国、日本などのアニメ作品に関係するファイルが見つかった問題で、名前の挙がっていた日米のアニメ制作会社などが今週、相次いで関与を否定する声明を出した。 問題のサーバから自社のレイアウト用紙が見つかった北海道のアニメ制作会社・エカチエピルカは、レイアウト用紙が下請け企業から流出したと推測。「弊社からは過去に発注をしたこともなく、当該事実は一切ない」という。「弊社のレイアウト用紙が許可なく勝手に使われており、描かれた絵や作品とは無関係」。 米国のアニメ制作会社・Skybound Entertainmentも「当社は北朝鮮の企業やその関連団体とは協力しておらず、当社のアニメーションに北朝鮮企業が取り組んでいることについては全く知らない」という。今後、徹底的な内部調査を行う方針だ。 7月から放送予定のアニメ「魔導具師ダリヤはうつむかない」
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
Windows PC画面を常時記録・AIで全検索できる『Recall』(回顧)機能、マイクロソフトが発表。『Copilot+ PC』向け | テクノエッジ TechnoEdge
Recallは、かつてWindows 10に搭載されていた『タイムライン』の拡張版といった機能。アクティブな画面のスナップショットを数秒ごとに常時取得し、スライダーで遡ったり、Copilotを通じて内容を検索できる機能です。 記録したスナップショットはCopilot によるAI検索が可能。たとえば数日前にWEBで検索して見たページが思い出せないような場合、覚えている要素、たとえば「赤い車」や「白いスニーカー」などと検索すると、撮影されたスナップショットの中から該当するものを見つけてくれます。 単に過去の画像を表示するだけではなく、その時に使用していたアプリを開くこともできるようになるとのことです。 (▲画像：Recall機能のデモ。スライダーで過去に遡って画面を見られる) スナップショットはPCのローカルストレージ内に保存し、デバイス上の暗号化とBitLockerで保護します。特定のユーザ
ガバメントクラウドAWS「以外」で必要な設備・作業を考えてみる - サーバーワークスエンジニアブログ
こんにちは、Enterprise Cloud部 ソリューションアーキテクト1課 宮形 です。 令和6年度はガバメントクラウドへの早期移行団体検証事業へ申込された、またはこれから申込予定の地方自治体様が多くおられると予想します。それに合わせて必要なAWSリソース利用料やAWSの設計構築・運用保守費用の見積・予算取りを進めることになります。 気を付けたいのが、ガバメントクラウドAWS「以外」にも必要となる設備・作業があることです。プロジェクトを開始しても、準備不足により作業がストップしたり予算不足になる事態は避けたいところです。 本BLOGでは、私がこれまで幅広い分野のお客様と接してお伺いすることが多かったAWS「以外」で必要となった設備・作業についてご紹介したいと思います。 この内容は個人の私見と経験則で書いておりますので、ご覧なられた皆様のシステムや環境に必ずしも該当するものではありません
米OpenAIは5月16日（現地時間）、ChatGPTに「Google Drive」「OneDrive」といったクラウドストレージとのデータ連携機能を追加すると発表した。各ストレージから直接ChatGPTにデータをアップロードし、表やグラフを作れるという。 ChatGPTに作らせた表やグラフの編集機能も強化する。例えば表の一部分を指定し、その部分だけに関して質問したり、クリックで色を変えたりできるようになるという。 新機能はいずれも、ChatGPTの有料サブスクリプション「ChatGPT Plus」「Team」「Enterprise」のユーザーに対し、今後数週間以内に提供する予定。13日に発表したばかりの新モデル「GPT-4o」で利用可能になるという。 OpenAIは新機能のデモとして、Google Drive内からスプレッドシートを直接ChatGPTにアップロードし、プレゼンテーション用
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
こんにちは、ファインディ株式会社でフロントエンドのリードをしております 新福(@puku0x)です。 この記事では、転職サービス Findy の開発チームにおける開発生産性の向上に対する取り組みをご紹介します。 以前の状況 モノリスの解体 開発基盤の刷新 コンポーネント設計の刷新 テストの拡充 CI の高速化 改善の効果 まとめ 以前の状況 2020年頃の Findy は Ruby on Rails と React のモノリス構成で作られていました。 機能の増加に従いコードが複雑化し、しだいに開発スピードが伸び悩むようになりました。 ここで Findy Team+ で算出した当時のリードタイムを見てみましょう。 2020年のFindyのリードタイム 上記のグラフから次のことがわかります。 改修が本番に適用されるまで 約1週間 かかる プルリクエストがレビューされるまで 約5日 放置される
米Googleは5月8日、新型スマートフォン「Google Pixel 8a」を発表した。廉価モデル「A」シリーズの最新機種で、上位機種「Pixel 8」「Pixel 8 Pro」に搭載されている多くの機能を受け継いでいる。5月14日での販売を予定しており、Googleストアでの販売価格は7万2600円。前モデルの7aから9900円値上げしている。 SoCには、Pixel 8／8 Proと同じ「Google Tensor G3」を採用。メモリは8GB、ストレージは128GB。6.1インチのOLEDパネル「Actua」ディスプレイは、最大120Hzのスムーズディスプレイに対応し、カバーガラスはCorning Gorilla Glass 3。ピーク輝度は2000ニト（HDR時は1400ニト）で、Pixel 7a比で40％向上。リフレッシュレート含めPixel 8と同等となった。
BOOX Pageいい感じ - n0te
Kindle Oasisが好きすぎる僕ではあるが、画面の隅が表示されない端末を使い続けるのは、なかなか厳しいものがある。とはいえ、発売から5年が経とうとする第10世代を今から買い増すのは流石に躊躇する。 そんな感じで、隅の褪色した古書風Kindle Oasisを見つめながら、microUSB〜microUSB〜と呟き続ける毎日を送っていたところ、「KindleがダメならBOOXを買えばいいじゃない」と僕の中のマリー・アントワネットが声を上げた。 BOOXはePaperディスプレイを備えたAndroidタブレットで、これにKindleアプリをインストールすれば、Kindle端末のような読書体験が出来るらしい。しかも、Androidなので、Kindle以外のプラットフォームの電子書籍やブラウザのWebマンガも読む事ができる。って、いやいや、僕が欲しいのは次世代Kindle Oasisなんだぜ！
コンピューター用プロダクトを取り扱うドイツの製造会社「Machdyne」が2024年5月15日に、200年以上のデータ保存が可能な容量8KBのUSBストレージデバイス「Blaustahl Storage Device」をリリースしました。 Blaustahl Storage Device – Machdyne https://machdyne.com/product/blaustahl-storage-device/ Blaustahl USB storage device features 8KB FRAM with up to 200 years of data retention - CNX Software https://www.cnx-software.com/2024/05/15/blaustahl-usb-storage-device-8kb-fram-200-years-
iPhoneにはストレージによって複数のモデルが用意されていますが、そのNANDメモリはマザーボードにはんだ付けされているため、あとから増設することが不可能です。しかし、iPhoneを開いてNANDメモリを自力で交換するという力技でストレージの増設に成功したムービーが公開されています。 iPhone 15 Pro Storage Expansion | 128GB To 512GB - YouTube 以下がiPhone 15 Proの128GBモデル。 まずはディスプレイに保護フィルムを貼ります。 底面のネジを外します。 側面にも保護シールを貼ります。 溶剤を流し込んで、ディスプレイののり付けを剥がします。 ディスプレイに吸盤を固定してゆっくりと持ち上げると、ディスプレイが外れました。 ディスプレイを開けると、iPhoneの中身が見えます。 前面のFace ID用カメラやセルフィーカメラ
約28万台のHDDを運用するストレージサービス・Backblazeがメーカー・モデル別の故障率統計データ2024年第1四半期版を公開
クラウドストレージサービスプロバイダーのBackblazeが、運用している28万3851台のストレージのうち、3307台のSSDと、972台のブートドライブ、そしてメーカーの温度基準を超過したことがある275台のHDDを省いた27万9297台について、メーカー・モデル別の故障率をまとめたデータを公開しました。 Backblaze Drive Stats for Q1 2024 https://www.backblaze.com/blog/backblaze-drive-stats-for-q1-2024/ Backblazeが公開したのは、2024年3月31日時点で「100台以上運用」か「総稼働日数が1万日以上」の条件を満たしたストレージの統計データです。集計対象は27万9297台でしたが、さらに641台が前述条件を満たさず除外されているため、合計台数は27万8565台、合計稼働時間は24
全社データ活用基盤をTreasureDataからBigQueryへ移行しました - Leverages データ戦略ブログ
はじめに こんにちは。データエンジニアリンググループの森下です。今回は、私がプロジェクトマネージャーとして約3年間かけて実施した、TreasureDataからBigQueryへの全社データ活用基盤移行プロジェクトについてお話します。このプロジェクトは、全社で1日あたり数千件のクエリが実行されるデータ基盤を移行するという大規模なもので、関係者の数は200〜300人に上りました。プロジェクト期間中は、データ活用基盤の技術調査から始まり、関係者への説明や調整、データ移行、クエリ移行、ETLやReverse ETLに使用する各種ツールの導入など、本当に多くのタスクがありました。 プロジェクト背景: TreasureData導入とその課題 TreasureData導入の背景 2024年時点ではGoogle BigQueryを使用していますが、その前の環境が導入された背景を説明します。 2018年12
デジタル庁や総務省などで構成されるISMAP運営委員会は4月30日、クラウドストレージ「Dropbox」などを、政府のクラウドサービス認定制度「政府情報システムのためのセキュリティ評価制度」（ISMAP）のリストに登録した。これらのサービスは今後、政府調達の対象になる。 Dropboxは、組織向けの「Standard」「Advanced」「Enterprise」や教育機関向けの「Education」がリスト入り。他にもIIJの閉域ネットワーク「IIJクラウド型ネットワークサービス」やソリトンシステムズのIDaaS「Soliton OneGate」など5サービスもリストに入った。 ISMAPは、情報処理推進機構（IPA）などが民間のクラウドサービスの情報セキュリティ対策などを評価し、“政府認定クラウド”として登録する制度。各省庁は原則としてISMAPに登録された中からクラウドサービスを調達す
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
令和時代の API 実装のベースプラクティスと CSRF 対策 | blog.jxck.io
しまむら、AIモデル「るな」起用 20歳の服飾専門学生（という設定）
次世代Switchの現実味のある予測(2024年5月現在)
Google Cloud、豪年金基金のアカウントを誤削除 予備も誤削除 他社でのバックアップでなんとか復旧
中国で買ったAndroidスマホ、個人情報がダダ漏れだった…
iPadに18禁ゲームをインストールする（ためのWebアプリを作る）
なぜsortコマンドはuniq機能を含んでいるのか？（Unix哲学はどこ行った！？） - Qiita
パスワード不要の認証技術「パスキー」はパスワードよりもエクスペリエンスが悪いという批判
空のS3バケットでAWSの請求額が爆発的に増加するとの指摘、Amazonはさっそく問題に対処すると発表
伝説のアニメ「まいっちんぐマチコ先生」、TVerなどで配信へ テレ東「放送当時のまま配信する」
【カードゲーム】あなたは無意識に不正をしているかもしれない【注意喚起】｜chapudding
Dockerのコンテナイメージを1/10以上軽量化してみた - Qiita
家電に貼ったモノに「天才現る」 電源ボタンの横を見ると…「その手があったか」
5/10まで『図解まるわかり サーバーのしくみ』の全文を無料公開、サーバーの技術や実態が図でわかる
もう一度読むObservability Engineering - じゃあ、おうちで学べる
大阪市教委、学校端末の契約金で未払い発覚 NECに7億円支払わず 「事務業務が煩雑化、対応できなかった」
277もの特許を使用して標準化した高速シリアルバスIEEE 1394 消え去ったI/F史 (1/3)
15歳の高校生、「日本語能力最強」のAIモデル開発 AITuber向けに設計
「iPadOSにはAppleが解決するべき多くの問題が残されている」とiPadのヘビーユーザーが改善してほしい点を列挙
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
ChatGPT、GoogleドライブやOneDriveとデータ連携可能に
Findy転職フロントエンドの開発生産性を向上させるためにやったこと - Findy Tech Blog
「Pixel 8a」正式発表 7aから1万円値上げも、8に肉薄する性能 アップデートは7年保証
最長200年のデータ保存が可能なUSBフラッシュメモリが発売される、ただし容量は8KB
iPhone 15 Proのストレージを自前で128GBから512GBに増設するムービー
Dropboxが“政府認定クラウドサービス”リスト入り 政府調達の対象に