並び順

ブックマーク数

期間指定

  • から
  • まで

121 - 160 件 / 17727件

新着順 人気順

ストレージの検索結果121 - 160 件 / 17727件

  • 蒸発するブラックホールの内部を理論的に記述

    理化学研究所(理研)数理創造プログラムの横倉祐貴上級研究員らの共同研究チームは、量子力学[1]と一般相対性理論[2]を用いて、蒸発するブラックホールの内部を理論的に記述しました。 本研究成果は、ブラックホールの正体に迫るものであり、遠い未来、情報[1]を蓄えるデバイスとしてブラックホールを活用する「ブラックホール工学」の基礎理論になると期待できます。 近年の観測により、ブラックホールの周辺のことについては徐々に分かってきましたが、その内部については、極めて強い重力によって信号が外にほとんど出てこられないため、何も分かっていません。また、ブラックホールは「ホーキング輻射[3]」によって蒸発することが理論的に示されており、内部にあった物質の持つ情報が蒸発後にどうなってしまうのかは、現代物理学における大きな未解決問題の一つです。 今回、共同研究チームは、ブラックホールの形成段階から蒸発の効果を直

      蒸発するブラックホールの内部を理論的に記述
    • 全国の小中学生に配布する27万8000円のPCが酷すぎると話題に : 痛いニュース(ノ∀`)

      全国の小中学生に配布する27万8000円のPCが酷すぎると話題に 1 名前:ベンガルヤマネコ(北海道) [AU]:2020/01/30(木) 23:22:04.06 ID:/sDx2yXl0 CPU Intel Celeron N4000 メモリ 4GB ストレージ eMMC 64GB ディスプレイ 1920x1080, 10.1インチ, タッチ対応 OS Windows 10 Pro 64ビット その他 防水・防塵 3年リース価格27万8000円 【動画】小中学校のパソコン1人1台 「1台27万円」のケースも|NEWSポストセブン https://www.news-postseven.com/archives/20200130_1534882.html 関連スレ 小中学生全員にPC1台配置を実現した東京都渋谷区、リースで1台27万8千円 機種は富士通のARROWSタブで希望小売価格は8万

        全国の小中学生に配布する27万8000円のPCが酷すぎると話題に : 痛いニュース(ノ∀`)
      • 思わずWeb開発で使いたくなる便利機能をAPIで提供するサービスを厳選してみた! - paiza times

        どうも、まさとらん(@0310lan)です! 今回は、Webサービスやアプリ開発などで便利に使える機能をAPIで提供しているサービスを厳選してみたのでご紹介いたします。 画像系、ストレージ、CMS、認証系、APIモック…など、さまざまな用途に使えるサービスの特徴や基本的な使い方も合わせて解説しています。いずれも無料で使えるものばかりなので、ご興味ある方はぜひ参考にしてみてください! ■イラスト風のアバター画像を取得できるAPI 【 Joe Schmoe 】 Webサイト、ブログ、SNSなどに利用可能なアバター画像を取得できるAPIです。 イラスト風の人物画像を取得できるのが特徴で、Webサイトのチームページにアバターとして利用できるほか、自分のプロフィール画像やブログに挿入する画像など無料で利用できます。 使い方は簡単で、以下のような構成のエンドポイントを実行するだけです。 https:/

          思わずWeb開発で使いたくなる便利機能をAPIで提供するサービスを厳選してみた! - paiza times
        • 日立に戻りたいわけがない。 - テストステ論

          新卒で日立へおれが新卒で入ったのは、日立製作所だ。 おれが面接を受けたのはシステム開発研究所というところだったが、 おれが入った年に研究所の再編成があって、横浜研究所というところに配属になった。 横浜研究所は横浜の戸塚というところにあり、 寮はそこまでバスで一本のところにあった。 寮生活は隣人の先輩が発狂して泣き叫びだしたり、色々トラブルはあったが、 まぁ楽しかった。 寮というのはなかなかいいものだ。 京大で吉田寮や熊野寮にわざわざ住みたいという人がいることも微妙にだが理解出来る。 システム開発という名前のとおり、 そこはソフトウェアの応用研究をやってる研究所で、 と言っても企業の応用研究というのは事業所から依頼された研究(通称、依頼研)だったり、 あるいはもう少し先のことを考えた先行研と呼ばれるものがあったするくらいで、 大学のような研究をやってるというところではないのだが、 まぁおれ的

          • しずかなインターネットの技術構成

            こんなWebサービスをリリースしたので、技術的な話をまとめておこうと思います。 元々このサービスは、趣味の延長線のような感じで開発を始めました。競合にあたるnoteやはてなブログなどのサービスが確固たる地位を築いているということもあり、「お金にはならないだろうけど、自分の趣味を詰め込んだものにしよう」というゆるい気持ちで開発を続けています(楽しい)。 選定の方針 趣味と言っても文章投稿サービスなので、ユーザーが少数であったとしても長期間運営しなければなりません。そのため、ユーザー数が少なければランニングコストが数千円/月以下、ユーザー数が増えたときは段階的にコストが上がるように選定を行いました。 アプリケーション フルスタックNext.jsアプリケーションをCloud Runにデプロイしています。各APIエンドポイントはNext.jsのAPI Routesで生やしています。 Next.js

              しずかなインターネットの技術構成
            • (年収270万で)プログラマーを引退して、医学部にきた俺が真面目に考えて..

              (年収270万で)プログラマーを引退して、医学部にきた俺が真面目に考えてやろう。 ① 言葉は正しく使おう真面目に読んでいて、ちょっと気になる箇所がある。たとえば PostgreSQL を postgre とか書くヤツは現場では嫌われるぞ。少なくとも postgres と書いてくれ。お里が知れるぞ。 ② プライドが高い消えていくエンジニアの特徴だけど、叱責されたり馬鹿にされるのが嫌で VCS にコミットしないヤツ、または貪欲にコードレビューをされるのが嫌がるやつは、成長しない。 ③ エリート意識この業界は数年前には『デジタル土方』と揶揄される業界でした。ちなみに、アメリカでも「テック系はハードだから避ける」という雰囲気でした。つまり何をいいたいのかというと、ソフトウェアの開発者っていうのは「泥臭い領域」なんだよ。エリートとは程遠い場所にあるというね。 ④ 「某天市場の先輩には,ここ仕事量少な

                (年収270万で)プログラマーを引退して、医学部にきた俺が真面目に考えて..
              • やっぱりNTT東日本の「個人PC等点検」はやっちゃダメだと思う - miyalog

                先日、NTT東日本グループが従業員に対し、個人所有のPC等に会社指定の検閲ソフトを導入させてプライベートなデータの検査や、会社が指定したソフトウェアを利用できないようシステムに細工するセキュリティ向上施策を実施していたことが明らかになりSNSで話題になりました。 ntt-workers.net (16.11.18 N関労東 秋闘要求書を提出 の項) さらにその後、ITmedia が取材を行ない、同社は内容を否定しました。 nlab.itmedia.co.jp しかし上記の記事には「いや、やっぱり検閲してんじゃん」、「(SNSで言われていたことは)だいたいあってる」などと多くのコメントが多く寄せられている通り、なにが「事実と異なる」のかいまいち見えません。そこで本エントリでは同社の社員に配布された資料や労働組合の提言を参考に何が行われているのか、さらにいくつかの判例を参考にそれは問題ではない

                  やっぱりNTT東日本の「個人PC等点検」はやっちゃダメだと思う - miyalog
                • 意外と安いモノ

                  タクシー駅までバスを使ってたんだけど、家族4人で大人220円、子供110円だと660円かかる。 タクシーを配車しても1000円なので、それに気付いてからはタクシーを使ってる。 帰りは駅にタクシーがいるので配車が必要なく600円で済む。 田舎育ちだと「タクシー=高級サービス」という感覚を未だに払拭できないけど だからこそタクシー使うとリッチになった気になって満足度が高い。 デパ地下の惣菜100g400円とか500円とかするので敬遠していたが適当に500gぐらい買うと食卓が一気に豪華になる。 自分で作るとそんな値段では絶対に不可能だし、外食するともっとかかる。 コンビニ弁当も4人分買うと2000円は超えるのでデパ地下をよく使うようになった。 これも「高島屋で買ってきたぞー」ってなるとリッチな気持ちになれる。 ワイン昔からビール・ハイボールばかりを飲んでたんだけど、コンビニでふとワインを買ってみ

                    意外と安いモノ
                  • 「システム設計の面接試験」という本が良かった

                    皆さんこんにちは。株式会社ラクーンホールディングスで働いている川崎です。 最近「システム設計の面接試験」という本を読みました。 個人的にとても面白いと感じたので、オススメポイントと感想を共有します。 直近でシステム設計の面接を受けない方も、きっと読んで得るものがあると思います。 本の概要 システムの設計はシステムの機能や仕様、データのアクセスやセキュリティを左右するため、非常に重要だが、従うべき一定のパターンがないために、その習得は難しいと言われています。 一方で、システム設計自体がITエンジニアに日常的に求められる作業であるため、システム設計の面接試験は米国で広く採用されています。 本書では、「Webクローラ」「通知システム」「ニュースフィードシステム」「チャットシステム」「youtube」など実践的なテーマに沿って、システム設計の問題を出題し、その回答を解説することで、システム設計力を

                      「システム設計の面接試験」という本が良かった
                    • 仕事用のPCをMacからThinkpadに変えてUbuntuを入れた - PartyIX

                      Web系の会社にいると,仕事用のPCとしてMacを支給されることが多いと感じている.例にもれず俺も会社ではMacBook Proを使っていたのだけれど,最近Macが使い物にならないくらい遅くなってきた. そもそもそんなに新しいMacではないというのはあるんだけれど. もはやローカルでの開発はほぼDocker化してしまっているので,なにをするにもDockerを起動する必要がある. しかし,Docker for Macは遅い.とくにvolume mountが遅すぎて,webpackなんか走らせたらお茶を入れに行くくらいの猶予が発生する. ---追記--- webpackだけならdockerじゃなくていいじゃんと言われたので,一応弁明しておくと,webpack以外もあります. DjangoとかElasticsearchとかElasticsearchとかlocalstackとかredisとかDja

                        仕事用のPCをMacからThinkpadに変えてUbuntuを入れた - PartyIX
                      • 至高のDockerイメージ生成を求めて -2019年版- - Qiita

                        この記事は@yugui氏の書いた至高のDockerイメージ生成を求めてに感謝しつつ、記事が投稿された当時には無かったさまざまな事情を組み込んで再度まとめたものである。 良いDockerイメージ 良いDockerイメージとは何だろうか。Dockerの利点は次のようなものだから、それを活かすイメージが良いものであるに違いない。 ビルドしたイメージはどこでも動く 適切にインストールされ、設定されたアプリケーションをそのままどこにでも持っていける。 コンテナ同士が干渉し合うことはないので、任意のイメージを互いに配慮することなく柔軟に配備し実行できる 必要のないサービスがコンテナ内で走っていないので、セキュリティの向上に資する イメージの転送が効率的である ベースイメージ部分は一度送ればいちいち再転送する必要がないので、ベースイメージを共有する複数のイメージを効率的に転送できる 標準のレジストリAP

                          至高のDockerイメージ生成を求めて -2019年版- - Qiita
                        • 40ギガのピカチュウ画像をやりとり、社内データはテラバイト級――ポケモン社が「Box」「Googleドライブ」を使い分ける理由

                          40ギガのピカチュウ画像をやりとり、社内データはテラバイト級――ポケモン社が「Box」「Googleドライブ」を使い分ける理由(1/2 ページ) 「ポケットモンスター」シリーズの版権管理を手掛ける「株式会社ポケモン」。保有するポケモンの画像・動画のデータ量が膨大であるため、共有や管理に苦労する場合が多いという。同社テクニカルディレクターの関剛さんが「Box World Tour Tokyo 2019」に登壇し、クラウドストレージの活用法を語った。 「ポケットモンスター」シリーズの版権管理を手掛ける「株式会社ポケモン」(以下「ポケモン社」)。ピカチュウなどおなじみのキャラクターが米Nianticの「Pokemon GO」など他社のゲームに登場するのは、ポケモン社がIPを提供しているためだ。同社は他にも多様なパートナー企業と組み、ポケモンを起用した商品・サービスの展開を支援している。だが、保有

                            40ギガのピカチュウ画像をやりとり、社内データはテラバイト級――ポケモン社が「Box」「Googleドライブ」を使い分ける理由
                          • 令和時代の API 実装のベースプラクティスと CSRF 対策 | blog.jxck.io

                            Intro CSRF という古の攻撃がある。この攻撃を「古(いにしえ)」のものにすることができたプラットフォームの進化の背景を、「Cookie が SameSite Lax by Default になったからだ」という解説を見ることがある。 確かに、現実的にそれによって攻撃の成立は難しくなり、救われているサービスもある。しかし、それはプラットフォームが用意した対策の本質から言うと、解釈が少しずれていると言えるだろう。 今回は、「CSRF がどうして成立していたのか」を振り返ることで、本当にプラットフォームに足りていなかったものと、それを補っていった経緯、本当にすべき対策は何であるかを解説していく。 結果として見えてくるのは、今サービスを実装する上での「ベース」(not ベスト)となるプラクティスだと筆者は考えている。 CSRF 成立の条件 例えば、攻撃者が用意した attack.examp

                              令和時代の API 実装のベースプラクティスと CSRF 対策 | blog.jxck.io
                            • 仮想サーバ17万台、物理サーバ9万台 「ヤフオク!」「Yahoo! JAPAN」を支えるヤフーのITインフラ運用術

                              仮想サーバ17万台、物理サーバ9万台 「ヤフオク!」「Yahoo! JAPAN」を支えるヤフーのITインフラ運用術(1/2 ページ) 国内最大級のポータルサイト「Yahoo! JAPAN」をはじめ、ECサイト「Yahoo!ショッピング」やオークションサイト「ヤフオク!」など、コンシューマー向けWebサービスを数多く運営するヤフー。同社はこれらのサービスを裏で支えるシステム基盤として、大規模なプライベートクラウド環境を自社で構築・運用している。 ヤフーの奥村司さん(クラウドプラットフォーム本部 プライベートクラウドチーム リーダー)が、クラウドインフラの運用管理者向けイベント「Cloud Operator Days Tokyo 2020」で明かしたところによると、その規模は、仮想サーバが約17万台、物理サーバが約9万台。物理サーバのうち2万台がIaaSの仮想化ハイパーバイザーとして使用されて

                                仮想サーバ17万台、物理サーバ9万台 「ヤフオク!」「Yahoo! JAPAN」を支えるヤフーのITインフラ運用術
                              • AWS全資格の概要と主な学習コンテンツをまとめてみた | DevelopersIO

                                本ブログは、2021 AWS Partner Ambassadors で構成するアドベントカレンダー Japan APN Ambassador Advent Calendar 2021 の 24 日目のエントリです。 こんにちは。CX事業本部MAD事業部のYui(@MayForBlue)です。 年の瀬も迫った12/24ですが、みなさん資格勉強してますか?(挨拶 さて、IT系の資格の中でも人気の高いAWSの資格ですが、数も多いし何から取ったらいいのかわからない・・・という方も多いのではないでしょうか。 この記事ではAWSの全資格を紹介するとともに、2021 ALL AWS Certifications Engineers ホルダーとして資格取得やAWSの学習に有用なコンテンツをまとめてみました。 本ブログをご一読いただくことでAWSの資格取得の一歩を踏み出していただければ幸いです。 想定読者

                                  AWS全資格の概要と主な学習コンテンツをまとめてみた | DevelopersIO
                                • 【未経験でも挫折しない】40時間でAWS認定ソリューションアーキテクトアソシエイトを取得する方法 - Qiita

                                  クラウドって何? 「クラウド触りたいけど、どうやったらいいのか分からない」 「色んなサービスあるけど、何が良いの?何ができるの??」 「いや、学習時間ないし・・・」 そういう方にやってみて頂きたい!! そういう想いで書いていますが、クラウドを解説しているわけではありません。 この教材で、こんな気持ちで、このやり方でやれば、資格とれるくらいの知識と経験が積めますよというものです。 方向性が決まってるのでそれなりの気持ちで挑めば、挫折することなく走り切れると思います。 (知識と経験から、自宅・業務の環境改善にも繋がればいいなくらいの軽い気持ちが◎) AWSとは Amazonが提供しているクラウドサービスです。(そのまま) サーバー等はAmazonが管理するので、そのサーバー上で提供しているサービスを自由に使ってね。みたいなイメージです。 もちろんサービスなのでお金はかかりますが、無料利用枠とい

                                    【未経験でも挫折しない】40時間でAWS認定ソリューションアーキテクトアソシエイトを取得する方法 - Qiita
                                  • Amazon ECS でのコンテナデプロイの高速化

                                    Amazon ECS でのコンテナデプロイの高速化 この記事は同僚の Nathan Peck (@nathanpeck)が書いた記事 “Speeding up Amazon ECS container deployments” を翻訳し、加筆・修正したものです. 元記事を ECS ユーザに紹介する機会が何回かあったので、せっかくなので翻訳することにしました. コンテナのオーケストレーションは非常に複雑な問題の一つです. アプリケーションコンテナのデプロイのために、相互にやり取りを行う複数の異なるコンポーネントが存在します. あなたのアプリケーションを実行したオーケストレータは、その実行されたアプリケーションが Web トラフィックを受け取る用意ができているかどうかについて判断する必要があります. その後そのアプリケーションはスケールダウンされたり、あるいは新しいバージョンのアプリケーション

                                      Amazon ECS でのコンテナデプロイの高速化
                                    • 最近のDHH「サーバーレスをやめろ」 - laiso

                                      (インターネットやめろジェネレーターで作成) Ruby on Rails生みの親であり最強の逆張りおじさんであるところのDHHが昨年あたりからしきりに脱パプリッククラウドの主張をしている。 これは彼らの会社が運用しているBasecampやHEYのインフラをAWSから自社保有のベアメタルサーバーへ移行しようとしているからで、実際に移行作業は進んでおり、今後5年間で700万ドルのサーバー費用を節約できるだろうという見込みがあるようだ。 world.hey.com world.hey.com あとタイトルに「サーバーレスをやめろ」と書いたけどDHHのファンボである筆者の誇張表現であり、サーバーレスというキーワードに関しての言及は正確には以下のポストを読んで欲しい。 world.hey.com この文章における「the computing cycles」とは、一台のコンピュータが持つ計算能力全体を

                                        最近のDHH「サーバーレスをやめろ」 - laiso
                                      • [2021年版]AWSセキュリティ対策全部盛り[初級から上級まで] というタイトルでDevelopersIO 2021 Decadeに登壇しました #devio2021 | DevelopersIO

                                        [2021年版]AWSセキュリティ対策全部盛り[初級から上級まで] というタイトルでDevelopersIO 2021 Decadeに登壇しました #devio2021 DevelopersIO 2021 Decadeで登壇した動画や資料を掲載、解説をしています。AWSのセキュリティについて網羅的に扱っています。ちょー長いのでご注意を。 こんにちは、臼田です。 みなさん、AWSのセキュリティ対策してますか?(挨拶 ついにやってまいりました、DevelopersIO 2021 Decade!私は「[2021年版]AWSセキュリティ対策全部盛り[初級から上級まで]」というテーマで登壇しました。 動画と資料と解説をこのブログでやっていきます。 動画 資料 解説 動画はちょっぱやで喋っているので、解説は丁寧めにやっていきます。 タイトル付けの背景 今回何喋ろうかなーって思ってたら、2年前のDeve

                                          [2021年版]AWSセキュリティ対策全部盛り[初級から上級まで] というタイトルでDevelopersIO 2021 Decadeに登壇しました #devio2021 | DevelopersIO
                                        • エンジニアリングスキルで捉えるチームマネジメント - mtx2s’s blog

                                          チームのマネージャーが、自らの責務をジョブディスクリプションとして明文化することは難しい。職務内容や権限を、断片的にしか書けないかもしれない。もしそうなるなら、実務も断片的になっている可能性がある。 チームマネジメント(組織マネジメント)という活動は、個々のマネージャーの経験や関心によって、断片的になりやすいように感じている。断片的とは、マネジメント活動が、責務の一部の領域に偏ってしまっていたり、問題を検知してはじめてその領域がマネジメント範囲であることを知る、といった様子を指している。 このような状態になる背景は、マネージャーにとって、マネジメントが、日々の実務を通して蓄積された経験に基づく活動になっているからではないか。マネージャーは孤独だ。ひとりでその責務を担う。エンジニアとは違い、チームで協働するわけではない。だから、形式知として言語化されず、個人の経験として暗黙知にとどまる。その

                                            エンジニアリングスキルで捉えるチームマネジメント - mtx2s’s blog
                                          • Kubernetes 専門家として知るべき 47 のこと - 誰かの役に立てばいいブログ

                                            この記事は私が過去 3 年ほど Kubernetes に携わる中で学んだ、ちょっと見つけにくい知識をまとめたものです。 特にカスタムコントローラーを開発するような人に必要となる知識群です。 感想とか指摘とかあれば Twitter までお寄せください。 更新履歴 2021-03-05: "コンテナの resources.limits と resources.requests の違いについて" の項を補足しました (thanks to @superbrothers) API コントローラー実装 プログラムと連携動作 資源管理 ネットワーク モニタリング アクセスコントロール API kube-apiserver が備える拡張機構を列挙しなさい 回答例 Custom resources: OpenAPI スキーマで独自のリソース型を追加できる Aggregation layer: kube-ap

                                              Kubernetes 専門家として知るべき 47 のこと - 誰かの役に立てばいいブログ
                                            • [速報]AWS、クラウド障害をわざと起こす「AWS Fault Injection Simulator」発表。カオスエンジニアリングをマネージドサービスで実現。AWS re:Invent 2020

                                              Amazon Web Services(AWS)は、開催中のオンラインイベント「AWS re:Invent 2020」で、アプリケーションに対してクラウド障害のシミュレーションを行える新サービス「AWS Fault Injection Simulator」を発表しました。 クラウド上で稼働するアプリケーションの耐障害性などを高めるために実際にクラウド障害をわざと発生させて問題点をあぶりだす手法は、「Chaos Enginieering(カオスエンジニアリング)」と呼ばれています。 Netflixが2012年にカオスエンジニアリングのためのツール「Chaos Monkey」を公開したことで広く知られるようになりました。 参考:サービス障害を起こさないために、障害を起こし続ける。逆転の発想のツールChaos Monkeyを、Netflixがオープンソースで公開 今回発表された「AWS Faul

                                                [速報]AWS、クラウド障害をわざと起こす「AWS Fault Injection Simulator」発表。カオスエンジニアリングをマネージドサービスで実現。AWS re:Invent 2020
                                              • 海外で進む「オンプレミス回帰」 その背景に何があるのか

                                                2006年8月9日。米サンノゼで開催されたイベント「サーチエンジン・ストラテジーズ」において、当時米GoogleのCEOを務めていたエリック・シュミットがこんな発言をした。 いま興味深いのは、新しいモデルが現れつつあることです。そして皆さんがいまここにいるのも、皆さんが新しいモデルの一部だからなのです。この機会がどれほど大きいか、誰もきちんと理解していないと思います。そのモデルは、データサービスとアーキテクチャがサーバ上にあるべきだという前提から始まっています。 私たちはそれを「クラウドコンピューティング」と呼んでいます。それは「クラウド」上のどこかに置かれています。そして適切なブラウザやアクセス権さえ持っていれば、手にしているのがPCなのかMacなのか、はたまた携帯電話なのかブラックベリーなのか、あるいはこれから開発される新しいデバイスなのかに関わらず、クラウドにアクセスできるのです。

                                                  海外で進む「オンプレミス回帰」 その背景に何があるのか
                                                • [速報]マイクロソフト「Windows 365 Cloud PC」正式発表。Windowsをクラウドサービスとして月額定額料金で提供、デスクトップ仮想化をベースに

                                                  [速報]マイクロソフト「Windows 365 Cloud PC」正式発表。Windowsをクラウドサービスとして月額定額料金で提供、デスクトップ仮想化をベースに マイクロソフトはオンラインで開催している同社のパートナー向けイベント「Inspire 2021」で、デスクトップ仮想化を用いてクラウドからWindows環境を配信する新サービス「Windows 365 Cloud PC」を発表しました。 8月2日に正式サービスとして提供予定です。 Windows 365 Cloud PCは、新サービスとなる「Windows 365」で提供されます。 そしてこのWindows 365で提供される、新しいPCとしての体験が「Cloud PC」となります。 Windows 365では、Windows 10もしくはWindows 11リリース後はWindows 11のデスクトップ環境を、デスクトップ仮想

                                                    [速報]マイクロソフト「Windows 365 Cloud PC」正式発表。Windowsをクラウドサービスとして月額定額料金で提供、デスクトップ仮想化をベースに
                                                  • データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし

                                                    こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。 なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。 冪等性を持つように 冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか

                                                      データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし
                                                    • え、HTTPSの転送なのにファイルも暗号化するんですか???

                                                      TL;DR 基本的には二重での暗号は不要 ただし、転送後も暗号化したまま使うなら、転送前から暗号化するのは良い ルールXを無邪気に追加して不整合のあるセキュリティルールを作ってはいけない はじめに 社内のセキュリティルールやスタンダードを決めるときに、HTTPSなのにVPN必須になってたりファイル暗号も必須になってたりするケースたまに見ます。今回は、それは実際に必要なことなのか? セキュリティ的に有効なのか? という点で考察をしていきたいと思います。 背景 二重三重に暗号化しても性能ペナルティが無いなら「なんとなく安全そうだから」でOKにしてしまいがちなのですが、これはよく考える必要があります。 というのも 「ルールXを追加することで既存のルールAと不整合が出る」 ってことは割とよくあるからです。具体的には「SCPのファイル転送は(SCPのセキュリティに不備があった時の)安全性のためにファ

                                                        え、HTTPSの転送なのにファイルも暗号化するんですか???
                                                      • この一年の話(控訴審編)|小野マトペ

                                                        判決から3ヶ月も経ってしまいましたが、ようやくレポートとしてまとめることができたので、8月31日に受けた控訴審判決についてお知らせします。 私を被告人とする偽計業務妨害被告事件の控訴審(東京高裁・細田啓介裁判長)ですが、すでに報道されている通り、結果は残念ながら控訴棄却となりました。本稿では、この判決についてくわしく見ていきたいと思います。 なお、公開裁判の原則に鑑み、本件訴訟を誰でも検証できるよう、判決書を含む裁判記録は一部個人情報等を伏せたうえで以下リンク先にて公開しておきます。 Googleドライブ - 刑事裁判記録 争点の確認判決を解説する前に、改めて裁判のポイントを整理させてください。 この裁判で私が主張していたのは、私は悪くないということ…ではなく、「業務妨害の故意は存在しなかった」という事実です。 大前提として、民事裁判では過失でも損害賠償の責任が生じますが、刑事罰は「あえて

                                                          この一年の話(控訴審編)|小野マトペ
                                                        • 個人でWEB開発を15年くらいやってる者ですが

                                                          この記事を見てびっくりした。 https://laiso.hatenablog.com/entry/nope-sql 「個人開発のコストはDB次第」 まずビックリしたのは「DBってそんなにお金かかる?」という点。 もちろんDBがストレージ、CPU、メモリを食うのは分かる。 でもVPSならそんなにコストかからんだろう? 俺は1日100万PVほどのエロサイトを運営しているが、WEBサーバ1台、DBサーバ1台、画像サーバ2台で動いているぞ? VPS4台で月額6000円くらい。 次にビックリしたのは、個人開発なのに難しそうなDBサーバを使っている事。 「Cloud Firestore」「Amazon DynamoDB」「MongoDB Atlas」 ↑俺、全部知らない。。。 もちろん、こうしたDBサーバの必要性は分かるのよ。 稼働率、安定性、拡張性などなど。 でもそれって、大規模サイト向けじゃない

                                                            個人でWEB開発を15年くらいやってる者ですが
                                                          • Elasticsearch運用ノウハウ | メルカリエンジニアリング

                                                            こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen

                                                              Elasticsearch運用ノウハウ | メルカリエンジニアリング
                                                            • SPA認証トークンはlocalStorageでもCookieでもない、Auth0方式はいいねというお話 - @mizumotokのブログ

                                                              SPA認証トークンをどこに保存するかは論争が絶えません。localStorageやCookieがよく使われますが、Auth0は違う方法を採用しています。この記事では、Auth0のトークン管理の方式を理解でき、トークン管理上のセキュリティへの理解を深めることができます。 SPAの認証トークンをどこに保存するか ブラウザでトークンを保存できる場所 保存場所の比較 メリット・デメリット Auth0のアプローチ トークンはインメモリに保存 OpenID Connect準拠とトークン取得のUI/UXの悪化回避を両立 Auth0のjsライブラリ ログイン アクセストークンの(再)取得 図解 ログイン アクセストークンの(再)取得 自サービス内の認証だけのもっと簡易な構成 ログイン IDトークン取得 まとめ SPAの認証トークンをどこに保存するか React やVueで認証付きSPA(Single Pa

                                                                SPA認証トークンはlocalStorageでもCookieでもない、Auth0方式はいいねというお話 - @mizumotokのブログ
                                                              • 録音した音声を文字起こしするiOS無料アプリ「Qyur2(キュルキュル)」 - ITmedia Mobile

                                                                Qyur2のユニークな仕掛けも特徴的で、昭和のカセットレコーダーのようなUI(ユーザーインタフェース)に、キュルキュルと音を立てながらデータを巻き戻せる。 この他にも、英会話用コンテンツ「完全改訂版 起きてから寝るまで英語表現700」「究極の英会話(上)中学1~2年レベル英文法100パーセント攻略」において、音声に合わせてテキストを表示する機能も追加した。 対応OSのバージョンはiOS 10.0以降を搭載したiPhone、iPad、iPod touchで、対応言語は日本語、英語、中国語(簡体、繁体)。ダウンロードは無料だが、英語・英会話用、中国語、韓国語コンテンツ、自動文字変換を利用するにはポイントの購入が必要となる。 【訂正:2019年6月7日21時22分 初出時に、タイトルに「無料アプリ」と記載していましたが、自動文字変換は有償のため、タイトルから「無料」を削除いたしました】 【訂正:

                                                                  録音した音声を文字起こしするiOS無料アプリ「Qyur2(キュルキュル)」 - ITmedia Mobile
                                                                • 第595号コラム:「私たちはなぜパスワード付きzipファイルをメール添付するのか」 | デジタル・フォレンジック研究会

                                                                  第595号コラム:上原 哲太郎 副会長(立命館大学 情報理工学部 教授) 題:「私たちはなぜパスワード付きzipファイルをメール添付するのか」 皆さんの組織でも、重要な情報を含むファイルをメールで外部に送付する際に、その漏洩防止等のため、何らかのルールを設けておられるところが多いのではないかと思います。その中で非常によく見かける方式に、このようなものがあります。 ①添付するファイルをあるパスワードを使って暗号化zipファイルにする。 ②そのファイルをメール添付して送信する。 ③続いてそのパスワードをメール送信する。 私が見聞きする限り、多くの日本企業や組織がこのようなファイル送信法をセキュリティ強化策と信じて」内規で義務づけたり、自動化システムを導入したりしています。しかしこの種のメール、少し考えるだけでセキュリティの観点からは効果がないことは明らかです。同一経路でファイルとパスワードを送

                                                                    第595号コラム:「私たちはなぜパスワード付きzipファイルをメール添付するのか」 | デジタル・フォレンジック研究会
                                                                  • Gmailのたまった不要メールを全削除する方法|@DIME アットダイム

                                                                    Googleアカウントを作成すると、無料で15GBのクラウドストレージが使えます。 この15GBのクラウドストレージはGoogleドライブ、Gmail、Googleフォトで共有しており、容量いっぱいまでデータを保存するとGoogleドライブとGoogleフォトへ新しくデータをバックアップできません。 さらにGmailでメールの送受信ができなくなる場合があります。万が一、大切なメールを受信していても確認できないと困りますよね。 そうなる前に、Gmailで不要なメールを全削除し、Googleのストレージに余裕を持たせておきましょう。 全削除! Gmailで要らないメールを一括削除する方法 不要なメールの削除方法はPC版Gmail、スマホアプリ版Gmailで若干操作が異なります。しかし、いずれも簡単な手順でメールの削除ができるため、ぜひ参考にしてください。 PC版 Gmailで不要なメールを全削

                                                                      Gmailのたまった不要メールを全削除する方法|@DIME アットダイム
                                                                    • ゼロから作る時系列データベースエンジン

                                                                      軽量な時系列データベースエンジンをスクラッチで開発する機会があったので、どのように実装したのかを必要知識の解説を交えながらまとめていきます。 実装はGo言語によるものですが、本記事のほとんどは言語非依存な内容となっています。 モチベーション 筆者は時系列データを扱うツールをいくつか開発しています。その中の一つであるAliは負荷テスト用のcliツールで、メトリクスをクライアント側でリアルタイム描画できるのが特徴です。リクエスト毎にレイテンシーなどの計測結果が際限なく書き込まれてくる中、同時に一定のクエリパフォーマンスが求められます。 これは言ってしまえば、簡易クエリ機能付きのpush型モニタリングシステムを単一ホストで実現するようなものです。 以前までの実装ではヒープ上の可変長配列にデータポイントを追加していくだけだったので、当然ながら時間の経過とともにメモリ使用量が増加していく問題を抱えて

                                                                        ゼロから作る時系列データベースエンジン
                                                                      • 2019年版 最先端のフロントエンド開発者になるために学ぶべきこと - Qiita

                                                                        こちらの記事は、『Learn to become a modern Frontend Developer in 2019』の和訳になります。 本投稿は転載であり、本記事はこちらになります。 はじめに 新年になって以前書いた記事を少し簡潔にして理解しやすいように書き直してみました。この文章に以前私が書いた文章と違ったことが書いてあったり、少し矛盾する内容が見つかってもあまり気にする必要はありません。 昨年私が書いた記事はGitHubで公開しています。 Web開発は絶えず変化する分野です - 今日私たちがWebサイトを構築する方法は、2~3年前のやり方とは全く違ってきています。利用できるツールが沢山あり、新しいツールも毎日出てくるので、ウェブ開発者はいつもどのツールを使えばよいのか迷ってしまいます。 私は、ウェブ開発に係るフロントエンド、バックエンド、または運用を学びたいと思う人を対象にしたツ

                                                                          2019年版 最先端のフロントエンド開発者になるために学ぶべきこと - Qiita
                                                                        • 「トランザクション張っておけば大丈夫」と思ってませんか? バグの温床になる、よくある実装パターン

                                                                          この記事は DeNA 20 新卒 Advent Calendar 2020 19日目の記事です。 はじめに MySQLやPostgreSQLに代表されるRDBMSではトランザクションと呼ばれる仕組みが提供されています。多くのWebアプリケーションエンジニアはこのトランザクションを駆使してDBとやりとりをするロジックを組み立てることになります。 しかし不整合を起こしたくない処理があるからといって闇雲にトランザクションを張ったり、トランザクションが張られているからと安心してアプリケーション側で闇雲にロジックを組み立ててしまうと思わぬバグを生むことになってしまいます。 このエントリでは、「トランザクションを張っておけば大丈夫」という考え方は危険な場合もあるということを、ありがちな実装例を交えて紹介していきます。 並列に処理されるトランザクション そもそも、トランザクションは全て直列に処理されるわ

                                                                            「トランザクション張っておけば大丈夫」と思ってませんか? バグの温床になる、よくある実装パターン
                                                                          • TBSのニュースサイトヤバない?(追記)

                                                                            はてぶの上位にちょいちょい載ってるTBS系のニュースサイト、newsdig.tbs.co.jpについて。 https://b.hatena.ne.jp/site/newsdig.tbs.co.jp/ 何がヤバいかって、くっそ巨大なCookie(LocalStorageとかも含むのか知らんけど)をしこたま保存してんのよ。 気付いた時点では640MBも占有してた。別に巡回チェックしてるわけでもなく、話題に挙がってたら見てみることもある程度のアクセス頻度なのだが。 Chromeユーザーはアドレスバーに↓コピペして確認してみてくれ。 chrome://settings/content/all?searchSubpage=tbs.co.jp&search=cookie 試しにCookie消去してから、ただ開いただけでサイト上で何の遷移もしてないのに279MBも保存された。 次点ではpresi

                                                                              TBSのニュースサイトヤバない?(追記)
                                                                            • 何故パスワードをハッシュ化して保存するだけでは駄目なのか? - NRIネットコムBlog

                                                                              不正アクセスによるIDとパスワードの漏洩を受けて、MD5によるハッシュ化について話題になっていました。システムを作る上で、パスワードの管理や認証はどう設計すべきかを考えるために、少し整理をしてみます。もし事実誤認があれば、どしどしご指摘ください。 == 2023/8/21追記 == この記事は、ハッシュの保存の仕方一つとっても、沢山の対策方法が必要であるということをお伝えするために記載しています。そして、これから紹介する手法を取れば安全とお勧めしている訳ではないので、その点をご留意いただければと思います。攻撃手法に応じての対応策の変遷を知っていただくことで、セキュリティ対策は一度行えば安全というものではないことを知って頂くキッカケになれば幸いです。 == 追記終わり == パスワードのハッシュ化 まず最初にパスワードの保存方法です。何も加工しないで平文で保存するのは駄目というのは、だいぶ認

                                                                                何故パスワードをハッシュ化して保存するだけでは駄目なのか? - NRIネットコムBlog
                                                                              • Ankerの家電ブランド「Eufy」がプライバシーに関する約束をウェブページからこっそり削除、勝手に監視カメラ映像をアップロードしていた問題発覚の直後

                                                                                Ankerのスマートホームブランド「Eufy」のカメラ付きインターホンが、撮影した映像をユーザーの許可なく、暗号化していない状態でアップロードしていたことが、2022年11月に発覚しました。さらに、問題が明るみに出た後に、Eufyのページからプライバシーに関する文言が削除されていることが分かりました。 Anker’s Eufy deleted these 10 privacy promises instead of answering our questions - The Verge https://www.theverge.com/2022/12/16/23512952/anker-eufy-delete-promises-camera-privacy-encryption-authentication Eufy has removed privacy-focused language

                                                                                  Ankerの家電ブランド「Eufy」がプライバシーに関する約束をウェブページからこっそり削除、勝手に監視カメラ映像をアップロードしていた問題発覚の直後
                                                                                • 2022 年に学んで良かった技術

                                                                                  雑に書いていきます。 バックグラウンド自分のバックグラウンドスキルは以下の通り。専門はリアルタイムな通信プロトコルを利用したサーバーの設計と開発とマーケティング。 Erlang/OTPWebRTCEnd to End Encryption細かいのはこちら。 SQLGo で sqlc を使うために学ぶことにした。sqlc を採用したのは複数人数で開発するときの共通言語としては SQL の方がいいだろうというのと、SQL はどんなデータを持たせたいのかを伝えるのに便利と判断したため。 今までずっと通信系ミドルウェアの開発をしてきたこともあって SQL を学ぶ必要が無かったが、今回いい機会なのでちゃんと学ぶことにした。 まずは利用データベースを完全にしぼって TimescaleDB (PostgreSQL ベース) で利用する SQL だけを学ぶことにした。 書籍は元 SIer のガチ SQL