エンジニアとして30代までにやってて良かった・やれば良かった事を自分のキャリアから振り返ってみた. - Lean Baseball
最初に言っておきます. このエントリーは「いい本を読んだついでに自分のキャリアを振り返ってオススメを残す」という長文ブログです. 適当に読み流してもいいですし, 心の琴線に触れる事があれば最後までお付き合い頂けると幸いです. さて, 4月の末と言えば, GWが近づいてくると共に色々考えることがあります. 例えば社会人23年目の私は今年, GWの予定（決まっていない場合に限る） 「こどもの日」にしてあげられること キャリアの振り返りと数年先のキャリアプラン検討 この3つについて真剣に考えています. 今年でいうとGW予定（1.）は90%程度計画済み, こどもの日（2.）は甥っ子に渡すお小遣いを検討...までは決まってるのですが, 最後の（3.）はというと, GW明けって転職とか将来キャリアを考える機会になりがちじゃん?そういえば自分のキャリア(ry ...という感じで, GWは（本人が意識する
はてなと言えばブログ、ブックマーク、匿名ダイアリーを思い浮かべる人が多いが、実はこれらはもはや脇役でいまや漫画の会社になっているという話。 まずはてな株式会社の業績を見ていく。 2023年7月期決算（2022年8月1日～2023年7月31日） 売上 31.50億円 営業利益 1.73億円 純利益 0.99億円 では売り上げの内訳は？ コンテンツプラットフォームサービス 4.21億円（前年度比-14%） ← (個人向け)はてなブログなど コンテンツマーケティングサービス 6.97億円（前年度比-12%） ← (企業向け)はてなブログなど テクノロジーソリューションサービス 20.31億円（前年度比+14%） ← (企業向け)システム開発など 「漫画関係ある？ブログと絡めて漫画事業始めた？」と思うかもしれないがそれは違う。 テクノロジーソリューションサービスの内訳をもう少し詳しく見ていく。 M
TOMCAT殺害事件 - Qiita
OOMKillerの殺意 顧客EC2のTomcatがアクセスの無い早朝にもかかわらずOOMKillerに突然殺されてしまったので、調査した顛末をたぶん同じような問題に直面されている方もおられるかと思いますので備忘録として記載します。 Javaヒープのチューニングにも多少役立つかと思います。 （この記事はJava8が対象となります。） OOMKillerとはOut of Memory時に、サーバ全体を守るためにメモリーを消費しているプロセスを停止するLinuxの標準機能です。 そのOOMKillerになんとTomcatが突然殺害されてしまいました。 問答無用の辻斬り状態です。 早朝ですのでアクセスログには何も記録されておらず、catalina.outには OpenJDK 64-Bit Server VM warning: Setting LargePageSizeInBytes has no
それぞれの無料利用枠については、次から詳しく解説していきます。 12ヶ月無料枠 冒頭で軽くお話しした、AWSアカウントを 新規作成した日から1年間 有効な無料枠です。 例えば、EC2インスタンスを 750時間/月 無料で利用できるといったものがあります。 ただし、使用できるリソースについては制限がある事があり、EC2インスタンスの場合ですと インスタンスタイプは t2.micro OSは Amazon Linux 1,2、Windows Server、Red Hat Enterprise Linux、SUSE Linux、Ubuntu Server を指定する必要があります。 ▲ コンソール上で対象のAMIを確認できます 「月に750時間」と言われると、「そもそも1ヶ月は何時間存在するんだ」という疑問が湧くので調べてみます。 1ヶ月が28日(最短): 24時間/日 × 28日 = 672時
Cloudflareに入社しました - ゆーすけべー日記
本日4/17日(月)付でCloudflareに入社しました。ロールはDeveloper Advocate、日本法人との契約ですが、日本に限りません。入社へのプロセスではUS、ヨーロッパのメンバーとやりとりをして、入社後のボスはUSになります。「Developer Advocate」は日本はもちろんアジアでは初、Cloudflareの中でも新設される部です。扱うのは主にWorkers製品で、Honoなどのフレームワークやユースケースを示すアプリケーションの開発と、製品と開発者をつなぐことをやります。 経緯 Hono 僕がユーザーとしてCloudflare Workersに触れたのは、一昨年、2021年の10月です。ブログ記事を書いています。 Cloudflare Workers 面白い - ゆーすけべー日記 そして、同年の12月には、Cloudflare Workers向けのフレームワーク「
MESSAGE メッセージ ニンテンドーシステムズは、任天堂の娯楽をお客様へお届けしやすいシステムを作るため、任天堂とDeNAのエンジニアチームを中心として、2023年4月に生まれました。 世の中に多くの技術革新がある中で、独創の精神と柔軟性を大切にしながら、様々な強みを持ったメンバーが活発に議論し、一人では成し遂げられない大きな成果を目指して、システムづくりに誠実に取り組んでいます。 インターネットを取り巻く技術は、日々目まぐるしく変化し、複雑さを増しています。 ニンテンドーシステムズはその中で、7年以上のパートナーシップで培われた任天堂とDeNAの信頼関係を活かし、任天堂の独創性とDeNAの技術への知見を原動力として、世界へ新たなイノベーションを生み出していきます。 娯楽を取り巻く技術開発は、これからも発展を続けていくことが予想されます。 枯れた技術から最先端の技術に至るまで、多様な技
あらすじ 本邦が終わっていることは周知の事実で、どこに行っても、開口一番「日本って終わってますよね」と言えば、その場におけるインテリの地位を確立できる。一方で、その言葉の裏には、長年の羨望――つまり、いつになったら日本は『一等国』になれるのか――があるのも事実だ。 この記事では、本邦がいかに終わっているかを概観し、その後、霞ヶ関が東京大学の新入生を洗脳して年収2000万の俸給で雇うことによって、日本がOECDの一員として恥ずかしくないレベルの先進国へと発展するだろうと論ずる。 本文 問題たち 四つの階層に四つの問題がある。 1 一つには、本邦の貧困化だ。総体として語れば、20年度の実質成長率はマイナス5.2%という悲惨な実情がある。もちろん、これはコロナ禍における経済成長なので、本邦の真の成長率とはあまり関係がない。信じた人は反省して欲しい。もっとちゃんとしろ。 ただ、Googleで少し検
エンジニアに読んで欲しい技術書90選 - Qiita
はじめに タイトル通り、読んで欲しい（圧）技術書をたくさん集めてみました。自身の担当から外れる領域に関しては、会社の人に協力を仰ぎ、編集しました。「何を読めばいいかわからない」、「次の読む本を探したい」などのように考えている方の参考になればと思います。 また、大きく、 ・新米エンジニア ・脱新米エンジニア と分けてまとめたので、参考にしてみてください。 技術書のススメ 技術書の紹介の前に、技術書で得られるものについて説明したいと思います。全然読み飛ばしてもらって大丈夫です。この章から本の紹介を行なっていきます。 技術書は体系的な構成となっているため、技術書を読むことで、 ・論理的な思考力が身に付く ・技術の歴史・背景を知れる ・技術の知識、手法を学べる これらを学ぶことができます。論理的な思考力、知識はわかるけど、技術の歴史・背景を知ってどうするんだと思う方もいるかもしれません。しかし、歴
UMLとかAWS構成図とかを描くツール
UMLとか構成図とかの図を描くの何のツールを使えばいいか迷いませんか？私は迷います。 ですので、最近使っているツールを紹介します。 世の中にツールがイロイロあるのは理解した上で、大量に紹介するとやっぱり迷うので、似たようなツールや個人的に使わないツールはバッサリ省いています。 パワポで描く まずはPowerPointです。 エンジニアや技術系の方は「パワポで図を描くのはちょっと、、、」と思われるかも知れませんが、状況によってありだと思っています。 パワポのメリット パワポは、ビジネスユーザーならほぼ誰でも使える システムを作る時に、お客さん側も含めた関わるメンバー全員がITに詳しいとは限りません。しかしそういう人にもシステムに対する理解は最低限していただく必要があります。システム構成図とか特に興味がない人に説明するときに「新しいツールをいれてください」というのはハードルが高いです。 パワポ
アプリケーション開発者は Amazon ECS あるいは Kubernetes をどこまで知るべきか #AWSDevDay / You build it, you run it
Talked at AWS Dev Day Online Japan 2021. - 動画: https://youtu.be/I7mMQshlpcs - イベントページ: https://aws.amazon.com/jp/about-aws/events/2021/devday - Proposal: https://github.com/aws-events/aws-dev-day-online-japan-2021-cfp/issues/16
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その1 シェア、将来性) - Qiita
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その1 シェア、将来性) 3大クラウド(AWS,Azure,GCP)をプロダクションで実運用した感想(その1 シェア、将来性) はじめに 今まで私がエンジニアとして10年以上仕事をしてきた過程で、利用されているクラウドインフラ基盤を転職要件に含めていなかったことも相まって、AWS(Amazon Web Services),Azure(Microsoft Azure),GCP(Google Cloud Platform)という3大クラウドのクラウド基盤で、サービスの立ち上げから運用まで関与することができました。 各々のクラウド基盤に関して掘り下げられていることはあっても、エンジニア/SREの視点から俯瞰して述べられていることはあんまり無いので私が実務レベルで各々のサービスを使っていて感じたことを共有しておきま
GitHub に漏れ出た内部コードを探す ~ 上場企業 3900社編 ~ - ぶるーたるごぶりん
全１回、このシリーズは今回で最後です！ TL;DR 上場企業 3900 社程に対して、すごく大雑把な「内部コード等の漏洩調査」を GitHub 上で行った 結果としては、重要度の高いものから低いものまで 10社ほどで漏洩が確認された 重要度の高いものとして、社外秘っぽそうなスプレッドシート、社員のハッシュ化パスワード(BCrypt)、 AWS Credential 等 「大雑把な」調査を行ったが、より精度の高い方法等について記事内にて触れていく 脅威インテルとか DLP みたいなエリアとかも、外部企業とかに頼るだけじゃなく「自分たちでも」頑張ってみるのがいいんだと思います GitHub Code Search ... すげえぜ！ Google Dorks ならぬ、 GitHub Dorks + GitHub Code Search でまだまだいろいろできるはず。 はじめに チャオ！ 今回は
クラスメソッドのAWS総合支援 コスト最適化からセキュリティ、構築支援、運用保守まで、AWS活用を支援します。
データエンジニアの私が機械学習・データサイエンスでオススメしたいスキルマップと本まとめ - 2020年版 - Lean Baseball
要約すると, データサイエンス・機械学習周りでよく聞かれること&回答を言語化しました. 「データサイエンティストやりたい」「機械学習エンジニアになりたい」というキャリア志望を持つ方は多いと思います. 私の周りでも, 公私ともにそんな志望者の相談を聞いたり, （主にインターンの学生さんですが）一緒に仕事をしたりする機会もメッチャ多いです. 「ビジネスサイド強いマン」「サーバーサイドエンジニア」という視点からデータエンジニア兼データサイエンティストな自分が, そんな彼ら彼女らにオススメしている, データサイエンティストを目指すためのスキルマップ 各領域のスキルアップを実現するためにオススメしたい書籍 を紹介したいと思います. なお, 昨年も同様のエントリーを書いておりそのUpgrade版となります. shinyorke.hatenablog.com このエントリーの対象読者 データサイエンスに
世界で74万人以上が受講した海外講座を“日本語で”学ぼう！ Udemyで初夏のビッグセール開催＆大人気講座をチェック - はてなニュース
多くの企業から「人手不足だ」という話が聞こえてきます。なんでも、新しいビジネスを始めようとしたり、新規サービスを立ち上げようとしたり、はたまた事業規模を拡大したり、ということで人材を募集しても、なかなか集まらないんだとか。それも、大企業からスタートアップまで、会社の規模の大小や領域に限らず、ありとあらゆる分野の企業が当てはまっています。 特にIT業界は、ただでさえ業界全体が成長しているうえに、技術の進歩と陳腐化が激しいため、基礎的な技術や知識を持ちながら、新たな情報やトレンドもフォローしているようなエンジニアは、引く手あまた。さらに最近では、エンジニアでなくてもビジネス分野で活躍するためには、データを扱うことができる高度な知識と経験が求められるケースが増えてきていることもあって、人手不足に拍車が掛かっているのだそうです。 そんな社会の中で、自分を成長させ、新たな分野に踏み出していくためには
この記事は？ それぞれが専門にしている領域に関わらず、Webエンジニアリングの基礎知識として知っておきたいと思う事を対話形式でまとめていく。知識はインプットだけではなく、技術面接や現場では、専門用語の正しい理解をもとにした使用が必要なので、専門がなんであれ理解できるようなシンプルな回答を目指したものになっています。解答の正しさはこれまでの実務と各分野の専門書をベースに確認してはいますが、著者は各技術の全領域の専門家ではなく100%の正しさを保証して提供しているものではないので、そこはご認識いただき、出てきたキーワードの理解が怪しい場合各自でも調べ直すくらいの温度感を期待しています。なお、本記事で書いている私の回答が間違っている箇所があったりした場合、気軽にコメント欄などで指摘いただけるとありがたいです。 Webエンジニアリングの基礎 この記事でカバーしている領域は、以下のような領域です。W
MySQLでIN句の中に大量の値の入ったクエリがフルスキャンを起こす話 - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2021、19日目のid:shallow1729です。昨日はtdtdsさんで【マジで】サイバー演習シナリオの作り方【怖い】でした！障害訓練後に攻撃方法を解説された時はリアリティの高さに驚きました。 僕はMySQLを使っていて発生した不思議な挙動の調査の話をしようと思います。 今回問題となったクエリ 今回話題にするクエリは以下のようなシンプルなものです。 SELECT * FROM hoge WHERE id IN (...) MySQLのパラメーター次第ですが、デフォルトの設定だとこのIN句の中の値の数が数万になると適切なインデックスが用意されていてもフルスキャンが発生する事がありました。このクエリがテーブルのほとんどのレコードを網羅するような場合や高速でレコードを大量にinsertして統計情報が追いつかないケー
こんにちは、ISC 1年 IPFactory 所属の morioka12 です。 この記事は IPFactory Advent Calendar 2020 の10日目の分になります。 IPFactory という技術サークルについては、こちらを参照ください。 本記事の最後に記載されている余談でも IPFactory の詳細を紹介しています。 はてなブログに投稿しました #はてなブログ IPFactory Advent Calendar 2020 の10日目の記事を書きました#JWT #security セキュリティ視点からの JWT 入門 - blog of morioka12https://t.co/g1MYe77hAF — morioka12 (@scgajge12) 2020年12月10日 普段は Web Security や Cloud Security 、バグバウンティなどを興味分
概要 みなさんこんにちは🎄 「フォトリ」という家族写真の撮影サービスを運用している会社でCTOをしてるカイトズズキと申します。 この記事では、先日会社のAWSで割と高額の請求が来てしまい😭死にたくなる思いをしたので、そのお話についてしていきます。 AWSは便利だけど、お金使いすぎたりしないか不安になりますよね。 特に僕はそんなにAWSには詳しくない人間なので、なおさらドキドキです。 この記事を通して、僕がやっちまった失敗をみなさんに知ってもらい、 同じような失敗をする人が1人でも減ることを祈ってます🙏 やらかしレベル まず、結果としてどれくらいやらかしたかと言うと、 普段の使用料金以外に、 - Lambda で 10万円 くらい - S3 で 30万円 くらい の請求が来てしまいました、、、 普段は数万円程度で2つのWebサービスを運用しているため、 最初に気づいたときは驚きすぎて理
WebアプリケーションでJWTをセッションに使う際の保存先は（自分なりに説明できれば）どちらでもよいと思います - 日々量産
以下のツイートを読んで気持ちが昂ったので。 みんな、もうSNSでいがみ合うのはやめよう。 平和に好きなJWTの話でもしようよ。 JWTの格納場所はlocalStorageとCookieのどっちが好き？— 徳丸 浩 (@ockeghem) 2022年2月11日 というのも、JWTをセッションに使うときに保存先含めて一時期悩んでいたので、その時の自分の解。 ただ、考えるたびに変化しているので、変わるのかもしれない。 要約 タイトル。 あとは優秀な方々が既に色々考えておられるのでそちらを読むとよいでしょう。 SPAセキュリティ入門～PHP Conference Japan 2021 JWT カテゴリーの記事一覧 - r-weblife どうしてリスクアセスメントせずに JWT をセッションに使っちゃうわけ？ - co3k.org JWT形式を採用したChatWorkのアクセストークンについて -
ランニングコストほぼゼロから始めるスケーラブルな本番環境
はじめに 私は個人開発で一山当てたいと常々思っていて、そのためにいくつかヒットしそうなサービスのアイデアがあります。エンジニアであればアイデアを具現化することに躊躇してはいけないと思うわけですが、一度リリースしてしまうとランニングコストが発生するわけで、仮に全く人気がでなかったとしたらランニングコスト分の赤字を垂れ流すことになります。 一方、個人開発者というのはおそらく誰しも夢見がちなので、リリース後バズったりしてユーザーが大量に押し寄せてきてしまってサーバーダウンする可能性も考えてしまいます。 その結果、「全く誰も来なくてランニングコストが赤字になったらどうしよう」という不安と「めちゃくちゃバズってしまってサーバーダウンしてチャンスを逃したらどうしよう」という不安が、心の中でせめぎ合うことになります。 そこで、今回はその2つの不安を一気に解消する「使われなければランニングコストが限りなく
お客様にAWSを学習するためのハンズオンの探し方を教えて欲しいと依頼されることがあったので、その際に調べた内容をまとめました。AWSのハンズオンを探す際にご利用ください。それぞれのハンズオンの個数は 2022-07-07 時点のものです。 2022-09-27 にAWSの日本語ハンズオンまとめページである JP Contents Hub がリリースされました。このブログで紹介している各種ハンズオンへのリンクも含まれているようですので、まずはJP Contents Hubを参照いただくのがよいかもしれません。JP Contents Hubの解説は AWS 日本語ハンズオンまとめ JP Contents Hub のご紹介 | Amazon Web Services ブログ を参照してください。 AWS ハンズオン資料 ハンズオン資料 | AWS クラウドサービス活用資料集 22 個のハンズオン
こんにちは。サービスグループの武田です。このエントリは、2018年から公開しているAWS全サービスまとめの2021年版です。 こんにちは。サービスグループの武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2021年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2020年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 205個 です。 まとめるにあ
ITって現代の農業じゃん
自分はITについては齧る程度しか知識が無い。のを断っておく。 IT人材の不足がどうこう、みたいなブログ読んでたんだけど。 あれ？って違和感があった。 あれ？なんでこの人たちこんな大量に働いてるんだ？ ITって、ウェブサービスとかかな？ソシャゲ？それで人海戦術ってこと？ カタカタカタっ！カッターン！って問題を解くような競技プログラミングとか、そういうんじゃなくて。 社内の環境を作るために、サーバーの保守？（最近はAWSとか？）（出先で勤務みたいな？なんだっけ、客先常駐みたいなやつ？） なんというか、えっと。 ITって、複雑な問題や大量の問題を、能率的に解決するわけで。 なんで、ガタガタガタガタ～って人海戦術みたいに、IT技術者が何十万人も必要ってことになるんだろう。 これは馬鹿にしてるように聞こえて申し訳ないんだけど。 農業従事者って昔は国民の９割くらいはいたわけで。 それは、肥料とかで収穫
NewSQLはデータベースに革命を起こすか - NetflixにおけるCockroachDBのユースケース｜ミック
近年のデータベースの新潮流にNewSQLと呼ばれる一群のデータベース製品群の登場がある。そのコンセプトを一言でいうと、RDBとNoSQLのいいとこどりである。SQLインタフェースと強いデータ一貫性（ACID）というRDBの利点と水平方向のスケーラビリティというNoSQLの長所を兼ね備えた夢のようなデータベースである。下図に見られるように、RDBとNoSQLが鋭いトレードオフを発生させていたのに対して、NewSQLではそれが解消されているのが分かる。 RDB vs NoSQL vs NewSQL本当にそのような夢の実現に成功しているか、というのはまだ議論が続いているが（クエリのスループットを出すためにレイテンシを犠牲にしているので本当にトレードオフを解消はしていない、などの問題が指摘されている）、商用でも利用可能な製品としてGoogle Spanner、TiDB、YugabyteDB、Coc
TL; DR 東京大学の良き講義資料が無料で見れるらしい 講義の概要、感想をまとめた これから進める人用に詰まったところをまとめた 目次 はじめに TL; DR 講義の概要 講義のいいとこ 何ができるようになるか 受けた方が良さそうな人 進めていく上で詰まったポイント Hands-on2でインスタンスの上限申請を拒否されてキレた話 s3で若干詰まった話 さいごに 講義の概要 まず初めに、この本は基本的にhandsonで構成されてます。 この本の何が良いって、理論に関して少し触れた時に、 くどくど言ってもわからないと思うので、動かしながら確認しましょう とすぐに実践に入ります。 なので、理論をしっかり学びたい、資格勉強のために勉強したいと言う方には向いていないかもしれません。 講義の流れは簡単に言うと以下のようになっています。 クラウド、AWSとは EC2を起動してみよう AWSで機械学習を
現代の私企業の制裁って地味にエグくない？
ウクライナのニュースみて思ったんだけど、第二次世界大戦のときに比べて、私企業の制裁の破壊力って滅茶苦茶増してると思うんだがどうだろう？ 具体的にいうと、MicrosoftやAppleのロシアでのビジネスストップをみて思ったんですよ。 現代社会って企業体が大きくなりすぎて、私企業による私刑みたいなことが可能ってこと？ プーチンじゃイメージわかないから、例えば岸田総理が東アジアの隣国あたりに侵攻したとするじゃん？ それにアメリカの企業がブチ切れたら、↓みたいな対応もできちゃうってこと？ VISA「日本で決済事業やめるわ」 Master「うちもやめるわ」 Diners, Amex「俺らもやめるわ」 Microsoft「Office売るのやめるわ。365も契約させない。OnedriveもSharepointも止めたる。日本だけWindows更新させねぇ。脆弱性放置してやる。」 Apple「端末売る
PayPayエンジニアが明かす「100億円キャンペーン」のシステムの舞台裏 数々の問題を解決するためにやったこと PayPay 100億円キャンペーンのシステム構築 #1/2 2019年6月12〜14日、幕張メッセにて「AWS Summit Tokyo 2019」が開催されました。アマゾンウェブサービス （AWS） に関する情報交換や、コラボレーションを目的として行われるこのカンファレンスでは、140社以上の利用企業による先進事例セッションをはじめ、数々のイベントを実施しました。プレゼンテーション「PayPay 100億円キャンペーンのシステム構築 」に登壇したのは、PayPay株式会社プロダクト本部の山本啓介氏とShilei Long氏。スマホ決済アプリとして新規参入した同社が展開し、日本中の話題をさらった「100億円キャンペーン」の技術的背景について語ります。前半パートとなる今回は、山
年収1000万円を要求するインフラエンジニアが知っておくべき最低限のLinuxディストリビューション - Qiita
はじめに なんか某所に面接に来た年収1000万円以上希望のインフラエンジニア候補に、Linuxのどのディストロ使ってるか聞いたら「ディストロってなんですか？」と聞き返して来たという話をきいたのでオラびっくらこいてQiitaに記事書き始めちまったぞ。 使ったことはなくてもいいから名前と特徴くらいは知っていて欲しいディストリビューションを列挙する。ディストロの系列ごとに書いたので、列挙順は重要度順ではない。が、2019年現在絶対に知ってないとマズイalpineだけは先頭に置いた。 busybox系 Alpine Linux 公式: https://www.alpinelinux.org/ Wikipedia: https://ja.wikipedia.org/wiki/Alpine_Linux パッケージマネージャー: apk 最小構成だと約5.6MBという圧倒的小ささで、dockerコンテナ
AWS大障害、冗長構成でも障害あったと公式に認める
米アマゾン ウェブ サービス（Amazon Web Services）は2019年8月23日に発生したクラウドサービス「Amazon Web Services（AWS）」東京リージョンの大規模障害に関して同月28日、新しい報告をWebサイトに掲示した。障害が発生したサービスを追加したほか、利用企業が複数のアベイラビリティーゾーン（独立性の高いデータセンター群、AZ）横断の冗長構成にしたシステムにも一部で障害（予期せぬ影響）があったと認めた。 障害が発生していたサービスとして追加したのは日経 xTECHの既報の通り、アプリケーションロードバランサーの「Amazon ALB」、インメモリーキャッシュの「Amazon ElastiCache」、データウエアハウスの「Amazon Redshift」、仮想デスクトップの「Amazon Workspaces」などだ。仮想マシンの「Amazon EC2
予算30万円台の深層学習用PCの買い方｜shi3z
深層学習をまじめにやるなら、どう考えても専用のPCが必要になる。 僕は現在、Memeplexというサービスを運営していて、これはさくらインターネットさんから大量のGPUを借りている。借りたGPUは、さくらインターネットの石狩データセンターで動いている。 さらに、ABCIは企画の段階から立ち会って、実際に仕事ではよく使っている。ABCIは5000以上のGPUを擁するGPUクラウド基盤で、その実態はスーパーコンピュータである。 ABCIを使えば、ほとんどの難しいタスクを恐ろしく安い料金で行うことができる。GoogleやAmazon AWSのようなサービスを展開することができない本邦においては、国家が設立し、民間利用可能なABCIは国民にとっての天叢雲剣あめのむらくものつるぎである。 それでもなお、手元には深層学習用のPCが必要だ。しかも一台では足りない。 ABCIがいかに安くても、PCほどの利
処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
AWS Application Composerで始める、 サーバーレスなデータ基盤構築 / 20240406-jawsug-hokuriku-shinkansen
GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで - エンジニアHub｜Webエンジニアのキャリアを考える！
GitHub Actions入門 ── ワークフローの基本的な構造からOIDCによる外部サービス認証まで GitHubが公式に提供するGitHub Actionsは、後発ながらよく使われるワークフローエンジンとなっています。本記事では、藤吾郎（gfx）さんが、典型的なCI/CDのユースケースに即したワークフローの設定と管理について解説するとともに、注目されているGitHub OIDC（OpenID Connect）の利用についても紹介します。 GitHub Actionsは、GitHubが提供するCI/CDのためのワークフローエンジンです。ワークフローエンジンは、ビルド、テスト、デプロイといったCI/CD関連のワークフローを実行し、定期実行するワークフローを管理するなど、開発におけるソフトウェア実行の自動化を担います。 ▶ GitHub Actions - アイデアからリリースまでのワーク
近年のデータ分析基盤構築における失敗はBigQueryを採用しなかったことに全て起因している - データエンジニアの酩酊日記
久しぶりにペラペラな思いつきを書き捨てて、寝ます。 2、3年前ぐらいにSIerやコンサルでTreasure Dataとか使ってマネージドDWH作ろうぜっていう風潮が流行って、今は運用フェーズに入ってどこも結構苦しんでるってのが僕のすごく狭い観測範囲での印象。 AWSのReadshiftしかり。 なぜ苦しんでるかっていうと、言うほどスケールしないからであり、言うほどマネージドじゃないから。 Treasure Dataは基本的に割当メモリが固定でオートスケールしないので、ピーク時に合わせて必要なメモリを確保しておかないといけない。そうなるとメモリ使用量とか負荷とかをモニタリングしないといけないわけだけど、Saasだから内部のアーキテクチャが隠蔽されていていちいちサポートに問い合わせないといけなかったりする。 Redshiftの場合はそもそも自前でクラスタ管理しなくちゃいけないのでそれが大変って
マイクロソフト、マイクロサービス開発を容易にする「Dapr」をオープンソースで公開。サービス間呼び出し、ステート管理、サービス間メッセージングなど提供
マイクロソフトは、マイクロサービスアプリケーションの開発を容易にするためのフレームワーク「Dapr」をオープンソースとして公開しました。現在アルファ版となっており、多くの開発者の協力を求めています。 マイクロサービスアプリケーションは、「マイクロサービス」あるいは単に「サービス」と呼ばれる、それぞれがアプリケーションを構成するための機能を提供する多数のプログラムが疎結合によって連係することで実現されます。 それぞれのサービスはWebサーバのようにステートレスなものもあれば、データベースサーバのように状態をつねに保持するステートフルなものもあります。 また、それぞれ異なるプログラミング言語で開発されたサービスがお互いを呼び出し、メッセージをやりとりする必要があります。 Daprは、こうしたマイクロサービスアプリケーションの開発を容易にするため、プログラミング言語に依存せず、サービス間の呼び出
6年ぶりぐらいにクラウド使った結果、Kubernetes以外のマネージドサービスとか基本要らなくない？となった話 - データエンジニアの酩酊日記
ここ半年ぐらい、かなり久々にクラウド使ってアプリやバッチの基盤作ったりしてきて、色々と思ったことを書き捨てる。 「ちょっと検証してみた」程度のものも含めれば、AWSとGCPは一通り主要なマネージドサービスを触ったし、実際に複数のアプリやらバッチやらをマネージドサービス上で本番稼働させて今も運用してるけど、結局DB以外は基本全部Kubernetesに乗せるのが一番楽だと強く思うようになった。 Kubernetesは学習コストや運用コストがそれなりに高く付くから安易に採用するのはどうなのか、みたいな論調もあるし、つい半年前までは自分もそう思ってた。サーバレスなマネージドサービスが色々出てきているのに、なんでわざわざKubernetesクラスタなんていう設計、運用に手間のかかるクラスタリングサーバーを立てて管理しないとならんのかと。 だけど、実際にいくつかのマネージドサービス使ってアプリやバッチ
いまNext.jsで新規サービスを立ち上げるときの観点（Router・CSS・認証・監視など/2023年末）
免責事項 社内向けに展開するように雑にまとめました Next.jsの知見が深くない人がリードしてPoCを立ち上げなきゃいけなくなったが、社内的にはNext.jsを推奨しているみたいな場面を想定しています なので自信ないところも多いですが割と断言するように心がけて書いています PoCの立ち上げ想定なので、jest/Storybookなど内部品質面についてあまり深く書くことを避けています ほぼ自分の知識だけで書いており私見も多いですし、そもそも自分自身がトップクラスの知識や視座を有しているわけでもないので、まずは以下の話を理解はした上で、踏襲するかどうかは別途他記事やGitHub、公式ドキュメントなどを漁って判断することを推奨 App RouterかPages Routerか 2023年末現在まだApp Routerは技術記事が足りてきている印象ではないため、社内でノウハウを積極的に貯めていく
アプリケーションをユーザに公開する場合, それがGUIであってもCUIであってもインタフェースが必要になります. Webアプリケーションを公開する場合にはWeb APIを利用するのが一般的であり, AWSもAPIをフルマネージドで活用するためのAPI Gatewayを提供しています. 非常に簡単に活用できるのですが細かい機能などを今一度洗い直す機会があればと思っており, 社内勉強会の機会があったのでAPI Gatewayについて話しました. 今回の記事では社内向け勉強会で登壇した内容をブログ向けに再編しています. 資料はSpeakerDeckで公開していますが, 内容についてより細かくこのブログで説明しますので, 是非ご閲覧ください. What is API まず最初にAPIが何かを確認します. 大雑把に伝えるとアプリケーションが呼び出せば予期した結果を返されるような仕組みです. 名前にあ
“アカウント作成後すぐやるセキュリティ対策” 編を公開しました！- Monthly AWS Hands-on for Beginners 2020年4月号 | Amazon Web Services
Amazon Web Services ブログ “アカウント作成後すぐやるセキュリティ対策” 編を公開しました！- Monthly AWS Hands-on for Beginners 2020年4月号 こんにちは、テクニカルソリューションアーキテクトの金澤 (@ketancho) です。先月末に「はじめの一歩」ハンズオンを公開したのですが、皆様ご覧いただけましたでしょうか？ちょうど春先の時期だったこともあり、多くの AWS 初学者の方にご視聴いただけているようでありがたい限りです。 さて、この記事ではアカウントを作った次のステップとしてぜひご覧いただきたい新作ハンズオン「アカウント作成後すぐやるセキュリティ対策」ハンズオンを紹介します。「不正な操作/動作を継続的にモニタリングする方法は？」「コストレポートってどうやって設定すればいいの？」といったアカウント開設直後にまずは抑えておきたい考
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてな株式会社はブログ/ブックマーク/匿名ダイアリーの会社ではなく、もはや漫画の会社である
改めてAWSの「無料利用枠」を知ろう | DevelopersIO
ニンテンドーシステムズ株式会社 - Nintendo Systems Co., Ltd.
霞ヶ関に東大生を洗脳させて年収2000万で雇わせることで日本を先進国にしろ
クラウドシステム構築時に活用できる非機能要件チェックリストを公開しました | クラスメソッド株式会社
【Web】知っておきたいWebエンジニアリング各分野の基礎知見80
セキュリティ視点からの JWT 入門 - blog of morioka12
本当にあったAWSでやらかした話と対策😭 - Qiita
AWSハンズオンの探し方 | DevelopersIO
【2021年】AWS全サービスまとめ | DevelopersIO
東京大学のAWS handsonがいい感じだった - Qiita
PayPayエンジニアが明かす「100億円キャンペーン」のシステムの舞台裏 数々の問題を解決するためにやったこと
AWSでバッチ処理を実装する際の選択肢とサービス比較
sessionとcookieが多分わかる資料
Amazon API Gateway は何をしてるのか | DevelopersIO