This is The Entire Computer Science Curriculum in 1000 YouTube Videos
This is The Entire Computer Science Curriculum in 1000 YouTube Videos In this article, we are going to create an entire Computer Science curriculum using only YouTube videos. The Computer Science curriculum is going to cover every skill essential for a Computer Science Engineer that has expertise in Artificial Intelligence and its subfields, like: Machine Learning, Deep Learning, Computer Vision,
Googleに入社します｜ばやしこ
こんにちは。ばやしこと申します。 2022年7月より、Googleでソフトウェアエンジニアとして働くことになりました。 アメリカのTexas A&M大学のMaster of Computer Scienceを今年の5月に無事卒業し、卒業後の職としてGoogleからフルタイムのオファーを頂くことができました。 今後Googleを目指す方の助けになればと思い、Googleからオファーをもらうまで自分がどんな勉強や対策をしていたかについて、書かせていただきます。 また、留学に至るまでの流れはこちらの記事を読んでいただければと思います。 (入社予定のDurham, NCオフィス) はじめにこちらは私の体験をもとに書いている記事です。諸々の条件が異なれば、面接の構成や対策も大きく異なります。例えばシニア以上（GoogleだとL5以上、MetaだとE5以上。私はL4でオファーをもらいました）でのポジシ
「Amazonでさえサーバレスやマイクロサービスを理解できない」とDHH氏が主張する一方で、「進化可能なアーキテクチャこそ重要」とAmazonのVogels博士
Ruby on Railsの作者として知られるDavid Heinemeier Hansson（DHH）氏が自身のブログに5月4日付けで投稿した記事「Even Amazon can't make sense of serverless or microservices」（Amazonでさえサーバレスやマイクロサービスを理解できない）が話題になっています。 これはAmazon Prime Videoの技術部門が3月に自社ブログに投稿した記事「Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%」（Prime Videoの音声映像監視サービスにおけるスケールアップと90％のコスト削減の実現）で紹介された、AWS Lambdaのサーバレスで作られたPrime Videoの監視サービス
DNS前史：HOSTS.TXTとドメイン名ができるまで
こんにちは、技術開発室の滝澤です。 先月（2022年7月）、『Software Design 2022年8月号』の特集記事『WebエンジニアのためのDNS速習講座』に『第2章：DNSの構成要素と名前解決のしくみ』という記事を寄稿しました。第1章でも滝澤が趣味で作成した資料『ドメイン名の歴史』が参考文献として掲載されていました。よい機会なので、ドメイン名ができるまでの歴史について文章としてまとめようと思い、この本ブログ記事を書きました。 なお、筆者自身はインターネットの原型であるARPANETや80年代のインターネットをリアルタイムには体験してはいないため、RFC（Request for Comments）やインターネット上にある当時のホストのアーカイブを元に調査した内容をまとめたものになります。 ARPANETの時代 1969年から1980年代初期にかけてのインターネットの原型となったAR
理解して拡げる分散システムの基礎知識
20200725の #JTF2020 セッションスライド。 （資料内で説明した資料へのリンク） ・昨年のJTF発表資料 https://speakerdeck.com/tzkoba/cloud-nativekai-fa-zhe-falsetamefalsedatabase-with-kubernetes ・「2020年のNewSQL」 https://qiita.com/tzkoba/items/5316c6eac66510233115 ・「NewSQLのコンポーネント詳解」 https://qiita.com/tzkoba/items/3e875e5a6ccd99af332f ・Saga https://www.infoq.com/jp/news/2018/03/data-consistency-microservices/ ・「マイクロサービスとは分散システムである」 https://
7 年勤めた Amazon を辞めて、Autify という startup に Technical Support Engineer として入りました。場所は変わらず Vancouver, Canada のままです。これからは副業も何かやってみようと思っているので、お気軽にお声がけ下さい。 Today is my last day at Amazon. Lots of excitements and learnings in the past 7 years. Thank you for all of my customers and colleagues. I’ll start the next job soon and will update the status here. Stay tuned! pic.twitter.com/uqGv50jhvN — Ryosuke Iwanag
Redis Explained
Redis Explained InfographicWhat is Redis?Redis (“REmote DIctionary Service”) is an open-source key-value database server. The most accurate description of Redis is that it's a data structure server. This specific nature of Redis has led to much of its popularity and adoption amongst developers. 👋🏾You are reading Architecture Notes! Crave some byte-sized bites of this? Join me on Twitter. If it's
最近「マイクロサービスって大変だな」と感じることが多いので、書いてみた。 単なる感想です。 pospomeのマイクロサービス歴 面倒なのは技術ではない モノリスだと厳しい 楽しくもある 宣伝 pospomeのマイクロサービス歴 以下の企業で7年ほどマイクロサービスに携わっている。 DeNA（ゲームプラットフォーム） メルカリ（認証認可基盤） DMM（DMMプラットフォーム） DeNA, メルカリではサーバサイドエンジニアとして仕事をしていて、 DMMではプラットフォーム事業本部という120人のエンジニアが在籍する開発組織のアーキテクトとして仕事をしている。 それぞれの会社で開発の規模感、開発体制、自分の役割などが異なるので、 直接比較できないが、やはりポジション的に今のDMMが一番大変だなーと感じる。 面倒なのは技術ではない マイクロサービスというと "分散トランザクション" とか "通信
Sections What is time Representing time Where do we usually find time on Unix System time, hardware time, internal timers Syncing time with external sources What depends on time Human perception of time What is time Time is relative Measuring time and standards Coordinating time Time zones DST Time, a word that is entangled in everything in our lives, something we’re intimately familiar with. Keep
zenn.dev を読んでの感想です。「シーケンスナンバーをPKにする」以外の項目については言及しませんが、言及しないことは正当性や妥当性を保証していることにはならないです。 InnoDB(MySQL)を想定してます。が、原理は割と一般的なので他のDBでも適用できることが多いと思います。 追記:一般的とは分散でないような"普通の"RDBMSを想定してましたが、分散システム(distributed systemないしreplicated system)のような場合では話が違います。 なぜシーケンシャルな値がよいか 端的にいうと書き込み操作時にバッファープール(baffuer pool)に読み混む必要のあるページが少なくて済むからです。その結果書き込み操作時にバッファープールにページが存在する可能性が高くレイテンシー的に有利になる可能性が高いです。 バッファープール、ページ、btreeなど具体
Consider SQLite
If you were creating a web app from scratch today, what database would you use? Probably the most frequent answer I see to this is Postgres, although there are a wide range of common answers: MySQL, MariaDB, Microsoft SQL Server, MongoDB, etc. Today I want you to consider: what if SQLite would do just fine? For those who are unfamiliar, SQLite is a implementation of SQL as a library — this means t
Scaling up the Prime Video audio/video monitoring service and reducing costs by 90%
Scaling up the Prime Video audio/video monitoring service and reducing costs by 90% The move from a distributed microservices architecture to a monolith application helped achieve higher scale, resilience, and reduce costs. At Prime Video, we offer thousands of live streams to our customers. To ensure that customers seamlessly receive content, Prime Video set up a tool to monitor every stream view
Except Singapore, we’ve got a world of sub-100 millisecond TTFBs. This is because instead of heading off to Virginia to get the site, each of these locations can use an edge server nearest to them. The edge is about getting 50ms response times vs 150ms response times. You can test this for yourself with a VPN. If you: curl -I https://deno.landYou’ll get the server nearest your location: server: de
Denoの作者ライアン・ダール氏らが「Deno Company」を立ち上げ。Denoの開発推進と商用サービスの実現へ
Denoの作者ライアン・ダール氏らが「Deno Company」を立ち上げ。Denoの開発推進と商用サービスの実現へ 2009年に登場したNode.jsは、サーバサイドにおけるJavaScriptの利用や非同期処理によるイベントドリブンなアプリケーションアーキテクチャという新しい分野を確立した、画期的なプラットフォームです。 Node.jsの登場により、AWS Lambdaをはじめとするサーバレスコンピューティングや、ElectronのようなWebテクノロジーを基盤としたアプリケーションフレームワークをはじめとする、さまざまなJavaScriptエコシステムが飛躍的に発展したと言ってもいいでしょう。 このNode.jsの作者であるライアン・ダール（Ryan Dahl）氏は、2012年にNode.jsの開発リーダーを退任すると、2018年に「Node.jsに関する10の反省点」を発表。これに
AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)の学習方法 - NRIネットコムBlog
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 SAP on AWS - 専門知識」とは 「
Announcing Envoy Mobile
Today we are thrilled to announce the initial OSS preview release of Envoy Mobile, an iOS and Android client network library that brings the power of Envoy Proxy to mobile platforms. This is the beginning of a journey that we hope mobile developers around the industry will join us on. BackgroundWhen Lyft originally announced Envoy in 2016, the project goal was simply stated as: The network should
ドメイン知識は幅広いのでどこまで勉強すればいいか思った時のリスト。勉強の仕方色々あるが個人的にわかりやすいなと思ったものも書いときます ソフトウェアエンジニアとしてやりながらrecoというエンジニア向けの転職プラトフォームを作ってます。現在は数社のテック企業のサポートをしております（https://jobs.reco.sh/) reco経由で申し込むと面接に備えるためのサポートが得られます。面接対策のヒントや質問例、模擬面接などを通じて、自信を持って次のステップに進む準備ができます。 申請リンク：https://airtable.com/appDsRlN6LTSiW0a3/shrP9nwF925b1d5ZJ Network復習 TCP, UDP: High Performance Browser Networking - Ilya Grigorikの2~3章 (m)TLS: Liz Ric
分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay
AWS Dev Day Online - Session B4 分散システムにおけるSagaパターンのAWS Step Functions による実装 �#AWSDevDay / Implementing SAGA pattern on distributed system with AWS Step Functions.
This is an introductory course in Distributed Systems. Distributed systems is the study of how to build a computer system where the state of the program is divided over more than one machine (or "node"). This course is in active development. At the moment, it consists of a series of short videos. The intention is to create a complete set of video lectures and then add additional content (such as m
Over the past four years, we've been working hard on rebuilding our desktop client's sync engine from scratch. The sync engine is the magic behind the Dropbox folder on your desktop computer, and it's one of the oldest and most important pieces of code at Dropbox. We're proud to announce today that we've shipped this new sync engine (codenamed "Nucleus") to all Dropbox users. Rewriting the sync en
It’s no secret that observability costs are top of mind for many organizations in the post-zero interest rate phenomenon (ZIRP) era (see here, here, and here for example discussions, though similar sentiments can be found far and wide). Organizations are frustrated with the percentage of infrastructure spend (sometimes > 25%!) allocated towards logging, metrics, and traces, and are struggling to u
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する
2021年に注目すべきCNCFの5つのテクノロジーを「Kubernetes Meetup Tokyo」のセッション記事から解説する はじめに Kubernetes Meetup Tokyoの懇親会用に話のネタとしてメモを残す。 2021年に注目すべきCNCFの5つのテクノロジーとは？ KubeConNA(2020)最終日のkeynote session、Keynote: Predictions from the Technical Oversight Committee (TOC) - Liz Rice, CNCF TOC Chairで、CNCFのTOC(技術統括委員会)の委員長を務めるLiz Riceさんが、CNCFの2021年の技術的展望として紹介した5つの技術要素である。(順不同) カオスエンジニアリング エッジコンピューティングとしてのKubernetes サービスメッシュ Web
Diving Deep on S3 ConsistencyApril 20, 2021 • 1938 words I recently posted about Amazon S3 and how it’s evolved over the last 15 years since we launched the service in 2006 as “storage for the internet.” We built S3 because we knew customers wanted to store backups, videos, and images for applications like e-commerce web sites. Our top design priorities at the time were security, elasticity, relia
I have a small side project: digital gift cards for hackers. It uses Shopify for all the store-related stuff: frontend, payments, refunds, reports, etc. But unlike regular digital products (ebooks, videos) I wanted each card that the user purchases from the store to be unique. So I made a script that generates personalized images and ran it manually for every order. The next logical step was autom
An opinionated collection of programming languages. This is a list of what I consider interesting. Requests to add to this list are welcome, but there is no guarantee I’ll include them. As you can see many mainstream programming languages are misssing from this list. Alore is a language that explores optional typing in a Python-like programming language.Alpaca is a statically typed, strict/eagerly
Even Amazon can't make sense of serverless or microservices
May 4, 2023 Even Amazon can't make sense of serverless or microservices The Prime Video team at Amazon has published a rather remarkable case study on their decision to dump their serverless, microservices architecture and replace it with a monolith instead. This move saved them a staggering 90%(!!) on operating costs, and simplified the system too. What a win! But beyond celebrating their good se
本記事ではRustでOpentelemetryをはじめることを目標に以下の点について書きます。 OpenTelemetryの概要RustのapplicationにOpenTelemetryを導入する方法前半は公式docを読みながら登場人物を整理し、後半は実際にdocker-compose上でそれらを動かします。 またRustではtracing-opentelemetry crateを利用します。 tracingについては別の記事で基本的な仕組みについて書いたのでopentelemetry固有の処理について述べます。 sample code traceの設定については、別の記事に詳しい説明を書きました。 OpenTelemetryとは最初にOpenTelemetryについての現時点での自分の理解は以下です。 OpenTelemetryとは文脈により以下のいずれかを指す CNFNのprojec
デジタル機器の弱点が突かれました。 米国のミシガン大学（UM）で行われた研究により、スマホのカメラやホームカメラ、車載カメラに至るどんなカメラからでも、リアルタイムな盗撮が可能な技術が発表されました。 新たな盗撮技術は既存の機器では防御不可能であり、カメラの電源をオフにしても、理論的には、完全には防ぐことができません。 研究では実際のカメラが捉えた画像と盗撮された画像の比較が行われており、かなり鮮明な画像として抽出できることが示されています。 新たな技術はいったいどんな方法で、他人のカメラから情報を盗み出しているのでしょうか？ 研究内容の詳細は、ネットワークシステムセキュリティに関するシンポジウム『The Network and Distributed System Security Symposium (NDSS) 2024』にて発表されました。
Operating a Large, Distributed System in a Reliable Way: Practices I Learned
For the past few years, I've been building and operating a large distributed system: the payments system at Uber. I've learned a lot about distributed architecture concepts during this time and seen first-hand how high-load and high-availability systems are challenging not just to build, but to operate as well. Building the system itself is a fun job. Planning how the system will handle 10x/100x t
自動運転車のレーダーセンサーに「幻の対向車」を見せたり存在するはずの車両を見えなくしたりして事故を起こさせる攻撃手法「MadRadar」が開発される
デューク大学のPratt School of Engineeringで電気コンピューター工学の准教授を務めるミロスラフ・パジッチ氏とティンジュン・チェン氏が率いる研究者グループが、自動運転車のレーダーセンサーをだます攻撃「MadRadar」を開発しました。研究グループはMadRadarのような技術を駆使して自動運転車を盗む手口が、「今後数十年にわたってハリウッド映画で見られる共通のプロットとなるかもしれない」と語っています。 Engineers Develop Hack to Make Automotive Radar Hallucinate | Duke Pratt School of Engineering https://pratt.duke.edu/news/engineers-develop-hack-to-make-automotive-radar-hallucinate/ M
How do you handle user authentication in your web app or API? When it comes to implementing auth, JSON Web Tokens (JWTs for short) are often touted as an industry best practice. On some platforms, and for some frameworks they are the first thing that comes to mind: we've seen many discussions on developer forums (such as /r/node) where the only alternatives suggested were JWT if you're doing it yo
Announcing Distributed Application Runtime (Dapr), an open source project to make it easier for every developer to build microservice applications - Microsoft Open Source Blog
Announcing Distributed Application Runtime (Dapr), an open source project to make it easier for every developer to build microservice applications Toggle share menu for: Announcing Distributed Application Runtime (Dapr), an open source project to make it easier for every developer to build microservice applications Share Share Announcing Distributed Application Runtime (Dapr), an open source proje
Thoughts on software, hardware, performance, math, and similar topics A lot of ink is spent on the “monoliths vs. microservices” debate, but the real issue behind this debate is about whether distributed system architecture is worth the developer time and cost overheads. By thinking about the real operational considerations of our systems, we can get some insight into whether we actually need dist
Chapter 12 - Introducing Non-Abstract Large System Design, Google SRE Book
Introducing Non-Abstract Large System Design By Salim Virji, James Youngman, Henry Robertson, Stephen Thorne, Dave Rensin, and Zoltan Egyed with Richard Bondi With responsibilities that span production operations and product engineering, SRE is in a unique position to align business case requirements and operational costs. Product engineering teams may not be aware of the maintenance cost of syste
Building a more accurate time service at Facebook scale
UPDATE: To continue our support of this public NTP service, we have open-sourced our collection of NTP libraries on GitHub. Almost all of the billions of devices connected to the internet have onboard clocks, which need to be accurate to properly perform their functions. Many clocks contain inaccurate internal oscillators, which can cause seconds of inaccuracy per day and need to be periodically c
C Runtime Overhead
What do you do when libc is your bottleneck? If the total runtime of your process is under 10ms, most of this time (depending on your hardware) is spent waiting for the linker and C runtime to set things up. If you compare this to the Latency Numbers Every Programmer Should Know, it falls right above "disk seek" and "20x datacenter roundtrip". Stripe launched their third CTF in early 2014. While t
Although the main interface between applications and a Vitess database is through the MySQL protocol, Vitess is a large and complex distributed system, and all the communication between the different services in a Vitess cluster is performed through GRPC. Because of this, all service boundaries and messages between Vitess' systems are specified using Protocol Buffers. The history of Vitess' integr
With contributions from Adnan Rahić and Ken Hamric. The OpenTelemetry Demo is a system that simulates a Telescope Shop, consisting of multiple microservices written in different languages, each handling a specific capability of this distributed system. Its purpose is to demonstrate how OpenTelemetry tools and SDKs can be used in an application to obtain telemetry for monitoring results and even to
A decision that arises over and over when designing concurrent programs is whether to represent program state in control flow or as data. This post is about what that decision means and how to approach it. Done well, taking program state stored in data and storing it instead in control flow can make programs much clearer and more maintainable than they otherwise would be. Before saying much more,
An Engineer's Hype-Free Observations on Web3 (and its Possibilities)
The Web3 ecosystem has been variously described as a collective hallucination, a massive grift, an environmental disaster, a decentralized renaissance, and the future of the Internet. That’s a lot to live up (and down) to. Here in the PSL Studio, our veteran engineering team (hi, nice to meet you!) has been building fun new Web3 projects. Along the way, we’ve been taking notes on what we’ve learne
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon を退職してAutify に入りました - As a Futurist...
マイクロサービスアーキテクチャは大変という話 - pospomeのプログラミング日記
Time on Unix
プライマリーキー(primary key)はシーケンシャルな値で良いと思うよ - 角待ちは対空
The Future of the Web is on the Edge
ドメイン知識の問題集や勉強の仕方（随時更新）｜gaijineers
Distributed Systems Course
Rewriting the heart of our sync engine
Why is observability so expensive?
Diving Deep on S3 Consistency
Moving my serverless project to Ruby on Rails
Interesting Programming Languages
🔭 RustでOpenTelemetryをはじめよう | Happy developing
カメラと繋がる回路をアンテナに！事実上防御不可能な盗聴技術が見つかる - ナゾロジー
Why you should not use JWT - API Bakery
Use One Big Server - Speculative Branches
Vitess | A new Protocol Buffers generator for Go
Trace-based Testing the OpenTelemetry Demo
research!rsc: Storing Data in Control Flow