博士課程での研究まとめ 2023年1月版 / Summary of my research in the PhD course
KADOKAWA Connected / ドワンゴの @saka1 です。 少し前までは株式会社ドワンゴのWebバックエンドエンジニア的な仕事をしていたのですが、最近は出向1してKADOKAWAグループのDXを推進する戦略子会社である株式会社KADOKAWA Connected(以下KDX)でデータ分析周りのお仕事をしています。この世界はジョブチェンジが激しいですね。 しばらく開発に関与していたドワンゴ・KADOKAWA向け新データプラットフォームの初期リリースに成功したので、この記事ではその話を書きます。KDXのデータエンジニアリングに関する取り組みのほんの一端ではあるのですが、なんとなく雰囲気が伝わればいいなと思っています。 この記事は全体概要編のようなものです。 移行プロジェクトとしての事例紹介を中心にして書きました。プロジェクトの置かれたコンテキストや、出てくる課題にどう判断をつけ
Xイノベーション本部 ソフトウェアデザインセンター セキュリティグループの福山です。 先日、米政府(米サイバーセキュリティインフラストラクチャセキュリティ庁(CISA)や米連邦捜査局(FBI)、 MS-ISAC(Multi-State ISAC)の共同)から、DDoS攻撃に対するガイダンス「Understanding and Responding to Distributed Denial-of-Service Attacks」が公開されました。 業務でAWSに触れる機会が多いので、この機会にAWSにおけるDDoS攻撃対策を調査したいと思いました。 そこで今回は、AWS WAF、GuardDutyを有効活用できていないAWS上のWebアプリケーションに対してDDoS攻撃を受けた際に、対策となるリソースを追加するためのCloudFormationテンプレートや後続作業を調査しましたので、紹介
builderscon tokyo 2019 で使用したスライドです。 本セッションでは、形式手法 (formal methods) を用いた分散アルゴリズムの検証について解説しました。形式手法は、数学的な表現を用いて対象となるシステムを定式化することにより、システムの挙動の「正しさ」を厳密に保証するための方法論です。 なお解説として取り上げたのは、AWS による事例論文でも有名なモデル検査器 TLA+ です。講演前半で形式手法の一般論に触れたのち、後半では分散トランザクションを実現するための TCC (Try-Confirm/Cancel) Pattern のモデリングと検証を行いました。 講演概要:https://builderscon.io/tokyo/2019/session/fa356ee3-6be9-4850-ac9e-037bd34aabaa 録画:https://www.y
こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、現在進めているプロジェクトでの負荷試験で、AWS Distributed Load Testing を使って比較的手軽にAWS内での負荷試験を行うことが出来たのでその内容を紹介しようと思います。 内容はざっくり下記3点です。 これまで使ってきた負荷試験ツールとその悩み AWS Distributed Load Testingとは 実際の負荷試験の様子 これまで使ってきた負荷試験ツールの悩み 新規システムを開発し、サービスに導入する際には、負荷試験が必要になるケースも多いと思います。 負荷試験は、開発したシステムが想定リクエストに対して性能面で問題なく稼働出来るかをユーザに提供する前にチェックする目的で行うのが一般的です。 内容としては、レイテンシやステータスコードのエラー数等をレポートし、それらが基準として定めたパフォー
DropboxやGoogle Driveといったクラウドストレージにアップロードしたデータを共有する場合など、URLを誰かに伝えることは日常的な行いです。無料で公開されているオープンソースサービス「Link Lock」を使うと、簡単にURLにパスワードをかけることができます。 Link Lock - Password-protect links https://jstrieb.github.io/link-lock/create/ GitHub - jstrieb/link-lock: Distributed application to password-protect URLs using AES in the browser https://github.com/jstrieb/link-lock さっそくウェブサイトにアクセスすると、URLやパスワードを入力する画面が表示されます。
深層学習の世界では時折・・・と言っても、一ヶ月に一回くらいだが・・・信じられないようなことが起きる。 以前、ゲーム画面を見ただけでパックマンやらマリオやらを再現するAIが出現したと聞いたとき、「嘘だろ」と思ったのだが、まあ言うてパックマン。なんとなくできるのかもしれない。 しかしこの手のものはあまりにも直感に反するので自分の手で確かめないと本当かどうかわからない。 そんな時のために僕の仕事机には7台のGPUマシンがあるわけだが、たまたまRTXが遊んでいたので実行してみたら、「嘘だろ」としか言いようがない結果を目の当たりにすることになった。 GTAVこと「グランセフトオートV」は、自動車泥棒になって架空の街を走り回るゲームだ。 こいつをひたすらAIに学習させると、GTAVをAIが再現するという、全く直感に反することが行われるらしい。3Dゲームというのは、それを作った経験のある人なら誰でも、恐
OpenAIが提供する「ChatGPT」などのチャットAIは要約やコーディング、翻訳などを人間の専門家以上の精度で実行できると報告されています。しかしチャットAIの訓練に必要な人間のフィードバックに基づいた強化学習(RLHF)を実行するエンドツーエンドなパイプラインが存在せず、最先端のチャットAIの訓練を行うことは困難でした。しかしMicrosoftが発表した「DeepSpeed-Chat」では誰でもChatGPTのようなモデルを作成可能です。 DeepSpeed/blogs/deepspeed-chat/japanese at master · microsoft/DeepSpeed · GitHub https://github.com/microsoft/DeepSpeed/tree/master/blogs/deepspeed-chat/japanese これまでChatGPTのよ
The 5-hour CDN Author Name Kurt Mackey @mrkurt @mrkurt The term “CDN” (“content delivery network”) conjures Google-scale companies managing huge racks of hardware, wrangling hundreds of gigabits per second. But CDNs are just web applications. That’s not how we tend to think of them, but that’s all they are. You can build a functional CDN on an 8-year-old laptop while you’re sitting at a coffee sho
00:00 - Introduction 01:45 - The Battleship 02:49 - NP-Complete Problems 06:24 - Building SQLite V1 07:54 - Motorola Phones 09:40 - America Online Phones 11:12 - Symbian OS and Nokia 13:01 - The Bus Factor and the Consortium 15:11 - Enter Android 17:05 - Guys, This Is Important 18:18 - Testing and Aviation Standards 21:29 - Billions of Tests 25:30 - Building From First Principles 28:05 - B-Trees a
分散トレーシングの技術選定・OSS 貢献, Stackdriver Trace での性能可視化・改善 / Distributed Tracing case study パフォーマンスに苦労している並列処理システムを改善するために Stackdriver Traceを導入して動作の可視化を行った結果、 ボトルネックの存在が判明してパフォーマンスを改善できた事例について紹介します。 この事例でStackdriver Traceを選定した過程や OpenTelemetry へコントリビュートした経緯についても共有します。 また、新規開発のGraphQLサーバへ導入して REST APIサーバと通信をまたいだ可視化を行った事例についても紹介します。
TL;DR — We made a server-less virtual Linux environment that runs unmodified Debian binaries in the browser. This is powered by CheerpX, a WebAssembly virtualization platform. Feel free to play with it and report bugs: https://webvm.io WebVM — a server-less virtual Linux environment running fully client-side in HTML5/WebAssembly. The web platform is well on its way to becoming the dominant platfor
Webページを実装する際、そのページを表示するブラウザが各HTML要素にデフォルトでどのようなスタイルが適用されているか知っておくのは大切なことです。 Chrome, Safari, Firefox, Edge 各ブラウザごとのデフォルトのスタイルシート、user agent stylesheetを紹介します。 例えば、p要素にはdisplay: block;が定義されており各ブラウザでmarginの数値が異なります。また、h1要素は単独で使用した場合とsection要素などの子要素で使用した場合ではmarginの数値が異なります。 /* * The default style sheet used to render HTML. * * Copyright (C) 2000 Lars Knoll (knoll@kde.org) * Copyright (C) 2003, 2004, 20
2019年頃から「オブザーバビリティ (Observability)」もしくは「可観測性」という言葉をよく聞くようになった(本記事では「オブザーバビリティ」という表記に統一する).「マイクロサービス」と同じように「バズワード」の側面があり「オブザーバビリティとは何か?」という質問に対して様々な回答が考えられると思う. 今回は「オブザーバビリティ」の理解を深めるために「Distributed Systems Observability」を読んだ.本書は O'Reilly Media で読むこともできるけど,Humio のサイトから無料でダウンロードすることもできる(メールアドレス登録は必要).著者は Cindy Sridharan となり,肩書は「Distributed Systems Engineer」と書いてあった. www.humio.com 目次 本書には「オブザーバビリティ」をテー
はじめに 本書『Observability Engineering』は、複雑化の一途をたどる現代のソフトウェアシステムに立ち向かうための、強力な武器となる一冊であり本稿はその読書感想文です。Observability Engineering を今から知りたい方はもちろん、Observability Engineering の基礎を改めて学びたい方もぜひお読みください。この記事もかなりの長さになるので普通に書籍を読んだほうがいいかもです learning.oreilly.com 「Observability:可観測性」という言葉は、近年ソフトウェアエンジニアリングの世界で大きな注目を集めています。しかし、その概念の本質を理解し、実践に移すことは容易ではありません。 本書は、そのオブザーバビリティについて、その基本的な考え方から、具体的な実装方法、そして組織への適用まで、幅広くかつ深く解説して
The key to achieving world-class expertise in any skill, is to a large extent, a matter of practicing the correct way, for a total of around 10,000 hours — Malcolm Gladwell in OutliersI'm certainly not a world-class expert, but I have put my 10,000 hours of deliberate practice into programming. Here are 31 of my reflections on programming. These are reflections only about pure coding — no lessons
TLDR: We’ve been working on some updates that will allow Deno to easily import npm packages and make the vast majority of npm packages work in Deno within the next three months. Our goal is to make Deno the fastest JavaScript runtime. For starters, the next release of Deno will include a new HTTP server. It is the fastest JavaScript web server ever built. Given the extensive use of Deno by develop
この記事は、Merpay Tech Openness Month 2023 の7日目の記事です。 はじめに こんにちは。メルコイン Payment Platform チームの @sapuri です。 メルコインではマイクロサービスアーキテクチャを採用しており、お客さまによりアプリの操作が行われると、それぞれのマイクロサービスを横断してリクエストが処理されます。 メルコインの Payment Platform は、お客さまの残高の管理や各種帳簿の作成などの決済事業のための基盤となる仕組みを提供しています。 そのなかで、Payment Service は決済トランザクションを管理するサービスとして、下位層のサービスが提供する各種決済手段を利用して、上位層のサービスが共通して利用できる決済 API を提供しています。 この記事ではマイクロサービスアーキテクチャにおける分散トランザクション管理の課
Load Balancers plays a key role in Web Architecture. They allow distributing load among a set of backends. This makes services more scalable. Also since there are multiple backends configured the service become highly available as load balancer can pick up a working server in case of a failure. After playing with professional Load Balancers like NGINX I tried creating a simple Load Balancer for fu
はじめに (Introduction) 今回はBlockchain Advent Calendar 2019の12/2分ということで、 ブロックチェーンについて、勉強していない。 実は興味があるけど、難しそう これから勉強するつもり 最近勉強し始めた といった方を対象に記事を書きたいと思います。 アジェンダ (Agenda) ブロックチェーンとは? P2Pネットワークとは? 暗号化技術とは? コンセンサスアルゴリズムとは? 開発言語とライブラリ等 終わりに 参考 ブロックチェーンとは? 先ずはじめに、昨今話題となっているブロックチェーンと仮想通貨ですが、こちらは別物であると先に定義しておきます。 ブロックチェーン (Blockchain) 暗号化技術 P2Pネットワーク コンセンサスアルゴリズム スマートコントラクト の大きく4つの柱からなる、新しい考え方のテクノロジーです。 さらに詳細に
トップレベルドメインの中に.devと.appがある.これらはHTTPS接続を強制するドメインとして知られている.この仕組みが気になっていたので調べてみた. 参考: グーグル、完全HTTPS接続で安全なアプリ用ドメイン「.app」--早期登録を受付開始 - CNET Japan 結論: HSTSのPreload Listという技術を使っている. HSTS HSTS(HTTP Strict Transport Security)はHTTPでアクセスしてきたユーザ(HTTPクライアント)にHTTPSでのアクセスを強制するための技術である.対応しているWebサイトでは,HTTPレスポンスのヘッダに Strict-Transport-Security: xxx が付与されている.Qiitaの場合はstrict-transport-security: max-age=2592000が設定されている.R
小西秀和です。 この記事は「AWS認定全冠を維持し続ける理由と全取得までの学習方法・資格の難易度まとめ」で説明した学習方法を「AWS 認定 SAP on AWS - 専門知識(AWS Certified: SAP on AWS - Specialty)」に特化した形で紹介するものです。 重複する内容については省略していますので、併せて元記事も御覧ください。 また、現在投稿済の各AWS認定に特化した記事へのリンクを以下に掲載しましたので興味のあるAWS認定があれば読んでみてください。 ALL Networking Security Database Analytics ML SAP on AWS Alexa DevOps Developer SysOps SA Pro SA Associate Cloud Practitioner 「AWS 認定 SAP on AWS - 専門知識」とは 「
はじめに AWS 公式ブログ投稿 Deployment models for AWS Network Firewall 3 種類のモデルアーキテクチャ North-South トラフィックと East-West トラフィックとは Distributed AWS Network Firewall deployment model とは Centralized AWS Network Firewall deployment model とは Combined AWS Network Firewall deployment model とは 生じた疑問とその回答 生じた疑問 Inspection VPC はなぜ必要なのか VPC ごとに個別の URL フィルタリングルールを適用するには 疑問 3 と 疑問 4 各構成パターンの整理と比較 構成パターン一覧 1. Distributed Inspe
The mission of OpenAI is to ensure AGI benefits all of humanity, which means both building safe and beneficial AGI and helping create broadly distributed benefits. We are now sharing what we've learned about achieving our mission, and some facts about our relationship with Elon. We intend to move to dismiss all of Elon’s claims. Elon said we should announce an initial $1B funding commitment to Ope
概要 自然言語処理における単語や文章のEmbeddingの方法を勉強したので概要を記載しました。 また、学習済みモデルからEmbeddingベクトルを取得するサンプルソースコードも一部記載しました。 概要 Word2vec fastText GloVe Skip-thought SCDV USE ELMo BERT おわり 宣伝 Word2vec 似た意味の単語の周りには同じような単語が出現するとして、ある単語の周辺に出現する単語を予測するNNの隠れ層の重みを、ある単語のベクトルとしたもの。Doc2vecはWord2vecを文章に拡張したもの。 NNには以下のようなSkip-Gramのモデルが使われる。 Word2vecの元論文 : [1310.4546] Distributed Representations of Words and Phrases and their Composit
https://www.techno-edge.net/special/560/recent/%E7%94%9F%E6%88%90AI%E3%82%B0%E3%83%A9%E3%83%93%E3%82%A2%E3%82%92%E3%82%B0%E3%83%A9%E3%83%93%E3%82%A2%E3%82%AB%E3%83%A1%E3%83%A9%E3%83%9E%E3%83%B3%E3%81%8C%E4%BD%9C%E3%82%8B%E3%81%A8%E3%81%A9%E3%81%86%E3%81%AA%E3%82%8B%EF%BC%9F続きを読む » Modelに無い顔や彼女の顔を出したい!生成AIでポートレート写真やグラビアを作っていると、同じような雰囲気の顔ばかりが結構出るのに気付く。 もちろん何パターンもあるので、毎回同じでもないのだが、XやInstagramなどの生成AI画像
AWS Database Blog Amazon Aurora MySQL 3 with MySQL 8.0 compatibility is now generally available Amazon Aurora is a MySQL and PostgreSQL-compatible relational database built for the cloud. Aurora combines the performance and availability of traditional enterprise databases with the simplicity and cost-effectiveness of open-source databases. Amazon Aurora MySQL is compatible with MySQL 5.6 and MySQL
There is a rise in offerings of free educational content, free software, free cloud resources with the single goal of capturing the new kingmaker's attention. In a similar spirit, here I want to quickly share my favorite Kubernetes related books offered free of charge. I've read and found them all very useful at different stages of my learning. The list contains books that are sponsored and offere
Nov 10, 2020eBPF - The Future of Networking & Security Today is an exciting day for the Cilium community: Isovalent, the company behind Cilium, is announcing its $29M Series A financing round backed by Andreessen Horowitz, Google, and Cisco. This is a perfect occasion to take a deeper look into where eBPF-based networking is coming from and to understand what the excitement is all about. Two weeks
はじめに 分散合意アルゴリズム Raft とは 分散合意アルゴリズムとは Raft の特徴 Raft が満たす性質 Election Safety Leader Append-Only Log Matching Leader Completeness State Machine Safety TLA+ とは TLA+ による Raft の形式的仕様 TLA+ による Raft の検証方法 TLA+ Toolbox のインストール 新規 Spec の作成 Model の作成と実行 補足: コマンドラインでの検証 Raft の拡張について Leadership Transfer Membership Change Log Compaction Client Interaction おわりに Raft 理解度を調べるクイズ 参考資料 Raft に関する資料 TLA+ に関する資料 はじめに この
アメリカに来て1年が経ったので、1年で思い出深かったことなどをざっと振り返ろうかと思う。 2023春 2023夏 これから アメリカに来た過去の経緯などは以下を参照。 blog.pco2699.net blog.pco2699.net 2023春 2023春は今振り返っても「コンパイラデザイン」という授業が地獄だった、という記憶しかない。 www.cs.cmu.edu コンパイラデザインはCMUの中でOSと双璧をなす、課題がエグい授業として有名なのだが、噂通りであった。 www.quora.com The work is spread fairly evenly throughout the semester; each assignment is similarly sized, and they all have the same amount of time, roughly. It
これから何回かに分けて、Redux に代表される JS の状態管理ライブラリをいくつか見ていきます。 早速本題に入りたいところですが、その前になぜいくつもライブラリを知っていた方がいいのか、当たり前のように思うことをあえて考えてみる必要があります。 なぜなら、状態管理ライブラリがたくさんあるために、次のような疑問が出てくるからです。 どれでも好きなものを使えば開発がうまくいくのか? 今までうまくいっていたライブラリを使い続ければ今後もうまくいくのか? 選ぶとしても、何を基準に選べば良いのか? 今回は少し立ち止ってこういった疑問について考えてみます。 ではそもそも状態管理とは、一体何のために、何をすることなのでしょうか? 状態管理が目指すもの – 読みやすさの基本定理 状態管理をする目的は様々ですが、最も大切なことはリーダブルコード(読まれて無い方は是非一読を!)の中で「読みやすさの基本定理
Reverse Engineering the source code of the BioNTech/Pfizer SARS-CoV-2 Vaccine Translations: ελληνικά / عربى / 中文 (Weixin video, Youtube video) / 粵文 / bahasa Indonesia / český / Català / český / Deutsch / Español / 2فارسی / فارسی / Français / עִברִית / Hrvatski / Italiano / Magyar / Nederlands / 日本語 / 日本語 2 / नेपाली / Polskie / русский / Português / Română / Slovensky / Slovenščina / Srpski / Türk
脳と心の科学の「ミッドライフクライシス」(京都大学情報学研究科 教授、ATR脳情報研究所 客員室長:神谷之康) #その心理学ホント? 私が学生だった1990年代前半、脳と心の科学の未来は輝いて見えた。80年代末から続いていた(第2次)ニューラルネットワークブームや、当時NatureやScienceに頻繁に掲載されていたサルの電気生理学研究の印象は強烈だった。「認知科学」や「認知心理学」の「認知」という言葉に、旧来の「心理学」や「生理学」にはない軽やかな響きを感じた。当時は、行動主義から認知科学への移行(「認知革命」)によって、観察可能な行動だけでなく、行動の背後にある認知プロセスについて研究できるようになったと言われていた(が、これが単純化された「建国神話」であることが後に分かってきた)(1)。90年代半ば以降、ニューラルネットワークブームは一時下火になる一方、脳イメージング技術の進展を背
1粒で何度もオイシイ「ローグライクゲーム」。Steamで遊べる人気タイトルをピックアップして紹介 ライター:箭本進一 プレイするたびに展開が変わり,遊べば遊ぶほどに味が出てくる「ローグライクゲーム」。インディーズゲームの世界では一大ジャンルとして扱われ,Steamにおいても専用タグが作られるほどの人気ジャンルとして確固たる地位を築き上げている。 ローグライクをどのようなゲームか簡単に説明すると,“ステージやマップに自動生成を取り入れ,遊ぶたびに展開が変わる,ランダム性の高いゲーム”というと分かりやすいだろう。ローグライクの語源は,1980年に登場したターン制RPG「Rogue」。原点とされる同タイトルと同様のシステムを持つ作品がローグライクと呼ばれるようになった。 かつてはどんなジャンルであってもランダム生成機能が備わっていればローグライクに分類されていたが,“ターン制RPGである「ローグ
VMwareは2024年1月15日(現地時間)、複数製品の販売終了を伝えた。販売終了には指定がない限り対象製品の全てのエディションや永久ライセンス、サポート&サブスクリプション、SaaS/ホスト型、サブスクリプションを含む全てのライセンスオプションが含まれている。 VMware vSphere Enterprise Plus VMware vSphere+ VMware vSphere Standard(サブスクリプションは除外) VMware vSphere ROBO VMware vSphere Scale Out VMware vSphere Desktop VMware vSphere Acceleration Kits VMware vSphere Essentials Kit VMware Sphere Essentials Plus Kit(新しいサブスクリプションは除外)
Jeremy founded Tag1 Consulting in 2007. He has been a contributing core Drupal developer since 2002, and helped establish Drupal as a successful CMS through the early popularity of his personal blog, KernelTrap.org. Over the years, he authored and maintained the core statistics module and throttle module, as well as the pager logic and the initial Drupal 5 installer. He continues to contribute to
次の問題は、CV駆動開発(CV-driven development)です。自分のCV(Curriculum Vitae、職務経歴書)を見ます。すると、"マイクロサービス"に関する部分が大きく空いていることに気付きます。これでは都合が悪いので、"自社のスタックを再構築して解決しよう"、と考えるのです — 読者の皆さんは、"Holly、それは皮肉が過ぎるよ"、と思うかも知れません。"自分の履歴書の都合でアーキテクチャを決めるやつがどこにいるんだ?" それが実は ... いるのです。 Red Hatは先日、コンテナベース開発を導入したおもな動機に関する調査を行いました。その結果、最も多かったものは"キャリアアップ"でした。"キャリアアップ"は、CV駆動開発の体のよい言い換えに過ぎません。 現在のマイクロサービスは"新正統派"と言ってもいいものですから、経歴書にマイクロサービスが欠けているのは大
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く