コンサル部のとばち（@toda_kk）です。 eBPFよくわからん みなさま、eBPFとは何かご存じでしょうか？ 近年では、WebAssembly（WASM）と共にクラウドネイティブ関連の技術として注目されており、特にネットワークやObservability（可観測性）の観点から言及されることが多いように思います。 eBPF（extended Berkeley Packet Filter）とは、パケットキャプチャ・フィルタリングの技術であるBPFを拡張して、あらゆるLinuxカーネルにおけるイベントをフックして処理を実行できるようにした機能です。 ちょっとイメージがつきづらいかもしれませんが、筆者もLinuxカーネルやシステムプログラミングに詳しくないため正直よくわかっておりません。 ちなみに、AWSとeBPFの関わりという点で言うと、2019年のAWS re:InventにてLinuxパ

背景 eBPFに興味はあったもののそれとなくしか理解してなかったのでせっかくなので概要だけでも掴もうと思って書く記事。とりあえず概要とかとよく読むカーネル関数とかをattachしてみて引数を見るみたいなのまでやってみました。 (私の事前の知識レベルとしては「eBPFを使えば、システムコール、パケットの受信など、カーネルで発生する様々なイベントに対して動かしたいコードを動かして遊べる機能だ！」くらいの感じで始めました) eBPFとは eBPF(extended Berkeley Packet Filter)とは任意の様々なタイミングでバイトコードを実行できるLinuxカーネルの機能です(BPFはLinux3.15に最初に追加された新機能)。カーネルのソースコードを変更したり、カーネルモジュールをロードしたりすることなく、カーネルの機能を安全かつ効率的に拡張するために使用されたりする(独自の命

最近eBPFのコードを書いているのですが、体系的に学べる記事や書籍がまだない印象です。自分の知っている範囲でまとめようと思います。まだわからない箇所もあるので是非教えて下さい。 eBPF(extended Berkeley Packet Filter)とは 様々なタイミングでバイトコードを実行できるLinuxカーネルの機能です．カーネル内の関数が呼び出された時，パケットがNICに到達した時，ユーザー空間のアプリケーションの関数が呼び出された時だったりとかなり自由度高くフックポイントを設定できます． バイトコードを書くのはしんどいので，一般的にはC言語を用いてeBPFプログラムを作成します． NetflixのパフォーマンスエンジニアであるBrendan Greggはブログで eBPFがLinuxへ行うことはJavaScriptがHTMLに行ったことと同じである( eBPF does to L

こんにちは。 在宅の機会が増えて以来Youtubeを見る機会が増え、機械学習などが勉強できるチャンネルをいくつか探しては見ていました。探した中でよかったと思ったものをメモしていたのですが、せっかくなので公開したいと思います。日本語のソースがあるもののみ対象にしており、『これ無料でいいのか？』と思ったチャンネルを紹介したいと思います。主観で以下のレベルに分けましたがあくまで参考程度にお願いいたします。 基本：Pythonを触ってみた人 Pythonの説明・動かし方などを解説していて、動画によっては踏み込んだ内容になる 応用：アルゴリズムを使いこなしたい人 「model.fit(X, y)して動かしてみた」よりも踏みこみ、Python自体の説明は少ない 発展：研究開発もしたい人 最新の手法の仕組みの理解などが主眼であり、Pythonの解説はほぼ無い もしおすすめのチャンネルございましたらぜひコ

「Python」と「Google Colaboratory」で株価データ分析に挑戦：「Python」×「株価データ」で学ぶデータ分析のいろは（1） 日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。第1回はPythonを実行する環境とデータの前準備について。 はじめに 連載第1回は「Google Colaboratory」でサンプルプログラムを実行するための環境を用意する方法や利用するPythonのライブラリを説明します。「Google Chrome」と「Googleアカウント」を用意して読み進めてください。 なお、連載の趣旨がデータ分析であるため、Pythonの言語仕様や文法の詳細を割愛する場合があることをご了承ください。 Google Colaboratoryの準備 Google Colaboratoryとは、Googleが提供するブラウザ上でPy

東京大学がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大のPython入門が無料公開されています。scikit-learnといった機械学習関連についても説明されています。ホントいいです Pythonプログラミング入門 東京大学 数理・情報教育研究センター: utokyo-ipp.github.io 東大のPython本も非常にオススメです Pythonによるプログラミング入門　東京大学教養学部テキスト: アルゴリズムと情報科学の基礎を学ぶ https://amzn.to/2oSw4ws Pythonプログラミング入門 - 東京大学 数理・情報教育研究センター Google Colabで学習出来るようになっています。練習問題も豊富です https://colab.research.google.com/github/utokyo-ip

Misreading Chat は会社員プログラマの森田と向井がコンピュータサイエンス周辺の論文を雑に読んで感心する Podcast です。 購読には RSS, iTunes, Pocket Casts, Google などをご利用ください。ご意見ご感想は 投書箱や Reddit にどうぞ。

開発用(作業用)のブランチを切って開発している時に、最新のmaterの更新内容を開発用ブランチに反映したい時がある。 Tortoise-SVNとかだと、確か右クリック→更新みたいなことをすれば、すぐに反映できた気がするが、gitでのやり方をメモしておく。色々調べて実践してみたが、どうやらgit rebase masterをして、git push origin 開発ブランチ名などをすると自分のプルリクエストのcommitの画面に他人のcommitが混ざるみたいだ(3回くらいそういうことをやっちまったので良い加減メモに残す) そのため、GtiHubで自分のプルリクエストのcommitの画面に他人のcommitを混ざらないようにして開発用ブランチにMasterブランチの最新コードを取り込むには以下のようにやれば良さそうだ。 ※ もし、作業途中のものでcommit出来るものがあればcommitして

LinuxにおいてCPUに関する小技を紹介します。 0:00 目次 0:49 CPUのハードウェア情報や数を得る方法: /proc/cpuinfo, nproc 6:38 CPUがどれだけ使われているかを知る方法: top 13:12 特定のCPUでプロセスを動かす方法: taskset 16:54 起動中のシステムのCPUをoffline/onlineにする方法: cpu online/offline 22:27 まとめ スライド https://speakerdeck.com/sat/cpu-and-linux

SRE NEXT 2020 IN TOKYO https://sre-next.dev/

はじめに この記事では、機械学習の書籍が多く存在し、どれを購入すれば良いかわからない方向けに、おすすめの本を紹介します。書籍はレベル別に1から5までの5段階に分けていますので、現在の自分に合ったレベルの書籍を選んでみてください。また、機械学習エンジニアを目指されている方は、ここで紹介する書籍を3〜4ヶ月かけて読み進めるのが理想です。勉強方法についてはこの記事では触れませんが、Courseraのマシンラーニングコースなど、オンラインでとても良い講座がありますので、書籍以外のサービスも活用してみてください。 ＊AIに関して勉強したい方は下記の２つご利用ください！ AI Academy 無料でPythonや機械学習、ディープラーニングが学べるオンラインAIプログラミング学習サービス *一部コンテンツは動画プランにて全て利用可能。 AI Academy Bootcamp 個人向け6ヶ月35000円

以前，Pythonによるビジネスアナリティクスという本（サポートページ）を書いたのだが，練習問題が足りないので，Anaconda Cloudに置いておいた．演習で使用していたのだが，つながり具合があまりよろしくない．単にJupyterのファイルが閲覧できるだけなのに，この遅さはないだろう． といううことでgitにメイン部分を移動してみた．Google Colabでそのまま動く（もしくは簡単にpipで入れられる）ものだけだが，学生にとってはそのまま試せるし，演習が終わった後でも自由にプログラムが書けるので，その方が良いと判断したためだ． こちらでアクセスできる．中身はこんな感じで，機械学習と最適化がメインで，あとはそれの基礎になるパッケージの練習だ．深層学習なども徐々に増やしていこうと思う． jupyter1_0.ipynb : Jupyter Notebookの使用法の基礎 debug.i

Spoiler alert: BBRv2 is slower than BBRv1 but that’s a good thing. Three years have passed since “ Bottleneck Bandwidth and Round-trip” (BBR) congestion control was released. Nowadays, it is considered production-ready and added to Linux, FreeBSD, and Chrome (as part of QUIC.) In our blogpost from 2017, “ Optimizing web servers for high throughput and low latency,” we evaluated BBRv1 congestion co

2019年9月4日、次世代データセンターネットワーク基盤構築セミナー＠株式会社マクニカ　品川オフィス。楽天の考える次世代データセンターのあるべきかたちを具体的な検証活動を含め実例とともに紹介。登壇者：藤井 博貴（Network Engineer, Cloud Platform Department）Read less