Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～ - Qiita
Kaggleに登録したら次にやること ～ これだけやれば十分闘える！Titanicの先へ行く入門 10 Kernel ～PythonKaggle 事業会社でデータサイエンティストをしているu++です。普段ははてなブログ1で、Kaggleや自然言語処理などデータ分析に関する記事を定期的に書いています。 Kaggleでは2019年に「PetFinder.my Adoption Prediction」2というコンペで優勝（チーム）し、「Santander Value Prediction Challenge」3というコンペで銀メダルを獲得（個人）しました。「Kaggle Master」と呼ばれる称号4を得ており、Kaggle内ランクは、約16万人中最高229位です5。 本記事では「Kaggleに登録したら次にやること」と題して、Kaggleに入門したい方に向けて次のようなコンテンツを掲載します。
Linuxのカーネルは膨大な数のソースコードから成り立っており、どこに何の処理が書いてあるのかぱっと見当をつけるのにはかなりコードを読み込む必要があります。「Interactive map of Linux kernel」はそのソースコードを機能とレイヤーで分類して表示してくれるサイトということで、使い勝手を試してみました。 Interactive map of Linux kernel http://www.makelinux.net/kernel_map/ サイトにアクセスし、ロードが終わると下の画像のように6列6行の表が表示されます。列が機能の分類を表しており、「インターフェース」「システム」「処理」「メモリー」「ストレージ」「ネットワーク」という分類になっています。行はレイヤーを表しており、上からシステムコールなどの「ユーザースペースインターフェース」、「バーチャル」、「ブリッジ」
概要 「詳解Linux Kernel」を参考にVersion 2.6.11のコードリーディングをしていく。CPUのアーキテクチャは書籍に沿ってIntelのx86とする。 今回は割り込み処理について見ていく。(*nは参考文献のn番目に対応する) 割り込み処理 例外ではほとんどの場合その例外の発生元となっているカレントプロセスにシグナルを送信することで処理する。例外処理もシグナルを受け取るまでは遅延される。 しかし割り込みの場合には別の無関係なプロセスが動作している際に発生することがあり、単純にカレントプロセスにシグナルを送信するだけではない。 割り込みは大きく3種類に分類される。 I/O割り込み 当該割り込みでは割り込みに対応する動作を決定するために割り込みハンドラからデバイスに対して問い合わせを行う必要がある。 タイマー割り込み ローカルAPICタイマや外部タイマなどが発生させる割り込みで
Linux kernel 3.9 の新機能 SO_REUSEPORT を試してみる - nigakyのブログ
Linux kernel 3.9 のマージウィンドウでは SO_REUSEPORT というソケットオプションがマージされました。 Merge branch 'soreuseport' · c617f39 · torvalds/linux · GitHub これは同一ポートに複数のリスナー（listen ソケット）が bind できるようになるというもので、Webサーバなど単一のポートに多くのコネクションが来るようなワークロードで、複数プロセスでうまく負荷分散ができるようになるそうです。 （これまでだと一人がaccept()してそれぞれの worker に渡すというようなモデルがありましたが、これでは accept() する部分がボトルネックになってしまいがちでした。） BSDでは元々 SO_REUSEPORT オプションはあったようですが、マルチキャスト通信で使うもののようです。Linux
最近、Robert Love先生の本を暇な時にダラーと読んでいたりするわけですが、それの中にLinux Kernel内部で使われているLinked Listの実装が書いてあって面白かったので共有。 まず、Linked Listの一個一個のエントリを表すstructを定義します。 struct list_head { struct list_head *next, *prev; }; いやいやいやいや。いかにC力の低い僕でも流石にこれはあきません。騙されませんよ。前後のエントリへのポインタは確かにあるけれども、これにはデータを指すためのポインタがないじゃないの。おじいちゃんまたデータ忘れてきちゃったの？いやあねえ。 おじいちゃんは言った。「それはお前の短見というものじゃ。このLinked Listは以下のコードのようにデータ構造に埋め込んで使うものなんじゃよ。」そしてそれは正しかった。 st
Linux Kernel Hack入門編 - φ(・・*)ゞ ｳｰﾝ カーネルとか弄ったりのメモ
この記事はLinux Advent Calendar 2014の25日目ですヽ(=´▽`=)ﾉ 今回はLinux Kernel Hack入門編ということで入門的なことを書いてみたいと思います。 まず使用する環境ですけど最近出たばっかのFedora 21のWorkstationにしました。まあ、今回の内容的にはディストリビューションは問わないんですが、多くの人が馴染んでいるであろうfedora系というかパッケージマネージャがyumということでこれにしてみました。 自分は普段Arch Linuxなんですけど、こっちだとkernelのmake install時にちょっとしたスクリプトを書く必要があったりするのもあって、fedoraのほうが手軽かなというのもあります。 カーネルコード・リーディング ブラウザベースでコード・リーディング 読めるソースは大概メインラインのカーネルということになりますが
RHEL(CentOS)6系でトラフィックをたくさん捌くサーバが死ぬ問題は6.5のkernel-2.6.32-431.el6以降で多分直る - このブログはURLが変更になりました
タイトルで言いたいことはすべて言った。 経緯 うちの場合はLVS+keepalivedなロードバランサなんだけど、ちょくちょくkernel panicになる問題が発生してた。 そこでcrashコマンドで解析してみた。crashコマンドの使い方はこちらが参考になる。Linux crash dump 読み方入門 # crash /boot/System.map-2.6.32-279.14.1.el6.x86_64 /usr/lib/debug/lib/modules/2.6.32-279.14.1.el6.x86_64/vmlinux /var/crash/127.0.0.1-2013-09-27-16\:21\:01/vmcore (snip) SYSTEM MAP: /boot/System.map-2.6.32-279.14.1.el6.x86_64 DEBUG KERNEL: /usr
LKL.js: Linux kernelを直接JavaScript上で動かす - Blog posts by @retrage
Linux kernelを直接JavaScript上で動かした． つまり，JSLinuxのようにEmulatorをJavaScriptで作成し， その上でLinuxを動かすのではなく， JavaScriptで書かれたLinuxを生成し，それを動かす，ということである． LKL.js Architecture リポジトリは以下の通り． https://github.com/retrage/linux/tree/retrage/em-v2 なお lkl.js Demo にデモを用意した． SharedArrayBufferを有効にして試してみてほしい． Linux Kernel Library (LKL) ここでは，Linux kernelをLibrary OSの形態の1つであるAnykernelにする Linux Kernel Library (LKL)を利用する． LKLはLinux ke
sched_clock() overflow after 208.5 days in Linux Kernel
えーっと、久しぶりに Linux Kernel にダメダメなバグが発見されて、よりにもよってうちの製品も影響を受けたので、ここに詳細を書くことにした。 つーか。新しい Kernel を使うなら皆で使おうよ。なんだよその「1つだけ」影響を受けて残りは「影響も受けないぐらい古い」ってのは… 概要 大雑把に 208.5日連続運転した Linux Kernel が突如として reboot する。 実機でなおかつ Time Stamp Counter を内包している必要があるので、Pentium4以降のプロセッサ(が、それはようするに今ある Intel 系CPU全部)か、その互換CPUである必要がある。32bit モード、64bit モードの区別はない。 逆に VMware や Xen など、仮想マシン上で動いている kernel に影響はない。これはそもそもバグを内包したルーチンを、仮想マシンで動
The Linux Kernel Archives
Kernel-memory-leaking Intel processor design flaw forces Linux, Windows redesign
Kernel-memory-leaking Intel processor design flaw forces Linux, Windows redesign Final update A fundamental design flaw in Intel's processor chips has forced a significant redesign of the Linux and Windows kernels to defang the chip-level security bug. Programmers are scrambling to overhaul the open-source Linux kernel's virtual memory system. Meanwhile, Microsoft is expected to publicly introduce
Explaining glibc malloc internals. slide: http://www.slideshare.net/kosaki55tea/glibc-malloc
マイクロカーネルとL4について (Yabaitech.tokyo, Writing a (micro)kernel in Rust in 12 days より) - 豆腐の豆腐和え
怒田さん*1のこの記事、「CとRustで一から作るマイクロカーネルOS」のおかげで、マイクロカーネルとRustが今ホットです。そこで、技術書典6, 7に出展したYabaitech.tokyoにて連載している、"Writing a (micro)kernel in Rust in 12 days"から、マイクロカーネルとL4についての話を書いた"1日目"の記事の一部冒頭を、いい機会なので再編集してご紹介します。「マイクロカーネルってタネンバウム教授とリーナスの論争のあれだよね？」とか、「L4ってなに？」って方に読んでいただいて、L4ファミリーとマイクロカーネルについて簡単にご紹介できればなと思います。 ちなみに抜粋元の上述の記事は、僕が怒田さんと同じようにRustでマイクロカーネルを書いてみよう、という趣旨の企画です。なので、Yabaitech.tokyoの方もよろしくお願いします！ただし、
...and how to ptrace the entry point and m3ss w1th da stack. In this article, you will learn what happens inside the Linux Kernel when a process calls execve(), how the Kernel prepares the stack and how control is then passed to the userland process for execution. I had to learn this for the development of Zapper - a Linux tool to delete all command line options from any process (without needing r
Linux Kernel Watch 5月版 Firefoxのプチフリーズ問題から始まった大論争（1/2） − ＠IT
5月版 Firefoxのプチフリーズ問題から始まった大論争 小崎資広 2009/6/1 今回メインのネタとして取り上げたFirefoxの「プチフリーズ問題」ですが、その後調べたところ、WindowsやMacでも問題になっているようですね。「firefox sqlite」で検索するといっぱいヒットしました。 今回の件は、アプリケーションのミスでもカーネル側で無理やり何とかしてしまうLinuxの実利主義の真骨頂が表れたんじゃないかと僕は思っています。皆さんはどう思いますか？ それでは、どうぞ！ それはFirefoxのプチフリーズ問題から始まった すでに各方面で話題になっていますが、2.6.30のマージウィンドウでext3のトピックが荒れに荒れ、とんでもない騒ぎが起こっていました。 問題の発端は、あるFirefoxのbugzillaエントリから始まりました（注1）。「Linux版Firefoxを
Linuxカーネル内にWebAssemblyランタイムを実装し、ネイティブバイナリよりも高速に実行可能にする「Kernel-WASM」登場
Linuxカーネル内にWebAssemblyランタイムを実装し、ネイティブバイナリよりも高速に実行可能にする「Kernel-WASM」登場 代表的なWebAssemblyランタイムの1つであるWasmerを開発しているWasmer社は、Linuxカーネル内にWebAssemblyランタイムを実装することで、安全かつ通常のLinuxバイナリよりも高速にWebAssemblyバイナリを実行可能にするオープンソースソフトウェア「Kernel-WASM」を公開しています。 （2023/2/13追記 このKernel-WASMの開発は2020年で止まっておりましたことを見落としていました。最近になって海外で話題になっており、新しい話題だと勘違いしたことが原因です。古い情報であることを基にした記事となっておりますことをお詫びいたします） Linuxカーネル内のWASMランタイムは第二のOS 同社はLi
トップページへ Linuxカーネルに関する技術情報を集めていくプロジェクトです。現在、Linuxカーネル2.6解読室の第2章までを公開中。 目次まえがき第0章 Linuxカーネルの構成要素 0.1 Linuxカーネルとは 0.2 Linuxカーネルのソースコード 0.3 Linuxカーネル機能の概要 0.4 カーネルプリミティブ 0.5 プロセス管理 0.6 メモリ管理 0.7 ファイルシステム 0.8 ネットワーク 0.9 プロセス間通信 0.10 Linuxカーネルの起動 0.11 Linuxカーネルの動作例 Part 1 カーネルプリミティブ第1章 プロセススケジューリング 1.1 マルチタスク 1.2 プロセスとは？ 1.3 プロセス切り替え 1.4 プロセスディスパッチャの実装 1.5 プロセススケジューラ 1.6 プロセススケジューラの実装 1.7 事象の待ち合わせ 1.8 最
Facebookの悩みとPostgreSQLの憂鬱 連載：Linux Kernel Watch 久しぶりのLinux Kernel Watchでは、3月に行われた「Linux Storage Filesystem/MM Summit 2014」の主なトピックを紹介します
Linux Kernelハッカーのためのディープな技術情報「linux-insides」が電子書籍化される | ソフトアンテナ
Linux Kernelに関する深い知識を提供していることで評判の技術資料「linux-insides」が電子書籍の形式でもダウンロードできるようになりました。現在ここから、ePUB(iPad、iPhone、Mac用)、MOBI (Kindle用)、PDF形式でファイルをダウンロードすることができます。電子書籍版は、GitBookを使って生成されたもので、内容はGitHubで提供されているものと同じみたいですがタブレット等で閲覧する場合には便利そうです。 また上記ファイルだけではなく、オンラインブック形式でも読むことが出来、こちらも直接GitHubで読むよりは読みやすくなっています。 ちなみに、linux-internalsの内容は、先日「Kernel booting process」の解説が完了した後、今は「Kernel initialization」(ブート後のKernelの初期化処理
The Linux Kernel
David A Rusling david.rusling@arm.comv0.8-3 January 25, 1999 JF Projectv0.8-3 December 2000 *フレーム表示* 本書は、Linux カーネルの仕組みを知りたい Linux 愛好家のためのものです。これは 内部構造のマニュアルではありません。むしろ Linux で使用されている原理や メカニズムを解説したものであり、Linux の動作原理とはどういうもので、なぜそれ が採用されているのかを説明するものです。 Linux という対象は常に変化しています。本書がベースにしているのは現在の安定 版である 2.0.33 のカーネルソースですが、これは個人や法人の大部分で使用されて いるのがこのバージョンだからです。 また、本書は自由に配布してもらってかまわないので、一定の条件のもとにではあり ますが、複製や再配
Kernel-Power 41問題と対策メモ
私のPCで発生したKernel-Power 41問題の対策ページです。噂には聞いていたけれど、コレやっかいですなあ
はじめに Docker はコンテナ型仮想化技術を使ってOSレベル仮想化を実現するコンテナ管理ソフトウェアです。類似のコンテナ管理ソフトとしては、Docker の他にも libvirt、 lxc-tools などがありますが、 Docker には以下の大きな特徴があります。 Infrastructure as Code の思想に基づき、コンテナをコード(Dockerfile) で管理できる docker index で、コンテナイメージを手軽に取得、共有できる Docker は上記のような特徴を持つため、アプリケーションのポータビリティを大きく向上させることができると期待されています。 参考：Naoya Ito 氏 "Dockerアプリケーションのポータビリティを考える" 大変便利な Docker ですが、Docker によるコンテナ管理は、実は数多くの Linux Kernel の機能に
連載目次 前回の「RubyのFile／IOクラスで入力と出力、ファイルの読み取りと書き込み、フィルター作成」では、データの入出力について解説しました。連載第11回に当たる今回は、スレッド、ファイバー、プロセスといったトピックについて解説します。 ThreadクラスやFiberクラスを使うことで、Rubyでも並列処理を記述することが可能です。また、前回紹介したIOクラスを使うことで、Rubyプログラムからプロセスを生成して入出力を行えます。 さまざまなプログラミング言語では並列処理のための仕組みが使えるようになっています。もちろんRubyも例外ではなく、ThreadクラスやFiberクラスを使って並列プログラムを書くことができます。 また、RubyからOS固有のコマンドを別のプロセスとして実行したり、自分自身をfork（フォーク）して別プロセスとしてRubyプログラムを実行したりすることがで
TLDR; If your MacBook Pro runs hot or shows a high % CPU for the kernel task, try charging on the right and not on the left. High kernel_task CPU Usage is due to high chassis temperature caused by charging. In particular Left Thunderbolt port usage. Solutions include: Move charging from the left to the right side. If you have a second charger then plug it in on the right side. Avoid plugging every
GitHub - google/gvisor: Application Kernel for Containers
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
ついに Let’s Encrypt の Public Beta が始まりましたね。私は Closed Beta の時から参加していて、このサイトも HTTP からのリダイレクトはしないけど HTTPS でも見れるという状態にはしてあったのですが、Public Beta になったということで、リダイレクトするようにして HSTS も設定してみました。 ということで、Let’s Encrypt を導入してサイトを HTTPS 化する中でわかったことを書いておきます。 証明書の発行・更新 手順に沿ってやれば証明書を発行してもらうこと自体は簡単です。しかし、Let’s Encrypt の証明書は有効期限が3ヶ月しかありません。これは beta だからというわけではなく、自動更新することを前提としているためだそうです。手動で頑張れなくも無い間隔ではありますが、面倒ですし、忘れる可能性もあるので自動化
How to understand Linux kernel source code for a beginner?
Stack Exchange Network Stack Exchange network consists of 183 Q&A communities including Stack Overflow, the largest, most trusted online community for developers to learn, share their knowledge, and build their careers. Visit Stack Exchange
To clone one of these trees, install git, and run: git clone git://android.git.kernel.org/ + project path. To clone the entire platform, install repo, and run: mkdir mydroid cd mydroid repo init -u git://android.git.kernel.org/platform/manifest.git repo sync For more information about git, see an overview, the tutorial or the man pages.
Kernelnewbies is a community of aspiring Linux kernel developers who work to improve their Kernels and more experienced developers willing to share their knowledge. Kernelnewbies can be found on the MailingList, IRC (irc.oftc.net #kernelnewbies), and this wiki. Outreachy Potential Outreachy applicants, please go to the Outreachyfirstpatch. ChangeLog A human readable changelog for the Linux kernel
Using Intel® Hyper-Threading Technology| Intel® Math Kernel Library for macOS
Using Intel.com Search You can easily search the entire Intel.com site in several ways. Brand Name: Core i9 Document Number: 123456 Code Name: Emerald Rapids Special Operators: “Ice Lake”, Ice AND Lake, Ice OR Lake, Ice* Quick Links You can also try the quick links below to see results for most popular searches. Product Information Support Drivers & Software
Ruby 2.2.0 preview1: ついに来ました！恒等関数 Kernel#itself などなど | TECHSCORE BLOG | TECHSCORE BLOG
Ruby 2.2.0 preview1: ついに来ました！恒等関数 Kernel#itself などなど こんにちは、鈴木です。 先日（2014/9/18）に Ruby 2.2.0 preview1 が出ましたね！ Ruby 2.2.0-preview1 リリース いくつか新しい機能も増えていたので、気になったものをご紹介します！（詳細な変更内容はこのページで確認することができます。） ついに来ました！恒等関数: Kernel#itself いわゆる恒等関数と呼ばれる、自身 (self) をそのまま返すメソッド Kernel#itself が追加されました。 他の言語でも恒等関数が組み込みで存在する場合があり、id や identity などの名前で定義されていることが多いです。「名前重要！」の Ruby では恒等関数の導入案は以前からありましたが、名前がなかなか決まらなかったという経緯が
The latest news and insights from Google on security and safety on the Internet
TCP Fast Open TCP Fast Openと呼ばれる技術があり、RFC 7413として標準化されている。 このTCP Fast Openを使うと、一度コネクションを貼った相手とは、TCPの3ウェイハンドシェイク中にデータを送受信できるようになる。クライアントからSYNとともにデータを送信することで、実際にデータを送受信開始するまでの待ち時間が短縮できる。 Linuxではすでにクライアント/サーバ両方でTCP Fast Openを使用できる。 TCP Fast Openの闇 しかし、数年前よりこのTCP Fast Openには一部のネットワークで奇妙な振る舞いをすることが知られている。Appleの人が実際にデプロイした時に見つけたもので、IETFやNANOGにて報告されており、その時の資料は下記のとおりである Deploying TCP Fast Open in the wild
mixiのサーバOS移行のお話 - ビルド&Kernel編 - mixi engineer blog
こんにちは。年末と年度末になるとブログを書きたくなる運用部アプリ運用グループの清水です。 気づけば前回の記事から3ヶ月が経過してしまいました… 今回は、ビルド&Kernel編と題して、Fedora 17向けにおこなったパッケージのビルドや、KernelのConfig、TCP周りの変更点について紹介したいと思います。 パッケージのビルド OSが大幅にバージョンアップすると、依存しているライブラリに大きな変更が入ったり、RPMの仕様変更もあるため、Fedora 8時代のパッケージのリビルドなど、多くのRPMパッケージを作りなおさなければなりません。 mixiでは、Fedora標準パッケージとは別に150個以上のパッケージを、 configureなどビルドオプションを変える Fedoraで提供されないパッケージを作る ディストリビューションに依存しない構成のパッケージを作る(あとで紹介するPer
A Beginner’s Guide to Linux Kernel Development (LFD103)
Learn how to become a Linux kernel developer and contributor with this free training course. This course is intended for developers who need to know about the Linux kernel development process and the explicit and implicit “rules of the road”. Through this course you will learn how to select and configure your development system, about Linux Kernel repositories and releases, Git basics including ch
中村 雄一 日本SELinuxユーザ会 2007/10/31 “insane”とは「正気でない」「狂った」「非常識な」という意味があります。その言葉があのLinusから、セキュリティを考える人たちに投げられました。はたしてその真意とは？ Linuxフォーラムで人気の連載「Linux Kernel Watch」番外編として、メーリングリストから気になる発言をピックアップしてみました。本家Linuxフォーラムの記事「10月版 あんなコアいいな、吐けたらいいな」も同時公開しておりますので、あわせてお読みください（編集部） きっかけはLinusの発言 いつもはLinuxフォーラムで連載されている「Linux Kernel Watch」ですが、今回はその番外編として、セキュアOSに注目したKernel Watchをお届けしたいと思います。 まずきっかけとして取り上げたいのは、あのLinus Torv
概要 「詳解Linux Kernel」を参考にVersion 2.6.11のコードリーディングをしていく。CPUのアーキテクチャは書籍に沿ってIntelのx86とする。 今回はメモリ管理について見ていく。 メモリ管理 x86ではセグメンテーションとページングによって物理メモリが管理され、RAMの一部はカーネルコードや静的なカーネルデータによって永続的に使用される。残りのRAMは動的に確保及び解放が行われる。 参考: https://www.amazon.co.jp/dp/487311313X ページフレーム ページフレームは物理メモリをある一定サイズで区画分けしたもので、IntelのPentiumプロセッサではページフレームのサイズとして4KBもしくは4MB(PSE有効時)(PAEを使用する場合は2MB)が使用可能である。しかし基本的には以下の理由から4KBを採用している。 ページフォルト
_ カーネル システム パラメタの設定 sysctlにより変更することの出来る、カーネル システム パラメタ(の一部)を紹介する。コンパイル無しで行える、カーネル チューニングだ。カーネル システム パラメタは、カーネルのバージョン毎に異なるので、詳しくは、 /usr/src/linux/Documentation/sysctl/README /usr/src/linux/Documentation/networking/ip-sysctl.txt /usr/src/linux/Documentation/filesystems/proc.txt % man 5 proc を参照。また、手元のGentoo Linuxでは、kernel-2.4のものとなっているが、 % man 7 tcp % man 7 ip で、tcp,ip関係のものを見ることが出来る。特にネットワーク関係については、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linuxカーネルのソースコードを機能とレイヤーで分類して表示してくれる「Linux kernel map」
Linux Kernel ~ 割り込み処理 ~ - レガシーガジェット研究所
A Heavily Commented Linux Kernel Source Code
Linux KernelのLinked Listの実装が面白い件 - 愛と勇気と缶ビール
The 67th Yokohama kernel reading party
How does the Linux Kernel start a Process
Linux Kernel Document Wiki @ SF.jp
連載記事 「Linux Kernel Watch」 - ＠IT
Etsukata blog: Docker を支える Linux Kernel の機能 (概要編)
RubyのThread、Fiber、Kernel、forkで並列処理やプロセスの深淵へ
How to find cause of high kernel_task cpu usage?
Let's Encrypt でサイトを HTTPS 化 | monolithic kernel
android.git.kernel.org Git
Linux_Kernel_Newbies - Linux Kernel Newbies
Rust in the Linux kernel
TCP Fast Openの闇と、Kernelの緩和コミット - ASnoKaze blog
【Ubuntu日和】 【第13回】Ubuntuの商用サポートと、無償で使える「Kernel Livepatch」機能
Linux Kernel Watch番外編：セキュリティをやってるやつらは狂っている？！ － ＠IT
Linux Kernel ~ メモリ管理 ~ - レガシーガジェット研究所
kernel/システムパラメタ - Linux Tips