クリアコードの藤本です。 私たちの業務では、よく「データを集計する」という仕事が発生します。 例えば、最近の改修の効果を測定するために、過去ログからリクエストの成功率を測定したり、 お客様への業務報告のために、チケットシステムから直近の稼働状況を集計したりします。 もちろん、同じようなタスクが定型的に発生するようであれば、専用のスクリプトを作り込むのですが、 この種類のタスクは単発限りで結果が取れればよい、ということが少なくありません。 私（筆者）は、このようなタスクがある時は、Unixの標準ツール（とPython）を使って集計しています。 今回の記事では、具体的にどのように集計を行っているかを紹介したいと思います。 例: シェルでコマンドの実行回数を集計する 実際のタスクに適度に近い例として、「コマンドの実行履歴を集計する」というタスクを例に 集計のやり方を説明したいと思います。 bas
LWNより。 ジョナサン・コアベット またしてもCOVIDのパンデミックにより、 linux.conf.au (LCA)はバーチャル開催せざるを得なくなり、編集者は24時間、エコノミークラスのミドルシートでの体験を2度ほど奪われることになりました。これは当然、複雑な心境になります。LCAは常に興味深い基調講演を優先しており、それはオンラインイベントにも受け継がれています。LCA 2022のオープニングの基調講演は、ブライアン・カーニハンによるものでした。私たちのコミュニティの創設者と見られているにもかかわらず、カーニハンはLinuxのイベントではめったに見かけません。彼はLCAの基調講演で、Unixの由来、その遺産は何かをしばらく思い出にふけりました。 彼はまず、米国の通信大手AT&Tが電話サービスを向上に関する研究を行うために設立したベル研究所を紹介しました。ベル研究所からは、トランジス
GitHub - rsc/unix: Old Unix programs running on modern computers.
rsc.io/unix holds programs for running old Unix programs on modern computers. pdp11 is a PDP-11 simulator. v6unix is a Research Unix Sixth Edition (V6) simulator. It is a port of the V6 kernel logic to Go, using the PDP11 simulator to run user programs. For the most part the kernel is a faithful simulation of the V6 kernel, but it is written to use in-memory data structures and other simplifying a
スクリプト言語特有の手軽さから、ついついLINUXからコマンド１つで対応しようしてしまう。 実際には、普通にWINDOWSでPHPを使い、よくある入門編のようなコードから流用してインベントリからCSDIの力を借りている。 途中、コンパイラがアゼストしたり、WEBサーバーがデータの受け渡しの際、デバッガのディスパッチャがバグりまくりと苦労した。 結局、MacOSからシーケンシャルソースを都度取り出し、エクスポートした方が合理的との考えに至り、パラメータ化しYUMに組み込んだ。 問題は、今までのデータがPPAPでバーカウンタされないことと、UMAがコミットされたとしても、すぐにハギャンテしてしまうこと。 これに関しては、JPNがOPAIするか、アーデモがコーデモしたり、ナントカにDOYAするしかない。 つまり分かりやすく言うと、HATOがポッポで、クルクルPON。 もしくは、ERA層なYATU
Unix Quiz
(Here's another resurrected post from April 30, 2012. Answers in a followup.) People objected that there was no Exit item on the main menu for the mpx program that put windows on the Blit; see http://en.wikipedia.org/wiki/Blit_(computer_terminal) (which mistakenly says it implemented cursor addressing when turned on - as if!) and http://www.cs.bell-labs.com/cm/cs/doc/83/mpx.ps.gz. It seemed unnece
GitHub - nixcloud/ip2unix: Turn IP sockets into Unix domain sockets
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
「え？UNIXなのにPOSIXに準拠してないの！？」シェルスクリプト実行環境をPOSIX準拠モードに変更して互換性を上げる方法 (Solaris, AIX, HP-UX, Linux, macOS, BSD) - Qiita
「え？UNIXなのにPOSIXに準拠してないの！？」シェルスクリプト実行環境をPOSIX準拠モードに変更して互換性を上げる方法 (Solaris, AIX, HP-UX, Linux, macOS, BSD) ShellScriptUNIXSolarisAIX はじめに POSIX の認証 または Unix の認証 を取得していれば POSIX に準拠している。そう思ってはいないでしょうか？ たしかにそのとおりです。POSIX に準拠しています。ただしデフォルト状態で POSIX に準拠しているとは限りませんです。特に歴史が長い商用 Unix では過去にリリースしたバージョンとの互換性を重視して歴史的な Unix = System V 互換の動作である「互換モード」がデフォルトになっていることが多く「POSIX 準拠モード」にはなっていません。（注意 「互換モード」「POSIX 準拠モード
Chris's Wiki :: blog/unix/ProcessSubstitutionWhyLate
A while ago, I read Julia Evans' Teaching by filling in knowledge gaps and hit the section using Evans' shell brackets cheat sheet as an example. One of the uses of brackets in Bash and other shells is "process substitution" (also Wikipedia), where you can use a redirection with a process instead of a file as an argument to commands: diff <(rpm -qa) <(ssh server2 "rpm -qa") Process substitution is
`Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?` の対処法 - Qiita
`Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?` の対処法Docker
The Earliest Unix Code: An Anniversary Source Code Release
What is it that runs the servers that hold our online world, be it the web or the cloud? What enables the mobile apps that are at the center of increasingly on-demand lives in the developed world and of mobile banking and messaging in the developing world? The answer is the operating system Unix and its many descendants: Linux, Android, BSD Unix, MacOS, iOS—the list goes on and on. Want to glimpse
UNIXコマンドのyaccはyet another compiler compilerの略で、UNIXには既に他のコンパイラ・コンパイラがあったようです。それは何でしたか？
回答: 私はYaccの作者です。他の回答者も(訳注:英語版で)言っていますが、当時はTMGが健在で、私たちはそれで実験していました。当時にパーサーを構築する方法は主に3つありました。 1つはTMGが使っていた再帰下降構文解析です。それぞれの構文規則は関数として実装され、ルールを文法的に解析するために呼び出されました。文法を解釈すると、解析木を構築するデータが返されます。解釈できなかった場合はNULLを返し、関数の呼び出しが失敗するか、次の入力にマッチするかどうか試さなければなりませんでした。関数が失敗し、呼び出せそうなルールが他にもうない場合は、コンパイルが失敗します。解析に成功すると...
UNIXが開発された当時はgitもCVSもなかったわけですが、もし当時gitがあったら?みたいなifを実現したリポジトリがGitHubにあります。 凄い時代になったものです。 非常に興味深い内容ですが、読むのは正直だるいです。私はゲーム畑の人間で、組み込みも混ざっていますが、UNIX/Linux方面は全くの素人。誰かお詳しい方に解説をお願いしたいところです。 しかしちょっとググってみた限りでは解説している人は見当たりません。止むを得ず自分で探求することに…。 PDP-7 ベル研がMultixの開発から撤退し、ファイルシステムのアイデアがお蔵入りになったケン・トンプソンはエネルギーを持て余していました。日進月歩でコンピュータの性能が高まっていたこの時代、陳腐化して誰も使わなくなったPDP-7でゲームを作っていたケン・トンプソンは、これでファイルシステムを実装してみることにしました。OSはオマ
新アプリに切り替えるときに、新しUNIXドメインソケットのエントリポイントを作っておいて、呼び出し元(Nginx等)で切り替えるとダウンタイム無しで切り替えられる、とか。
dt: duct tape for unix pipes
What's dt? ⌾ dt is a functional programming riff on shell one-liners. It's useful for many situations, its simple syntax makes it easy to write and read, and dt is for solving problems with no pretense of elegance. The philosophy can be summed up with quotes from the ultimate handyman, Red Green: If it ain't broke, you're not trying. ...the handyman's secret weapon, duct tape. This is only tempora
はじめに ecs試したいなあと考えていた矢先、開発環境に利用していたdocker-composeファイルを確認すると悲劇が起こっていた。起こったこととしては、nginxに対し、Laravelのアプリをそのままマウントしていたのだ。これでは、コンテナの意味がない。ただ、tcpを使うのもなんだからunixソケットを試してみようということになった。 完成図 . ├── docker │ ├── html │ │ └── index.php │ ├── nginx │ │ ├── Dockerfile │ │ ├── conf.d │ │ │ └── default.conf │ │ └── nginx.conf │ └── php_fpm │ └── php-fpm.d │ └── zz-docker.conf └── docker
Unix Magicのポスター
Jan-Piet Mensのブログより。 過去のUSENIXカンファレンスでは、Gary Overacreによる古典的なUNIX Magicのポスターが配布されていました。私はそれを何年も前から知っていましたが、今は監禁されているので、自分のオフィスに飾りたいと思いました。 ポスターには白い髭を生やした魔法使いが描かれていて、彼の周りにはUNIX関連の物が置かれています。例えば、糸巻き(スレッド)、ブート、フォーク、パイプ、そして、troff、awk、diff、uucp、make、nullと書かれた沢山の容器、さらにはC容器やひび割れたB容器もあります。そして、オレガノのもあります。 このオレガノは、BSDに関わった初代の人たちの一人が、違法な物質と思われる袋を持ってカナダとアメリカの国境を越えてきたことで騒ぎになった事件を指していると言われていますが、実際にはそれはオレガノだと判明しまし
マルチOS対応Cosmopolitan LibCを使ってみた。WindowからMac、*BSDまで。素晴らしい設計だが、まだアプリが少ないのが残念。基本的なUNIXツールからNes、画像ビュアーやllamafile、各種プログラミング言語などなど
まだアプリは少なめですが未来を感じるCosmopolitan LibC。llamafileは革命的センスだったのですがまだまだこれから。NetBSDでもWindowsでも動くのでどんどんビルドしてみて下さい
Unix's special way of marking login shells goes back to V2 Unix (at least) Many Unix shells have some command line argument that tells them that they are a login shell; for example, Bash has '-l' (also '--login'), and I think that '-l' has become the de facto standard. However, this argument is not how Unix programs like sshd and login actually tell your shell that it's a login shell; instead, for
Benefits for LWN subscribersThe primary benefit from subscribing to LWN is helping to keep us publishing, but, beyond that, subscribers get immediate access to all site content and access to a number of extra site features. Please sign up today! In the second installment of this series, we documented two designs that were found to be imperfect and have largely (though not completely) been fixed th
This article brought to you by LWN subscribersSubscribers to LWN.net made this article — and everything that surrounds it — possible. If you appreciate our content, please buy a subscription and make the next set of articles possible. Once again, the COVID pandemic has forced linux.conf.au to go virtual, thus depriving your editor of a couple of 24-hour, economy-class, middle-seat experiences. Thi
I needed a bit of a break from “real work” recently, so I started a new programming project that was low-stakes and purely recreational. On April 21st, I set out to see how much of a Unix-like operating system for x86_64 targets that I could put together in about a month. The result is Bunnix. Not including days I didn’t work on Bunnix for one reason or another, I spent 27 days on this project. He
In this post, I will detail how to replace sudo (a setuid binary) by using SSH over a local UNIX socket. I am of the opinion that setuid/setgid binaries are a UNIX legacy that should be deprecated. I will explain the security reasons behind that statement in a future post. This is related to the work of the Confined Users SIG in Fedora. Why bother? The main benefit of this approach is that it enab
Software Design別冊 Linuxブートキャンプ サーバ操作／OSのしくみ／UNIXネットワーク ──10年先も使える基礎を身につける！ 著者 宮原徹，佐野裕，鶴長鎮一，武内覚，くつなりょうすけ，青田直大，中島雅弘，五十嵐綾，黒崎優太，中西建登，髙橋基信，尾崎勝義，平林有理，久保田秀，山田泰宏，結城洋志，小林巧，馬場俊彰，阿部貴晶，平初，kanata，高村昇平，伊藤俊一 著 発売日 2022年3月1日 更新日 2022年4月22日
サーバーなどで使われているというUnixって何なんですか？UnixというOSがあるのですか？LinuxとかFreeBSDなどとは違うものなんですか？普通のPCでUnixもありますか？
回答 (4件中の1件目) むかし、むかしのお話です。 ある所に「Multics（マルチックス）」という凄いOSを作ろうという計画がありました。 しかしそのOSは複雑すぎて完成することはありませんでした。 開発者の一人だったケン・トンプソンはスペース・トラベルというゲームをマルチックスでやっていましたが、当時のコンピューターは時間制で使うのにお金がかかったのです。 何とか安くできないかと、近くにあった使われていないPDP-7というコンピューターにマルチックスのシステムを移植してゲームで遊びました(^^)/ この時作ったOSは「マルチックスと違い単一のソフトしか動かない（シングルタ...
Example Hay could be used to configure a hypothetical Linux package manager: # cpython.hay -- A package definition hay define Package/TASK # define a tree of Hay node types Package cpython { # a node with attributes, and children version = '3.9' url = 'https://python.org' TASK build { # a child node, with Oil code ./configure make } } This program evaluates to a JSON tree, which you can consume fr
Microsoft spots malicious npm package stealing data from UNIX systems
The security team at npm (Node Package Manager), the de-facto package manager for the JavaScript ecosystem, has taken down today a malicious package that was caught stealing sensitive information from UNIX systems. The malicious package is named 1337qq-js and was uploaded on the npm repository on December 30, 2019. The package was downloaded at least 32 times, before it was spotted and today by Mi
はじめに Node.jsで使うことのできる通信方式としては、TCPソケット、ストリーミングIPCエンドポイント、そしてHTTPインターフェースです。HTTPインターフェースに関しては、実際にはTCPソケットとして動いているので、実質前の2つになります。 では、TCPソケットとストリーミングIPCエンドポイントの違いは何でしょうか？ TCPソケットは、TCP/IPの上でソケットを用いて行う通信方式です。 一方のストリーミングIPCエンドポイントは、IPC(Inter-Process Communication)の下、同一マシーン内でプロセス間通信をストリーミングで行う通信方式です。 このストリーミングIPCエンドポイントをUNIX上で実現されている技術が、『 Unix domain sockets 』です。 UNIXドメインソケットとは？ ローカルで開かれたソケットファイルを通じて、サーバー
What is the unix time stamp? The unix time stamp is a way to track time as a running total of seconds. This count starts at the Unix Epoch on January 1st, 1970 at UTC. Therefore, the unix time stamp is merely the number of seconds between a particular date and the Unix Epoch. It should also be pointed out (thanks to the comments from visitors to this site) that this point in time technically does
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Unixシェルで手軽にデータを集計する (前編) - 2018-05-16 - ククログ
ブライアン・カーニハン、Unixの起源について
UNIXでPythonを経由したAPIがエンカウントした結果 - ここがこの世の地獄なり
Unixの歴史を再現したリポジトリを読む① - Qiita
UNIXドメインソケット - 清水川のScrapbox
docker-composeでunixソケットを使った、Nginx、php-fpmコンテナを作る - Qiita
Chris's Wiki :: blog/unix/LoginShellMarkerHistory
Ghosts of Unix past, part 3: Unfixable designs [LWN.net]
Brian Kernighan on the origins of Unix [LWN.net]
Writing a Unix clone in about a month
sudo without a setuid binary or SSH over a UNIX socket
Linuxブートキャンプ サーバ操作／OSのしくみ／UNIXネットワーク ──10年先も使える基礎を身につける！ | Gihyo Digital Publishing … 技術評論社の電子書籍
Hay - Custom Languages for Unix Systems
Node.jsでもUNIXドメインソケットを使いたい - Qiita
Unix Time Stamp - Epoch Converter