待望の CloudShell で Docker が使えるようになりました。今回は簡単に全体像まとめて、コンテナイメージをビルドしてみました。 こんにちは! AWS 事業本部コンサルティング部のたかくに（@takakuni_） です。 タイトルの通りで CloudShell で docker コマンドが使えるようになってました。 今まではどうだったか 今まで、 CloudShell では Docker がサポートされておらず、コンテナイメージのビルド等が CloudShell 上で行えませんでした。 過去の Stack Overflow を確認するに、インストールはできるが、デーモンの起動ができなかったようです。 [cloudshell-user@ip-10-0-73-203 ~]$ docker images Cannot connect to the Docker daemon at u
![[待望] CloudShell で Docker が利用可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0a0e7b3291eb56e38287dd9b8dd2b32df9a92dd2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-cloudshell.png)
Windows Subsystem for LinuxのプレビューVer.2.0が9月に公開された。WSL2と混同を避けるため、これをWSL V2.0と表記する。 現在、WSLはMicrosoftストア経由で配布されており、自動的にアップデートされる。ただし、WSL V2.0はまだプレビュー段階で、安定版はV1.2.5だ。このため、Windows Insider Programのプレビュー版ではないWindows 11では、当面は安定版のままになる。ただし、強制的にプレビュー版をインストールすることはできる。 追加される機能自体はそれほど難しいものではないが、動作条件などが複雑で、また既存のプログラムに影響を与える可能性があることから、評価やテストなどには十分な注意が必要と言える。実験的機能であることから、WSLや動作しているプログラムに大きな影響が出る可能性もある。日常的にWSLを使って
シェルの履歴とイクンリメンタル検索を使う
社内のテックトークで LT したスライドです
1Passwordを利用したSSH時のToo many authentication failuresを回避する | DevelopersIO
SSHキーを1Passwordに保存しておき、 ~/.ssh/configに IdentityAgent "~/Library/Group Containers/HOGEHOGE.com.1Password/t/agent.sock" という設定を書いておくと秘密鍵を1Passwordから出すことなくサーバに接続することができます。 こちらの内容については下記ブログなどをご参照ください。 https://dev.classmethod.jp/articles/1Password-git-ssh/ 私はこの方法を愛用していたのですが、 ある日次のエラーが出るようになりました。 Received disconnect from UNKNOWN port 65535:2: Too many authentication failures Disconnected from UNKNOWN por
この様に指定すると3分毎に実行されます。 とても便利ではあるのですがコマンドの実行が失敗すると、冗長なコマンド実行となり得ます。cron ではコマンドの実行が失敗し続けるとメールが運営者に繰り返し送信され続けます。 crontab にコマンドが1分毎に実行される様に投入してひとまず正常起動を確認、仕事を終えて家に返ってビールでも飲んで、さぁ寝ようかなと思った頃にコマンドが失敗し始めると、朝までメールが飛び続けます。 またウェブサービスの API を呼び出す cron ジョブを投入していたらそのウェブサービスがメンテナンスに入った、なんて事もあると思います。メンテナンス中にも関わらず無限に失敗し続ける API 呼び出しはもしかしたら BAN の対象になってしまうかもしれません。 全ては cron に exponential backoff する機能がないのが問題です。 systemd tim
はじめに 最近Command R+が界隈を賑わせています。 その賑わいの中でも「Command R+の日本語の応答速度が速い。」という声を良く聞きます。(半分以上X経由なので、よく聞くというよりも良く見るが近いですが、) そこで今回はCommand R+の日本語の応答速度が本当に速いのか、なぜ速いのかについてトークナイザー観点で述べたいと思います。 応答速度とトークナイザーの関係及びCommand R+のトークンナイザー まず前提として、入力あたりのトークン数が少なければ少ないほど応答時間が短くなります。よってトークナイザーは応答速度に大いに関係します。 詳しくは以下の記事で解説しています。少しだけ述べるとトークン数縮小に伴う語彙数増加によるEmbedding層肥大化による速度遅延<<トークン数増加による速度遅延となっています。ELYZAのfastのモデルが速い理由の一つもこの理由です。
パイプとGitHub CLIでIssueもPullRequestsもこれ一本！ISUCONハック後編 - CARTA TECH BLOG
「MakeとGitHub CLIで初回Pushまでを最速に。ISUCONハック前編」の続きです。 techblog.cartaholdings.co.jp 前編では、初回Pushまでの流れを説明してきました。 後編では一歩進んで、Issue管理やその他Tipsについて紹介していきます。 この記事を読むと学べること Shellのパイプを使って、CLIからGitHub Issueにコメント PRマージ後のmainを手元で動かす方法 競技中のログをGitHub CLIで楽する さて、ここまでで初動のPushをGitHub CLIで行う方法を紹介しました。 次はGitHub CLIで楽に競技中のログをIssue追記する方法を紹介します。 ISUCONの競技中、ログを取ることは非常に重要です。 またそのログをチームと上手く共有し、次なる一手を考える必要があります、 その際にGitHubのIssueが
Updated Mon Feb 5 10:22:02 EST 2024 Available in paperback and e-book formats. Order at Amazon and other fine booksellers. Introduction This page holds material related to the second edition of The AWK Programming Language. The first edition was written by Al Aho, Brian Kernighan and Peter Weinberger in 1988. Awk has evolved since then, there are multiple implementations, and of course the computi
Command-line interface tool design / PHPerKaigi 2024
https://fortee.jp/phperkaigi-2024/proposal/39710935-b617-466a-8ceb-1677cb42fa04
こんこよ～！🧪 カバー株式会社 技術開発本部 基盤チームのKです。 カバー株式会社では、ホロライブプロダクション所属タレントの配信予定が一目で分かる「ホロジュール」や、YouTube等の様々なサービスに関わるデータ収集や分析を行える社内向けツールなどを開発しています。私はその開発チームのマネージャーをしています。 私のチームでは、先に挙げたプロダクト以外にも様々なプロダクトやサービスの開発、運用を幅広く担当していますが、その中でも少し変わったものがあります。 それはMinecraft、Rust、ARKなどのゲームサーバー運用です。今回はこのゲームサーバー運用について、特にMinecraftに関する話題を中心に紹介させていただきます。 ■ Minecraftの魅力「世界で最も売れたゲーム」としても有名なMinecraft。未開の地を求めて広大な世界を冒険したり、クリエイティブを自由に発揮し
クラウドサインのフロントエンドエンジニア辻です。 現在所属しているスクラムチームで、はじめてモブプロを実施しました。 その結果、チームに非常に良い結果をもたらしたため、実施した経験とその中で得られた成果について書いていきます。 モブプロとは 前提 今回実施したモブプロ 目的 役割 進め方 ツール mob 1. セッションの開始 2. ドライバーの交代 3. セッションの再開 4. セッションの終了 Live Share (Visual Studio Code) canvas (Slack) 実施詳細 成果 効率的な問題解決と意思決定 コードレビューの効率化 知識共有の促進 見落としや修正点の早期発見 実装経緯の共有 心理的安全性の向上 まとめ モブプロとは モブプロ（モブプログラミング）とは、複数の開発者が 1 つのプロジェクトやタスクに取り組むソフトウェア開発の手法です。 チーム内で、1
AMDの「AMD EPYC 7C13」は、価格が2000ドル(約30万円)前後とサーバー向けCPUとしては安価なのにもかかわらず、負荷テストで優れた結果を出したと、テクノロジー系メディアのServe The Homeが報じています。 AMD EPYC 7C13 is a Surprisingly Cheap and Good CPU https://www.servethehome.com/amd-epyc-7c13-is-a-surprisingly-cheap-and-good-cpu/ Serve The Homeは、通販サイト・Neweggでそれまで見たことがなかった「AMD EPYC 7C13」というCPUを搭載したサーバーを発見し、さっそく数台購入してその性能のテストしてみました。 lscpuコマンドを用いてCPUの情報を表示すると、AMD EPYC 7C13は64コアと256
問 awk をワンライナーで書く時のアクション区切りの｢;｣の数は0個? 1個? 2個? ＋ こぼれ話 - Qiita
問題 awk で複数のアクションをワンライナーで書いた時、区切りの「;」の数は、0個、1個、2個のうちどれが最も適切でしょうか？ 以下の中から適切な回答（複数可）を選び、その理由も答えてください。 # A. セミコロンは不要である echo foo | awk '{print} {print}' # B. セミコロンは一つ必要である echo foo | awk '{print} ; {print}' # C. セミコロンは二つ必要である echo foo | awk '{print} ;; {print}' この記事は上記の問題の回答、およびその回答にまつわる Brian Kernighan と One True Awk、GNU awk との互換性、POSIX awk の標準規格、に関するこぼれ話を紹介する記事です。 . . . ブコメにちゃんと文章読んでるんだろうか？と疑問になるレスが
Fastladder の Rails を 4.2 => 7.1 までアップデートした Upgrade Rails 4.2 => 7.1 その他信頼性向上のためにテストをいくつか追加した Add ApplicationSystemTest Add E2E test across feed addition, crawling, and display このアップデートにともなって Dockerfile も追加してある。この Dockerfile は Rails 標準の Dockerfile からいくつかの最適化などを削ってより簡易にしたもの。 fastladder orgnization ではパッケージを配る権限がなかったので、とりあえずぼくのネームスペースでビルドした Docker イメージを配っている。 以下のような docker-compose.yml を使えば手元で一発で fastl
Terminal Trove - The $HOME of all things in the terminal.
bombadillo A non-web client for the terminal, supporting Gopher, Gemini and much more.
ScalaのビルドツールMillが生成するUberjarはZIPファイルの面白仕様を使ってシェルから直接実行できるようになっている - Lambdaカクテル
プログラミング言語Scalaで最もよく使われているビルドツールといえばsbtだ。起動しっぱなしのインタラクティブ仕様なsbtがやや鈍重なきらいがある一方、もう1つのビルドツールであるMillが開発されており、こちらではnpmのようなシェル単位の操作体系を指向している。 mill-build.com 単にコマンド体系のみならず、Millには他にも色々と面白い機能がある。例えばsbtと違って標準でassembly、すなわちUberjarへのパッケージング機能が搭載されているという点がありがたい。このUberjarを作る機能に面白い仕組みが盛り込まれていたので紹介するというエントリ。 謎の実行権限 中身を覗く ZIPは任意の場所に任意のデータを封入できる 追記 さて、JVM言語にあまり縁がない読者のために説明しておくと、Uberjarとは、依存する関連モジュールが1つのパッケージにまとめられ、J
「Vim」が愛され続ける理由と、サンプルで学ぶ使い方：TechTargetジャパンエンジニア読本集 「Linux」の標準テキストエディタとして根強い人気のあるのが「Vim」だ。初心者にとってはなじみにくいVimを、使い勝手の良いツールにするためのコマンドやカスタマイズを学ぼう。
GitHub - google/magika: Detect file content types with deep learning
Magika is a novel AI powered file type detection tool that relies on the recent advance of deep learning to provide accurate detection. Under the hood, Magika employs a custom, highly optimized Keras model that only weighs about 1MB, and enables precise file identification within milliseconds, even when running on a single CPU. In an evaluation with over 1M files and over 100 content types (coveri
npm/yarn/pnpm/bunを同じコマンドで扱えるni.zshに、npmで配布されているマルウェアを間違ってインストールするのを防ぐ機能を追加しました。 ni.zshについては、次の記事を参照してください。 npm/yarn/pnpm/bunを同じコマンドで扱える ni のzsh実装を書いた | Web Scratch npmパッケージのマルウェア npmパッケージとしてマルウェアをpublishして開発者を狙うサプライチェーン攻撃が最近多くなっています。 たとえば、次の記事ではemails-helperというもっともらしいパッケージ名でマルウェアが配布されていました。 NPM Package Masquerading as Email Validator Contains C2 and Sophisticated Data Exfiltration 他にもtyposquatting
Links / Blogs → dragonsector.pl → vexillium.org Security/Hacking: j00ru's blog lcamtuf's blog invisible things (new) invisible things (old) liveoverflow's site /dev/null's site pi3's blog icewall's blog taviso's blog pawel's blog sandeep's blog koto's blog carstein's blog zaufana trzecia strona niebezpiecznik sekurak Reverse Eng./Low-Level: rewolf's blog gdtr spinning mirrors security news rev3rse
OrbStack Debug Shell provides useful commands & tools, making it easy to debug any container (even minimal/distroless/read-only containers that have no shell or commands). Compared to docker exec, Debug Shell has: Shell auto-complete and syntax highlightingEditors (nano, vim)Common tools (htop, curl, strace, ip, etc.)Colorful output in ls and other commandsPackage manager with over 80,000 packages
Jack Wallen （Special to ZDNET.com） 翻訳校正： 編集部 2024-04-04 07:45 「Linux」はマルチユーザーOSである。つまり、すべての優れたOSと同様、1台のマシン上で複数のユーザーアカウントを使用することができる。複数のユーザーを同時にログインさせることも可能だ。 1人のユーザーがマシンに直接ログインして、別のユーザーがリモートのデスクトップ経由でログインし、さらに別のユーザーが「Secure Shell」経由でログインする、といったことも可能である。制限は、デスクトップに直接ログインできるのが1ユーザーのみであることと、リモートでログインするユーザーの数（特に、それらのユーザーがリモートデスクトップ表示用のアプリを使用してデスクトップを表示している場合）がシステムリソースに大きく影響されることだけだ。 あるいは、自分しか使用しないデスクト
GitHub - facebook/dotslash: Simplified executable deployment
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
各SQLサーバでOSコマンドを実行する方法
sql-execute-os-command.md Defending new vectors: Threat actors attempt SQL Server to cloud lateral movement | Microsoft Security Blog SQLサーバから別のところに侵入するパターンで、SQLサーバ上でOSのコマンドを利用してるケースが増えている。 各SQLサーバでOSコマンドを実行する方法を知りたい。 Type How To Status SQL Server xp_cmdshell Disable by Default MySQL system (\!) Enable in Terminal PostgreSQL COPY Require pg_execute_server_program role Related Exploiting PostgreSQL
Bleeping Computerは3月28日(米国時間)、「Decade-old Linux ‘wall’ bug helps make fake SUDO prompts, steal passwords」において、Linuxの「wall」コマンドから脆弱性が発見されたとして、注意を喚起した。この脆弱性を悪用することで、複数のユーザーが端末に接続する環境において、偽の「sudo」コマンドのプロンプトを表示して管理者パスワードを窃取できるリスクがある。 Decade-old Linux ‘wall’ bug helps make fake SUDO prompts, steal passwords 脆弱性「CVE-2024-28085」の概要 wallコマンドはLinuxにログインしているすべてのユーザーにメッセージを送信するコマンド。システムを再起動する際などに残り時間や警告を通知する
導入 Go1.21が先日リリースされ、スライスとマップに関する汎用的な処理を扱う標準パッケージ (slicesとmaps) が導入されましたが、 直前になって入る予定の maps.Keys が削除されてしまいました。 これはイテレータが実装予定のため maps.Keys 等はイテレータの実装を待ってからの方が良いと判断されたためだと思われます。 Go1.22で実装予定のイテレータとはどういう機能なのか、イテレータにすることで何が嬉しいのかがよく分からなかったので調べてみました。 この記事で知れること Goでのイテレータの実装がどのようになるのか (2023/08/30現在の実装) イテレータのメリット 事前準備 gotip は開発中のGoのコードを扱うことができるCLIツールで、以下のコマンドでインストールすることができます 2つ目のコマンドの末尾の数字 (510541) はGoのチームが
Visual studio code tunnel Introduction Since July 2023, Microsoft is offering the perfect reverse shell, embedded inside Visual Studio Code, a widely used development tool. With just a few clicks, any user with a github account can share their visual studio desktop on the web. VS code tunnel is almost considered a lolbin (Living Of the Land Binary). I am so glad that my users now have the ability
GitHub - chebykinn/sedmario: NES Super Mario Bros level 1 written in pure sed!
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
前回に引き続き、今回もPlamo Linuxの特徴的な部分のうちシステム起動回りの処理を解説しましょう。もっともこのあたりに関しては、Plamo Linuxが従来のやり方（SysV-init）を固守しているうちに、ほとんどのディストリビューションが新しいSystemdに移行してしまった結果なので、ベテランユーザはむしろこのやり方に馴染みがあるかも知れません。（苦笑 さまざまな/sbin/init Linux/Unixでは、何でもできる大きなプログラムよりも、1つのことを上手にこなす小さなプログラムを組み合わせて使うスタイルが好まれ、多数の小さなプログラム（デーモン）が協働してOSの機能を提供するようになっています。それらのデーモンを起動するのが/sbin/initの主要な仕事です。 Linux/Unixの設計では、起動されたカーネルはCPUやメモリ、周辺機器等を認識、初期化していき、最終
SmartHR でプロダクトエンジニアをしている tmtms です。読み方がわからない(自分でもわからない)ので社内では tommy と名乗ってます。 2月に開催された社内LT大会第3回で「ショートカットと端末」というネタで発表したのですが、とても5分に収まる量ではなかったのでここにしたためておきます。 キーバインド macOSのテキスト編集のショートカットとEmacsとbashのキーバインドを比較するとこんな感じです。 control macOS Emacs bash A 行頭に移動 行頭に移動 行頭に移動 B 左に移動 左に移動 左に移動 C - prefix 中断 D 右文字削除 右文字削除 右文字削除/入力終了 E 行末に移動 行末に移動 行末に移動 F 右に移動 右に移動 右に移動 G - 中断 中断 H 左文字削除 ヘルプ 左文字削除 I - タブ タブ J - 改行 改行 K
日本語LLMの学習に向けたデータ前処理
はじめに 大規模言語モデルの学習にあたり、大規模なデータセットで学習することが重要ですが、高品質なデータを用いることも重要です。 Webなどから大規模に収集したデータを用いることが一般的ですが、そのままだとかなりノイズが多く、モデルの学習が困難です。 本記事では、言語検出、テキスト正規化、テキストのチャンキング、品質フィルタリングのデータ前処理によりノイズを取り除く方法について解説します。 言語検出 Webから大規模に収集したデータには、様々な言語が含まれます。 日本語をターゲットとした言語モデルの学習のためには、日本語のデータのみを抽出する必要があります。 言語検出のPythonライブラリとして、pycld3やlangdetectが有名ですが、2022/1/11にlinguaがリリースされています。開発者のベンチマークによると、性能は他のライブラリと比べて高いです。 特にpycld3はp
MSX-C に関する情報 - Qiita
はじめに 『MSX-C』関連の情報を集めてみました。 MSX-C 『MSX-C』は ASCII が発売した MSX 用の C コンパイラです。元々は エル・エス・アイ・ジャパン株式会社 の『LSI C-80』の OEM だったようです。 『MSX-C』はアセンブラソースを吐くタイプのコンパイラですので、実行形式ファイルを生成するにはアセンブラとリンカが必要です。 See also: ASCII MSX-C (MSX Resource Center) LSI C-86 (Wikipedia) 準拠している C 言語の規格 ANSI C (1989) よりも前に発売された製品なので、後に制定された規格には準拠しておらず、K&R のサブセット的な実装となっています。例えば、MSX-C で利用可能なデータ型は次の 4 (3) 種類のみです。 型 長さ 範囲
GitHub - MHNightCat/superfile: Pretty fancy and modern terminal file manager
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - Textualize/toolong: A terminal application to view, tail, merge, and search log files (plus JSONL).
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[待望] CloudShell で Docker が利用可能になりました | DevelopersIO
プレビュー版が登場したWSLのVer.2.0 新機能を具体的に見る (1/2)
cron で exponential backoff するツール作った
ディスク容量整理のTips｜研究のためのPython開発環境
Command R+はトークナイザーもすごかった - Qiita
「Discord」PC版のコマンド入力で「瞬獄殺」が出現する隠し機能が話題
The AWK Programming Language, Second Edition
「Cygwin 3.5」が公開、Windows 7/8、Windows Server 2008 R2/2012への対応を終了／Windows上に擬似的なUNIX環境を構築する互換レイヤー
「PowerToys」に新機能、コマンドを実行できないときに足りないパッケージを提案／「winget」のインストールコマンドをサジェストしてくれる「Command Not Found」
ゲームサーバー運用から生まれる魅力は無限大！｜カバー株式会社 公式note
モブプロが最高だった話 - 弁護士ドットコム株式会社 Creators’ blog
謎のAMD製サーバー用CPU「EPYC 7C13」を買ったらコスパ良好な掘り出し物だったとのレポート
WindowsにLinuxでお馴染みの「Sudo」コマンド実装へ
ssig33: "Fastladder の Rails を 4.2 => 7.1 までアップデートした ..."
「Vim」が愛され続ける理由と、サンプルで学ぶ使い方
TAR、RAR、7z……「エクスプローラー」で解凍できる形式が拡充、正式に提供開始／「Windows 11 バージョン 22H2」の2023年9月プレビューパッチ「KB5030310」で
ni.zsh: npmインストール時のサプライチェーン攻撃を検知する機能を追加
xz/liblzma: Bash-stage Obfuscation Explained
Debug Shell · OrbStack Docs
「Linux」でのユーザー管理のために知っておくべきコマンド6選
Linuxのwallコマンドにパスワード流出につながる脆弱性、更新を
Go1.22で登場するかも！？開発中の新機能イテレータを使ってみる！
Blocking Visual Studio Code embedded reverse shell before it's too late
第51回 Plamo Linuxの遊び方（その2） | gihyo.jp
ショートカットと端末 - SmartHR Tech Blog