シェル芸で使いたい jqイディオム - Qiita
はじめに このページは JSONのデータを変換処理するコマンドラインツール jq (http://stedolan.github.io/jq/) を、シェル芸で上手く使うためのテクニックをまとめたページです。 jqのインストール方法については、Qiita や インターネット上のページ を参考にして下さい。 第22回シェル芸勉強会 大阪サテライト の LTで発表した内容 に加筆・修正を行ったものとなっております。 定番のヘルプ表示 $ jq -h jq - commandline JSON processor [version 1.5] Usage: jq [options] <jq filter> [file...] jq is a tool for processing JSON inputs, applying the given filter to its JSON text inp
AWS CLIとjqを使って、AWSのELBボリュームがアタッチされているEC2インスタンス名を出力するワンライナーを書いた - 双六工場日誌
件名の通りのAWSのELBボリュームがアタッチされているEC2インスタンス名を、AWS CLIで取得しようと思ったら、ちょっと手間取ったので、その結果をワンライナーにしたメモ。 結果はこちらです。こういうワンライナーになったのは、"join"コマンドを使ってみたかったという雑念も半分ぐらいありますね。 ボリューム情報とインスタンス構成情報をjoin join <(aws ec2 describe-volumes | jq -r '.Volumes[].Attachments[] | .InstanceId + " " + .VolumeId' | sort) <(aws ec2 describe-instances | jq -r '.Reservations[].Instances[] | .InstanceId + " " + ( .Tags[] | select(.Key == "N
jqを使ってAWSの情報を取得しよう①｜ハンズラボ株式会社
誘惑に負け、AmazonPrimeに再登録しました。 吉田です。 プライムビデオ、ミュージック 非常に良いです。しかもお急ぎ便無料・・・ ああ、素晴らしい。家から出たくない・・・ どこだろうと書きます（笑） AWSを使っていて避けられない問題があります。 それはJSONです。 人間には優しくないJSONですが、AWSを使っているとデータは基本的にJSONで返ってきます。 こいつをどうにかゴリゴリしないといけません。 今回は数回に分けてAWSでjsonをゴリゴリする方法について書いていきます。 自分はjqを使っています。 このｊｑ便利なので様々なブログで使い方が紹介されていますが、今回はAWSで情報をゴリゴリすることだけに絞って使い方を見ていこうと思います。 aws-cliコマンドの返り値を例に説明をしていきます。 awscilコマンドが使え、jqコマンドを使用できる事を前提とします。 aw
aws-cliの標準出力をjqで整形 - Qiita
$ aws ec2 describe-instances { "Reservations": [ { "OwnerId": "xxxxxxxxxxx", "ReservationId": "r-xxxxxxx", "Groups": [], "Instances": [ { "Monitoring": { "State": "disabled" }, "PublicDnsName": "", "State": { "Code": 16, "Name": "running" }, ・ ・ ・ "Architecture": "x86_64", "RootDeviceType": "ebs", "RootDeviceName": "/dev/xvda", "VirtualizationType": "hvm", "Tags": [ { "Value": "example.com", "Key"
aws-cli で使える --query = jmespath をガッツリ使い込む - 続 カッコの付け方
すでに結構色んな所で取り上げられている aws-cli の --queryですが、使ってみました。 とりあえずこれ試してみよう！ JMESPath Tutorial — JMESPath これを紹介だけで、このエントリの90%の価値が含まれております。騙されたと思ってやってみて。ぜひ 能書き xpathってご存知？要は、xmlに対するクエリ言語のようなもので、xmlの構成に合わせてxpathを指定することにより、狙った特定の要素だけを引っ張り出したり、加工したりできます。最近の人はxmlは嫌いらしいですが、まあ、json も xmlの冗長部分を削いだものなので同じことがjsonに対してもできるってことですね。これがjmespathのはず、名前の付け方からして。ちなみに私はxpathで一発クエリで超複雑なxmlから、特定要素をスコンと狙い撃ちする感覚が大好き、快感です。 jmespathです
続 カッコの付け方
BigQuery(BQ)のスケジュールドクエリは、普通に設定すると設定したユーザー、つまり人の権限で実行されます。 これを読んでる人は何が問題かわかっているはずで、退職時にそのユーザーアカウントが消滅すると動かなくなる、だけでは済まずに設定自体が消滅します。それを避けたいのでサービスアカウント(SA)で実行したい、ただそれだけの話だけど間違った手順が広まってしまっている。 まず最初に、SAの鍵は不要です。SAでスケジュールドをやるには鍵が必須かのような認識は、今すぐ捨ててください。 参考にすべきところ https://cloud.google.com/bigquery/docs/scheduling-queries?hl=ja#using_a_service_account Googleの公式をしっかり読むのが結局の近道です。信頼に足る情報源としてはここが一番 コンソールから設定する De
[小ネタ] セキュリティグループ毎に関連付いたEC2インスタンスの一覧を表示する | DevelopersIO
はじめに 小ネタです。AWS管理コンソールでは「各EC2インスタンスがどのセキュリティグループに関連付いているか」を確認することは出来ますが、「各セキュリティグループにどのEC2インスタンスが関連付いているか」は見ることができません。これはちょっと不便です。なのでAWS CLIを使ってサクッと確認してみました。 やってみた AWS CLIを使ったシェルスクリプトはこんな感じです。 $ vi get_secg.sh declare -a SECG=$(aws ec2 describe-security-groups | jq '.SecurityGroups[].GroupName') for secg in ${SECG[@]}; do echo "*** SecurityGroupName: "$secg" ***" aws ec2 describe-instances | jq -r
![[小ネタ] セキュリティグループ毎に関連付いたEC2インスタンスの一覧を表示する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9e4fef1591ede28ae629d3a4e5c38d7525760c0c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2Faws_icon-awscli.png){kind=icon}
AWS CLIでよく使いそうなコマンド – OpenGroove
「よく使いそうな」と言っても、当然自分基準。ちなみにjqは使ってない。--filtersと--queryがあればjqいらないんじゃないかと思い始めた。 ec2インスタンスの操作 インスタンスのステータス取得。--output textオプション付与すると純粋に値のみ取得可能。 $ aws ec2 describe-instances ¥ --instance-ids i-xxxxxxxx ¥ --query 'Reservations[].Instances[].[State.Name]' 特定のNameタグを持つインスタンスのインスタンスIDを取得。 describe-instancesでOKだがdescribe-tagsからでも可。 describe-tagsで取得。 $ aws ec2 describe-tags \ --filters "Name=tag:Name, Values=
describe-instances — AWS CLI 1.31.12 Command Reference
Feedback Did you find this page useful? Do you have a suggestion to improve the documentation? Give us feedback. If you would like to suggest an improvement or fix for the AWS CLI, check out our contributing guide on GitHub. User Guide First time using the AWS CLI? See the User Guide for help getting started. Note: You are viewing the documentation for an older major version of the AWS CLI (versio
AWS CLIで名前検索等 - シンプライン（Simpline）公式採用サイト‐採用情報
2015/05/08 AWSを少し使うとIDだらけになってしまうので、Nameタグ付けにはこだわりをもって対応してるのだけど、関連リソースを紐付けて管理する良い方法が未だに見出せていない。棚卸や削除漏れ抑止の為に部分一致で検索する為のスクリプトを作ったので、そのパーツを覚書として。 EC2のNameタグで部分一致検索 前回も書いたけど、これは”–filters”をアスタリスク指定で取った方が全然簡単。JMESPathの関数の多くは、valueの型を意識して動くようなので、string以外（この場合はnull）が混ざっていると想定通りの検索ができない。なので、not_nullを使ってNameタグが空で無いもののみを検索対象としている。一応結果の出力は、IDと名前を横並びでテキスト形式で表示させるところも以降全て揃えてみた。 KEYWORD=hogehoge aws ec2 describe-
jqコマンドでJSONをCSVに変換する - 唯物是真 @Scaled_Wurm
jq 前に以下のニコニコ動画のデータセットの記事でも使いましたが、jqコマンドはJSONを変形したり一部を抽出したりするのにとても便利なコマンドです ニコニコ動画のデータセットが公開されたらしい - 唯物是真 @Scaled_Wurm マニュアルを見ると、条件に応じた処理とか最大値を求めるとか意外と複雑な機能も使うことができます jq Manual 軽量JSONパーサー『jq』のドキュメント：『jq Manual』をざっくり日本語訳してみました ｜ Developers.IO また以下のサイトでオンライン上で試せます jq play JSONをCSVに変換 JSONをCSVに直したい時があって使い方を調べたのでメモしておきます 単純な例 まずは単純に以下のようなJSONをCSVに変換します {"key1": 1, "key2": 2} 方法1 - 文字列展開 文字列中の\()の中身は展開さ
AWS CLIにおける–queryの使い方・書き方・記述例 | Magtranetwork マグトラネットワーク
AWSサービスのリソースをコマンドやプログラムから使用するために用意されているものがAWS CLIや各プログラム言語のAWS SDKになります。 特にAWS CLIはMac OSXやLinuxなどのシェルスクリプトから実行するもののため、Unixベースの開発を行なっている場合にはAWSの操作をコーディングするのに強力なツールとなります。 ただ、AWS CLIのドキュメントは英語であり中でも–queryというAWS CLIの実行結果の表示形式を指定したり、条件を与えて検索結果を絞り込んだりする機能はAWS CLIを初めて使用した際には解りづらい部分もあります。 そこで今回はAWS CLIの–queryを表示形式を指定する機能について書き方・記述例を備忘録として記載したいと思います。 なお、後述しますがAWS CLIには–filtersという機能で検索条件を指定して結果を絞り込む機能があります
AWS CLIのフィルターとクエリーの使い方についてまとめてみた | DevelopersIO
はじめに こんにちは植木和樹です。本日はaws-cliの機能「フィルター」と「クエリー」について調べてみました。業務上運用簡易化のためのシェルスクリプトを書く機会が多く、必然的にaws-cliを頻繁に利用するのですが、ようやく最近になってフィルターとクエリーを思い通りに書けるようになってきました。 ネットで aws-cli と検索してもJava版のコマンドラインツール（ec2- で始まるコマンドの方）が引っかかったり、公式ドキュメントにも目的に合致するサンプルが掲載されていなかったりと苦労しました。今回は自分の備忘録を兼ねてまとめておきたいと思います。 参考にした資料 AWS CLI documentation JMESPath 環境 aws-cli/1.2.5 Python/2.7.6 Darwin/13.0.0 フィルター：出力結果の絞り込み（--filters） 基本的な使い方 フィ
jsonをコマンドで処理・加工できるjqを使って、一行でAWS EC2起動インスタンス一覧を表示する - 人生やまあり
AWSのAPIを実行するとき何使ってますか？ 私はパッと実行したいときはaws-cli、作りこみたいときはRuby SDKを使うことが多いです。 このawscli。使いやすくてシンプルでいいのですが、新しくなってレスポンスが完全にJSONになって、扱いにくて、、、 わざわざ「--output text」オプションつけて、前のaws-cliのときと同じタブ区切りで表示させてしてました。 aws ec2 describe-instances --output textJSONってシェルとかには扱うのは大変ですよね。。。 JSON加工するのになにかいいのないかなーといろいろ調べてみると、、、jqというめっちゃ便利なもの発見！！！ jqとは？ jsonをいい感じに加工して表示してくれるコマンドです。 例えば {"hoge": ["1", "2", "3"], "name" : "tanaka"}と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
awscliのquery結果をソートする | クロジカ
JMESPathでソートや部分一致も - シンプライン（Simpline）公式採用サイト‐採用情報
フィルターはダメだったらJMESPathを使ってみる - シンプライン（Simpline）公式採用サイト‐採用情報
awscliで情報を取ってきて整形したいときはまずfilterとqueryで頑張る | クロジカ
AWS CLI の query による絞り込み - Qiita
AWS Black Belt Techシリーズ AWS Command Line Interface
