You can add the information for all the hosts you have. Once you've saved the config file, you'll be able to see those hosts in the Remote Explorer, as well as any folders you have opened on that host. You can select the icon next to each host or folder and it will launch a new VS Code window (instance) and connect you to that host. In the screenshot below, I'm connected to my remote machine "pyth
はじめに 多段 SSH の設定方法はググればたくさんでてきますが，「踏み台に秘密鍵を持つ」パターンの情報が少なくて躓いたので，今後のためにメモしておきます。 Special Thanks: @chitoku ローカルに持つ場合 通常はこちらの方法が望ましいです。
Red HatのシニアソフトウェアエンジニアのVictoria Martinez de la Cruz氏が「5 open source tools I can't live without｜Opensource.com」において、生産性の向上に不可欠な5つのオープンソースソフトウェア（OSS）を紹介した。これは、技術者の間で話題になった「5つの道具だけを選ぶなら」というお題に答えたもので、5つに絞ることはかなり難しかったと語っている。 Cruz氏が取り上げているOSSは次のとおり。 tmate - ターミナルマルチプレクサtmuxから派生したソフトウェア。tmuxセッションを開始し、SSH経由で共有することができる。ペアプログラミングなどで特に便利。リモートコントロール目的でも使用できる。チームメンバーと頻繁に連絡を取り合ってプログラミングするようなケースではtmateが強力なツールとして
3行まとめ MRSKは「コンテナ時代のCapistrano（Capistrano for Containers）」的なデプロイツール。すごくDHHぽい。 $5くらいの素のcompute instanceがHerokuみたいに使えるようになる(ただしDBやS3やRedisは必要に応じて別途用意する前提、合わせて別インスタンスで立ち上げる機能もあり) 37Signalsではproductionで使ってるようだけどまだまだ荒削りなので、しばらくは一緒に開発したいくらいの勢いで使いたい人向け MRSKとは MRSKはRailsの創始者DHHが新しく作ったデプロイツールです。 初コミットは2023年の1月7日ということで真新しいプロダクトなのですが、中身を見るとあまり新しそうに見えないというか、今どきのクラウドネイティブな世界観から見ると正直懐かしい感じもあります。なんで今これが作られたのでしょうか
Gitリポジトリ上のソースコードをWebブラウザから検索・分析できるコード検索ツール「Sourcegraph」 | さくらのナレッジ
大規模なソースコードを分析・閲覧する際に有用なのが、ソースコード専用の検索ツールだ。こういったツールは複数あるが、今回はGitリポジトリやGitHubなどのホスティングサービスとの連係機能を特徴とするオープンソースの検索ツール「Sourcegraph」を紹介する。 Webブラウザ上からGUIで操作できるソースコード検索ツール システム開発の現場において、クラスや関数がどこでどのように定義されているのかを調べたり、メッセージなどで表示される特定の文字列がどこで使われているかを調べたりするといった作業は割と頻繁に発生する。こういった作業はgrepなどの汎用検索ツールでも可能ではあるが、その場合たとえばソースコード以外のファイルに含まれる文字列も検索に引っかかるほか、その出力もやや見にくい。そこで活用したいのが、専用のソースコード検索ツールだ。 ソースコード検索ツールでは、対象のソースコードがど
プロキシサーバとは プロキシとは、クライアントとサーバの間に中継サーバとして配置するサーバのことです。プロキシは、クライアントから見た場合、サーバのように振る舞い、サーバから見た場合、クライアントのように振る舞います。クライアントアプリケーションは、プロキシへ通信を行い、プロキシはそのリクエストを受信し、受信したリクエストを本来送られるべきサーバへ転送するかのように送信します。サーバは、リクエストを送信してきたプロキシへ応答を返します。プロキシは応答に対応したクライアントに対して、応答を送信します。 プロキシサーバの種類 プロキシは、通信を中継するため通信内容をログに残したり、検査したり、書き換えたりといった処理が可能です。そのため、様々なプロトコルに対応した汎用的なプロキシと、アプリケーション（プロトコル）毎に特化した処理を行うソフトウェアがあります。 なお、Webプロキシは、HTTPプ
Ruby on Railsの作者として知られるDavid Heinemeier Hansson氏は、コンテナ・デプロイ・ツール「Kamal 1.0」を9月19日（現地時間）に公開した。同氏は開発したWebサービスをクラウド・プロバイダーから自前のサーバーに移行する手続きを進めており、Kamalはその手続きの中で生まれたという。KamalはMITライセンスで公開しているオープンソース・ソフトウェア。 Kamalは、Dockerでコンテナ化したアプリケーションを配備するツール。設定ファイルに外部の公開IPアドレスを記入して起動すれば、Linuxが動作するコンテナが動き出す。このコンテナにはSSHで接続することも可能だ。 Hansson氏はKamalをWebアプリケーションをクラウドから自前のサーバーに移す目的で使用しているが、クラウド間での移動など、ほかの目的にも利用できる。Kamalを利用す
【2020年1月】令和だし本格的にVSCodeのRemote Containerで、爆速の"開発コンテナ"始めよう - Qiita
【2020年1月】令和だし本格的にVSCodeのRemote Containerで、爆速の"開発コンテナ"始めようJavaPythonPHPJavaScriptGo VSCode の Remote Conainer で"開発環境+プロジェクト全部入りのコンテナ"からスタートダッシュをキメるッ！？ 開発でVS Code の Remote Conainer使っていますか？単に既存のコンテナに入るだけなら Remote SSH でも構いませんが、"ローカル開発環境の一部"として、いやむしろローカルの開発環境＝Remote Containerとして、ビンビンにRemote Container使っていきましょう。令和だし！(すでに２年だけどね・・・？) 特にMacを使っていると最初からPythonやらPHPやらRubyやらが入ってしまっているので開発環境があるのですが、これらは割とmacOSのエコシ
無名のセキュリティエンジニアがたった2本のブログ記事からSoftware Designで連載をすることになった (技術編) - NFLabs. エンジニアブログ
tl;dr 前半をサイバー脅威インテリジェンスの理論、後半をハンズオンの形式で全6回の連載をしてきました 連載は現実のインテリジェンス業務をなるべく反映させたものであり、戦術脅威インテリジェンスがアウトプットの中心になります 実態のよくわからないバズワードに飛びつかず、企業は自組織の体制と世の中の脅威を正しく理解するところからはじめましょう はじめに 本稿は前回の記事「無名のセキュリティエンジニアがたった2本のブログ記事からSoftware Designで連載をすることになった (非技術編)」の技術的内容部分を抜き出したものです。未読の方は先にそちらの記事を参考にしていただいた方が、内容を理解しやすいと思います。 blog.nflabs.jp 前回に引き続き @strinsert1Na です。事業推進部の Defensive チームで脅威インテリジェンスの生成やソフトウェアの開発をしていま
踏み台サーバー、SSMセッションマネージャー、EC2 Instance Connect Endpoint サービスを使用したEC2インスタンスへの接続方法と特徴を比較してみた - NRIネットコムBlog
はじめに 踏み台サーバー経由で接続する方法 ①セキュリティグループを作成する ②パブリックサブネットに踏み台サーバを作成する ③プライベートサブネットにEC2インスタンスを作成する ④踏み台サーバーにプライベートサブネットに配置されたEC2インスタンスのキーペアをコピーする ⑤踏み台サーバーにアクセスする ⑥踏み台サーバーからプライベートサブネットにあるEC2インスタンスにアクセスする SSMセッションマネージャー経由で接続する方法 VPCエンドポイントを使用した方法 ①セキュリティグループとIAMロールを作成する ②プライベートサブネットにEC2インスタンスを作成する ③VPCエンドポイントを作成する ④SSMセッションマネージャー経由でEC2インスタンスに接続する NATゲートウェイを使用した方法 ①IAMロールを作成する ②プライベートサブネットにEC2インスタンスを作成する ③NA
過去1年の間にEC2インスタンスにシェルアクセスするAWSサービスが3つもリリースされました。 AWS Systems Manager Session Manager(2018/09/11) EC2 Instance Connect(2019/06/27) AWS Systems Manager Session Manager(SSHトンネリング対応)(2019/07/09) 機能が似通っていており、違いがわかりにくいため、ざっと整理しました。 シェルアクセスの比較表 サービス 素のSSH Systems Manager Session Manager Systems Manager Session Manager(SSH) EC2 Instance Connect
EC2のSSHアクセスをIAMで制御できるEC2 Instance Connectが発表されました | DevelopersIO
大栗です。 先程EC2に対してIAMでログイン制御を行えるEC2 Instance Connectが発表されました。 Introducing Amazon EC2 Instance Connect New: Using Amazon EC2 Instance Connect for SSH access to your EC2 Instances EC2 Instance Connect EC2 Instance ConnectではIAMの権限でアクセス制御が行えて、一時的に生成した公開鍵でSSHログインが可能となります。 全体の概要は以下のような流れでログインします。ユーザーは自分のローカルマシンからログインできますし、Management Consoleからもログイン可能です。 クライアントで公開鍵/秘密鍵のペアを生成する。 EC2 Instance ConnectのAPI (Send
全てのUnixコマンドはいずれネット企業になる、grepはGoogleになり、rsyncはDropboxに、manはStackOverflow、cronはIFTTT――。 この予言めいた言葉を、私は米国VCのAndreessen Horowitzパートナー、クリス・ディクソン氏のツイートで知りました。2014年のツイートですが、これがディクソン氏のオリジナルなのか、それとも良く言われていることなのか、ちょっと分かりません。ただ、UnixやLinuxを触ったことがある人であれば、この法則が驚くほど良く成り立っているように思えるのではないでしょうか（最近の若手ソフトウェア・エンジニアはあまりコマンドラインに触れないそうですが）。 この予言がすごいのは、30〜40年の隔たりがあっても類似性が成立していることです。Unixコマンドの多くは1980年〜1990年代には多くのシステムで実装され、利用さ
2023年 研究開発部 新卒技術研修 ~ 実践編 ~ - Sansan Tech Blog
こんにちは、研究開発部 Architectグループの藤岡です。 4/26（水）〜 4/28（金）で研究開発部内の技術研修を行ったので、その内容を公開します。 目次 目次 研修の目的 研修の概要 実践編の概要 アプリケーションを作成 バッチを作成 gokartとは パイプラインを実装 APIを作成 FastAPI とは APIを実装 ディレクトリ構成 実行 Webアプリを作成 Streamlitとは Webアプリを実装 Docker化 デプロイ ECRにイメージをプッシュ アプリケーション基盤 Circuitについて アプリのマニフェストを作成 研修終了後 終わりに 研修の目的 この研修の主な目的は、新卒社員がスムーズに業務に入れるようにすることです。 研究開発部にはさまざまなバックグラウンドを持つ研究員が入社するため、チーム開発の経験がない方もいます。 そのため、Gitの操作やプルリクエス
状況 python 3.7 Pytorch 1.1.0 研究室に複数GPUサーバあり それらを同時に動かすことあり デスクトップはMacOS GPUサーバはLinux系いろいろ 基本 ソースコードはgitlabで管理。 一人なのでほとんどmasterブランチしか使わない。 たまに試験的にdevelopブランチを切ることがある程度。 GPUサーバにはsshでログイン。 ssh先で編集せずに、sshfsを用いてローカルにマウントし、ローカルで編集。 ssh先では必ずtmux。 命名規則 プロジェクトにおいて命名規則は大事ですよね。 機械学習ではモデルを大量に作ることになると思います。そこで、僕はこのような命名規則をモデルに設けています。 <日付(8桁)>_<数字>_<手法> (例)20190705_01_focalloss です。 数字の所は今日のモデルの何番目かを表しています。これにより、１
Docker on Lima なツールを色々試してみた - freee Developers Hub
こんにちは、freee Developers Advent Calendar 2022 6日目の記事です！ 本日はサービス基盤の yoko がお送りします。 まえがき：Mac と Docker コンテナ型の仮想環境を高速に作成・起動できる技術として有名な Docker ですが、コンテナという隔離された環境を作るために Linux カーネルの機能を利用しています。つまり、Docker は Linux という技術によって支えられており、そのままでは MacOS や Windows 上で実行することができないはずです。 しかし、僕たちは当たり前のように Mac や Windows で Docker を動かしています。Mac では Docker Desktop for Mac がよく使われていますね。 Docker Desktop for Mac は Linux VM を立ち上げ、VM上のコンテナ
2021年について、プロトコル周りの動向を振り返っていきたいと思います。 今年は、個人的には次の2点がホットトピックと挙げられると思います。 QUICやHTTP/3を活用した応用系プロトコルの作業が進む プライバシー系の取り組みが活発化 それでは、個別に補足していきます。（IETFの動向がメインです。なお、個人的にキャッチアップできてないトピックもあります...） HTTP関連 まずは、HTTPです。HTTP/3の標準化が注目を浴びていますが、HTTP/1.1やHTTP/2なども改定作業が行われております。あわせて、HTTPセマンティクスは各バージョンから独立し、各バージョンから参照される形となりました。それぞれRFC出版の最終段階となっています。 書いた記事はここらへん HTTPのバージョンについて、現在のまとめ HTTPセマンティクス仕様の改訂版 まとめ HTTP/2の改定版仕様の変更
AWS環境をセキュアにセットアップする方法と、その運用方法を詳細に紹介します。秘伝のタレである具体的な設定も書いてます。みんな真似していいよ！ こんにちは、臼田です。 みなさん、安全にAWS使えていますか？(挨拶 今日は全てのAWSユーザーが安全にAWSを活用し、セキュアに運用できるようにナレッジを大量にダンプしたいと思います。 弊社サービスに関連させて書く部分もありますが、基本的にどのようなAWS環境でも適用できると思います。 ちょっと長い背景 クラスメソッドでは長いこと様々なAWSを利用するお客様を支援しています。私は特にセキュリティ周りについて支援させていただくことが多く、最近はAWSのセキュリティサービスが充実していることから、これらの初期導入や運用設計、あるいはインシデント対応やその後の組織としてのセキュリティ体制づくりなどいろんな関わり方をしてきました。 どのようにセキュリティ
![[安全なAWSセキュリティ運用ナレッジ2022]セキュアアカウントの使い方 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/75550513d830c21b153b85859fb4fdabd295d23d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Fsecurity-identity_Compliance.png)
Linux perf Examples
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
こんにちは！コンサル部のinomaso(@inomasosan)です。 踏み台サーバ用のEC2から、別のEC2 LinuxにSSH接続する際の秘密鍵の扱い方は皆さんどうしておりますでしょうか？ 一番簡単なのは踏み台サーバに秘密鍵をアップロードし、別のEC2にSSH接続することです。 ただし、このやり方だと踏み台サーバが乗っ取られた場合に、他のサーバにも侵入されるリスクが大きくなってしまいます。 そこで今回は、ローカル端末にある秘密鍵のみを利用した、多段SSH接続を検証していきます。 弊社カジにこのブログを書くきっかけを頂きました。改めてありがとうございます。 この記事で学べること 踏み台サーバにSSH接続先の秘密鍵をコピーする必要はないということ 踏み台サーバ経由の多段SSH接続方法 ちなみに踏み台サーバ経由でWindows Serverに接続したい場合は？ Windows Serverの
下で最新版に記事を編集しましたブログを作ったよ ツイッターアカウントフォローお願いします https://twitter.com/usagipycom こんな記事も書いてます 友達がpythonでPCゲームのレベル上げツールを作っていた それを聞いて、pythonって便利なのね。と思いその後色々あってプログラミングを勉強することにした プログラマー35歳までみたいな世の中で40代おそすぎ！ってあるかもしれない PCがあって、無料の教材はネットに転がってるし、本もたくさんあるし、挑戦するのは無料だし2022年の1月ぐらいから勉強を始めた 入門書って成果物がないからつまらないなと思ってそれ以外になんかないかなって本屋さんをふらふらしてたら python自動化 みたいな書籍がいっぱいあることに気がついた なるほど、もしかしたら仕事楽になるんじゃないかそんな思いから次の本を買った シゴトがはかどる
データエンジニアリングの基礎
データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないままデータシステムの構築を進めると費用と時間を無駄に費やすことになります。本書は「データエンジニアリングライフサイクル」を軸にデータシステムの要件を整理することで、組織の「データ成熟度」に応じたデータシステム構築の指針を与えます。またデータエンジニアの立ち位置を明確にし、組織内でデータエンジニアが果たすべき役割を示します。 まえがき Ⅰ部 データエンジニアリングの基礎と構成要素 1章 データエンジニアリング概説 1.1 データエンジニアリングとは何か 1.1.1 データエンジニアリングの定義 1.1.
【速報】EC2がMac対応！ Amazon EC2 Mac Instancesがリリースされたので触ってみた #reinvent | DevelopersIO
どうも、もこ@札幌オフィスです re:Invent 2020の前夜祭、AWS Late Night Week 1で、「まあ前夜祭だし新サービスなんて出ないでしょｗ」とのんびりしてたら、突然Mac Instanceが発表されました！早速使ってみたのでレポートします！ Amazon EC2 Mac Instancesが公開！ まずはこれを見て欲しい。 Run macOS on AWS for the first time with new Amazon EC2 Mac instances. Start developing, building, testing, and signing Apple apps on AWS. Learn more: https://t.co/3faNVwprmv pic.twitter.com/ZEe4L6OORb — Amazon Web Services (
先日、VMware上で動かしていたKali Linuxが突然エラーで起動できなくなりました。 コマンドラインだけならログインできるんですが、GUI操作ができず復旧が絶望的なので一からKali LinuxをInstallし直すことにしました。 その際、せっかくなので自分がVulnhubやHTBを攻略するうえで便利だと思って使っていて、かつKali Linuxにデフォルトで入っていないけど有用なツールをまとめたいと思います。 完全に個人の意見なので、参考までにどうぞ！ ちなみに、niktoやgobusterといったツールはめちゃくちゃ使いますがデフォルトでInstallされているため省略します。 Information Gatering AutoRecon onetwopunch Parsero smbver.sh FindSMB2UPTime.py impacket oracle(sqlpl
Linux踏み台を使わずにWindowsインスタンスへのリモートデスクトップ接続をSSHトンネル化する | DevelopersIO
Linux踏み台ホストを使わずにWindowsインスタンスへのリモートデスクトップ接続をSSHトンネル化する方法について調べました。 みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 今回は、Windows の「リモートデスクトップ接続」に関して調べてみました。 はじめに リモートデスクトップ接続の SSH トンネリングとは？ Windows をリモートで操作する場合に標準的に使われる「リモートデスクトップ接続」ですが、リモートデスクトップ接続で使用する RDP プロトコル (TCP/3389) ではなく SSH プロトコルを使って接続を行いたい場合があります。 例えば、以下のような要件・背景が考えられます： サーバ側あるいはクライアント側で、ファイアウォール等によって通信可能なポートが SSH (TCP/22) のみに制限されている セキュリティ強化のためパスワード認証で
GitHubがコマンドラインでのGit操作時の認証方式のひとつである、パスワード認証を廃止すると発表しました。同サービスは2020年11月にREST API利用時におけるパスワード認証を廃止し、二段階認証などのトークン認証に移行しており、今回の発表はその範囲を拡大した形となります。 Token authentication requirements for Git operations - The GitHub Blog https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ 近年、GitHubは二段階認証やサインインアラート、デバイス認証、WebAuthnへの対応など、トークンを基盤としたセキュリティ機能の向上に力を入れてきたとのこと。トークンは「ユーザーごとに固有」「いつで
最初にまとめ 長くなってしまったのでまとめを最初に。 sudoを使うのをやめdoasに乗り替えた doasには必要十分な機能があり、sudoに比べ設定がシンプル doasは元々がOpenBSDプロジェクトのものであり、セキュリティ面でも信頼できる FreeBSDではpkgでインストール Linuxではソースからインストール (記事ではDebian/Ubuntu, CentOSでの例を紹介) doasのソース規模はsudoのそれに比べかなり小さい 最近manやmakeを知らない人が居るという事実を見かけるので、その辺りの利用例も含めて少々回りくどく記述しています。 本記事はSoftware Design誌 2020年1月号 に掲載された「sudoからdoasへ」の内容とほぼ同じもの、というより元の原稿そのものです。ネタを明かすと、元々Qiitaで公開するつもりで書いたのですが、書きすぎてボリ
皆さんこんにちは。 虎の穴ラボのY.Fです。 今回は、いつものプログラミング系の記事とは趣向を変えて、株式会社オライリー・ジャパン様から発刊されている『ゼロトラストネットワーク』を読んだので、感想などをつらつら書いていきたいと思います。 www.oreilly.co.jp 読んだ動機 弊社ではオライリーの年間定期購読に申し込んでいます。なので、なんとオライリーの新刊が発売日には読み放題です！ これを活かさない手はないと発売前から気になっていた『ゼロトラストネットワーク』を読んでみた次第です。 (過去届いた書籍の一部はこちら) gramho.com gramho.com 目次 本書の目次は以下になります。 目次 はじめに 1章 ゼロトラストの基礎 1.1 ゼロトラストネットワークとは何か 1.2 境界モデルの進化 1.3 潜在的な脅威の進化 1.4 境界モデルの弱点 1.5 信用の在りか 1
噂の最狂コマンドを実行してみたくなった みなさんはrm -rf /*でOSを破壊しようとしたことはありますか? 流石の私もないです。 rm -rf /*は、OSのrootディレクトリ配下を確認なしで全て削除すると言われる 最狂コマンドです。 rm -rf /という似たコマンドもありますが、こちらは、–no-preserve-rootというオプションを付けなければ、削除処理が実行されない安全仕様になっています。そのため、rm -rf /*の方がより凶悪仕様とも言えます。 今回は無性にOSが壊れゆく様を見たいと思ったので、Amazon Linux 2上でrm -rf /*を実行してみて、どこまで壊れるのか確認してみます。 また、rm -rf /*実行後、緊急モードなどから復旧できそうなら、復旧にもチャレンジしてみます。 いきなりまとめ rm -rf /*はやっぱり キケン。遊び半分でしてはいけ
GitHub - google/cdc-file-transfer: Tools for synching and streaming files from Windows to Linux
CDC File Transfer Born from the ashes of Stadia, this repository contains tools for syncing and streaming files from Windows to Windows or Linux. The tools are based on Content Defined Chunking (CDC), in particular FastCDC, to split up files into chunks. History At Stadia, game developers had access to Linux cloud instances to run games. Most developers wrote their games on Windows, though. Theref
GitHub開発チームでのCodespacesの利用
先日github.comのTeamとEnterprise CloudプランでCodespacesがご利用いただけるようになりました。Codespacesはソフトウェアチームに対して、クラウド上でより速く、よりコラボレーティブな開発環境を提供します。詳しくはCodespacesのページをご覧ください。 GitHub.comのコードベースはもうすぐ14歳になります。GitHub.comの最初のコミットがプッシュされたとき、Railsはできてからまだ2年しか経っていませんでした。AWSはできてから1年で、AzureやGCPはまだ存在していませんでした。14年という歳月はCOBOLの世界では長くないかもしれませんが、インターネットの世界ではかなりの長さです。 この14年の間に、GitHub.comのコアリポジトリ（github/github）では100万回以上のコミットが行われました。これらのコミ
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
機械学習による実用アプリケーション構築
機械学習は翻訳、推薦システム、異常および不正検出など、さまざまなアプリケーションで利用されており、今後も機能強化のために、機械学習を組み入れるサービスはますます増えていくと考えられています。しかし機械学習はモデルの学習や評価など、これまでのアプリケーションにはない処理が必要となるだけでなく、正常に動作しているかを単純なテストだけでは検証できないなど、特別な配慮が必要となります。本書は機械学習を利用するアプリケーションを設計、構築、デプロイするために注意すべき点をまとめました。繰り返しによりデータやモデルを漸進的に改善する方法、モデル性能の監視やモデルのデバッグを行う方法など、アプリケーションを構築、運用する上で、その品質を左右する一連のプロセスを詳しく解説します。 訳者まえがき まえがき 第Ⅰ部 適切な機械学習アプローチの特定 1章 製品目標からML の枠組みへ 1.1 何が可能であるかを
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。野澤氏は、Google Colabとvscodeを用いて作るデータ分析環境とその運用について発表しました。 機械学習の勉強環境の1つ「Google Colaboratory」 野澤哲照氏（以下、野澤）：「Google ColabとVSCodeを用いたデータ分析環境運用Tips」ということで、野澤が発表します。 最初から免責で申し訳ないのですが、今日紹介する方法はGoogle側が推奨している方法ではないので、急に使えなくなる可能性もあります。そこだけご了承ください。 今日話す内容ですが、ざっくりGoogle Colab（Google Colaboratory）とVSCodeを紹介して、最終的にどういう環境が作れるかというところと、環境構築手順・運用時のポイントなどを話
つくったアプリケーションのソースコードは公開したい、でもシークレットはどうにかして秘匿しないといけない。継続的な運用を目指すならシークレットのデータ自体もなんとかしてリポジトリに（Repository secrets などではなくコミット対象として）含める必要がある。 …という状況を解決するために、gpg だけを使って継続的な運用を図る手段をまとめてみます。フロントエンド/バックエンドなど問わずどこでも使用できます。 Web フロントエンドなどから各種 API キーを利用する場合、リクエスト時の挙動はデベロッパーツールで全て確認できてしまう点には留意してください。 これらは API サーバー側でオリジンの制限をかけるなどの検討が必要です。 やること主な作業内容の要約は gpg を使ってプッシュする前にローカル側で暗号化をする暗号化するときに復号化のための(最強の)パスフレーズを登録するその
Linux Crisis Tools
(This is based on Table 4.1 "Linux Crisis Tools" in SysPerf 2.) Some longer notes: [1] bcc and bpftrace have many overlapping tools: the bcc ones are more capable (e.g., CLI options), and the bpftrace ones can be edited on the fly. But that's not to say that one is better or faster than the other: They emit the same BPF bytecode and are equally fast once running. Also note that bcc is evolving and
使い方 Coderは様々なクラウドサービスで利用できますが、AWSでの使い方について紹介します。 詳細は公式サイトに詳しく記載されているので簡単に紹介します。 1.Coderが提供しているAMIからインスタンス(管理サーバー)を起動する Coderを使うためには、管理サーバーが必要になります。 ブラウザで管理サーバーに接続し、開発環境を立ち上げたりアクセスできるユーザーを管理したりすることができます。 2.管理サーバーにログインする 3.テンプレートを作成する デフォルトでDocker, AWS EC2, AWS ECSなどのテンプレートが用意されています。今回はEC2を選択しました。 4.ワークスペースを起動する。 ワークスペースが実際に開発を行うための環境になります。 5.開発環境に接続する 起動が成功するとVSCode Desktopとcoder-serverが選択できるようになりま
GCPで基本に戻って始める実践 Infrastructure as code再入門#1 - VisasQ Dev Blog
こんにちは！ 2020年2月からSREチームにJoinしました木村です! 仕事をする上での座右の銘は「明日交通事故にあってもシステムと仕事を回せるようにすること」です。 基本に戻って始める。と表題では書いていますが、私元々はAWS職人でGCPに本格的にコミットしてからまだ3ヶ月位です! なのでヒィヒィ?言いながらGCPのキャッチアップに努めているわけですが今回は過去にAWSで得たInfrastructure as Codeの知識とビザスクに入社してキャッチアップで培ったGCPの知識を元に基本に戻って始めるGCPのInfrastructure as Code再入門ということで書かせていただきます。 尚実際に書き始めたら量が膨大になってしまったのでいくつかパートに分けて 書いていきたいと思っております。 今回やること GCPのCompute Engineをスコープとして Terraformを使
piユーザーが削除されたRaspberry Pi OSと公式ヘッドレスセットアップのやり方研究 - あっきぃ日誌
一昨日くらいにRaspberry Pi OSのアップデートリリースがありました。 www.raspberrypi.com が、今回もなかなかパワフルな変更が入っており、piユーザーおよびデフォルトパスワードが廃止されました。これはイギリスなどで決まった「IoT製品にデフォルトパスワードを設定するな」という法律に対する取り組みらしく、世界中のデフォルトパスワードで動作する監視カメラが云々みたいなネタが以前より存在していたことを考えると、必要なアップデートと言えるものです。 デフォルトパスワードの廃止だけではなくpiユーザーごと廃止されてしまったため、新しいリリースでは、初回起動時にユーザー名・パスワードの設定が必要になります。デスクトップ版の場合は、今まで起動していたウィザードが専用の背景上で起動して、セットアップを促すようになっています。Lite版のほうも、CUIで設定が出るようになってい
NTT Tech Conferenceは、NTTグループのエンジニアたちが一堂に会し、NTTグループ内外のエンジニアたちと技術交流を行うためのカンファレンスです。ここで、NTT Ltd Japanのソフトウェアエンジニアの花川氏が「この素晴らしい新入社員とペアプロを！」というタイトルで登壇。まずは新入社員のメンターとして入社半年で実践したこと、違和感について語ります。 自己紹介と業務内容 花川直己氏（以下、花川氏）：「この素晴らしい新入社員とペアプロを！」というタイトルで、NTT Ltd Japanの花川直己が発表します。よろしくお願いします。まず簡単に自己紹介ですが、naosukeとよく呼ばれている者です。NTT Ltd Japanでソフトウェアエンジニアとして働いて、3年目になります。 ふだんはEnterprise Cloud 2.0（ECL2.0）というクラウドサービスのベアメタルサ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Visual Studio Code Remote SSH Tips and Tricks
多段 SSH で秘密鍵を「ローカルに持つ」パターンと「踏み台に持つ」パターン - Qiita
生産性向上に不可欠なOSSツール5選、Red Hatシニアエンジニア推薦
コンテナ向けデプロイツールMRSKを試してみる - Qiita
無料で使えるプロキシ/ロードバランサのOSS 比較18選 | OSSのデージーネット
Ruby on Railsの作者がコンテナ・デプロイ・ツール「Kamal 1.0」を公開
EC2インスタンスへのシェルアクセスサービスを雑にまとめてみた | DevelopersIO
Unixコマンドはネット企業になり、OSSはSaaSになった | Coral Capital
俺の機械学習プロジェクト管理をさらす - Qiita
2021年 HTTPやQUICの最新動向振り返り - ASnoKaze blog
[安全なAWSセキュリティ運用ナレッジ2022]セキュアアカウントの使い方 | DevelopersIO
踏み台サーバ経由の多段SSH接続をローカル端末の秘密鍵のみで実施する | DevelopersIO
40代プログラミング初心者がpython始めて半年！独学で勉強が続いている理由と読んだ本 - Qiita
Kali Linuxに(自分が)追加したいペネトレーションツール - 高林の雑記ブログ
GitHubがGit操作時のパスワード認証を廃止、今後はトークンによる認証が必須に
sudo がアレなので doas に乗り替えてみる - Qiita
『ゼロトラストネットワーク』を読んだ感想 - 虎の穴開発室ブログ
Amazon Linux 2 で「rm -rf /*」を実行してみた | DevelopersIO
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
Google ColabとVSCodeで作るデータ分析環境 クラウドのGPU環境でもローカルと遜色ない開発体験を
Public な Git リポジトリでシークレット管理をしつつ GitHub Actions で CI/CD も回す
AWS上にVSCode対応の開発環境を簡単に構築できるOSSのCoderがすごい！ - Qiita
リモート新人教育で起きた“違和感” ソフトウェアエンジニアが語るベアメタルの“癒着”ストーリー