絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net
巷で話題になっているこの話題、画像をスクレイピングやダウンロードされたくないということで騒がれています。その話に関しては色々な意見があると思ってますがここでは置いておくとして・・・ 技術的にやるとしたら実際どれくらい対策できるの？ということが気になったので、自分の知識で出来る限り対策したものを作ってみることにしました。 最初に 賢い方はわかると思いますが、タイトルは釣りです。 絶対に画像をダウンロード&スクレイピングさせないページは存在しません。ソフトウェアにおいて絶対と言う言葉はまず存在しないのです。ブラウザで表示している以上、仕組みさえわかれば技術的には可能です。 そのため、 「元画像のダウンロードとスクレイピングを非常に困難にしたWebページを本気で作ってみた」 が実際のタイトルかなとなります。 とはいえ、この仕組みであれば大多数の人は機械的にスクレイピングすることを諦めるレベルの作
n月刊ラムダノート Vol.3, No.2(2021)の「ネットワーク自動化の歩き方」を読んだ - てくなべ (tekunabe)
n月刊ラムダノート Vol.3, No.2(2021)の「ネットワーク自動化の歩き方」を読みました。 n月刊ラムダノート Vol.3, No.2(2021)www.lambdanote.com @taijijijiさんの執筆です。 ネットワーク自動化の難しさ ネットワークの自動化の難しさとして、CLI によるプロンプト処理の煩雑さや、API がないネットワーク機器の多さなどが挙げられていました。「そうなんですよねぇ」と思う内容でした。 サーバーなど他方面ですでに自動化をされている方に、ネットワーク自動化の難しさを理解していただくためにも良い内容だと思いました。 いろいろな実装サンプルとユースケース 具体的な実装方法として Python ライブラリの netmiko、NAPALM や、ツールとしてAnsible、StackStormのサンプルが掲載されていました。 私としては、NETCONF
ネットワーク自動化しにくい機器（TELNET/WebUI/踏み台の向こう） - てくなべ (tekunabe)
はじめに netmiko、NAPALM、Ansible のように、既存のネットワークを自動化できるOSSが増えてきました。 それでもやはり、自動化しやすい機器としにくい機器があるなと考えています。 この記事では機器使用面、環境面含めてそれぞれれまとめます。 （当たり前と思われるかもしれませんが、改めて。） ■ TELNET のみ対応の機器 「はじめに」でご紹介したような OSS は、基本的に SSH 接続が前提です。NETCONF や HTTP API に対応しているものもあります。 TeraTerm マクロの延長で考えると、接続方法（TELNET/SSH）は特に関係ないのではと思われるかもしれません。TeraTerm マクロの場合は、接続処理を TeraTerm 本体が担っていています。 一方で、上記のような OSS は TeraTerm とは別の仕組みを利用しており、接続方法はその仕様
n8n にログイン機能がつきました - 蒔かぬＤＸの芽は生えぬ！
２回に分けて紹介しました n8n （エヌ・エイト・エヌ） は、フェア・コード・ライセンス、というポリシーの元に、ソースも公開されていて、無料でも利用できるノーコードのオートメーションツールです。 ※フェア・コード・ラインセンス 「たいていのケースで無料で使えるオープン・ソースだけれども、n8n を使ってビジネスを行う場合は、規模によってはお金を払って下さい」というもののようです。開発チームは n8n を使ってビジネスをすることを推奨していますし、セミナーやチュートリアル、ユーザ・コミュニティづくりも積極的に行っています。ユーザとして利用する分には、無料で利用出来ます。 n8n にはデスクトップアプリもあります 記事では紹介してませんが、 n8n にはデスクトップアプリもあります。 Windows用のアプリもあるので、VBAのようなスクリプト・ツールのように、自分のコンピュータ上で簡単なツー
効率化の実際 『問題の根本解決 > 無駄を省く > 自動化』…いい？シンジ君。自動化って、思うほど業務効率化にはならないのよ
Anubis @Anubis_369 @T__out けっこう、自動化って時間がかかるしメンテナンスも必要なんですよね。場合によっては、次のしがらみになったりします。 何より、業務をしっかり整理していかないと自動化のとっかかりが掴めません。 2023-02-07 02:27:28 Anubis @Anubis_369 よく、自動化で無駄な業務を減らして、本来やるべき業務をしたい。 なんて話を聞くけど、本来やりたい仕事の詳細を聞くと、だいたい夢物語。現場のスキルセットじゃ無理な話ばかり出てくる。 自動化して業務減らしたら、さっさと帰って人生を充実させればいい。それが目標でいいじゃないか。 2021-07-26 08:08:24
今からでも遅くない pyATS でネットワーク自動化入門 2021版 - Qiita
この記事はシスコの有志による Cisco Systems Japan Advent Calendar 2021 1枚目の 11 日目として投稿しています。 2021年版: https://qiita.com/advent-calendar/2021/cisco (<<<) 2021年版(2枚目): https://https://qiita.com/advent-calendar/2021/cisco2 2020年版: https://qiita.com/advent-calendar/2020/cisco 2020年版(2枚目): https://qiita.com/advent-calendar/2020/cisco2 2019年版: https://qiita.com/advent-calendar/2019/cisco 2018年版: https://qiita.com/adven
VIRLとPyATSで実現するネットワークCI
SoftBank Tech Festival 2022 Data Plane programming by P4 and use cases introduction - What's P4? - What's data plane programming? - Advantages of data plane programming by P4 - Use case: GTP Packet Broker - Use case(planning): 5G UPF - P4 details - How to study P4
GitHub Actionsさんはリリース用プルリクエストの作成も自動化できるようです
「そんなもの余裕なんですけど」 と言ってくださったのでGitHub Actionsでリリース用PRを作成するお話をしていきます。 はじめましてスペースマーケットでフロントエンドエンジニア兼リーダーをしている和山です。 なぜやるのか さっそくですが、今回なぜGitHub Actionsにこのようなお仕事をお願いすることになったのかその経緯からまずはお話させていただきます。 スペースマーケットでのブランチ運用は下記のようになっています（※リポジトリのできた時期によって若干運用が異なる場合があります）。 大きく分けると3種類、featureの開発ブランチとstaging環境と同期しているstagingブランチ、本番環境と同期しているmaster(main)ブランチとなります。 また環境と紐づくブランチではpushイベントを契機としてAWSのCodePiplineを通してそれぞれの環境へ資材が反映
ブラウザなどのツール操作を簡単に自動化できるAI「ACT-1」が登場
AIスタートアップのAdeptが、デジタルツールを使用するように訓練された大規模なTransformerモデル「ACT-1」を発表しました。ACT-1はブラウザで何が起こっているかを監視し、クリック・入力・スクロールなどの特定アクションを実行できるChrome拡張機能に接続されており、操作を自動化できます。 ACT-1: Transformer for Actions https://www.adept.ai/act ACT-1は、ユーザーの高度な要求を受け止め、それを実行することができます。ユーザーはテキストボックスにコマンドを入力するだけで、あとはACT-1が実行します。 ACT-1への指示は、ブラウザ上に表示されるポップアップに英語で入力して行います。例えば「ヒューストンで4人家族が住む家を探してほしい、予算は60万ドル(約8400万円)」と入力します。 すると、物件の検索サイトでヒ
WindowsアプリをPythonで自動操作する方法
Windowで構成されたアプリケーションであればVBSとWin32APIを駆使してある程度操作できたのですが、UWPアプリの操作方法がわからず困ってました。 調べてみたところ、Windows Application Driver (WinAppDriver) というツールを使うことで自動操作が可能であることがわかったので、導入手順および操作手順をまとめておきます。 何がしたいか Windowsアプリをプログラムで操作する 操作プログラムはPythonでコーディングする Pythonの実行環境はAnaconda（Jupyter Notebook）を使用する ツール概要 Windows Application Driver (WinAppDriver) Windowsアプリの自動テスト・自動操作を提供するサービス。 ブラウザ自動テスト(自動操作)のデファクトスタンダードであるSeleniumと
自動化で避けるべき、よくある10の間違い
自動化で避けるべき、よくある10の間違い：Gartner Insights Pickup（267）（1/2 ページ） 自動化を誤った方法で行うと、データ利用やプロセス、従業員の士気、顧客満足度に悪影響を与える恐れがある。本稿では、自動化でよくある10の間違いについて紹介する。
Puppeteerでファイルをダウンロードする2022 - 詩と創作・思索のひろば
Puppeteer ってソラで書けますか？ ぼくは書けないので pptr.dev にアクセスしてコピペしてます。 Puppeetteer でファイルをダウンロードする方法はわかりやすい API としては提供されておらず、Stackoverflow を毎回見てる。これも古い方法が出回ったままだったりするので令和4年現在での最新版と思われる方法を書いておく。 例として、https://motemen.github.io/beautiful-graph-maker/ から画像をダウンロードしてみる。これは JavaScript で画像を生成してるのでブラウザのインスタンスが必要なやつだ。 Chrome DevTools Protocol 経由でダウンロードする Chrome DevTools Protocol ってのは Chrome その他のブラウザをプログラムから操作・計測・デバッグ等々するた
Puppeteer使いがPlaywrightを使ってみて感じた利点
ブラウザの自動操作にPuppeteerを利用しているが、試しにPlaywrightを使ってみたら良いと思う点が多かったのでまとめた。正直な感想を言うと、「ほぼ上位互換では？」と思うくらいには良い点が多かったし、悪い点は見つからなかった。同じ作者の後発なだけはある。 なお、Puppeteer歴1年、Playwright歴1日で書いているので、変な箇所があればご指摘ください。 利用バージョン Puppeteer : 5.5.0 5.4.1 Playwright : 1.8.0 便利だと思った点 とても柔軟なselector Puppeteerはpage.$x()など一部でXPath selector が利用できるものの、page.click()やpage.$eval()など多くの関数ではCSS selectorしか利用できなかった。 しかし、Playwrightでは、selectorを利用する
ブラウザ自動操作技術の深層へ、直接触れて学ぶ WebDriver と Chrome DevTools Protocol
ウェブアプリケーションの開発においてE2Eテストの自動化は身近なトピックです。SeleniumやPuppetter、PlaywrightやAppiumなどがブラウザ・ネイティブアプリの自動操作のOSSとしてよく挙げられます。しかし、それらの裏側はご存知でしょうか？ 本トークではこれらのツールの背後にいるWebDriver、Chrome DevTools Protocolsに焦点を当てます。 WebDriver、CDPとはなにか、その違い、仕様について、PHPエンジニアに身近な言語を用いて"直接"実装することを通じて解説します。 本トークを通じて直接触れることでライブラリでwrapされている裏側まで知ることできます。E2Eテスト自動化の課題に出会ったときに「裏側がこうだからたぶんこういうことだよね」と想像できるようになる、少し世界の見え方が変わる時間を提供します。
アメリカの丸亀製麺から考える日本でDXが進まない本当の理由 デザイン会社 ビートラックス: ブログ
先日サンフランシスコ市内にある丸亀製麺 (アメリカだとMarugame Udon) に行った。コロナの期間は閉店していたが、今年に入ってからは営業を再開している。地元の人たちにも大人気の繁盛店。 入口でトレイを取り、列に並んで、カウンター越しにオーダーを行う仕組み。 そこであることに気づいた。 「めっちゃ人多くない？」と。それも、お客さんだけではなくて、従業員の数が。 従業員がめっちゃいる。列に並んでいる客と同じぐらいに。そして、それぞれのスタッフが “一つ” の作業しかしていない。
ネットワーク自動化とプログラマビリティ
本書はネットワーク自動化とプログラマビリティにフォーカスした解説書で、ネットワークエンジニアの業務を「より効率良く」「より生産的に」進化させるためのエッセンスが詰まったノウハウ集です。ネットワーク運用業務（ネットワーク装置のコンフィグレーションやトポロジー管理、サービス死活監視など）をどのように効率化・自動化させるかという観点から、次世代ネットワークエンジニアが知るべきすべての側面を網羅的に解説します。Pythonを用いたプログラミングの基本から、Linuxの操作、データモデル、Gitによる管理、実践的な自動化ツールの解説まで幅広く扱います。 目次 賞賛の声 監訳者まえがき はじめに 1章 ネットワーク業界の動向 1.1 SDNの登場 1.1.1 OpenFlow 1.1.2 SDNとは 1.2 まとめ 2章 ネットワークの自動化 2.1 ネットワークを自動化する意義 2.1.1 シンプル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
runn クックブック
業務自動化のために「バッチ処理」「RPA」「AI」をどう使い分けるべきか ITRが指針
予約情報入力
GitHub - microsoft/playwright: Playwright is a framework for Web Testing and Automation. It allows testing Chromium, Firefox and WebKit with a single API.
