タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
GitHubの使い方を学ぶ「GitHub Skills」が無料公開。GitHubを実際に操作してMarkdown、Pages、Pull Requests、マージのコンフリクト解消などを体験
GitHubの使い方を学ぶ「GitHub Skills」が無料公開。GitHubを実際に操作してMarkdown、Pages、Pull Requests、マージのコンフリクト解消などを体験 GitHubは、実際にGitHubを操作しながらGitHubの使い方を学べる無料の教材「GitHub Skills」を公開しました。 Expand all you know about the GitHub platform. We're introducing GitHub Skills, a new learning experience integrated into the GitHub UI, backed by GitHub Actions. Try it out today! https://t.co/XnqCYdVqBL — GitHub (@github) June 6, 2022 G
What’s Hurl? Hurl is a command line tool that runs HTTP requests defined in a simple plain text format. It can chain requests, capture values and evaluate queries on headers and body response. Hurl is very versatile: it can be used for both fetching data and testing HTTP sessions. Hurl makes it easy to work with HTML content, REST / SOAP / GraphQL APIs, or any other XML / JSON based APIs. # Get ho
GitHubのIssueやPull requestsにアップロードした画像の削除 - coincheck tech blog
はじめに サイバーセキュリティ推進部の吉田です。普段は、CSIRTメンバーとしてAWS環境や各種端末のモニタリング、セキュリティインシデント対応、社内からのサイバーセキュリティに関する相談対応などの業務を行っています。 2023/05/10 追記 GitHubのアップデートによって、プライベートリポジトリのIssueやPull Requestsに新たにアップロードされたファイルは、権限を持たない外部からは参照できなくなったようです。詳細につきましては、以下のGitHubのブログをご確認ください。 https://github.blog/changelog/2023-05-09-more-secure-private-attachments/ 概要 GitHubのIssueやPull requestsに添付した画像はWebにアップロードされ、パブリックなURLが割り当てられます。このURLは
How Pokémon GO scales to millions of requests? | Google Cloud Blog
Priyanka VergadiaStaff Developer Advocate, Google Cloud Have you caught Pokémons? Pokémon GO is a popular game played by millions, but it scales extremely well. This blog is a behind-the-scenes look into how the Pokémon GO engineering team manages and maintains the scale. Joining me is James Prompanya, Senior Engineering Manager at Niantic Labs who leads the server infrastructure team for Pokémon
循環的複雑度が閾値を超えた Pull Requests に、自動的に変更をリクエストする 「コードの品質を、維持したいよーーー」 ということで、テストや Linter を GitHub Actions で実行している環境はよくあると思いますが、今回は 循環的複雑度 を継続的に計測して、閾値を超えた場合に自動的に Pull Request に対して Request Changes のレビューをしようという試みです。 Lizard この例では、Lizard を使用して CCN を計測します。 おそらく似たようなツールでも同様に実行することができると思います。 Lizard は Python で開発されている CCN 計測ツールです。（追記：シンプルに書いてしまいましたが、もちろん他の指標も計れます） 以下のようにサポート言語が多いので、大抵の場合で採用できそうです。 サポート言語 (1.17.
“Too Many Requests.” でビルドが失敗する…。AWS CodeBuild で IP ガチャを回避するために Docker Hub ログインしよう！という話 | DevelopersIO
buildspec.yml 内で docker login -u *** -p *** といった処理をしていなければ、それは匿名ユーザーで利用していることになります。 （ちなみに aws ecr get-login のログイン処理は ECR へのログインであり、Docker Hub のログインではありませんのでお間違えないように） 「匿名ユーザーで使ってるけど 6 時間あたり 100 pull も出来るならウチの環境では十分やなー」 と思ってスルーされた方も少なくないと思いますが、ちょっと待ってください。リンク先のブログで言及されているとおり、匿名ユーザーは IP アドレスに基づいて制限されます。 For anonymous (unauthenticated) users, pull rates are limited based on the individual IP address.
確認した環境 OS: Ubuntu16.04LTSPython3.7.0 @Anadonda Requestsモジュールのインストール このモジュールはPythonの標準ライブラリでないので、環境によっては新規にインストールが必要かもしれません。その場合は公式サイトを参照してインストールを行います。 筆者はAnacondaを使っていますので、下記コマンドでインストールしました。 ~$ conda install requests HTTP通信の概要 まず、HTTP通信の概要とリクエストメソッドについて、概要を簡単に記載します。 WebブラウザでWebページを開いたりすると、WebブラウザとWebサーバの間でデータのやり取りが行われます。このやり取りはHTTPというプロトコルに基づいて行われます。 Webブラウザは、開きたいWebページのアドレスをWebサーバに要求（リクエスト）します。We
先日、某所のnginxを1.14系から1.16系に更新したところ、レスポンスタイムが悪化する現象に遭遇したので、その時の対処記録。以下は99percentileと95percentileでのレイテンシのグラフ。 99percentile latency 95percentile latency nginxのバージョンアップでレスポンスタイムが悪化するのを経験したのは初めてのことだったのですが、いろいろ調べてみるとアップストリームサーバとのキープアライブに関する挙動が大きく変わったのが原因で、そのへんのディレクティブの値をちょいと調整することで元のレスポンスタイムを維持できるようになりました。 nginxの1.16系と1.14系の大きな違いの一つとしてkeepalive_requestsディレクティブが従来のhttp, server, locationコンテキストに加えてupstreamコン
GitHub - TimeToogo/ff-proxy: A UDP to TCP proxy server for sending HTTP requests with zero roundtrips
FF Proxy FF is a proxy server which enables you to fire and forget HTTP requests. That is, sending a HTTP request to a remote server, without waiting for a response or even the network latency required to establish a connection to that server. Additionally, FF provides the ability to protect sensitive payloads by encrypting the data in transit between both the client and upstream servers. Disclaim
人間のためのHTML Parseライブラリ『Requests-HTML』で楽しくデータクローリング - フリーランチ食べたい
Pythonを使ったデータクローリング・スクレイピングは、エンジニア・非エンジニアを問わず非常に人気や需要のある分野です。しかし、いざデータクローリングしようとすると、複数ライブラリのAPIや、ライブラリそれぞれの関連性に混乱してしまうことがよくあります。 昨年公開された「Requests-HTML」はそういった問題を解決する「オールインワンでデータクローリングが行える」ライブラリです。ユーザーは「Requests-HTML」のAPIのみを学習するだけで、サイトへのリクエスト、HTMLのパース、要素の取得を行うことができます。またHeadless Chromeを使うこともできます。 このブログでは「Requests-HTML」が生まれた背景と使い方、そして興味深いポイントについて書きます。 なぜ「Requests-HTML」が必要だったか データクローリング・スクレイピングの人気の高まり
EngineeringOpen SourceMetrics for issues, pull requests, and discussionsWith the new Issue Metrics GitHub Action, you can now track and monitor important metrics related to issues, pull requests, and discussions, such as time to first response, time to close, and more! Data-driven insights At GitHub, we believe that data-driven insights are the keys to success for any software development project.
【Python3】ログイン機能付サイトでスクレイピング【requests】【BeautifulSoup】 - Qiita
Pythonによるスクレイピング&機械学習 Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみようより 学習ログ。 第二章。 前回 この本の第一章では、 APIの基本的な呼び方 Beautifulsoupを用いた、基本的なWebページでのスクレイピングの仕方 について記述してありました。 ので、Beautifulsoupの基本的な使用法に関しては、当記事では書きません。 この章で得られるもの 2章では、高度なスクレイピングを学びます。 主にJavaScriptを使用したサイト（動的に情報を取得してるようなサイト）や、 ログインが必要なサイトからデータを取得するのに必要なテクニックを学んでいきます。 今回は後者のみです。 環境 Python 3.6.0 コード こちら(Git)にて 高度なスクレイピ
We are a design studio offering unlimited design requests and revisions for a fixed price. We are a design studio offering unlimited design requests and revisions for a fixed price.
GitHub - aliscott/infracost: Cloud cost estimates for Terraform in pull requests💰📉 Love your cloud bill!
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Keeping your GitHub Actions and workflows secure Part 1: Preventing pwn requests
Keeping your GitHub Actions and workflows secure Part 1: Preventing pwn requests Jaroslav Lobacevski This post is the first in a series of posts about GitHub Actions security. Part 2, Part 3 In this article, we’ll discuss some common security malpractices for GitHub Actions and workflows, and how to best avoid them. Our examples are based on real-world GitHub workflow implementation vulnerabilitie
GitHub - asg017/sqlite-http: A SQLite extension for making HTTP requests purely in SQL
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - utkusen/reqstress: a benchmarking&stressing tool that can send raw HTTP requests
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Right now, when you go to copilot.github.com you're greeted with this example: async function isPositive(text) { const response = await fetch(`http://text-processing.com/api/sentiment/`, { method: 'POST', body: `text=${text}`, headers: { 'Content-Type': 'application/x-www-form-urlencoded', }, }); const json = await response.json(); return json.label === 'pos'; } This is bad and might result in sec
GitHub - ducaale/xh: Friendly and fast tool for sending HTTP requests
Usage: xh [OPTIONS] <[METHOD] URL> [REQUEST_ITEM]... Arguments: <[METHOD] URL> The request URL, preceded by an optional HTTP method [REQUEST_ITEM]... Optional key-value pairs to be included in the request. Options: -j, --json (default) Serialize data items from the command line as a JSON object -f, --form Serialize data items from the command line as form fields --multipart Like --form, but force
インターネットでよく解説されているシンプルなコードは上のようなものだと思いますが、このコードをプロダクションで使用すると、対象のサーバーが応答しない場合フリーズしてしまう可能性があります。timeoutが設定されていない、つまり、最大で何秒待機すればよいか指定されていないからです。Webサービスの場合、待機中はユーザーに応答できなくなるので、本当は別の依存しているサーバーに責任があるのに、ユーザーにはあなたのWebサービスに問題があるように見えてしまうかもしれません。 Timeout を設定する必要性 ですから、timeout を設定しましょう。数秒待って応答が来なかったらエラーとして処理すればよいのです。 requests公式のドキュメントでもtimeoutを設定することが推奨されています。 Most requests to external servers should have a
ChromeのSecure context restriction for external requests - ASnoKaze blog
[目次] 概要 Secure context restriction for external requests CORS-RFC1918 非セキュアコンテキストなWebサイトからプライベートアドレスへのHTTPリクエストをブロックする「Secure context restriction for external requests」の導入が進められています。 概要 インターネットに公開されているWebサイトから、プライベートアドレスに対するCSRF攻撃が問題になっています。ネットワーク機器やプリンタの管理画面で使われるプライベートアドレスにリクエストを行わせることで、攻撃が行われます。 例えば下記のリンクを埋め込むことで、プライベートネットワークを指すrouter.local にHTTPリクエストを行わせます。 <iframe href="https://admin:admin@rout
スクレイピングの定番の方法と言えば「requests + BeautifulSoup」の組み合わせです。一般的はWebページであれば、大抵はスクレイピングできます。 しかし、この方法で読み取れないWebページに遭遇することがあります。特にYahoo!やTwitterなど頻繁に更新されるサイトによくあります。 その原因は、「ダウンロードしたHTMLファイル」と「ブラウザに表示されるHTML」が異なるからです。そのため、requestsでサーバーから直接ダウンロードしたHTMLファイルをBeautifulSoupで解読してもブラウザで見ている内容と違うのでスクレイピングできません。 Yahoo! JAPANが運営しているYahoo!リアルタイム検索 はまさにリアルタイムで更新されていますが、requests + BeautifulSoupではスクレイピングできません。今回はこのページを題材にス
Thoughts on Svelte(Kit), one year and 3 billion requests later
Thoughts on Svelte(Kit), one year and 3 billion requests later Last year my company, was tasked with the mission of building a news website. Since the project went live, it has experienced significant audience growth, handling hundreds of thousands of visitors every day. Each visitor navigates and interacts with the pages and their components, resulting in approximately 3 billion requests in the l
GitHub - actions/labeler: An action for automatically labelling pull requests
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository. Use this GitHub Action with your project Add this Action to an existing workflow or create a new one.
動画教材紹介私(清水 義孝)が作成したコース「Pythonによるビジネスに役立つWebスクレイピング」(Udemyへのリンク)が発売中！ 発売数８,５００本突破を記念して、今だけ期間限定で８７%オフの大セール中！！！ Requestsとはrequestsとは、HTTP通信用のPythonのライブラリです。主にWEBスクレイピングでHTMLやXMLファイルからデータを取得するのに使われます。 インターネット上に公開されているWEBサイトでは広くHTMLやXMLが使われており、これらの情報の取得に大変便利なライブラリです。 スクレイピングは、大まかに３つのステップに分けることができます。 １つ目はWEBサイトのHTMLなどのデータ取得です。ただし、HTMLには必要な文章のデータだけでなく、タグなどのデータも混じっているので、必要なものだけを抽出する作業が必要になります。 そこで２つ目のデータの
こんにちは。AWS事業本部プロダクトグループのmuroです。 OAuth 2.0でWeb APIを利用するアプリケーションを開発する機会があり、requests_mockを使ってテストしてみました。 前提 アプリケーションはPythonで実装します。 このアプリケーションはサーバサイドで動作する機密クライアントです。 Web APIを利用するにはOAuth 2.0のクライアント・クレデンシャル・グラントで認可を受けます。 リフレッシュトークンには対応していません。 Pythonとライブラリのバージョン Python 3.6.8 requests 2.21.0 requests_oauthlib 1.2.0 requests_mock 1.6.0 サンプルAPI 次のような二つのWebAPIがあるとします。 POST /token アクセストークンを取得します。 { "access_toke
Dependabot pull requests pause for inactivity | GitHub Changelog
January 12, 2023 What's new? Starting today, Dependabot will pause automated pull request activity if you haven't merged, closed, or otherwise interacted with Dependabot for over 90 days. To resume activity when you're ready, simply interact with Dependabot. This change will help Dependabot be more focused to the repositories you care about. When will Dependabot become paused? This change only app
GitHub - infracost/infracost: Cloud cost estimates for Terraform in pull requests💰📉 Shift FinOps Left!
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
HTTP Requests - Code Generator for Google Apps Script, Node.js and cURL
function makeHttpPostRequestWithAppsScript() { const url = "https://postman-echo.com/post?source=web&foo=bar"; const response = UrlFetchApp.fetch(url, { "method": "POST", "headers": { "x-api-key": "123xyz", "cache-control": "no-cache", "Content-Type": "application/x-www-form-urlencoded" }, "muteHttpExceptions": true, "followRedirects": true, "validateHttpsCertificates": true, "contentType": "appli
Sponsored by pganalyze Deliver consistent Postgres performance and availability through intelligent tuning advisors and continuous database profiling. Ruby MRI does not support parallel CPU bound operations due to the dependency on non-thread safe C extensions. Input/Output operations like HTTP requests, are still a perfectly valid use case for spinning up multiple threads. Read on to learn what t
GitHub - tenacityteam/tenacity: Mirror of https://codeberg.org/tenacityteam/tenacity. Pull requests are IGNORED!
Please note that we do NOT accept any pull requests or issues on GitHub anymore. See https://codeberg.org/tenacityteam/tenacity to file your bug report or submit your pull request. Tenacity is an easy-to-use multi-track audio editor and recorder for Windows, macOS, Linux and other operating systems. It is built on top of the widely popular Audacity and is being developed by a wide, diverse group o
「botocore.vendored」のrequestsとurllib3は、そのうち使えなくなります。 Lambda等で使用中の場合は忘れないうちに対応しましょう！ | DevelopersIO
はじめに サーバーレス開発部の藤井元貴です。 こんな会話がありました。 藤井「あ、Lambdaにrequests入れるの忘れた」 ○○「from botocore.vendored import requestsって出来るで」 藤井「なんだって！ 便利！」 〜〜 調べてみる 〜〜 藤井「非推奨やん！ そのうち消えるやん！！」 ○○「やっぱり？」 使ってる方は使わないようにしましょうというブログです。 公式情報 botocoreの公式ドキュメントに記載が有りました。 The vendored versions of requests and urllib3 are no longer being used and have been replaced with a direct dependency on upstream urllib3 and requests is no longer
KubernetesのResource Requests & Resource Limitsの内部処理をソースコードレベルで読み解く - inductor's blog
はじめに この記事は筆者がKubeCon EU 2021にて発表した「Resource Requests and Limits Under the Hood: The Journey of a Pod Spec」の内容を中心とし、ブログ向けにまとめなおしたものです。 www.youtube.com 日本語でこのリソース要求/制限について内部の仕組みまで踏まえて詳細に書かれた記事はあまりないので、誰かの助けになれば幸いです。 はじめに Kubernetesにおけるリソースの要求と制限 スケジューラーによるスコアリング ノードでのPod作成処理 Requests全体の流れ Limits全体の流れ CRI内部の処理 OCI内部の処理 まとめ Kubernetesにおけるリソースの要求と制限 Kubernetes上でアプリケーションを実行する際、ワークロードの特性に応じて以下のような形で必要なリソ
Deploy your pull requests with GitHub Actions and GitHub Deployments - Sander Knape
Deploy your pull requests with GitHub Actions and GitHub Deployments May 6, 2020 by Sander Knape Performing (automated) tests on pull requests is a powerful mechanism to reduce the feedback loop on code changes. Known as shift left, the idea is that the earlier you find an issue with your code, the easier it is to fix it. For one, as you wrote the code recently it's easier to get back into it. And
Retrying HTTP Requests
Network Working Group M. Nottingham Internet-Draft February 1, 2017 Intended status: Informational Expires: August 5, 2017 Retrying HTTP Requests draft-nottingham-httpbis-retry-01 Abstract HTTP allows requests to be automatically retried under certain circumstances. This draft explores how this is implemented, requirements for similar functionality from other parts of the stack, and potential futu
This is a first in a series of posts describing our journey of scaling lakeFS. In this post we describe how adding an in-process cache to our Go server speed up our authorization flow. Background lakeFS is an open-source layer that delivers resilience and manageability to object-storage based data lakes. With lakeFS you can build repeatable, atomic, and versioned data lake operations – from comple
Alex Pliutau | Rate Limiting HTTP Requests in Go based on IP address
Software Engineering Lead with a passion for APIs, Web, Cloud, Microservices, DevOps, Kubernetes etc. Engineering Lead at solsten.io If you are running HTTP server and want to rate limit requests to the endpoints, you can use well-maintained tools such as github.com/didip/tollbooth. But if you’re building something very simple, it’s not that hard to implement it on your own. There is already an ex
Amazon S3 Glacier announces a 40% price reduction for PUT and Lifecycle requests
Amazon S3 is reducing the cost to move data to Amazon S3 Glacier by lowering PUT and Lifecycle request charges by 40% for all AWS Regions. You can use the S3 PUT API to directly store compliance and backup data in S3 Glacier that does not require immediate access. You can also use S3 Lifecycle policies to move data from S3 Standard, S3 Standard-Infrequent Access, or S3 One Zone-Infrequent Access t
PythonのHTTPライブラリであるRequestsを使ってRESTスタイルのWeb APIを呼び出しデータを取得したり操作したりする方法について説明する。 Requestsのインストールや基本的な使い方などは以下の記事を参照。 関連記事: Python, Requestsの使い方 Qiita APIを例に各HTTPメソッドでWeb APIを操作する。 Qiita API v2ドキュメント - Qiita:Developer 以下の内容について説明する。 HTTPメソッド Qiita APIのアクセストークン取得 POST（記事作成）: requests.post() GET（記事取得）: requests.get() PATCH（記事更新）: requests.patch() DELETE（記事削除）: requests.delete() PUT（タグフォロー）: requests.p
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hurl - Run and Test HTTP Requests
コードの複雑度をあげる Pull Requests を GitHub Actions で止めよう
【Python】 GET・POSTリクエストによるWebデータの取得（Requestsモジュール）
We're all Tanuki (!24447) · Merge requests · GitLab.com / www-gitlab-com · GitLab
keepalive_requests in upstream context - Qiita
Metrics for issues, pull requests, and discussions
Uisual Studio: Unlimited Design Requests & Revisions
Encoding data for POST requests
【Python】requestsを使うときは必ずtimeoutを設定するべき
requestsで取得できないWebページをスクレイピングする方法 - ガンマソフト株式会社
図解！PythonのRequestsを徹底解説！(インストール・使い方) - ビジPy
OAuth 2.0をrequests_mockでテストしてみた | DevelopersIO
How to Perform Concurrent HTTP Requests in Ruby on Rails
In-process Caching In Go: Scaling lakeFS to 100k Requests/Second
Python, RequestsでWeb APIを呼び出し（データ取得・操作） | note.nkmk.me
chie0.lo.gob.jp
b.hatena.ne.jp
kokoro.squares.net
twitter.com
news.tv-asahi.co.jp
jafmate.jp