google colab でログ出力無しで進捗を表示する - Qiita
1.はじめに google colab でライブラリのインストールなどを行うとき、場合によっては長々とログを出力することがあります。これはスマートでないですが、ログを出力させないと今度は進捗が全く分からない。では、どうすれば良いか。 2.対策 tqdm.notebook と io.capture_output() を下記のように組み合わせます。処理ブロックがA〜Dの４つだとしたら、各ブロックの終わりに pbar.update(*) で進捗率を記載し、合計100になるようにしておけばOKです。 各ブロックが終わると pbar.update(*) で設定した分プログレスバーが増えますので、大体の進捗が１行で分ります。 from IPython.utils import io import os import subprocess import tqdm.notebook TQDM_BAR_F
パターンマッチング構文（ match case ）の使い方
Python の構造的パターンマッチング 1 の使い方についてかんたんにまとめました。 構造的パターンマッチングは一見シンプルですがさまざまな使い方ができる非常に強力な機能です。 正しく理解してうまく活用できれば Pythonic なコードを書くのに役立つものと思います。 目次 構造的パターンマッチングとは 構造的パターンマッチングがサポートするパターン 構造的パターンマッチングとは 構造的パターンマッチング（ Structual Pattern Matching ）は、 Python 3.10 で新たに導入された（される）構文です。 2 つのキーワード match と case を使用します。 単純な値での分岐の他に、データ構造やアトリビュートのパターンでの分岐なども可能となっています。 見た目は他のオブジェクト指向型の言語によくある switch case に似た印象を与えますが、どち
［Python入門］関数のローカル変数とスコープ
名前解決 プログラム実行時に何かの名前（変数名や関数名など）を発見すると、Pythonはそれを解決するために、3つ（またはそれ以上）のスコープを「ローカルスコープ→グローバルスコープ→ビルトインスコープ」の順にたどっていく。つまり、関数の実行時に名前が見つかると、まずは関数のローカルスコープからその名前を検索する。ローカルスコープにその名前があれば、それ（ローカル変数やパラメーターなど）の値を利用する。見つからなければ、グローバルスコープ→ビルトインスコープという順番で、その名前を検索していき、見つかったところでその値を利用する。最終的に名前が見つからなければ、先ほどの画像にあった「NameError」を発生させる。 以下では、名前を解決する順序についてコード例と共に見ていこう。 ローカルスコープのみ ここでmyfunc関数についてもう一度見てみよう。 def myfunc(): a =
関数がネストされたPythonコードで関数の内側で変更した変数を関数の外側から参照する方法を調べてみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 関数がネストされたPythonコードで、関数の内側で変更（定義）した変数の値を外側から参照したい場合があります。 例えば以下のコードでは、inner()の外側（outer()の内側）でvar = 'Initial Var'とし、inner()の内側でvar = 'New Var'としています。 def outer(): var = 'Initial Var' def inner(): var = 'New Var' return(var) print(inner()) print(var) この場合outer()を実行した際の出力は # 出力 >> python outer() New Var Initial Var となり、inner()の内側で行った変更が外側に反映されず、print(inner())とprint(var)の出力結果が異なる結果とな
Google ColabにMeCabとipadic-NEologdをインストールする - Qiita
1.はじめに Google Colab に MeCab と ipadic-NEologd をインストールしようと思ったら意外に手間取ったので備忘録として残します。 2.コード 色々なWeb情報を漁った結果、インストールには下記のコードがベストではないかと思います。 # 形態素分析ライブラリーMeCab と 辞書(mecab-ipadic-NEologd)のインストール !apt-get -q -y install sudo file mecab libmecab-dev mecab-ipadic-utf8 git curl python-mecab > /dev/null !git clone --depth 1 https://github.com/neologd/mecab-ipadic-neologd.git > /dev/null !echo yes | mecab-ipadic-
ChatGPTで独自データを学習させて回答してもらう方法 - Qiita
ChatGPT,使っていますか？ ChatGPTは文章を要約したり、プログラム作ってくれたり、一緒にブレストしてくれたりして本当に便利なのですが、社内情報などの独自データに関する情報については回答してくれません。 プロンプトに情報を記述して、そこに書かれている情報から回答してもらう方法もありますが、最大トークン4000の壁がありますので、限界があるかと思います。 この課題についてなんとかならないかと考えて色々と調べて見たところ、解決する方法が見つかり、いろいろと検証をして見ましたのでその結果をシェアしたいと思います。 サンプルコード（GoogleColab） 百聞は一見にしかずということで、実際に試したサンプルは以下にありますので、まずは動かしてみることをお勧めします。 このコードを上から順番に動かすと、実際にインターネット上から取得したPDFファイルに関する内容をChatGPTが回答して
Pythonで日付の加算、特にnヶ月後やn年後の日付を求める方法 | 分析ノート
たまに必要になると、 dateutil の relativedelta の存在をど忘れしていて何度も調べているので記事にまとめておきます。1ヶ月後の日付が欲しければ relativedelta 使え、で終わる記事なのですがそれだけだとあんまりなので、datetimeモジュールのtimedelta オブジェクトなどの紹介も合わせてまとめていきます。 さて、日付データとかを扱うプログラムを書いていると、n時間後とかn日後の時刻が必要になることはよくあります。Pythonのdatetimeモジュールでは、datetime.datetime.timedelta オブジェクトを使うことで、それを計算することができます。 参考: timedelta オブジェクト class datetime.timedelta(days=0, seconds=0, microseconds=0, millisecon
Selenium ChromeDriver & PythonをMacで動かせた。 - Qiita
Selenium関連の記事はググったらたくさん出てくるが、seleniumとwebdriverはバージョンの縛りが非常に厳しいらしく、インストールしても全く動かない。 苦戦すること2時間、やっと動かせるようになったので、失敗した時のパターンと成功パターンを書いておきます。これからseleniumでChromeを操作しようとする人の参考になれば幸いです。 失敗パターン pythonを動かす時はGoogle colaboratoryやjupyter notebookを使っていたので、seleniumも同じように動かせるだろうと思っていた。 こんな感じで、seleniumのインストールやimportは特に問題なくできる。 しかしながら、webdriverを動かそうとしたら、エラーが出てしまう。 いろいろと試行錯誤して、以下のような手順を踏んだところ、うまくChromeを立ち上げることができたので
【コード付き】Selenium×Pythonの使い方！Chromeブラウザを自動操作してみようー！｜スタビジ
当サイト【スタビジ】の本記事では、SeleniumをPythonで動かしてChromeブラウザ上で行う操作を自動化していきます。非常に簡単なコードを記述するだけで操作できるのでぜひ試してみてください！Seleniumを駆使すれば普段の単純労働が全自動になるかもしれませんよ！ こんにちは！ 消費財メーカーでデジタルマーケター・データサイエンティストを経験後、現在は独立して働いているウマたん(@statistics1012)です！ Pythonを使うと非常に色々なことが出来ちゃいます。 その中でもSeleniumを使ったブラウザの自動化は非常に便利。 普段なんとなーく惰性でやっているルーティンワークはもしかしたらSeleniumを使えばぜーんぶ自動化できてしまうかもしれません。
send_keys(special)-Python
「send_keys」を実行することで要素にキーボード入力することが出来ます。 element.send_keys(keys.xxx)の形でxxxに特殊キー指定すると、要素に対して特殊キーを入力することができます。element.send_keys(keys.xxx,string)の形で指定された場合は、特殊キーであるxxxが押下された状態で、要素に対して文字(文字列)を入力することができます。 一方、element.send_keys(string,keys.xxx)は要素に対して通常キー入力した後、特殊キー入力しています。具体例としては「検索テキストボックスに文字列入力後にEnterキー入力」などがあげられます。 ◆メソッド ・send_keys(Keys.xxx) ◆使用形態 ・element.send_keys(Keys.xxx,string) または element.send_k
スペクトラルクラスタリングを試してみた - Qiita
いい機会だし先日投稿したスペクトラルクラスタリングとやらを実際にやってみたいと思います。ソースコードは再生産しても仕方がないのですぐる様のブログからパクってお借りします。 すぐる様のブログにあったコードはそのままではうまく動作しなかったのと、Jupyter notebook のお作法に従って少しコードを手直ししています。（そのまま実行するとGraph is not fully connected, spectral embedding may not work as expected.というwarningが表示されました。このwarningに関してもGitHubのissueに素晴らしい回答があるのですが読むのが面倒臭かったので@taki__taki__様のブログよりスペクトラルクラスタリングの実行部分のコードを1行だけお借りしました。また、%matplotlib inlineはimport
【Python×nmap】基礎と使い方 – Euniclus
ホストの調査に便利なnmapですが、スクリプト言語から使えたら便利です。 Pythonにはnmapのモジュールが用意されています。 そこでPython+nmapでポートスキャンをしてみましょう。 モジュールのインストール pipでモジュールをインストールすることができます。 pip install python-nmap スキャン nmapパッケージがPortScannerを持っています。 インスタンスを作りスキャンを実行できます。 import nmap ps = nmap.PortScanner() # scan port 1 to 65535 ps.scan('192.168.11.11','1-65535', '-sSV') オブジェクトのscanメソッドの第三引数にはフラグを指定できます。 フラグはシェルコマンドのnmapと同じもので大丈夫です。 今回はSYN Scanを指定して
Pythonでグラフデータベース Neo4j入門 for ビギナー (Mac OSX向け) - Qiita
「Pythonでグラフデータベース Neo4j入門 for ビギナー」とか銘打っておきながら私自身もビギナーなので、すみません。 PythonでNeo4jを操作する環境構築と、データをいじってみるサンプルをご紹介します。 1. Neo4jの導入 まず、Mac OSXにNeo4Jを導入する方法から始めます。私の環境がYosemite 10.10.2なのでもし環境違いで何かエラー等あればコメント等で教えていただけると嬉しいです。 まず、JDKが必要ですが、Macに最初から入っているJavaではうまく動かないそうなので Oracle JDK 7を http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html から導入します。 次に、 http://neo4j.com/download/ にア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to count tokens before sending an API request to ChatGPT
GitHub - openai/tiktoken: tiktoken is a fast BPE tokeniser for use with OpenAI's models.
【pandas】ピボットテーブルの使い方【pivot・pivot_table】 | self-methods
Automate LinkedIn Login with Selenium
https://www.web-development-kb-ja.site/ja/python/pandas-aggfunc%E3%81%AE%E3%83%94%E3%83%9C%E3%83%83%E3%83%88%E3%83%86%E3%83%BC%E3%83%96%E3%83%AB%E3%83%AA%E3%82%B9%E3%83%88/1056276710/
Clustering cosine similarity matrix
jupyter notebookで画像や動画を表示させる簡単な方法 | self-methods