pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
ボーカルや複数の楽器で構成された音楽データを、機械学習を用いてそれぞれの音に分類したファイルとして出力する「spleeter」がGitHubで公開されています。ボーカルの声や伴奏の部分だけを抽出できるとのことで、実際に使ってみました。 deezer/spleeter: Deezer source separation library including pretrained models. https://github.com/deezer/spleeter 以下のURLにアクセスすれば、spleeterでサンプルの楽曲を分離することができます。 spleeter.ipynb - Colaboratory https://colab.research.google.com/github/deezer/spleeter/blob/master/spleeter.ipynb#scrollTo=
話題のStableDiffusionがオープンソースで8/23に公開されたので、手元のマシンで動かすまで試したいと思います🖼 (下記に記載していますが、自分の環境だとVRAMが不足しているエラーが出てしまったのでイレギュラーな対応をしています🙏) ※ ↑追記 コメント欄にて、 @kn1chtさんが紹介してくださっているように、マシンのVRAMが10GB未満の環境では半精度（float16）のモデルがオススメされています。 本記事では、別の最適化されたものを紹介していますが、こちらの利用も検討してみると良さそうです👉 https://zenn.dev/link/comments/7a470dc767d8c8 StableDiffusionがどんなものかは、深津さんの記事が参考になります。 1. 環境 Razer Blade (RTX 2070, VRAM 8GB) CUDA Toolk
後編 プログラミングを学ぼうと思い立つ行列はVBAなんかじゃ無理っぽいし、なんかプログラミング言語を覚えようと決める。 なんでも、統計やるならRという言語がいいらしい。 最近じゃPythonというのも人気らしい。 とりあえず両方試そうということで、RのためにRとRstudioをインストール。 Pythonはanaconda プログラミングはなんかを製作する目標がないと挫折すると聞いていたので。 深層学習というものが流行ってると聞いて、ちょっと触りを勉強したくなる。 「Excelでわかるディープラーニング超入門」 https://www.amazon.co.jp/Excel%E3%81%A7%E3%82%8F%E3%81%8B%E3%82%8B%E3%83%87%E3%82%A3%E3%83%BC%E3%83%97%E3%83%A9%E3%83%BC%E3%83%8B%E3%83%B3%E3
「PyScript」はJavaScriptのようにPythonコードをHTML内に記述して実行可能、Anacondaがオープンソースで公開
「PyScript」はJavaScriptのようにPythonコードをHTML内に記述して実行可能、Anacondaがオープンソースで公開 Pythonの主要なディストリビューション「Anaconda」などを提供しているAnaconda社は、HTML文書の中にJavaScriptと同じようにPythonのコードを記述し、実行可能にする「PyScript」をオープンソースで公開しました。 Did you hear the news from PyCon!? We are thrilled to introduce PyScript, a framework that allows users to create rich Python applications IN THE BROWSER using a mix of Python with standard HTML! Head to h
画像生成AI「Stable Diffusion」をWindows環境にボタン1つでインストール可能＆GUIで操作できる「NMKD Stable Diffusion GUI」がついに登場
入力した文字列から高精度な画像を生成できるAI・Stable Diffusionは2022年8月に無料で一般公開され、「基本的に出力した画像は商用・非商用を問わず、自由に利用できる」というライセンスで大きな話題となりました。しかし、Stable DiffusionをローカルなWindows環境に導入して使うには、PythonやAnacondaなどを扱える技術や知識が求められるため、初心者にとっては敷居がやや高いといえます。そんなStable Diffusionを一発でWindows環境にインストール可能で、さらにシェルでのコマンド入力ではなくグラフィックユーザーインターフェース(GUI)で画像生成の指示も簡単にできる「NMKD Stable Diffusion GUI」が公開されました。 My easy-to-install Windows GUI for Stable Diffusion
哲学者の東浩紀さんと思想史と近代科学史(特にコンピュータ史)の本を一緒に書いてみようという企画が今年から立ち上がった。 すると東さんがある日の生放送で、「しかし俺も最低限プログラムくらいかける必要があるんじゃないか。しかし最低限のプログラムとは何か」と言っていたところ、シラスの桂さんが「エラトステネスの篩ふるいとかですかねえ」と言っていて、もうエラトステネスと聞いたら黙ってはいられない吾輩が怒涛の勢いで生放送したところ、東さんが一番乗りで入ってきてくれたのでその場でライブコーディングしながらプログラムの書き方を簡単に教えることにした。 https://shirasu.io/t/zelpm/c/shi3zlab/p/20240105163405 プログラミング言語習得のコツプログラミング言語は、言語であるため、マニュアルを頭からお尻まで読んで内容を暗記するよりも、「これってどうやんの?」「こ
業務でなくてはならないツールExcel。Excelのマクロを使って自動化することもできるが、Pythonを使うとより幅広いライブラリと併用できて非常に便利だ。とは言え、PythonでExcelを自動操縦する場合、「openpyxl」を使う方法と「pywin32」を使う方法の二台手法がある。ここでは、そのメリット・デメリットを比較してみよう。 Pythonの二大Excelライブラリを比較してみよう 「openpyxl」「pywin32」のどちらが良いのか？ PythonでExcelを操作して、業務の自動化をする場合、「openpyxl」を使う方法と「pywin32」を使う方法の二大手法がある。どちらにもメリットがある。 まず、どちらのライブラリを使う場合も、基本的なExcelのシートの内容を読み書きすることができる。しかも、双方ともオープンソースであり無料のライブラリだ。しかし、決定的に異な
はじめに Pythonの環境構築は僕にとって、戦争でした。 如何せんツールが多すぎます。 インターネットで調べるとざっと挙げるだけで 元から入っているpython3 元から入っているpython3 + venv pyenv pyenv + pyenv-virtualenv pyenv + venv anaconda docker + python docker + anaconda ... 以上のような組み合わせが山程出てきます。 よく最近のゲームのキャラメイキングの 「組み合わせは無限大！」を思い出します。 この記事では、それぞれの環境構築の概念をイラスト画像でまとめようと思います。 環境構築のコマンド自体は取り扱わないためご注意下さい。 追記 2019/11/07 本記事はPython初心者による「概念のみ」に関する説明のため、ベストな環境構築や、すべて正確かつ詳細な内容は含んでないで
以下に示すのは、開発者環境を設定し、Windows で Python を使用し、ファイル システム操作のスクリプト作成と自動化を開始するためのステップ バイ ステップ ガイドです。 Note この記事では、Python の便利なライブラリの一部を使用するように環境をセットアップする方法について説明します。これにより、ファイル システムの検索、インターネットへのアクセス、ファイルの種類の解析など、Windows 中心のアプローチからプラットフォーム間でタスクを自動化することができます。 Windows 固有の操作の場合は、Python 用の C 互換の外部関数ライブラリである ctypes、Windows レジストリ API を Python に公開する機能である winreg、Python から Windows ランタイム API にアクセスできるようにする Python/WinRT を確
Pythonのコードを1行書くだけで誰でも手軽にインタラクティブな地図アプリを作れるLeafmapを使ってみよう - Qiita
※公式サイトのデモ映像です。これがPythonのコード1行で作れます。 https://leafmap.org/ データ確認ってめんどくさくないですか GISデータってよくわからないな、なんだそれ。っていう方がいきなり上司に「いろんなデータが蓄積されてきたから、地図上に可視化して分析してみよう。」とか「誰でも手軽に閲覧できるように、Web上にサイトを構築しよう」なんていう話をされたら多分キレますよね？ GISデータを日常的に利用していてもそれはさほど変わらず… GISデータを取り扱う中で、主にデータの前処理などを行っている方は同じような悩みを抱えているんじゃないかなと思うんですが、データの可視化ってめんどくないですか？ いや、QGISとかデスクトップGISでデータ処理しているならサクッと見れちゃいますし、実際頻繁に使うんですが、サーバーで定期的に行うバッチ処理のためにローカルでプログラミン
ついに「CLIP STUDIO PAINT(クリスタ)」で画像生成AI「Stable Diffusion」を動かすプラグインが登場
マンガやイラストをデジタル上で作画する際に使用されるお絵描きソフトウェアの「CLIP STUDIO PAINT(クリスタ)」上で、テキストから画像を自動で生成してしまうAI「Stable Diffusion」を動かすことが可能なプラグイン「NekoDraw」が登場しました。NekoDrawはGitHub上で公開されており、テキストから画像を生成する「text2img」と、画像からより高精細な画像を生成する「img2img」の両方に対応しています。 GitHub - mika-f/nekodraw: NekoDraw: CLIP STUDIO PAINT plugin for executing Stable Diffusion txt2img and img2img processor. https://github.com/mika-f/nekodraw 「Stable Diffusio
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて！という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから！ Google Colabの知っておくべき
Python初心者企業の財務分析をしたいけど、なにをしたらいいのかわからないよ。。。 この記事は10分程で読むことができます！ この記事では、Python初心者でもできるように、財務諸表分析をレクチャーしていきます！ 本記事は、全8回に渡って掲載される「pythonによる財務分析‐バフェットコードを用いて完全レクチャー！」シリーズの第1回になります！ このシリーズを読むとわかることPython初心者でも、数百数千の企業の財務データを分析出来るようになる！ 最終的に重回帰分析といった機械学習的手法もマスターできる！ 重回帰分析をマスターすれば、株式投資のリターン予測を行う事が出来るようになり、プログラミングだけでなく投資のスキルも磨けます！ また、ファイナンス系以外の幅広い分野の研究機関でも、この分析手法を利用した論文も多々ある為、教養としても覚えて損はないです！ 是非、全8回を読みPyth
ゼロからはじめるPython(62) PythonでExcelを自動操縦しよう - ExcelファイルをPDFに変換
今回はPythonを利用して、Excelを自動操縦する方法を紹介する。PythonからExcelを自動操縦できれば、事務作業の効率化に大いに役立つだろう。その一例としてExcelファイルをPDFに変換するプログラムを紹介する。 PythonでExcelを操作してPDFを出力した VBAよりもPythonで自動化しよう ところで、マルチプラットフォーム対応のプログラミング言語Pythonだが今回はWindows専用だ。というのも、今回はWindowsに備わっているCOM(ActiveX)機能を使うからだ。もともとExcelには処理を自動化するのためにVBAというマクロ機能が備わっているが、外部のプログラミング言語から操作できるよう考慮されている。そのため、このCOM機能を利用することでPythonからもExcelを自動操縦できるようになっている。VBAよりも柔軟で先進的なライブラリを多数備え
【連載】世界一わかりみが深いコンテナ & Docker入門 〜 その6:Dockerのファイルシステムってどうなってるの？ 〜 | SIOS Tech. Lab
説明だけではわかりにくいと思いますし、私も最初この説明だけでは全くわかりませんでした。なので、実践してみたいと思います。以下のような構成をもとに、実際にOverlayFSを構築します。upperdirはここでは使いませんし、一旦その存在を忘れてもらってOKです。OverlayFSはややこしいので、順を追って説明していきます。 lowerdirに相当する2つのディレクトリ「lower01」「lower02」、upperdirに相当するディレクトリ「upper」、mergeddirに相当するディレクトリ「merged」 を作成します。 期待する動きとしては、lower01ディレクトリにあるhoge.txt(中身はhogeと書いてある)と、lower02ディレクトリにあるfuga.txt(中身はfugaと書いてある)の両方のファイルがmergedディレクトリに表示されるというものです。upper
画像生成AI「Stable Diffusion」でプロンプト・呪文やパラメーターを変えるとどういう差が出るか一目でわかる「Prompt matrix」と「X/Y plot」を「Stable Diffusion web UI(AUTOMATIC1111版)」で使う方法まとめ
画像生成AI・Stable Diffusionを導入するにはNVIDIA製GPUを搭載したPCのほかにPythonやAnacondaなどの知識が必要で、ローカル環境に導入するには少し敷居が高いところがありました。しかし、2022年8月に一般公開されて以降、多くの開発者によって誰でも簡単にStable Diffusionをローカル環境に導入可能でかつGUIで操作できるツールが次々と開発されています。「Stable Diffusion web UI(AUTOMATIC1111版)」はその中でも他のUIには搭載されていない機能も盛り込まれた決定版とも言えるツールで、その中でも特に画像生成にお役立ちな機能である「Prompt matrix」と「X/Y plot」を実際に使ってみました。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Di
理系大学生は研究でもJupyterNotebook(Anaconda)ではなくVScodeを使おう+Python環境構築 - Qiita
はじめに 理系大学生諸君は、実験で得たデータの解析やグラフ作成にPythonを使っているでしょうか? 私の所属する研究室では、PythonまたはNgraphでグラフを作ることが推奨されています。 特定のグラフ作成ソフトと比べてPythonでグラフを作るメリットというのはいくつかありますが、各設定項目をテキストデータとして確認ができる(明確に記述されている)ところが一番のメリットだと思います。そんなPythonですが、Anacondaをインストールして、その流れでJupyter Notebookを使って解析する人が多いと思いますが、VScodeを使って解析したほうが良いと考える理由と、実例を上げていこうと思います。 Jupyter Notebook(Anaconda)は開発環境とそのエディタであり、VScodeはエディターであるため、直接的な比較は本来できないのですが、やんわりと流してくださ
はじめに Pythonは今最も習得希望人口の多い言語である。 それはヘビーなデベロッパーからライトなオフィスコンピューティングまで多岐にわたる。 おそらく「Pythonを使えば○○ができる」と喧伝されているのを見聞きしているからだろう。 この記事ではそんなPythonを一から導入し開発できるようにすることを主にする。 OSのセンテイ Pythonの開発でもっとも優れたOSはWindowsである。 単純にPython.orgの公式から対象のバージョンをいくつか選んでダウンロードして適当にインストールすればそれですべてを始められるので、MacやLinuxのようにシステムデフォルトと別verとのインストール共存やパッケージ管理ツールを意識する必要はない。 パスは通るし、複数のバージョンを同時に入れてもビルドバージョンですら分けて共存できるので簡単。 処理系 Pythonはインタプリタ界の変態言語
本記事は2021年9月27日に公開したPython security best practices cheat sheetを日本語化した内容です。 2019年、Snykは最初のPythonチートシートをリリースしました。それ以来、Pythonのセキュリティの多くの側面が変化しています。開発者向けセキュリティ企業として学んだこと、そしてPython特有のベストプラクティスに基づいて、Pythonのコードを安全に保つために、この最新のチートシートをまとめました。 【チートシート】2021年版Pythonセキュリティベストプラクティス 本記事では、下記に関するPythonのセキュリティに関するヒントを紹介します。 外部データを常にサニタイズする コードをスキャンする パッケージのダウンロードに注意 依存先パッケージのライセンスを確認する システム標準版のPythonを使用しない Pythonの仮
機械学習なdockerfileを書くときに気をつけとくと良いこと - nykergoto’s blog
みなさん機械学習系の環境構築はどうやってますか? 僕は最近は Docker を使った管理を行っています。 特に師匠も居なかったので、ぐぐったり人のイメージを見たり手探りで docker をつかいつかいしている中で、最初からやっとけばよかったなーということがいくつかあるのでメモとして残しておきます。 大きく2つです。 キャッシュは消す テストを書く キャッシュは消す ライブラリをいろいろと install すると大抵の場合ダウンロードしたファイルを保存されている場合が多いです。何かのタイミングで再びそのライブラリをインストールする際にはダウンロードしたファイルを使って、素早くインストールすることができます (この仕組みがキャッシュです)。 キャッシュがあると容量が重くなるという欠点があります。重たいイメージは pull に単に時間がかかりますから、システムとしてデプロイする時にトラフィックが
M1搭載Macの第一印象と、迷っている人に贈る買い時かどうかの基準｜楠 正憲（Japan Digital Design CTO）
発売日に予約したMacBook Airが昨日やっと届いたので、ぼちぼち触ってるんだけど、周りに話を聞くと迷ってる人がいるようなので、買うまでに悩んだことや、この1日ちょっと触って分かったことを書き留めておく。 どのモデルを選ぶか悩んだところ今回発表されたのはMac mini、MacBook Air 13インチ、MacBook Pro 13インチの3機種。うちの場合は外部モニターを使える机が足りていないのでMac miniは却下。モニターとキーボードが遊んでいれば、安いし評価環境としては最も素敵な選択肢じゃないかとも思うんだけど。 今回はMacBook ProとMacBook Air、Mac miniともチップは同じ、重さの違いは100gちょっとしかない。Proだと冷却ファンがついていて、ディスプレイが500nitと400nitのAirよりも明るく、タッチバーがついて、電池の容量が少し大きく
画像をテキストで置き換えるいわゆるアスキーアートを自動生成します。変換したい画像と使用する文字列を与えると、画像の濃いところは画数の多い字で薄いところは画数の少ない字で置き換えることで濃淡を表現します。ただし画数情報はわからないので、文字列の字を一文字ずつ画像に変換して濃さ(輝度)を測定して画数の代わりに使用しています。 環境 windows10 home Anaconda 3/ jupyter notebook 5.6.0 Python 3.7.0 Pillow 5.2.0 準備 画像ファイルはフリー写真素材ぱくたそからダウンロードさせていただき、jupyter notebookファイル(***.ipynb)と同じディレクトリに保存しました(使用した画像サイズは800x1195)。 model.jpg 置き換える文字列は小学校1年生で習う漢字を用いました。また空白の描画のため全角スペース
はじめに もっとミニマルで簡単なポータブルな環境を! 自分自身の研究のための環境構築についてこれまで二本の記事を書いてきました. これらの記事から二年ほどたち, いくつかの点において不満点が出てきました. 特に, GCPや自宅のサーバー上でリモートで作業することが多くなってきたので, よりミニマルでポータブルな環境が必要になりました. 以下では, 現時点で最小限の努力で環境を再現ができることを目標にしたDockerベースのGitHubレポジトリのテンプレートとその使い方を紹介します. このテンプレートを用いて作られた環境は, 新たなコンピュータ上で最短4ステップで環境を再現できるようになります. git clone VSCodeの"Open in Remote Containers" renv::restore() dvc pull この環境とセットアップはこのレポジトリにテンプレートとし
2021/10/22追記：最新版は下記記事になります！こちらもご一読くださいませ。 tech-blog.abeja.asia どうも、Tech Blog編集長(自称)の緒方(@conta_)です。 よくエンジニアの方にご質問いただく ABEJAってよく聞くけど、実際どんなことやってるのかよくわからない という点をクリアにするために、事業内容と技術視点でのABEJAの取り組みを紹介したいと思います。 ABEJAに興味のある方や、未来の一緒に働くメンバーに読んでいただけると嬉しいです！ 割とAIコンサルの会社と思われているらしいので、ちゃんとプロダクト作ってますよ！ということを伝えていきたい ABEJAの事業紹介 ABEJAは2012年から約7年間、機械学習・ネットワークやIoTデバイスを活用したプロダクトの研究・開発・運用を行っています。 様々な産業・業種へ機械学習の適用・運用を培ってきたナ
鈴木たかのり（@takanory）です。今月の「Python Monthly Topics」では、Webブラウザ上でPythonが動作するPyScriptについて、内部構造なども含めて詳しく解説したいと思います。 PyScript公式サイト（https://pyscript.net/） Warning：PyScriptは現在非常に活発に開発が進んでいるプロダクトのため、将来的にこの記事のサンプルコードが動かなくなる可能性があります。記事執筆時点では最新バージョンであるPyScript 2023.03.1で動作確認しています。うまく動かない場合はPyScriptの公式ドキュメントなどを参照してみてください。 PyScript - PyScript documentation PyScriptとは？ PyScriptは公式サイトに「Run Python in Your HTML」と書いてあると
「Python」は現在、最も人気のあるプログラミング言語の1つである。Webアプリの開発から、近年需要が伸びているデータ分析や機械学習、深層学習といった幅広い分野で利用されている。コードが分かりやすく、読みやすいため、プログラミング知識が少ない人でも扱いやすい。そのため、企業や学生の間でも利用が増えている。そのPythonを、データの整理、操作、分析の定番ツールであるMicrosoftの「Excel」で簡単に扱えるようになる。 米Microsoftは8月22日（現地時間）、開発プレビュープログラム「Microsoft 365 Insiders」のベータ・チャネルで「Python in Excel」のプレビューテストを開始した。まずはWindows用Excel（build 16818)からロールアウトし、他のプラットフォームにも拡大する予定。 セットアップや追加のインストールは不要。Pyth
Announcing Python in Excel: Combining the power of Python and the flexibility of Excel.
September Update Python in Excel is now available to all Enterprise, Business, Education, and Family and Personal users running Beta Channel on Windows. This feature will roll out to Excel for Windows first, starting with build 16.0.16818.20000, and then to the other platforms at a later date. Since its inception, Microsoft Excel has changed how people organize, analyze, and visualize their data,
Chrome開発チームがSQLiteチームとWebAssembly版SQLiteを開発中。Webブラウザ上からのファイル書き込みで永続化も可能。Web SQL APIの代替として
Chrome開発チームがSQLiteチームとWebAssembly版SQLiteを開発中。Webブラウザ上からのファイル書き込みで永続化も可能。Web SQL APIの代替として Google Chromeの開発チームは、すでに非推奨となっているWeb標準のWeb SQL Database APIをChromeから削除、その代替機能としてSQLite開発チームと協力してWebAssembly版のSQLiteを開発し、提供する予定であることを明らかにしました。 Chrome is deprecating and eventually removing Web SQL! Read @tomayac’s post that details all the steps for getting there. [We are here] Chrome 105 shows a deprecation w
AIでボーカル・ドラムを取り出す、無料音声分離「Demucs」を試す（Impress Watch） - Yahoo!ニュース
ステレオミックスされたオーディオからボーカルを抽出したり、ベースを抽出するなど、任意の音を取り出したり消すということは、昔からいろいろな人がさまざまな方法でトライしてきた、ある意味、夢のテクニックだ。それが近年、AIを用いた手法により、ほぼ完ぺきな形で実現できるようになってきており、さまざまな企業が製品化を行っている。 【この記事に関する別の画像を見る】 そうした中、オープンソースのフリーウェアでもかなり優秀なものが登場している。「Demucs」というソフトがそれだ。以前からPythonで実行するタイプのものは出ていたようだが、現在はWindowsやMacで普通に起動できるソフトも登場しており、誰でも手軽に使えるようになっている。実際試してみたので、どんなものなのか紹介してみたい。 ■ AI技術の進化で、大きく変わった夢の“音声分離” “ステレオにミックスされた音からボーカルを消してカラオ
Pythonをちゃんと学びたいなら
まずは10分試してみようPythonの無言ブクマをよく見かけるのでネットワークに続いてちょっと書いてみることにしました。 東大・京大のコンテンツが初心者向けでおススメという言説を見かけるのだけど、これは本当だろうか。私は人を選ぶのではないかと考えています。 あれは確かによくまとまっているし、初心者向けに制作されてはいるのだとは思うのですが「大学の学生に向けた授業で用いる」内容だということを失念して手放しで称賛しているきらいがあるなと。 私としてはあの資料は以下の前提で用意されていると考えています。 東大・京大に合格できる高い理解力という下地を備えている講義の資料であり講師が口頭で補足や注釈を行う前提である とはいえ、資料を読んだ時の理解度など人それぞれですから、私が勝手にそう思っているだけなのかもしれません。 あの資料が本当に初学者である自分に向いた資料であるのか。挫折せずに続けられそうか
機械学習プロジェクトでは python を始めとした言語 + それに付随したライブラリを使います。 僕も python 触りたての頃はローカルマシン上にひとつ python 環境を作り、必要なライブラリをインストールして使っていました。環境の分離ということはあまり意識しておらず、やったとしてもプロジェクトごとに anaconda や pyenv, venv などで個別環境を作って切り分けるレベルでした。 しかし上記の方法だと困ったことが起ることがあります。例えば… global な環境が壊れてしまってすべて壊れる。 これは各環境が global な環境に依存しているために起こります。 python 以外の変更で環境は突如として壊れます。例えば brew install hoge したら Mecab が使えなくなっちゃったとかはあるあるだと思います >_< linux / Mac / Win
結構前にPandasやDaskなどよりも大分高速と話題になっていたPythonのVaexライブラリについて、仕事で利用していきそうな気配がしているので事前にしっかり把握しておくため、色々調べてみました。 どんなライブラリなのか Pandasと同じように行列のデータフレームなどを扱うことのできるPythonライブラリです。 Pandasと比較して膨大なデータの読み込みや計算などを高速に行えます（数十倍～数百倍といったレベルで）。 計算上のメモリ効率がとても良く、無駄の少ない実装になっています。 Daskのように計算が遅延評価されたりと、通常はメモリに乗りきらないデータでも扱うことができます。 Daskのように並列処理で計算を行ってくれます。 Pandasと比較的似たインターフェイスで扱うことができます。 この記事で触れること 主に以下のVaexのトピックに関して本記事で触れます。 インストー
「Pythonによる医療データ分析入門」は分析100本ノック後に必読な探索的データサイエンス本だった - Lean Baseball
今年読んだデータサイエンスおよびPython本の中でも最良の一冊でした. ホントに待ち望んでいた一冊でした. 実は密かに楽しみにしてた（待ち望んでいた）*1, 「Pythonによる医療データ分析入門」, 一通り読ませていただきましたので, Pythonによる医療データ分析入門の感想 分析100本ノック後にやると良いこと 探索的データサイエンスはデータサイエンスに関わる人すべてに関係する準備運動であり入り口であること 的な話を綴りたいと思います. なお, 最初に断っておくと, 新型コロナウイルス含む, 感染症とか流行病の話は一切触れておりません！ このエントリーは純粋に「Pythonを使ったデータサイエンス」を志向した方向けのエントリーとなります. 新型コロナウイルスだの感染症関連だのを期待されている・そう思った方はぜひ他のページなどを見ていただけると幸いです. このエントリーのダイジェスト
Pythonのコードを改善するためのツールについて一通り試してみました。各ツールのインストール方法や使い方については Pythonのスタイルガイドとそれを守るための各種Lint・解析ツール5種まとめ！ - Sider Blog に詳細にまとまっているのでおすすめです。 サンプルコード 以下のサンプルコードを対象に、各ツールの出力を確かめてみます。 import time import sys import fractions def func1(varA,varB): '''return sum of a and b''' varC = 42 return (varA + varB) print(func1(fractions.Fraction(1, 2), fractions.Fraction(1, 3))) 3 + 5 sys.exit(0) このスクリプトをsample.pyという名
最近の新たな研究により、オオアナコンダはヒトとチンパンジーの間よりも遺伝的差異が大きい2種に分けられることが明らかになった。写真はエクアドルのヤスニ国立公園で撮影された、今回新種とされたキタオオアナコンダ（Eunectes akayima）。頭にヒツジバエ科のハエが止まっている。（PHOTOGRAPH BY KARINE AIGNER/NATUREPL.COM） 世界で最も重いヘビが大きな秘密を隠していたことが明らかになった。2024年2月16日付けで学術誌「MDPI Diversity」に掲載された論文によれば、南米にすむオオアナコンダ（Eunectes murinus、英名Green Anaconda）は、実際には遺伝的に異なる2つの種に分けられることがわかった。両種の見た目は非常に似ているため、専門家でさえ区別できないほどだ。 「遺伝的には、違いは非常に大きいです」と、ナショナル ジ
インフラ一筋のおじさんが画像生成AI“Stable-Diffusion”を読み込んでみる件 | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 なんだかAIって流行ってますよねー こんにちわ。九州支社で細々と遊んで検証業務にいそしんでいるとみーです。 2022年3月から、どーしても「名前だけ知ってる状態」ってのにもやもやしていて、Deeplearningに手を付けたものの、あまりに内容が奥深すぎて沼にドはまりして周囲に「たすけてぇ、たすけてぇ」って叫んでいる素敵な日々を過ごしています。 取りあえず画像処理としてディープフェイク、NLP(Natural Language Processing：自然言語処理)として簡易チャットボ
Pythonで地理空間情報（GIS）やるために必要なパッケージ全部入りの「geospatial」が便利すぎた - Qiita
Mac民にとってはめちゃくちゃ朗報かも GISをやる人ならわかってくれると思うんですが、MacでPythonを使ってGIS（主にgeopandasなど）をやる時依存関係の解決にかかる時間ヤバすぎ問題っていうのがありまして… 主にGDLAとかGDALとかがかなりやばくて偉大なる先人様のお知恵を拝借して鼻血出しながらなんとかかんとか実行環境を整えていました。 が！！！！！もうそんな必要はないのかもしれませんね！！！！！！ 早速インストール Anacondaがインストールされている前提ですので、こちらの記事を参考にするなどしてインストールお願いします。 MacでGISデータ分析を始めるためにサクッとAnacondaとjupyter labをインストールしてみる で、インストールはこれだけ。 - python >=3.7 - black-jupyter - bump2version - carto
【Mac大手術】ぐちゃぐちゃだったPythonの環境構築をやり直した話【さよならAnaconda】 - Qiita
「環境構築無しでプログラミングを始められる！」 この言葉に甘えてはや2年ほどが経っただろうか。そのおかげで僕のPCの環境はぐちゃぐちゃだった。 condaとpipを適当に使い、よくわからないから仮想環境も構築せずに、importしてなかったら適当にpip installして耐え忍んでいた。 いつかはやらないとなー。とか思ってたけど、ついに重い腰を上げて手術することにした。 理由は三つ。 ・ Webアプリ開発にも興味が出てきて、環境のことを知らないといけなくなった ・ VSCodeで謎にシャットダウンされ、Pythonファイルが開けなくなりコードが飛んだ ・ Jupyter Notebookで、突如挙動不審になり、言語が本当は一つしか表示されないはずがPythonが二つ出た まあ正直2つ目と3つ目はVSCodeのバグかもしれないが、環境のせいかもしれないし、いつかは知らないといけない からと
ivy が面白い
ivyとはなにか 機械学習の統一を目指すフレームワークです。現在、JAX, TensorFlow, PyTorch, Numpy をサポートしています。JAXはNumpy互換なので、実質的に Tensorflow&Pytorch の共通APIのフレームワーク(かなり乱暴なまとめ方)です。 研究のペーパーでよく見るのはPytorchですが、産業ではTensorflowがよく使われるようです。 下の表にもありますが、開発者の設計思想を読むと「書き換えの手間」が想像以上に労力を必要とする文面が多く見受けられます。 余談で手元にTensorflowとPytorchの本が2冊あるのですが、実装に互換性があればそういう悩みが減って深層学習の学習が身近になるかもしれないですね。 特に初学者は「最初にどの山に登るのがいいのか」で迷うと思うので。 ivy登場以前から、学習済みモデルを異なるプラットフォームで
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
音楽データからボーカル・ドラム・ベースの音を個別に抽出できる「spleeter」
話題のStable Diffusionがオープンソース化されたのでローカルで動かしてみる
後編 プログラミングを学ぼうと思い立つ 行列はVBAなんかじゃ無理っぽいし、..
プログラミングの超基本的な考え方をド文系の人に説明した動画｜shi3z
ゼロからはじめるPython(65) PythonでExcelを操作する二大手法を比較しよう
pythonの環境構築戦争にイラストで終止符をどうやら打てない - Qiita
スクリプト作成と自動化のための Python の使用
【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
Pythonによる財務分析① バフェットコードをつかって完全レクチャー！ (全8回) | DeFi Labo
Qiitaでたぶんもっとも参考にしてはいけないPythonの導入方法 - Qiita
Python開発者のためのセキュアコーディングのコツ10個 - Qiita
アスキーアートを自動生成する - Pythonでいろいろやってみる
VSCode + Dockerでよりミニマルでポータブルな研究環境を
ABEJAの技術スタックを公開します (2019年11月版) - ABEJA Tech Blog
WebブラウザでPythonが動作する！PyScriptの詳解 | gihyo.jp
「Excel」にPythonを統合、データ分析と可視化のスムーズなワークフローを実現
機械学習のための環境構築とその管理 - nykergoto’s blog
速いと噂のPythonのVaexについて詳しく調べてみた。 - Qiita
Pythonのコード改善のためのツール5つを試してみた - minus9d's diary
オオアナコンダの新種を発見、“世界最重のヘビ”に衝撃の事実