Pythonプログラミング入門 — Pythonプログラミング入門 documentation
Pythonプログラミング入門¶ ▲で始まる項目は授業では扱いません。興味にしたがって学習してください。 ノートブック全体に▲が付いているものもありますので注意してください。
Pythonプログラミング入門¶ ▲で始まる項目は授業では扱いません。興味にしたがって学習してください。 ノートブック全体に▲が付いているものもありますので注意してください。
2022年8月23日に無料公開された画像生成AI「Stable Diffusion」は、「ボールで遊ぶ猫」「森の中を走る犬」といった指示を与えると指示通りの画像を出力してくれます。Stable Diffusionはデモページで画像生成を試せる他、NVIDIA製GPUを搭載したマシンを用いてローカル環境で実行することも可能です。しかし、デモページは待ち時間が長く、NVIDIA製GPUは所持していない人も多いはず。Googleが提供しているPython実行環境「Colaboratory」を利用すれば、NVIDIA製GPUを所持していなくともStable Diffusionを待ち時間なしで実行する環境を無料で整えられるので、実際に環境を構築する手順や画像を生成する手順を詳しくまとめてみました。 Stable Diffusion with 🧨 Diffusers https://huggingf
新世紀エヴァンゲリオンにでてくる超AI、MAGIシステムを作ってみたメモ。 OpenAI社のGPT3を使って、三頭制合議型のAIシステムを組んでみた。 MAGIシステムとは？MAGIは、アニメ「新世紀エヴァンゲリオン」にでてくる超AI。 このAIの面白い特徴は、性格の異なる3体のAIが、それぞれ独立に見解をだし、それを集約して1つの結論をだすという合議制のシステムです。 キリストの祝福を告げた三賢者にちなみ「メルキオール」、「バルタザール」、「カスパー」という3つのAIが、それぞれ開発者である赤城博士の「科学者」、「母」、「女」として側面をから答えを出します。 MAGI GPT3の実装最近話題のChat GPTの凄さをみるに、「MAGIシステム」現実に作れるのでは？と思って、Google Colabで実装してみました。 1つの質問に対し、GPT3を4回ぶんまわすシステム図のように、1つの質
HなStable Diffusion
前提として、Stable Diffusionでエロ画像を出そうとしてもsafety checkerという機能が入っており、センシティブな画像を出そうとすると黒塗りになる。 (Stable DiffusionのSaaSであるDream Studioはぼかしだが、多分別の技術) https://github.com/huggingface/diffusers/releases/tag/v0.2.3 そこでGoogle Colabでちゃちゃっと環境を作り、なおかつNSFWを回避する。 1. 下記のリンクでノートを開く https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb 2. 下記の箇所を書き換える vvvvvvvvvvvvvvvvvv f
このcolabo叩きの空気が本当に怖い（追記４あり）
はてなブックマーク内のこの異様なcolabo（=仁籐）叩き、おかしいと思うんですが…。 はてブはもうちょっと中庸なコメントがあつまる場だとおもってたのに、これ関係の人気コメント 上位全部「そうだそうだ colaboが悪い」みたいにみえてしまって怖い。 （※はてブは中庸→追記3に書いたけど そんなことないね… 異常に一個人へのヘイトが集まってざわざわすることは昔からあったね…） 私は一時期フェミニズムに興味を持って、女性が割りを食っている社会に物申していきたいと思ってたくらいだけれど、最近のツイフェミ（っていいかたあってるのかな。仁籐さん・石川さん界隈のこと）の皆さんはとても苦手。 自分の非を認められないこと・not for meを排除させようとするなど 女性から見ても「やめてー」って思う。 室井さんとやりあった時のも見たけど、「女性だけ」を大事にするのではなく、男性も大事にしていこうよ…。
ゼロからのPython入門講座 - python.jp
このPython入門講座では、プログラミング経験の未経験者・初心者を対象に、ブラウザからPythonを実行できるサービスGoogle Colaboratory(Colab)を使って、Pythonの基礎をチュートリアル形式で解説します。 Colab は、Google社が提供する、Webブラウザからプログラミング言語Pythonを実行できるサービスです。Colabは無料で使えますし、めんどうな環境設定なしに、いきなりプログラミングを体験できますから、これからプログラミングをやってみたい、という方にはおすすめの学習環境です。 この講座では、プログラミング未経験者を対象に、Pythonプログラミングに必要な最低限な操作方法と、基礎知識を覚えてもらうことを目標にしています。この講座でかんたんにプログラミングの概要を学び、それから一般的なPythonの入門書に取り組むと、学習がスムーズに進むのではない
2. ライセンスの確認以下のモデルカードにアクセスして、ライセンスを確認し、「Access Repository」を押し、「Hugging Face」にログインして（アカウントがない場合は作成）、同意します。 4. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」に「GPU」を選択。 (2) 「Stable Diffusion」のインストール。 # パッケージのインストール !pip install diffusers==0.3.0 transformers scipy ftfy(3) トークン変数の準備。 以下の「<HugginFace Hubのトークン>」の部分に、先程取得したHuggingFace Hubのトークンをコピー&ペーストします。 # トークン変数の準備 YOUR_TOKEN="<H
自分がつかってる、Google Colab用StableDiffusion環境を公開しました。 海外のWEB UIのが重いのと、やりたいことが微妙に違うので自分なりに作った。公式のDiffuserを使わないので軽いです。無課金のcolabでも動くのではないかと思います。 使い方GitHubページの「Open in Colab」ボタンをおして、colabで開く。 このページ上部のメニューで、「ランタイム > ランタイムのタイプを変更」からGPUを有効化を確認 HuggingFaceでアカウントを作成 StableDiffusionのモデルページで、「利用規約」に合意する。 モデルファイル sd-v1-4.ckpt をダウンロード モデルファイルを Google Drive等にアップロード 下のセル 「1-1. Google Driveとの接続」を実行 下のセル 「1-2. のフォーム」に、G
Visual Studio CodeがPython対応強化。Jupyter Notebooksネイティブ編集、Pythonファイルの直接実行など
Visual Studio CodeがPython対応強化。Jupyter Notebooksネイティブ編集、Pythonファイルの直接実行など オープンソースのコードエディタ「Visual Studio Code」が10月のアップデートでPython関連機能の強化などを行いました。機能強化はおもにPython拡張機能を通じて提供されます。 The October release of the #Python extension for @code is here! Try out native editing of #JupyterNotebook files , a button to run Python files in the terminal ▶, and improvements to the Python Language Server. Learn more on our
画像生成AI「Stable Diffusion」で崩れがちな顔をきれいにできる「GFPGAN」を簡単に使える「Stable Diffusion web UI(AUTOMATIC1111版)」の基本的な使い方
「Stable Diffusion web UI(AUTOMATIC1111版)」は他のUIには搭載されていない機能なども盛り込んだ、いわば決定版の「Stable Diffusion」のUIといえますが、それだけにやれることが多いので、どこをどう触ればよいか悩むこともあるはず。 この記事ではまず、「Stable Diffusion web UI(AUTOMATIC111版)」のうち、テキストから画像を生成する「txt2img」の基本的な使い方をまとめています。 ◆目次 ・1：最も簡単な使い方 ・2：「txt2img」タブ内の各項目はどういう意味なのか？ Stable Diffusion web UI(AUTOMATIC1111版)は画像生成AI「Stable Diffusion」を使うためのUIの1つ。Stable Diffusionの利用にはNVIDIA製GPUが必要で、該当するPCにS
LGBTの当事者が職場での困難について語っている最中に森奈津子先生が吹き出してニヤニヤしている様子がバッチリ中継されていました。 LGBT法連合会の神谷事務局長が、職場でカミングアウトできないLGBT当事者の直面する困難について語ると、ウケたのかニヤニヤし始める森奈津子。 LGBTの自殺・鬱対策の話に移っても、笑いをこらえきれない様子。 #国会中継 pic.twitter.com/3vPR2HDGXw — そうすけ (@no_war_sosuke) June 15, 2023
虐待や性暴力を受けるなどした女性を支援する東京都の委託事業をめぐり、都監査委員が、受託団体の経費計上に不適切な点があるなどとして都に2月末までの再調査を勧告した。4日、明らかにした。都への住民監査請求で「請求人の主張に理由がある」と認められたのは2016年8月以来。 都によると、受託団体は一般社団法人「Colabo」。監査結果の通知は先月28日付。監査結果によると、監査請求は、宿泊の費用の過大計上や、受託に関係なく生じる税理士らの報酬を委託料に含めた点などが不適切とし、委託料返還などを求めたもの。 監査委員は21年度の事業費について調べた。宿泊支援費については、帳簿記録を調べると実際の費用を経費に計上していると確認できたとして、「（請求人の指摘は）妥当でない」と主張を退けた。また、車両関連費、旅費交通費、会議費、医療費などに関する指摘もあったが、「妥当でない」とした。 一方、税理士らの報酬
【保存版】環境構築不要！Google Colaboratoryで始める「ゼロから作るDeepLearning」 - Qiita
「ゼロから作るDeepLearning」とは？ DeepLearningの理論非常に丁寧に説明している良書です。ライブラリに頼らず理論を理解してゼロから実装するので、「DeepLearningの理論をしっかりと理解したい！」という人におすすめです。ですが、Pythonの文法の説明は少ないので、ある程度入門書などでPythonの基礎を習得していないと理論は理解できてもプログラムを理解するのは難しいかと思います。 以下から購入できます。 https://www.amazon.co.jp/dp/4873117585/ref=cm_sw_em_r_mt_dp_U_dEFvEb1FVX4AK プログラムをGoogle Colaboratoryで動かしたい https://github.com/oreilly-japan/deep-learning-from-scratch 上記のGithubにそれぞ
Stable Diffusion WebUI（1111）をGoogle Colabで使うノートブック【画像も設定も自動保存】 - ただいま村
いきなり追記（4月22日） Google Colaboratoryの無料プランではSD/WebUIを使えなくなったようです。以下の記事をご覧ください。 Google Colabの無料プランでStable Diffusionを使えなくなったらModalへ行こう? （追記は以上） パソコンにGPUがない人向けに、AUTOMATIC1111版Stable Diffusion WebUI（以下SD/WebUI）をGoogle Colaboratoryで使うノートブックを作りました。下のGithubからどうぞ。 imamurayusuke/SD1111_colab: AUTOMATIC1111/Stable Diffusion WebUIをGoogle Colaboratoryで使うためのipynb この種のノートブックはいろいろあるのですが、自分が考える仕様を満たすものがなかったため自分で作った次
AIが三国志を読んだら、孔明が知力100、関羽が武力99、を求められるのか？をガチで考える物語（自然言語処理編） - Qiita
吉川英治の「三国志」＠青空文庫をINPUTとして、 「自然言語処理」と「機械学習」によって上記のように、 武力や知力などのパラメータを推論する。 三国志小説の機械学習結果として、 １つの武将を５０次元ベクトルに変換し、そのベクトルを、 全く同じ「式」に入れて出てきた値が、上記の表。 このような方法：「小説(自然言語)」⇒「数値化」⇒「式」 によって、武力/知力を求めることが出来るか？ という実験＆研究が今回のテーマ。 他の成果としては、 以下のような武将名の「演算」が楽しめる。 （これも実際の出力結果より抜粋） 諸葛亮に近い人は誰？ ⇒ 姜維、司馬懿、陸遜、周瑜、魏延、馬謖 劉備にとっての関羽は、曹操にとって誰？ ⇒ 袁紹、張遼 ※若いころの馴染み的な意味や対比が多いので袁紹？ 孫権にとっての魯粛は、劉備にとって誰？ ⇒ 司馬徽（水鏡先生）、徐庶 ※賢者を紹介するポジションなのか？ 精度の
画像生成AI「Stable Diffusion」を4GBのGPUでも動作OK＆自分の絵柄を学習させるなどいろいろな機能を簡単にGoogle ColaboやWindowsで動かせる決定版「Stable Diffusion web UI(AUTOMATIC1111版)」インストール方法まとめ
(2022/09/22 17:52更新)画像生成AI「Stable Diffusion」を簡単に利用するための実行環境の1つである「Stable Diffusion web UI」のコントリビューター(開発貢献者)の1人であるAUTOMATIC1111氏が、フォークではないものの同名で「機能全部盛り」なStable Diffusion web UI(AUTOMATIC1111版)の開発を進めています。 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI https://github.com/AUTOMATIC1111/stable-diffusion-webui ◆目次 1：AUTOMATIC1111版Stable Diffusion web UIでできること・対応していること 2：Google Co
ゼロから作るDeep LearningシリーズはGoogle Colaboratoryで写経して学習するのがおすすめ - karaage. [からあげ]
「ゼロから作るDeep Learningシリーズ」が最高 ゼロから作るDeep Learningは、TensorFlow、Keras、PyTorchといったディープラーニングのフレームワークを一切使わず、基本PythonとNumpyのみでディープラーニングのアルゴリズムを作って理解していくというハードコアな内容です。 シリーズは3冊出ていて、1が画像認識、2が自然言語、3がフレームワークに重点を置いた内容です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅発売日: 2016/09/24メディア: 単行本（ソフトカバー） ゼロから作るDeep Learning ❸ ―フレームワーク編 作者:斎藤 康毅発売日: 2020/04/20メディア: 単行本（ソフトカバー） ゼロから作るDeep Learning ❷ ―自然言語処理編 作
![ゼロから作るDeep LearningシリーズはGoogle Colaboratoryで写経して学習するのがおすすめ - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/365e160f7985198b0825782005c70157d0e88576/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200523%2F20200523123857.jpg)
Googleアカウントさえあれば無料でPythonの機械学習プラットフォームが使えるColaboratory(通称Colab)というサービスがある。既に本連載でも何度か紹介したことがあるが、3月末に待望の有料プランが日本でも始まった。有料プランでも制限はあるもののGPUを備えた超高性能マシンが月1072円で使い放題になったのは大きい。実際に有料版を試してみたので使い勝手を紹介しよう。 1072円で高性能マシンが使い放題に Colabについて復習してみよう まずは、改めてPythonのColabについて紹介しよう。一言で言うならGoogle Colabはブラウザ上で使えるPythonの実行環境だ。Googleが無料で提供しており、教育用途や研究用に使えるものだ。 そもそもPythonで人工知能(AI)を、特に機械学習を試してみたいという人は多いことだろう。ところが、Pythonや機械学習の実
「AI 画伯」を 100 万人に届けた開発者と Google Cloud | Google Cloud Blog
編集部注: この投稿は、開発者のさとさん（@sato_neet）へのインタビューをもとに、Google Cloud デベロッパーアドボケイトの佐藤一憲が執筆したものです。名前が似ていますが、同一人物ではありません。Google Cloud Blog には英語版が掲載されています。 さとさんが開発した AI 画伯。1 日 100 万人が利用。 Firebase、Cloud Run、および Google Colab で開発。 さと (@sato_neet) さんが 10 年前に東京の大学を中退したとき、彼はまだ自分がアスペルガー症候群であることを知りませんでした。その後さとさんは看護学校やパン屋さんなどいくつかの道を志したものの、この障害のせいか環境や職場にうまくなじめません。そしていま彼は、全く異なる道を歩み始めました。AI への道です。 さとさんは 2 年前から AI の勉強を始めました。
「分析コンペLT会」は、KaggleやSIGNATEなど、データ分析のコンペに関連するLT（ライトニングトーク）を行う会です。野澤氏は、Google Colabとvscodeを用いて作るデータ分析環境とその運用について発表しました。 機械学習の勉強環境の1つ「Google Colaboratory」 野澤哲照氏（以下、野澤）：「Google ColabとVSCodeを用いたデータ分析環境運用Tips」ということで、野澤が発表します。 最初から免責で申し訳ないのですが、今日紹介する方法はGoogle側が推奨している方法ではないので、急に使えなくなる可能性もあります。そこだけご了承ください。 今日話す内容ですが、ざっくりGoogle Colab（Google Colaboratory）とVSCodeを紹介して、最終的にどういう環境が作れるかというところと、環境構築手順・運用時のポイントなどを話
Google Colaboratoryで試せる面白い機械学習プロジェクト6選投稿者: tsukurel 投稿日: 2020年6月10日2020年6月10日 Google Colaboratory（略称Colab）はご存じでしょうか。名前の通りGoogleによって提供されているサービスで、PythonをWebブラウザ上で実行できるJupyter Notebookを提供しています。さらにGPUが無料で実行できるとあって、機械学習系のプロジェクトでも利用されています（実用というより実験などで用いられています）。 今回はそんなGoogle Colaboratoryで実行できる面白いプロジェクトを幾つか紹介します。Open in Colabの画像をクリックすれば、それぞれのプロジェクトをすぐに試せます。 動画中の車認識 Google公式に提供されているプロジェクトです。道路を走っている車を認識し、車
画像生成AI「Stable Diffusion」をGoogle ColaboratoryでWebアプリ的に簡単に動かすノートブックを作りました - karaage. [からあげ]
Stable Diffusionの衝撃 つい先週「Midjourney」というAIによる画像生成AIを紹介しましたが、Stable Diffusionという超新星が登場いたしました。 何が凄いかというと、オープンにモデルが公開されているので、誰でもこのモデルを改変したり、モデルを使用したアプリが作れるのです。詳しくは、以下の深津さんのnote記事を参照ください。 さすらいAIプログラマーのshi3zさんは、既に日本語で誰でも無料で手軽に使えるWebアプリを公開されています。 サーバー代めちゃくちゃかかっているけど、自腹でやり続けるそうです。凄すぎです。上記記事のshi3zさんのYouTube動画から、shi3zさんの熱狂が伝わってきます。 Stable DiffusionをWebアプリ的に手軽に使えるツールを作成しました。 思えば、私もディープラーニングおじさんも、AIにハマった大きなきっ
![画像生成AI「Stable Diffusion」をGoogle ColaboratoryでWebアプリ的に簡単に動かすノートブックを作りました - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/8b040ca33c3745edf6f67edc85e8340138ce1cfd/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20220828%2F20220828103448.png)
GoogleColabとVSCodeを用いたデータ分析環境運用Tipsについてお話ししました。 後半では、kaggleのコンペティションに参加する際のTipsなども記載しています。 補足ブログ：https://www.takapy.work/entry/2021/08/17/185047 LTイベント：第３回分析コンペLT会 、オンライン開催 https://kaggle-friends.connpass.com/event/220927/
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 南カリフォルニア大学、Facebook Reality Labs、Facebook AI Researchによる研究チームが開発した「PIFuHD」は、1枚の人物写真から衣服を着た人体3次元モデルを高解像に再構築する深層学習フレームワークだ。指や顔の特徴、衣服のひだといった細かい情報や、見えていない箇所まで3Dで再現する。 人物の3Dモデルを忠実に作成する場合、従来は「Light Stage」と呼ばれる、全方位に多数のカメラやセンサーを配置した球形ドーム型キャプチャーシステムが用いられてきた。しかし、Light Stageは高価なため一般的に導入は難しい。そこで1枚の画像から深層学習を用い
最近話題のお絵描きAIをGoogle Colabで試してみようという記事です。 ここで使うAIは、stability.aiの stable diffusion というモデルで、つい最近 CreativeML Open RAIL-Mライセンスの下、オープンソースでリリースされました。 StableDiffusionに関する日本語記事は、深津 貴之さんの記事が面白いので是非こちらをお読みください。 stability.aiの記事で、Google Colabを用いて使う方法についての説明があり、試してみたところ本当に簡単に実行できてしまったので、その手軽さを紹介できればと思います。 実際に試したい場合は、元記事のGoogle Colabのノートブックが丁寧に説明しているので、そちらをご覧いただければと思います。 試してみる。 必要なもの Google アカウント Hugging Face アカウ
データサイエンス100本ノックを、Google ColabとAzure Notebooksで気軽に行いたい！ - Qiita
データサイエンス100本ノックを、Google ColabとAzure Notebooksで気軽に行いたい！ はじめに 2020年6月15日に、データサイエンティスト協会より発表されました「データサイエンス100本ノック（構造化データ加工編）」の素晴らしさに感動した私は早速ドリルを解き、めくるめくデータサイエンスの大冒険をエンジョイしていた。 しかし、ふと気づくとOriginalのデータサイエンス100本ノック（構造化データ加工編）はDocker形式で提供されており、実践的な演習が可能である一方でお手軽感はかった。同じ思いの人も数多く存在すると考え、より気軽に100本ノックするためにGoogle ColabとAzure Notebookで実行可能な演習スクリプトと解答編スクリプトを作成した。なお、作成者である私がPythonしか使えないのでPythonのみである。R派の方、申し訳ない。 ど
こんにちは！逆瀬川 ( https://twitter.com/gyakuse )です！ 今日はcsvからレポートを作成するのを自動化してみたいと思います。 これを使うと、excel/csvからシュッとそれっぽいレポート文章を作ることができます。 参考 どのように行うかの検討 CSVを扱ってデータをいい感じに解釈してくれるやつだとLangChainに実装されてそうなので調べてみました。 CSV Agentというのがあったのですが、Python3.9以上を要求されColabで扱いづらいこと、かつ使ってみたところうれしみが小さかったので今回は自分で実装してみることにしました。 ちなみにLangChain::CSVAgentを使うと以下のようになります。対話形式で特定のカラムの平均値とか出せるので楽しいです。ちなみにこれを使う場合は動的にコード生成しているので、Prompt Injectionさ
連載目次 本稿ではGoogle Colaboratory（以下、Colab）に搭載されている機能の中で、あまり知られていないと思われるものを厳選して、スクリーンキャプチャ中心で紹介する。以前に「Google ColabユーザーのためのTipsトップ10」という記事を公開しているが、本稿はその第2弾という位置付けになる。 ※本稿を執筆するに当たって、公式YouTube動画「Google Colab features you may have missed（見逃しがちなGoogle Colabの機能）」と公式Twitterアカウント「@GoogleColab」の内容を参考にした。 1. インタラクティブ・テーブル（Interactive Table）による表データ探索 Pythonデータ分析ライブラリー「pandas」のデータフレーム（DataFrame）を使って表データを扱う場合、Colab
ゲームコミュニティ事業部のデータエンジニア（β版）の池田です。 この記事は、Tech KAYAC Advent Calendar 2019 の7日目です。 今回もredash周りの話で、Lobiでの分析事例の話をしていきたいと思います。 （本ブログではredashおじさん化していますね。 ） Lobiでの分析環境の概要 ゲームコミュニティ事業部では主要サービスとして Lobi を開発・運営しています。 現在のLobiにおける分析環境は、以下の図のようになっています。 分析環境の図 アプリケーションが行動ログやアクセスログを出力し、それをFluentdやKinesis Data Firehoseを使ってS3バケットへ転送しています。その後@fujiwaraさんのrinを使ってRedshiftにロードしています。この周辺に関しては、ソーシャルゲーム事業部での記事と同様ですので、詳しくはそちらを
【AIアプリ開発の決定版】Colaboratory+VSCodeによる最小工数の機械学習環境構築手順の紹介 | さくらのナレッジ
こんにちは! テリーです。先日NVIDIA GTCというイベントがありました。GPUテクノロジーカンファレンスの略です。NVIDIAが進めている最新の技術と商品を紹介しているため、AI、動画、音声、その他あらゆる高速コンピューティングのトレンドを理解することができます。年々紹介する分量が増えてきていましたが、今年は特に量が多かった印象です。 さて、機械学習エンジニアやストリーミングエンジニアの諸氏におかれましては、開発環境の維持コストに頭を悩ませている方も多いことでしょう。なぜなら、あまりにも技術の進歩が激しく、去年50万円も出して購入したGPUパソコンでさえ、今年の新商品に搭載されている機能が使えないということが毎年のように繰り返されているからです。最新のGPUとパソコンを渋々買い替えている人が多いと思いますが、セットアップも中古売却もめんどくさいです。なんとかならないでしょうか? 今回
Google Colab上で秘匿情報を安全に使うために、Google Cloud Secret Managerを使う
やりたいこと kaggleなどのコンペ参加時にColabで計算して、wandbなどの実験管理ツールを使いたい。 現状wandbなどのAPI keyが生のままColabに貼っているので、そのままgithubにpushできない。 driveにtxtやyamlファイルを置いて管理すると、自分の性格上散らかすと分かっているので、GCPのサービスを使ってバージョンを含めて一括管理したい。 やったこと GCPのSecret Managerを使ってAPI keyを秘匿化して、Colabで呼び出した。 やりかた GCP上の設定 自分のGCPのコンソールを立ち上げて、Secret Manager APIを有効化する。 そのままUI上で作成する。 有効化されているのを確認する。 これで設定は終わり。 Colab上の設定 参考googleの公式レポジトリ
はじめに 〜衛星データとは〜 人工衛星データとは、人工衛星を利用した“リモートセンシング”によって取得されたデータを指します。 これまで人工衛星データは専門ツールや大容量データ処理基盤が必要なため、利用できる組織は大学機関や一部の専門機関が限られていましたが、昨今のオープンソース・ライブラリの普及やデータ処理基盤のクラウド利用により、一般組織でも気軽に人工衛星データを扱える外部環境が整ってきました。 衛星データを利用することで、これまで取得することができなかった様々な場所・時間・対象の状態をビッグデータで解析することが期待できます。 そこで本記事では、どの様にデータを扱うのかを、衛星データ解析の専門ツールを利用せず（最も身近なツールの一つであるpythonを利用）、誰でも気軽に試すために無償で利用方法を紹介していきたいと思います。 また、今回はビジネスや社会実装に利用イメージが沸きやすい衛
Google ColabとVSCodeを用いた分析環境運用方法 〜kaggle Tipsを添えて〜 - ギークなエンジニアを目指す男
こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動
3月2日に開催された、分析コンペ 勉強会で、「Colaboratoryで分析コンペをする時のテクニック集」として発表をしました。 speakerdeck.com この記事では、その内容を書きたいと思います。 Colaboratoryテクニック9つ 1. テーマの設定（darkモード等）、エディタの設定（インデント幅等） 2. ColaboratoryかKaggleNotebookか判別 3. Notebook名を取得 4.Google Driveのファイルへのアクセスを許可 5.学習する際は、MyDriveはなるべく使わない 6.a Kaggle Apiを使用する 6.b データのKaggleDatasetsへのアップロード 7 Mydriveからのweightのロードが遅い場合 8 Githubのrepositoryをclone public repositoryをcloneする場合 p
ゼロから始めるPaperspace Gradient【Google Colab代替サービス】 - Qiita
はじめに こんにちは、kunishouです。先月2022年9月の末にGoogle Colabがサービス内容の大幅な変更を実施し、従来は無制限でGPUを使用できていたものが、クレジット制に移行しました。この変更を受けてこれまでGoogle Colabを利用してKaggleに取り組んできたり、Stable Diffusionなどでイラスト自動生成の実験をしてきた多くの方々から悲痛な声が聞こえてきました。そこで、本記事では 『Paperspace Gradient』というGoogle Colabに類似したクラウドGPU開発環境を定額で利用できるサービス を見つけたので、このサービスの詳細や使い方、使ってみた感想を紹介したいと思います。また、Paperspace Gradientはストレージ容量が少ない（Growthプランで50GB）という欠点がありますが、これをカバーする手段として インスタンス
Stable Diffusion を Colab で Web アプリ化する - 詩と創作・思索のひろば
Stable Diffusion が来てるねってことで貧者の GPU であるところの Colaboratory でいろいろ試したいのだけどノートブック上で Python のコードをこまごまいじりながら試行錯誤するのは微妙に体験が悪い。 ちょっとしたウェブサービスとして立てて実行できるとよいけれど、なかなかクラウドサービスも帯に短し襷に長しという感じで GPU を気軽に借りられるところはなさそうだ……と思ったら、Colab 上に HTTP サーバを立てられることを知ったので、その方法でやってみることにする。 やってみたソースは以下。 GitHub - motemen/stablediffusion-server-on-colab README にあるノートブックを開いて Huggingface のトークンを埋め、GPU を選択して実行するとサーバが起動する。サーバが起動する前のセルに表示され
Open Interpreterは、ChatGPTのAdvanced Data Analysis（旧Code Interpreter）と同様の機能をローカル環境で動かせるオープンソースのツールです。 自然言語でのプログラミングを実現し、Python、Javascript、Shellなどの言語に対応しています。また、データ分析、ネットアクセス、テキスト、画像、動画などの編集ができます。 【参考】日本語公式解説 １．Google Colabでの利用法以下のコードをColabノートにコピーして、GPUを設定し、セルを実行すると、チャットが開始します。 なお、事前に「sk-」で始まるOpenAIのAPIキーを取得して、「自分のOpenAIのAPIキー」のところに貼り付けてください。 !pip install open-interpreter import interpreter interpret
Colaboratoryの有料プランの仕組みが変更となったので仕様を確認しました（2022年9月） - カレーちゃんブログ
Google Colaboratoryの有料プランが、これまでの定額使い放題から、クレジット制に移行となりました。 変更点を確認したいと思います。 料金 GPU コンピューティングユニットの消費 1ヶ月あたりどれぐらい使えるか 感想 料金 これまでと変わらずに、Colab Proは月あたり1,072円、Colab Pro+は5,243円となっています。(https://colab.research.google.com/signup?utm_source=faq&utm_medium=link&utm_campaign=seems_too_good) それにより、Colab Proは100コンピューティングユニット、Colab Pro+は500コンピューティングユニットというGPUを使用できるクレジットがもらえます。 GPU GPUのクラスで、標準を選ぶとT4 プレミアムを選ぶと、V100
2023年9月27日の最新情報に合わせて改訂しました（最初の公開は2020年3月17日）。主にGPUが選択可能になった点とColab Enterpriseの情報を追記し、全ての利用パターンで再検証して全面的に最新の内容にアップデートしました。 機械学習／データサイエンス分野で特に人気の（Pythonなどの）実行環境であるGoogle Colaboratory（以下、Colab）は無償で使えるものの、無制限ではない。実行時間やメモリ容量などに制限がある。こういった制限を低減する有償プロ版「Colab Pro」が2020年3月に発表され、米国とカナダのみで申し込みできる状況だったが、それから1年後の2021年3月19日以降、日本でも申し込み可能になった（図1）。さらに、より強力な有償プロプラス版「Colab Pro+」が2021年8月に発表され、同日から日本でも申し込み可能になり、その約1年後
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
画像生成AI「Stable Diffusion」を低スペックPCでも無料かつ待ち時間なしで使う方法まとめ
エヴァのMAGIシステムをGPT3で作ってみた｜深津 貴之 (fladdict)
Google Colab で はじめる Stable Diffusion v1.4｜npaka
Colabで動かすStableDiffusion実装｜深津 貴之 (fladdict)
森奈津子先生がColabo叩きで炎上している件｜渡辺直弼
都監査委員、再調査を勧告 都事業受託した女性支援団体の会計：朝日新聞デジタル
ゼロからはじめるPython(76) ColabのGPU高性能マシンが月1072円で使い放題になっていた件
初めてでもできる！ 自宅PCのGPUを「Google Colab」から使い、生成AIをカンタンに動かす方法【イニシャルB】
Google ColabとVSCodeで作るデータ分析環境 クラウドのGPU環境でもローカルと遜色ない開発体験を
Google Colaboratoryで試せる面白い機械学習プロジェクト6選 – ツクレル
GoogleColabとVSCodeを用いた分析環境運用Tips
AIで1枚の人物写真から高精細3Dモデル作成 Facebookなど開発
Google Colab で、お手軽 Text-to-Image
ChatGPT APIを使ってExcelやCSVのデータからレポートを自動作成してみる - Qiita
Google Colabで知られていないが有用な機能7選
redash + Google Colabによる分析環境 - KAYAC engineers' blog
【入門】Pythonによる人工衛星データ解析（Google Colab環境） - Qiita
Colaboratoryで分析コンペをする時のテクニック集 - カレーちゃんブログ
Google ColabでOpen Interpreterを試してみた｜IT navi
Colab Pro／Pro+／Pay As You Goとは？ 無料版との違い、比較表
macaro-ni.jp
macaro-ni.jp
anond.hatelabo.jp
blog.miz-ar.info
hina.ub.geo.jp
musicarena.exblog.jp