前回はOpenAI APIを使ってチャットなどを試しましたが、Jupyter AIはOpenAI 以外にも様々なAPIに対応しています。 今回はHuggingFace Hubを使ってみます。 環境構築HuggingFace Hubの機能を使うにはhuggingface_hub、ipywidgets、pillowをインストールする必要があります。コンテナで用意します。
更新情報 -目次- はやくもUI改善等 Ver.upが図られています。以下内容の記事を追加しました。 1. データフレーム表示 2. ヒストグラムの描き方 3. ダークモード対応 4. オンライン版 5. 海外のデータイノベーション支援団体でも人気 はじめに Tableauはご存じでしょうか? 私は使ったことはありませんが、名前だけはよく耳にします。 これは、専門家でなくてもデータの収集・分析・加工ができるBI(ビジネス・インテリジェンス)ツールのひとつです。 なんと、Jupyter Notebook上(Google ColabもOK)で実行できる Tableau風 BIツール「PyGWalker」が登場しました。 Tableauそのものではありませんが、ドラッグ&ドロップの簡単な操作でデータ分析や視覚的な探索が実行できます。 こんなのが出てくるとは・・・すごい。 しかも、数行のコードで実
この記事は、 NTT Communications Advent Calendar 2022 24日目の記事です。 はじめに イノベーションセンターの木村と申します。初めてのアドベントカレンダー&Engineers’blog投稿です。普段の業務は、機械学習をもちいた時系列データ分析の研究開発やお客様データ分析案件支援を主として行っています。プライベートでは自転車にお熱でZwiftでバーチャルライドをしたり、最近ではテクニック向上のためバニーホップの練習に励んでいます(なかなか上達しません…)。 今日はクリスマスイブということで、時系列データ分析コンテンツ「ごちきか」 をプレゼント(?)します!年末休みのお供にぜひご照覧ください。 サマリー 時系列データ分析コンテンツ「ごちきか」を公開しました (余談として)基盤やデプロイ方法を紹介します What is 「ごちきか」? 私たちのチームでは、
JupyterLite is a JupyterLab distribution that runs entirely in the web browser, backed by in-browser language kernels. MotivationJupyterLite is a reboot of several attempts at making a full static Jupyter distribution that runs in the browser, without having to start the Python Jupyter Server on the host machine, usually done by running jupyter lab or jupyter notebook in a terminal. The goal of th
JupyterLabにビジュアルデバッガーが初搭載。ブレークポイント、変数の確認、コールスタックの調査などが可能に Jupyter Projectは、オープンソースの統合開発環境「JupyterLab」にビジュアルデバッガーを搭載したことを明らかにしました。 JupyterLabは、おもにデータ解析を実行するためにPythonやScala、Rなどのコードを打ち込んですぐに実行できる、シンプルでインタラクティブなコード実行環境である「Jupyter Notebook」をベースとし、ファイルブラウザやテキストエディタ、コンソールなどを統合した開発環境です。 今回、このJupyterLabに初めてデバッガが搭載されることになります。 デバッガを利用するには、デバッガ用のフロントエンドを拡張機能としてJupyterLabにインストールします。 デバッガの使い方は基本的にVisual Studioや
ゆるやかなつながり 唐突ですが、 Death Stranding、良いですよね。オンラインでのゲームの連携プレイは(自分の力量とかを気にしちゃって)どうも敬遠しがちなのですが、この、お互い建設物を融通しあってゆるやかに繋がる世界、とても心地よい感じです。(国道建設素材の収集のため配達依存症コミュニティを殴って回りながら。) さて、Jupyter Notebookですが、周辺ではだいぶ道具として浸透してきた感があります。 仕事と研究という二足の草鞋生活を(いまだに)続けているわけですが、それぞれ1つのNotebookを2人以上で使いたい場面が結構あります。このようなNotebookの共有の画面では、以下のような障壁があるのではないかなと思います。 Jupyter Notebook環境の共有をどうするか Jupyter Notebookそのものの共有をどうするか Jupyter Noteboo
これなに Binderという無料サービスの紹介をします。 github上のJupyter notebook のリポジトリから、実行可能なサービスを簡単に試せます。 つまり、ブラウザだけでいろいろな実行環境を作ることができます。 サンプルで試してみる サンプルとして、私の公開しているパズルを解くSaitoTsutomu/OptForPuzzleを試してみましょう。 手順 http://mybinder.org/ を開いてください。 Build a repositoryに「SaitoTsutomu/OptForPuzzle」と入力して、submitボタンを押してください。 自動的にdockerのイメージが作成され状態が更新されます。 completedが緑になったら、右上のlaunchボタンを押してください。 Jupyter notebookが起動するので、適当に開いて実行してみましょう。 G
今までも、いくつか拡張機能は使っていたものの、大部分は使わずに過ごしていたため、食わず嫌いはいけないな・・と思いドキュメント読みながら使ってみてまとめます。 まえおき 拡張機能(nbextensions)自体や、過去の記事で触れたHinterlandやTable of Contents (2)などはそちらの記事(Jupyter 知っておくと少し便利なTIPS集)をご確認ください。 結構抄訳などしています。(浅く広く。詳細はドキュメントに任せるとして、こんな拡張機能あるのか、程度にご使用ください) nbextensionsを入れたときに最初から入っている拡張機能を対象とします。 全部といっても、nbextensionsの設定画面を表示するための拡張機能だったり、基本的にデフォルトで有効で、且つ変えることがほぼなさそうなものは割愛します。 環境は「Python 3.6.5 :: Anacond
Jupyter Notebook で、楽譜を表示したり、その楽譜を再生してみたり、曲を分析したりしてみました。そのことについて書きます。分析といっても簡単なものです。 目次 Code, .ipynb 環境 VS Code で Jupyter Notebook music21 とは 曲の作成と表示 バッハの平均律を分析 分析 後半 参考 追記 Code, .ipynb Jupyter Notebook: https://mybinder.org/v2/gh/hhyyg/miso.py.music21bach/master ここにある2つの .ipynb ファイルから確認できます ただし、画像・音声生成部分などは再実行ができません GitHub: https://github.com/hhyyg/miso.py.music21bach 環境 Mac Visual Studio Code Pyt
VSCodeのPython拡張機能が更新されたと発表され、Jupyter Notebookの扱いが便利になったようなので確認してみました。 要約 VSCode上でPythonコード(拡張子.py)を#%%の区切り単位で実行できる 実行結果はコードと合わせてJupyter Notebook形式(拡張子.ipynb)で出力できる 逆に既に作成されたJupyter Notebook形式のファイルを#%%で区切られたPythonコードに変換することもできる つまりVSCodeのみでJupyter Notebookの新規作成や既存ファイルの編集を完結させられる 環境 OS : Windows10 (10.0.17134) Visual Studio Code : 1.28.2 VSCodeのPython拡張機能 : 2018.10.1 python : 3.6.6 jupyter : 1.0.0 j
■ Batfish とは: 実機に接続することなくコンフィグを検証 Batfish は、ネットワーク機器のコンフィグの様々な検証ができるツールです。 実機に接続する必要はありません。 準備したコンフィグファイルを読み込んでパースし、解析して内部でネットワーク機器が動作するようなイメージです。 本体は Java で書かれていて、Python から扱うためのクライアントである pybatfishもあります。 設定変更のコンフィグの妥当性を、あらかじめ Batfish で確認してから実機に投入する、というようなことが実現できるのではないかと、最近興味を持ちました。 明日調べる / Batfish "An open source network configuration analysis tool" https://t.co/eoAHh8QW0l— よこち(yokochi) (@akira659
このエントリは全9回を予定する18卒新人ブログリレーの第3回です. はじめまして.今年度よりリクルートテクノロジーズに入社した河野 晋策です. 7月からQassチームにて検索ロジックの改善を行っています. Qassチームは,検索基盤の運用や検索ロジックの改善を行っているチームです. 詳しくは以下の記事をご覧ください. 検索組織の機械学習実行基盤 リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか Elasticsearch+Hadoopベースの大規模検索基盤大解剖 本記事の想定読者:普段Jupyter notebook・Jupyter Lab,Google Colaboratoryを使っている方,またこれから使おうと考えている方 本記事の概要:jupyter notebookの知見共有 はじめに Jupyter notebookとは 近年,データの重要性が様々な
Google Colaboratoryが便利 最近、Google Colaboratoryがちょっと気になっていたのですが、タダケン (id:tadaken3)さんの以下記事に分かりやすく使い方が書いてあったのをきっかけに試して見ました。 結論から言うと、これ良いですね。Google Colaboratoryには以下の特徴(利点)があります。 ローカルPCに必要なのはブラウザ(Google Chrome)のみ クラウド上にPython環境がありPython2/3 両方使える 機械学習に必要なライブラリは、ある程度プリインストールされている(numpy, matplotlib, TensorFlow等) 必要なライブラリは !pip installでインストールできる 日本語フォントも(ちょっと工夫すれば)使える 無料で使える。なんとGPUも12時間分を無料で使える! これ死角無さすぎでは…
こんにちは! タダケン(@tadaken3)です。 Googleが機械学習の教育や研究用に提供しているGoogle Colaboratoryを試してみました。ColaboratoryはJupyter notebookを基盤としたオープンソースプロジェクトです。Chromeのデスクトップ版で動作します。 Colaboratoryを使えば、Chromeブラウザ上で無料でPythonの実行環境を手に入れる ことができます。今回は、Colaboratoryの使い方を解説します。 バリバリのデータ分析者にも、Pythonでプログラミングを学んでみたいと思っている初学者にもおすすめのツールです。 そもそもJupyter notebookとは Google Colaboratoryを起動する Google ColaboratoryでPythonのコードを実行する 作成したnotebookを保存する まと
We are proud to announce the beta release series of JupyterLab, the next-generation web-based interface for Project Jupyter. tl;dr: JupyterLab is ready for daily use (installation, documentation, try it with Binder) JupyterLab is an interactive development environment for working with notebooks, code, and data.The Evolution of the Jupyter NotebookProject Jupyter exists to develop open-source softw
Notebookの機能にターミナル、ファイルブラウザなどを統合 そのJupyter Notebookのメジャーバージョンアップ版として開発されているJupyterLabは、Notebookの機能だけでなく、ターミナル画面の機能、ファイルブラウザ、テキストエディタなどの機能が統合され、それらをタブによって同時にいくつも開くことができるようになり、統合開発環境と呼ぶべきツールへと進化しました。 拡張機能によって機能をあとから追加することも可能(JupyterLabの基本機能であるNotebookやファイルブラウザ、ターミナルも拡張機能として実装されていると説明されています)。すでに、JSONやCSVの読み込み機能、JSONフォーマットで地図情報を記述するgeoJSONによる地図表示などが用意されています。 JupyterLabは今年後半に正式版となるバージョン1.0がリリース予定。また、現バー
Googleが研究の一環で提供しているColaboratoryを試してみました。 Jupyterと同じようなGUIでPythonのプログラムを実行可能で、GPUも使えます。 Jupyterと同様に、先頭に「!」を書くことで、Linuxのコマンドを実行可能であり、「!pip」「!conda」「!apt-get」などで機能を追加できます。 実行結果をファイルシステム上に保管でき、共有リンクを使って取り出せます。 ただし、12時間経過すると強制終了されて、ファイルは失われます。 しかし、Notebookが動いている仮想マシンにGoogleドライブをマウント可能であり、これにより、実行結果をGoogleドライブ上のファイルとして保管できます。 Deep Learningでは、途中の状態をファイルに保管して、そこからResumeできるようにプログラムを書くことが多いので、12時間で一度強制終了しても
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く