JuliaとPythonを併用したデータ処理のススメ - MNTSQ Techブログ
Pythonでデータ処理をしている際、numpyにはまらないごちゃごちゃした前処理があり、ちょっと遅いんだよなぁ。。。となること、ないでしょうか。 ルーチンになっている解析であれば高速化を頑張る意味がありそうですが、新しい解析を試行錯誤している最中など、わざわざ高速化のためのコードをガリガリ書いていくのは辛いぐらいのフェーズ、ないでしょうか。 こんなとき、私はJuliaを使っています。Juliaは特別な書き方をしなくても高速になる場合が多く、並列処理も簡単にできます。 julialang.org Julia、いいらしいが名前は聞いたことがあるけど使うまでには至ってない、という方がと思います。今まで使っているコードの資産を書き直すのは嫌ですよね。 しかし、JuliaにはPythonの資産を活かしつつ高速にデータ処理がするための道具がそろっています。 今回の記事はPythonとJuliaをいっ
マイクロソフト、宇宙探査における「Python」の利用を学べるコンテンツを公開
Liam Tung （ZDNET.com） 翻訳校正： 矢倉美登里 吉武稔夫 （ガリレオ） 2020-09-03 14:22 Microsoftは米航空宇宙局（NASA）と協力し、プロジェクトベースの3つの学習モジュールを開発した。これらの学習モジュールは、初心者レベルのプログラマーを対象として、宇宙探査や隕石の分類、天候によるロケット打ち上げ延期の予測などに、プログラミング言語「Python」と機械学習のアルゴリズムをどう利用すればいいのかを教えてくれる。 モジュールを最後まで受講するには、「Windows」PCか「Mac」、あるいは「Linux」を搭載したPCが必要だ。プログラミング言語とは何か、Microsoftのコードエディター「Visual Studio Code」の使い方、Python向け拡張機能のインストール方法、VS Code内で基本的な「Jupyter Notebook」
たった数行でpandasを高速化する2つのライブラリ(pandarallel/swifter) - フリーランチ食べたい
pandas はデータ解析やデータ加工に非常に便利なPythonライブラリですが、並列化されている処理とされていない処理があり、注意が必要です。例えば pd.Sereis.__add__ のようなAPI(つまり df['a'] + df['b'] のような処理です)は処理が numpy に移譲されているためPythonのGILの影響を受けずに並列化されますが、 padas.DataFrame.apply などのメソッドはPythonのみで実装されているので並列化されません。 処理によってはそこがボトルネックになるケースもあります。今回は「ほぼimportするだけ」で pandas の並列化されていない処理を並列化し高速化できる2つのライブラリを紹介します。同時に2つのライブラリのベンチマークをしてみて性能を確かめました。 pandarallel pandaralell はPythonの m
自然言語を簡単に可視化・分析できるライブラリ「nlplot」を公開しました - ギークなエンジニアを目指す男
こんにちは。たかぱい（@takapy0210）です。 本日は自然言語の可視化を手軽にできるようにしたパッケージnlplotをPyPIに公開したので、これのご紹介です。 nlplotとは？ nlplotで何ができるか 使い方 使用データ 事前準備 ストップワードの計算 N-gram bar chart N-gram tree Map Histogram of the word count wordcloud co-occurrence networks sunburst chart まとめ nlplotとは？ 自然言語の基本的な可視化を手軽にできるようにしたパッケージです。 現在は日本語と英語で動作確認済みです。 基本的な描画はplotlyを用いているため、notebook上からインタラクティブにグラフを操作することができます。 github.com （スター★お待ちしております🙇♂️）
JupyterLabにビジュアルデバッガーが初搭載。ブレークポイント、変数の確認、コールスタックの調査などが可能に
JupyterLabにビジュアルデバッガーが初搭載。ブレークポイント、変数の確認、コールスタックの調査などが可能に Jupyter Projectは、オープンソースの統合開発環境「JupyterLab」にビジュアルデバッガーを搭載したことを明らかにしました。 JupyterLabは、おもにデータ解析を実行するためにPythonやScala、Rなどのコードを打ち込んですぐに実行できる、シンプルでインタラクティブなコード実行環境である「Jupyter Notebook」をベースとし、ファイルブラウザやテキストエディタ、コンソールなどを統合した開発環境です。 今回、このJupyterLabに初めてデバッガが搭載されることになります。 デバッガを利用するには、デバッガ用のフロントエンドを拡張機能としてJupyterLabにインストールします。 デバッガの使い方は基本的にVisual Studioや
Thank you, Guido
open search After six and a half years, Guido van Rossum, the creator of Python, is leaving Dropbox and heading into retirement. From the beginning, we knew Guido would be a great addition to our company. In fact, his contributions to Dropbox date back to day one. Our CEO Drew Houston’s very first lines of code for Dropbox were written in Python. “What I love about Python is it just works,” says H
The first step self made full text search
〇〇みたいな検索作ってと言われたときに考えること / thinking before developing search system like that one
PyCon JP 2019でポスター発表をして得た知見と反省 - フリーランチ食べたい
PyCon JP 2019が終了しました。聴講者としてセッションを見た感想は1つ前のエントリにまとめました。 このエントリでは、自分が行った「ポスター発表」について書きます。今後カンファレンスでポスター発表をする方の参考になれば幸いです。 blog.ikedaosushi.com 発表したポスター 「Requests-HTML」についてのポスター発表を行いました。ポスターは↓です。 作成 実は、学生時代含めポスターを作成するのは初めてだったので、Googleで検索しながらKeynoteで作成しました。フォントサイズなど次のサイトが非常が参考になりました。 jfujimo.to またKeynoteの「配置ガイド」という機能は今まであまり使うことがなかったのですが、ポスターを作る上では非常に便利でした。「配置ガイド」なしでのポスター制作は考えられないと思います。 support.apple.c
人間のためのHTML Parseライブラリ『Requests-HTML』で楽しくデータクローリング - フリーランチ食べたい
Pythonを使ったデータクローリング・スクレイピングは、エンジニア・非エンジニアを問わず非常に人気や需要のある分野です。しかし、いざデータクローリングしようとすると、複数ライブラリのAPIや、ライブラリそれぞれの関連性に混乱してしまうことがよくあります。 昨年公開された「Requests-HTML」はそういった問題を解決する「オールインワンでデータクローリングが行える」ライブラリです。ユーザーは「Requests-HTML」のAPIのみを学習するだけで、サイトへのリクエスト、HTMLのパース、要素の取得を行うことができます。またHeadless Chromeを使うこともできます。 このブログでは「Requests-HTML」が生まれた背景と使い方、そして興味深いポイントについて書きます。 なぜ「Requests-HTML」が必要だったか データクローリング・スクレイピングの人気の高まり
PythonでGitHub Starのトレンドを取得してBokehでプロットしはてなブログに埋め込む - フリーランチ食べたい
最初に結果です。下のようにGitHub StarのトレンドをBokehで可視化してはてなブログに埋め込む方法を解説します。マウスオーバーしてもらうとtooltipが表示される(=画像埋め込みでない)ことが確認していただけると思います。 既存のサイトでもリポジトリ名を入れると可視化してくれるサイトがいくつかあるのですが、細かい見た目を調整したかったため自分でスクリプトを書いてみました。コード全体はGitHubに上がっています。 github.com GitHub Star取得 まずGitHub Starを取得します。GitHub APIのList Stargazersを使います。 developer.github.com 注意点として日時を取得するためにヘッダーにAccept: application/vnd.github.v3.star+jsonをつけてGitHub API v3を使う必要
国立国会図書館APIを使いやすくするためのPythonライブラリを作成しました｜shimakaze_soft
とある個人プロダクトを作ろうと思いついた時に、自分で欲しいなと思ったたのもあり、Pythonでとあるライブラリを作成してみました。 今回開発したものJpndlpyという名前の国立国会図書館から情報を取得するHTTPクライアントライブラリを作成しました。 国立国会図書館は、書籍タイトルや著者などの図書情報をAPIとして公開しています。国立国会図書館のAPIはいろんなプロトコルでAPIを公開しており、今回はOpenSearch形式のAPIからHTTPで図書情報を取得するためのPythonから使えるHTTPクライアントのライブラリを作成しました。 GitHub内などを探してみても同じような物を作っている方がいなかったため、自分が欲しかったというのもあり、開発してみました。 PyPiにも公開しましたので、随時アップデートしていく予定です。 国立国会図書館とは国立国会図書館とは、日本国内で発行された
Programming for the Puzzled | Electrical Engineering and Computer Science | MIT OpenCourseWare
This class builds a bridge between the recreational world of algorithmic puzzles (puzzles that can be solved by algorithms) and the pragmatic world of computer programming, teaching students to program while solving puzzles. Python syntax and semantics required to understand the code are explained as needed for each …Show more This class builds a bridge between the recreational world of algorithmi
Pythonで100万ドキュメントオーダーのサーチエンジンを作る(PageRank, tfidf, 転置インデックスとか) - にほんごのれんしゅう
検索エンジンを何故作ってみたかったか もともとこのブログのコンセプトのNLP的なことで、情報を整理してなにか便利にしたかった(Googleと同じモチベーションの世界の情報を整理する) 4年前にほぼ同じシステムを作ろうとしたとき、500万を超える大量のインデックスを検索するシステムは、数学的な理解度が十分でない＋エンジニアリング力が伴わないなどでギブアップした背景があり、今回再チャレンジしたくなった ほぼすべての機能をpure python(+いくつかの例外はある)で実装して、世の中の ソフトウェアを使うだけ の検索エンジンをやってみたなどではなく、実際に理解して組んでみることを目的としたかった 依存パッケージと依存ソフトウェア GitHubのコードを参照してください 様々なサイトを巡回する必要があり、requestsが文字コードの推論を高確率で失敗するので、nkf をlinux環境で入れて
入門pandas - 明日からはじめるデータ分析のきほん - Lean Baseball
こういうことやぞ サムネイルで描いた事がこのエントリーの全てです. Pythonでは、「pandas」というライブラリを使ってデータ分析や解析をすることが非常に多いです. でも、「利用方法（またはユースケース）」に合わせた入門ってあんまりない気がします. ということで、「PyCon mini Sapporo 2019」でそんな話をしてきました. sapporo.pycon.jp 訳あって資料およびJupyter notebookは非公開*1ですが、こちらにその基本とかをまとめます. TL;DR - このエントリーは 実務や趣味のデータ分析でpandasを使う例を紹介します. 初歩的な使い方から中級者になるまでのヒントになると思います. なお,統計テクニック・機械学習には触れません・やりません. なお、対象読者は「そこそこPythonとJupyter notebookが使えてこれからデータ分
退屈なことはPythonにやらせる...前に考えるべきこと - Lean Baseball
機械学習, データサイエンスを志向してPythonを勉強したり,この辺のエントリーで本を読み漁ったりすると*1, もしかして, 私の仕事ってプログラミングで楽になるのでは！？ と気がつく(もしくはそういう記事・本を読んで触発される)瞬間があるかと思います, この本とかあの本とか. このエントリーではそんな素晴らしい学び*2に対して,一つの回答を示してみたいと思います. TL;DR（ここは読んでほしい） プログラミングで解決できる「退屈なこと」とは「回数が多く, 属人性が少ない」作業のことである. 属人性がある仕事はプログラミングをする前に因数分解しよう or 「仕事ごっこ」だったらやめる努力をしよう. Pythonで「退屈なこと」をやるなら,「退屈なことはPythonにやらせよう」もいいですが,「できる仕事がはかどるPython自動処理 全部入り。」が個人的にはおすすめです. 言いたいこと
python prompt toolkitの紹介と動作を理解するメモ - Stimulator
- はじめに - 本記事はpython prompt toolkit（以下 ptk）の動作を理解するメモです。 ptkで出来ること、その概要を書いています。 - はじめに - - ptkとは - ptkで作成されたツール - ptkの描画を理解する - print_formatted_text Application Screenオブジェクトのレンダリング KeybindingとFilter 関連 おわりに - ptkとは - ptkは、Pythonで実装されているCLI用のツールキットである。 コンソール上でのフルスクリーンアプリケーションの作成 dialogs、progress-barの生成 シェルのようなインタラクティブな入出力 補完 clipboardの管理 出力テキスト色の変更 シンタックスハイライト EmacsとViのキーバインディング マウスカーソルによる操作 各種非同期処理
Python計算機科学新教本
探索、制約充足、グラフといった、コンピュータサイエンスにおける定番問題だけでなく、機械学習や深層学習で使われるk平均クラスタリング、ニューラルネットワークに関する問題を通して、アルゴリズムの知識を深め、解決方法を学び、本物の問題解決能力とプログラミングスキルを身につけます。ハノイの塔、8クイーン問題、経路探索といったおなじみの例題だけでなく、線形探索や二分探索といった定番の探索アルゴリズムを使ってDNAを探し出したり、遺伝的アルゴリズムを使って覆面算を解く、敵対探索を使って三目並べを解くなど、ユニークな例題を通じて、コンピュータサイエンスの知識を広げます。Python 3.7対応。 日本語版へのまえがき 謝 辞 はじめに 1章 簡単な問題 1.1 フィボナッチ数列 ［問題1 フィボナッチ数列］ 1.1.1 最初の再帰解 1.1.2 基底部を用意する 1.1.3 メモ化で救う 1.1.4 自
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Anvil: Web Apps with Nothing but Python
GitHub - unpywall/unpywall: Interfacing the Unpaywall Database with Python
Python による日本語自然言語処理 〜系列ラベリングによる実世界テキスト分析〜 / PyCon JP 2019
