［文章生成］MeCabをインストールして分かち書きを試してみよう
今回の目的 前回は、青空文庫のWebサイトから梶井基次郎の小説データを取得して、そこから本文のデータを抽出する方法を見ました。今回は、自然言語処理で扱いやすいように分かち書きをするための準備をします。 ところで、自然言語処理とはもちろん私たちが日常的に使っている言葉（ここでは日本語としましょう）をコンピューターに処理させることです。その結果、コンピューターに入力された言葉からは、何らかの情報が取り出されます。何らかの情報とは例えば地名や製品名、ランチの注文かもしれませんし、ユーザーがしたい何かのアクションかもしれません。あるいは、入力された言葉が、全体として肯定的なものなのか、否定的なものなのかを判断するといったことも考えられます。 いずれにせよ、こうした処理を行うには、入力された言葉をさまざまな段階を踏んで解析する必要があるでしょう。 例えば、「くるまでまつ」という文について考えてみます
pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator
- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。 特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。 本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。 注意：本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。 重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂
Python と Playwright でブラウザを自動操作させるコードを自動生成したよ - Qiita
Playwright が昨年１年間で大幅パワーアップしていたので、使い方を確認したときの記録のまとめです。 ブラウザを自動操作できるということは、簡単なスクレイピングやブラウザ側のテスト自動化が簡単にできるようになります。 特に、Python での解説がまだまだ少なかったので、自分の学習を含めてまとめました。 今回は入門編ということで全体像をつかみつつ使用方法の流れを確認していただければありがたいです。 Selenium や Puppeteer を使っている方も、一度試す価値ありと思っています。 選定した理由 ブラウザのテストを Python で自動化したかったんです。 私なりの要件がありまして、非常にわがままな要件でしたが余裕ですべてクリアしました。 Python で書けること。社内で Python を使える方が多いので。pytest と連携してくれるとなおうれしい。 Docker コン
Pythonのオブジェクト指向プログラミングを完全理解 - Qiita
1. オブジェクト指向の起源 2003年チューリング賞の受賞者アラン・ケイさんはよくオブジェクト指向プログラミングの父と称されます。ご本人も憚ることなく、幾度、公の場で発明権を宣言しています。しかし、ケイさんは「C++」や「Java」などの現代のオブジェクト指向言語を蔑ろにしています。これらの言語は「Simula 67」という言語を受け継いだもので、私が作った「Smalltalk」と関係ないのだとケイさんは考えています。 オブジェクト指向という名称は確かにアラン・ケイさんに由来するものです。しかし、C++とJavaで使われている現代のオブジェクト指向は当初のと結構違います。ケイさん自身もこれらの言語を後継者として認めないです。では、ケイさん曰くC++とJavaの親であるSimula 67という言語はどんな言語でしょうか。ここで、簡単なサンプルコードを見てみましょう。 Class Recta
Python, pandasによるデータ分析の実践 （Qiita記事データ編） - Qiita
はじめに この記事では、Qiitaの記事データを題材としたpandasによるデータ分析の実践例を紹介する。 Qiita APIを利用したデータの取得については以下の記事を参照。 Qiitaの記事データをQiita API, Scrapyで収集 対象とするのは2018年8月15日未明に取得した、それまでの全記事データ（32万件程度）。 以降のサンプルコードでは特定の列のみを読み込んで使う。 import collections import itertools import os import matplotlib.pyplot as plt import pandas as pd import seaborn as sns result_dir_path = 'results' df = pd.read_csv( os.path.join(result_dir_path, 'summary
令和時代のPython作図ライブラリのデファクトスタンダードPlotlyExpressの基本的な描き方まとめ - Qiita
初めに javascriptベースで手軽に対話的な操作が可能な作図が出来るPlotly Express(公式サイト)というライブラリが少し前に公開されたのを見つけました。 今までの静的な作図とは明らかに異なる次元のポテンシャルを感じたので、備忘録を兼ねて基本的な可視化手法の描き方をまとめました。 参考までに、matplotlib+seabornで同様の図を書いたパターンと比較しています。 「基本的な可視化手法」は、以前書いた「探索的データ解析における正しい可視化手法の選び方と描き方」に準拠しています。 Plotly Expressとは Plotly Expressは2019年の3月に公開されたplotlyの高レベルAPI群です。 インタラクティブで複雑な描画を簡単に書けるのが特徴です。 公式サイト: https://plot.ly/python/plotly-express/ API re
Kaggleの練習問題（Regression）を解いてKagglerになる - Qiita
Kaggleの練習問題の1つである、House Pricesに取り組んでみます。Regressionの練習問題はこれ１つですので、がっつり取り組んで他の（お金の絡む）コンペのための準備をしたいですね笑 使用言語はPythonです。基本的に、自分のKernelと内容は同じです。Qiitaはいいのでこっちにupvoteしてくれると嬉しいです。 EDA (Exploratory Data Analysis) まずは、データがどういう構造なのか探っていきます。Dataの項目を見ますと、ご丁寧に各列の変数の説明が載っています。例えば、今回の予測すべきターゲットは、 SalePrice - the property's sale price in dollars. This is the target variable that you're trying to predict. ですね。他、家に関す
Python の型チェックが 400 万行に到達するまで
Dropbox は、Python のビッグ ユーザーです。Python は、バックエンド サービスとデスクトップ クライアント アプリの両方で最も広く使用されています（Dropbox は Go、TypeScript、Rust のヘビー ユーザーでもあります）。 Dropbox の Python コードは数百万行にも及ぶ規模となっていますが、その動的型付けによってコードが必要以上に理解しにくくなり、生産性に深刻な影響を与えるようになりました。 これを軽減するため、現在私たちは最も普及している Python スタンドアロン型チェッカー、mypy による静的型チェックにコードを徐々に移行しています（mypy はオープン ソース プロジェクトであり、そのコア チームは Dropbox 内に設立されました）。 Dropbox は、この規模での Python 静的型チェックを導入した最初の企業の一つで
26.1. typing --- 型ヒントのサポート — Python 3.6.6 ドキュメント
Note The Python runtime does not enforce function and variable type annotations. They can be used by third party tools such as type checkers, IDEs, linters, etc. This module provides runtime support for type hints. Consider the function below: def moon_weight(earth_weight: float) -> str: return f'On the moon, you would weigh {earth_weight * 0.166} kilograms.' The function moon_weight takes an argu
実践！！Python型入門(Type Hints) - Qiita
はじめに みなさん、PythonのType Hints使ってますか？ Pythonは動的型付き言語なので、明示的に型情報をつけずにコーディングできることがメリット、と感じされている方もいらっしゃるかもしれません。 その意見はもっともなのですが、型を明示的に指定することで、よりバグを発生させにくいコーディングができることも事実かと思います。 本記事ではPythonの型についての入門～中級の内容を扱います。 皆さんのPythonスキルアップの一助となれば幸いです。 注意事項 Pythonの静的型解析にはmypyというライブラリが必要ですが、mypyの使い方、インストール方法などについては解説しません。 ステップ1：基本的な変数の型[イミュータブル] 変数の型の書き方は下記の通りです。
Our journey to type checking 4 million lines of Python
Dropbox is a big user of Python. It’s our most widely used language both for backend services and the desktop client app (we are also heavy users of Go, TypeScript, and Rust). At our scale—millions of lines of Python—the dynamic typing in Python made code needlessly hard to understand and started to seriously impact productivity. To mitigate this, we have been gradually migrating our code to stati
【超初心者向け】コピペで動かして楽しむPython環境構築&スクレイピング&機械学習&実用化【SUUMOでお得賃貸物件を探そう！】 - Qiita
で大丈夫です。 これで環境構築は終わりです。 お手軽すぎる...! 適当にデスクトップにフォルダを作成してそこでnotebookを作成しましょう。 スクレイピング編 さて、そもそも「スクレイピング」とはなんでしょうか？ wikipediaさんによると ウェブスクレイピングはWWWから自動的に情報を収集する処理に他ならない。 つまり「インターネットから情報を自動で収集する」、ということですね。（そのまんますぎる） 今回の分析では、何千、場合によっては何万といった賃貸物件のデータを利用するわけですが、１つの物件に対して ・物件名 ・家賃 ・広さ ・間取り ・立地（最寄り駅、最寄り駅までの距離、詳細な住所） etc... これを手動でExcelに何千回、何万回と打ち込んでいく...、考えただけでもいやになりますよね。 そこでプログラミングで一気にデータを集めます。 ここで一つ大事な注意があります
EDINETのXBRL用のPythonライブラリを作った - Parser編 - Qiita
1. はじめに まず、EDINETとXBRLについて軽く。 1.1 EDINETとは EDINETは、「金融商品取引法に基づく有価証券報告書等の開示書類に関する電子開示システム」のことで、有価証券報告書、有価証券届出書、大量保有報告書等の開示書類について、その提出から公衆縦覧等に至るまでの一連の手続きを電子化するために開発された1ようで、株式投資の重要な判断材料になる決算書が、後述するXBRLという特殊なXMLファイルでダウンロードできる（検索もできる）。まとめてドカっとダウンロードしたいひとはこれを参考にしてほしい。 1.2 XBRLとは XBRL JAPANによると、XBRL（eXtensible Business Reporting Language）は、各種事業報告用の情報（財務・経営・投資などの様々な情報）を作成・流通・利用できるように標準化されたXMLベースのコンピュータ言語2
Pythonで基礎から機械学習 「単回帰分析」 - Qiita
はじめに この「Pythonで基礎から機械学習」シリーズの目的や、環境構築方法、シリーズの他の記事などは以下まとめページを最初にご覧下さい。 本記事は、初学者が自分の勉強のために個人的なまとめを公開している記事になります。そのため、記事中に誤記・間違いがある可能性が大いにあります。あらかじめご了承下さい。 より良いものにしていきたいので、もし間違いに気づいた方は、編集リクエストやコメントをいただけましたら幸いです。 本記事のコードは、Google Colaboratory上での実行を想定しています。本記事で使用したGoogle ColabのNotebookは以下となります。 01_linear_regression.ipynb \newcommand{\argmax}{\mathop{\rm arg~max}\limits} \newcommand{\argmin}{\mathop{\rm
人間のためのイケてるPython WebFramework「responder」、そして作者のKenneth Reitzについて - フリーランチ食べたい
この記事は Python その2 Advent Calendar 2018 - Qiita の1日目です。 responderとは GitHub - kennethreitz/responder: a familiar HTTP Service Framework for Python 2018年10月に公開された イケてるPython WebFramework です。 requestsやpipenvなどの開発者である Kenneth Reitz が(おそらく)今年のHacktoberfest 2018 - DigitalOcean 用に開発したものだと思われます。 GitHubのタグを見ると(Topic: hacktoberfest2018 · GitHub )、hacktoberfestで2位 今年10月に公開されたのに関わらず既にStarが2000以上付いており、かなり勢いがあります
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - pfnet/pysen: Python linting made easy. Also a casual yet honorific way to address individuals who have entered an organization prior to you.
【2020年新人研修資料】ナウでヤングなPython開発入門
Avoid warning of 'brew doctor' with fish & pyenv - Qiita
Kyoto University Research Information Repository: プログラミング演習 Python 2019
「Python」言語でレトロゲームを開発・実行できるエンジン「Pyxel」を試してみた／シンプル・モダンな設計が魅力。GUIリソース編集ツールも付属【レビュー】
