サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
中東情勢
vaaaaaanquish.hatenablog.com
- はじめに - この記事は、Xonsh Advent Calendar 2017 - Qiita 23日目の記事です。 遅れ気味ですが、Python Prompt Toolkit (以下、ptk)を利用して、対話型のセレクタ(上下矢印で回答を選択できるやつ)を作りたいなと思います。 名前が分からないんですが、selectコマンドみたいなやつです。 ptkが扱えれば、xonshにも安易に応用できるため、xonshを扱う上で覚えておきたいアイデアです。 追記:2018/11/23 ptk 2.xでは、本記事のコードが動作しないため、移行のための記事とrepositoryを公開しています。 vaaaaaanquish.hatenablog.com - 選択コマンド - Pythonで擬似的なselectコマンドを作るには、printとreadlineを組み合わせて作る方法や、ptk等のコンソー
- はじめに - GithubのPull Requestを大体1日以内に処理するルールだったのだが、Repositoryが増えて全然管理できなくなったりしたので、Reviewerに入っていてApprovedしてないものだけSlackに通知しようとこねくり回したGoogle Apps Script。 Lambdaとかを使う方が楽だけど、GASは金が掛からないしポチポチで時間トリガーやSlack Bot化を進められるのが良さ。 GASでSlack botは前に書いたので、Slack投稿までは下記で出来ている前提。 vaaaaaanquish.hatenablog.com - GithubのPersonal Access Tokenの取得 - Githubをブラウザから見て、SettingsからAccessTokenを取得する。 右上のアイコンからAccount -> Settings 上記画像
- はじめに - データ分析、機械学習という仕事柄、csvやtsvを見る機会が多い。 処理する時は大体はpythonのpandasで読み込んで〜とするのだが、コンソール上で作業する時、どうしても「このcsvなんだっけ…」という事が発生する。 cat hoge.csv | head 等として上部だけ見たり、jsonならjqコマンドに流すのだが、いかんせん見栄えの問題で一瞬で判断出来なかったりする。 https://stedolan.github.io/jq/ そこで、table形式にしてコンソール上で表示して見れると嬉しいなと思って調べた事をまとめる記事。 端的に結果を最初に言うと、一般的なコンソールで使うだけならcsvkitなるCLIツールがかなり機能的で便利。tty-tableコマンドとしてjqコマンドのように扱えるtty-tableも綺麗に見れて良い。 CLIツールを今から自前で作るな
- はじめに - 以下、MANABIYA techなるイベント内のAIセッションにて登壇させて頂きました。 manabiya.tech 大きなスペースでフザけたタイトルで発表するという最悪さでしたが、満員になり立ち見状態でした。 ありがとうございました。 正当な方向性でいけば登壇スライドを公開して終わりなのですが、会社のアカウントでSlideShareにアップロードするという行為に宗教上耐えきれそうにないため、会社情報を含まない範囲でここに思い出と共に書き残す形にしようかと思います。 - 登壇内容 - 登壇では、以下3つをテーマに話をしました。 AI屋さんの定義、分類は? 実際AI屋さんって何やってるの? 上手くAIプロジェクトを回すには? AI屋さんの定義と分類 AI屋さんとは、「セッションタイトルが ‘AI’ だったので私が仕方なく付けた名称」です。 そもそも私は、機械学習や統計モデル
- はじめに - 本を読んで筆者に媚を売る記事シリーズです。 「人工知能プログラミングのための数学がわかる本」という書籍を筆者の石川 聡彦(Aidemy)@akihiko_1022さんから譲り受けました。 人工知能プログラミングのための数学がわかる本 作者: 石川聡彦出版社/メーカー: KADOKAWA発売日: 2018/02/24メディア: 単行本この商品を含むブログを見る 明日2/24発売ですが、筆者である石川さんがCEOを務めるAidemyさんと人工知能、機械学習のイベントにてご縁があり頂く形になりました。 そもそもAidemyは、Python及び機械学習のための知識と実装に関する学習を行えるWebサービスです。 aidemy.net 似たサービスではUdemy(https://www.udemy.com/jp/)というアメリカのサービスがかなりのシェアを誇っています。 Aidemy
- はじめに - この記事の起点となったのは、2018年1月25日、共同通信が配信した「山中氏、科学誌創刊に深く関与か」というタイトルの記事が、同日午後8時頃「山中所長が給与全額寄付」というタイトルの記事に書き換えられていた件である。 下記ツイートの通り、追記や編集の知らせ無しにネットメディアが大幅に修正された場合、記事公開当初と意見の辻褄が合わず、自身の発言に責任が取れなくなる場合がある。 新聞社の件のアレでURLを含む過去のツイート全部出してフィルターかけて消すスクリプト欲しくなってきた…「これは良いですね」とシェアした記事が良くない記事になっている可能性— ばんくし (@vaaaaanquish) 2018年1月26日 自身が良いと共有した記事が卑猥、卑劣な記事になっている場合を防ぐため、特定のメディアの記事に言及していたツイートを削除するスクリプトについてメモしておく。 事前に必要
- はじめに - Python APIを備えた自動車運転シミュレータである「CARLA: An Open Urban Driving Simulator」を動かすまでの記事です。 CARLAはConference on Robot Learning 2017でも発表された、Unreal Engine 4を使ったシミュレータパッケージです。 自動運転技術開発のための様々なカメラ、センサー情報をPythonで取得し、車操作に反映する事ができます。 とやかく言っても仕方ないので以下YouTubeの動画を一回参照して下さい。 www.youtube.com 本記事はCARLAの導入と触りまでを記述するものです。 特に物を作ってどうこうしてるアレではありません。 - はじめに - - CARLAについて - 作者 競合 CARLAパッケージ情報 動作環境 - CARLAインストール - 私の環境 依
- はじめに - この記事は、Xonsh Advent Calendar 2017 - Qiita 25日目最終日の記事です。 本記事では、PythonスクリプトでHatenaブックマークのホットエントリのリストを取得、xonshへ表示する内容を記載します。 追記:2018/11/23 ptk 2.xでは、本記事のコードが動作しないため、移行のための記事とrepositoryを公開しています。 vaaaaaanquish.hatenablog.com - Hatenaホットエントリの取得 - はてなにはブログの投稿や取得、はてブ数の取得等のAPIが用意されています。 はてなブックマークドキュメント一覧 - Hatena Developer Center 上記を見る限り、Hatenaホットエントリを取得することは出来ないので、requestsでスクレイピングしてくる必要がありそうです。 im
- はじめに - 正直今時AWS LambdaがSlackサポートしていてポチポチやってスクリプト数行でbotが出来るし、フレームワークも充実しているので、何故今更GASなのかと思ったらブラウザバックした方が良い。 hubotもAWSも実質サーバ代がかかるけど `GASは無料` で `Google Driveの中身を触れる` くらいしかメリットがない。 投稿するだけなら以下の記事のようにIncoming Webhooksだけ設定して適当な所からPOSTするので良い vaaaaaanquish.hatenablog.com それでもGoogle Apps Scriptで簡単に応答するbotが作りたいんじゃいという記事。 Slackにbotもどきを導入する方法はいくつかあるが、今回目指すのは以下のようにbotがリプライできて、リプライ内容に対してbotが返信してくれる状態。 結論からいうとSl
- はじめに - Pythonで機械学習スクリプトを回して終了した際にSlack通知欲しい場合がある。 SlackへPostする方法はいくつかある。 多分Incoming WebHooksで設定するのが一番楽。 数分でできるメモ - Slack側の設定 - 自分が参加しているhogehogeチャンネルのcustomize-integrationsへ飛ぶ https://hogehoge.slack.com/apps/manage/custom-integrations Incoming WebHooksを選択 Add Configurationで新規設定作成 通知したいチャンネルやDMを選ぶ 次に進んだ所で表示されたURLにメッセージをPOSTするだけ - Pythonスクリプト - 適当にrequestsモジュールとか使う 入って無ければpipで入れる pip install reque
- はじめに - PythonでOSSパッケージ等を利用していると、Exceptionが発生した際に表示されるTraceback(正確にはスタックトレース)がかなり長い場合がある。 例えば、以下の簡易なコード実行で表示されるTracebackの行数は30近くなる。 import pandas as pd df = pd.DataFrame(dict(a=[1,2,3])) df['b'] 引用 : python - Shorten large stack traces when using libraries - Stack Overflow より複雑なプログラムにおいては、この比ではない。 にも関わらず、記述ミスのようにTraceback上位部にエラーの重要な内容がある場合もあれば、パッケージ内部のValidationで下位部が重要な場合もある。 得てしてPython開発環境として利用さ
- はじめに - この記事は Webスクレイピング Advent Calendar 2017 - Adventar の1日目の記事です。 近年では、Pythonが様々な場面で使われるようになりました。 Webからデータを取ってくる際のスクリプトとして利用し、そのままデータを機械学習における学習データとするといった案件も多く見るようになっています。 ありがたい事に本年度書きました以下の記事は、はてなブログに投稿されたPython関連の記事の中で歴代はてブ数1位だそうです。 Webスクレイピングも日に日に情報が増え、様々なパッケージやフレームワークによって手軽になっています。 本記事は、スクレイピングやクローラを記述する際に抜けがちな、「規約」について記載するものです。 スクレイピングの間隔はどうすればいい?規約は?違法でないの?という人のために法律等もまとめています。 追記2019/01/0
- はじめに - この記事は Xonsh Advent Calendar 2017 1日目 の記事です。 タイトルが煽りです。 なんとなく贈るという単語が12月っぽいです。 内容は、Pythonで動くShellである「xonsh」の勧めを書く記事です。 追記2018/06/25: xonshの設定に関する記事を書きました。 本記事よりも利用した上でのxonshの概要やメリット、デメリット、設定方法まで詳しく以下記事に書いてます。 vaaaaaanquish.hatenablog.com xonsh 0.7.0が出ていますが、現在prompt-toolkit2.0の各機能対応中という感じです。 これは、ptk1.x -> 2.xにおいて結構な破壊的変更があるためです。現状はpip install xonshする時に pip install xonsh==0.6.10 pip install
- はじめに - シンガポールで行われているInternational Conference on Information and Knowledge Management (CIKM) 2017に参加した。 workshop day + main conference day (3day) の合計4日間。 メモはその場で書いたものを少し編集しただけで、論文を詳しく読めているものと読めていないものがある。論文読みは別途。 メモだけは長くなりそうなので前半後半に分ける。 全体の所感としては、SIGIRの時と同じく「Deep Learning」「Embedding」「Social Network Analytics」「Knowledge Graph」といった単語がメインでそれらをどうやってレコメンドエンジンやランキングのようなIRに繋げようかという話が多かった。 (まあ、SIGIR協賛に居るか
- はじめに - 以下を読んで、筆者ら (@chezou, @tokoroten, @hagino3000) ともTwitterで相互フォローだし、いっちょ媚び売るために感想記事でも書いとくかみたいな記事。 www.oreilly.co.jp 私は「企業で機械学習プロジェクトをいくつか経験している」「書に載っているアルゴリズムや検定も大体わかる」くらいで本書のターゲットからは少し外れているっぽいのだけれど、知ったことではない。 - この本どんな人がターゲット? - 「仕事ではじめる機械学習」というタイトルの通り、「俺は来年から新卒社会人!大学で学んだ知識を活かして機械学習エンジニアとして頑張っていくぞ!」みたいな人が読むとすごく為になる本。 あと、ターゲットとしては「バイトで機械学習経験したい学生」とか「突然上司に機械学習やってくれって言われた!」みたいな人とか。 あと、機械学習を使った時
- はじめに - 端的にやりたい事を画像で説明すると以下 データ標本から確率密度関数を推定する。 一般的な方法としては、正規分布やガンマ分布などを使ったパラメトリックモデルを想定した手法と、後述するカーネル密度推定(Kernel density estimation: KDE)を代表としたノンパラメトリックな推定手法がある。 本記事ではKDEの理論に加え、Pythonで扱えるKDEのパッケージの調査、二次元データにおける可視化に着目した結果をまとめておく。 - アジェンダ - - はじめに - - アジェンダ - - カーネル密度推定(KDE)とは - - Python KDEパッケージの比較 - 以下利用するデータセット pandas scipy scikit-learn 基本的なKDE Using Kernel GridSearch statsmodels pyqt-fit - 速度比
- はじめに - Webから文章を取得して、自然言語処理かけた後に機械学習にかけるみたいな事はままある。 大体Docker使えば良いんだけど、そうじゃないんだよなという時のための個人的なメモ。 Ubuntu 16.04でPython3.xなら大体インストールできるはず。 - スクレイピング周り - lxmlなるHTML解析パーサに関連したパッケージを入れた後に下記を導入する joblib 並列稼働 selenium ブラウザ操作 cchardet 文字コード推定 requests HTTP通信 BeautifulSoup4, lxml HTML解析 sudo apt-get install -y libxml2-dev libxslt1-dev sudo pip install joblib selenium cchardet requests BeautifulSoup4 lxml 以下
- はじめに - 先月、4日間に渡って東京の京王プラザホテルで開催されたSIGIR 2017に会社員として参加した。 SIGIR2017 – The 40th International ACM SIGIR Conference on Research and Development in Information Retrieval 参加に10万程必要な高額な学会であるが、弊社からは3人参加。 後の社内勉強会で情報もシェアしたので、個人的に気になったものを少ないけどいくつか出しておく。 (書くのが遅くなってしまい忘れた部分が多いので普段より少なめです…) - Session - 大まかに見ると「Embbeding」と「Deep Learning」のお祭りという感じだった。 TF-IDFやword2vecは “Classical method” になっていた。 GloVe、Seq2Seq、A
- はじめに - PyCon JP 2017の1日目(正確にはtutorial含めると2日目)を聴講してきた https://www.pycon.jp/ 2日目も出るけど話長くなりそうなので分割 先日、PyCon JP Reject Conferenceなるものにも参加してきたので冒頭で少しだけ触れておく - PyCon JP Reject Conference - PyCon JPにリジェクトされた内容を飲みながら発表しようという会(非公式) https://techplay.jp/event/630686 倍率高かったもののリジェクトの理由を当人に聞いていくと大体以下のどれかだった Proposalを適当に書く Pythonの話をしない ニッチすぎる内容にした 中でも「Proposalを書いてる時がやる気の頂点」みたいな話が「わかる」ってなった あと「みなさんモチロン○○使ってますよね
- はじめに - こちらに行ってきたので簡単に感想など connpass.com 別に日常ブログでも良い気がしたけど一応技術なのでここに記録しておく - 所感 - モデルアーキテクチャ観点からの高速化 Yusuke Uchida (@yu4u) | Twitter https://t.co/4t9EEdI19b CNNのモデル上での高速化の話 Deep CompressionとかPruningを幅広く浅く紹介 多分本当に上位レイヤ的な工夫等の話をしたのはyu4uだけだった Deep Compressionに関しては前の人工知能学会以来コツコツ調べてたので大体把握していて、個人的な所感としては本当に浅く広くという感じ(他の登壇者との兼ね合いかな…) 個人的には符号化を上手く進める方法が気になるのでまた調べたい Convolutionの数理とアルゴリズム Koichi Nakamura (@9
- はじめに - headless Chromeが来た頃、Firefoxのheadless対応の噂がありました。 ヘッドレスFirefoxも近々出るよ / 他46コメント https://t.co/kxeWpaLiTR “PythonでWebスクレイピングする時の知見をまとめておく - Stimulator” https://t.co/eiKaWd1lCb— 戸田広 (@hiroshitoda) June 26, 2017 そしてheadlessモードが正式に搭載されました。 developer.mozilla.org この記事は、PythonのSelenium.webdriverを使ってFirefoxのheadlessモードを触ろうという導入記事です。 今までCUIでFirefox操作するとなると、xvfbとかVirtual Xを利用してスクリーンを作った上でのFirefox起動が一般的
- はじめに - 業務PCがWinからMacになりまして、Jupyter notebookしたいので自分の設定とextensionの導入までやったメモ。 あとChrome拡張使ってCSSを書き換えている話とか。 最初に参考資料を示しておくと、どのネット記事よりも以下extensionのGithubリポジトリのREADMEが分かりやすい。 Pythonやpip、バージョン管理環境に合わせて適宜読み替えて。 この記事書いた時点 Mac OSX Sierra 10.12 pyenv上でPython3環境構築済 - JupyterをVivaldiで起動するまで - jupytera 本体の導入はpip sudo pip install jupyterインストールが終わったらconfigファイルを作る jupyter notebook --generate-config sudo vim ~/.ju
- はじめに - 「Webスクレイピングで情報を収集する」という内容は多い。 しかし、Webスクレイピングのコードは肥大化しやすいだけでなく、細かな変更が多くなる。 テストを書いて変更の影響をちゃんと見ておく必要性が高い。 unittestとhttp.serverを使ったテストの実装についてメモしておく。 参考:python - How to stop BaseHTTPServer.serve_forever() in a BaseHTTPRequestHandler subclass? - Stack Overflow - http.server - http.serverはPython 2.xではSimpleHTTPServerと呼ばれていたもの。 (http.serverよりSimpleHTTPServerの方がググラビリティ高いかも) Webサービス等の開発用にローカルサーバとして
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「~してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05: 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
- はじめに - Chrome 59が正式版となりheadless版も正式に動き始めました。めでたい。 New in Chrome 59 | Web | Google Developers headless chromeをUbuntuに導入してPythonから触ったという記事です。 Ubuntuへの導入から、実行時の引数となるargsの考察などを含みます。 スクレイピング関連記事です。 vaaaaaanquish.hatenablog.com - インストール - まずPythonからの起動に必要なchromedriverを取得しておきます。 apt-getでも入りますが最新版が欲しいので以下のように。 (記事書いた当時で最新版は2.29) wget https://chromedriver.storage.googleapis.com/2.29/chromedriver_linu
- はじめに - JSAI2017 – 2017年度 人工知能学会全国大会(第31回) に参加した。 今まで学会への参加は学生発表、個人の聴講参加だけだったが、今回は企業ブースでの参加となった。 あまり聴講への参加は出来てないがメモ程度に気になったものをまとめておく。 - 聴講 - 企業ブース出展者での参加では1企業につき2名分のみ聴講証が渡されていたため、6割は会社の犬として自社の説明やステッカー配りなどをしていた。 以下には会社の犬時間以外で聴講し気になった所のみまとめておく。 会社の犬なので、基礎研究より産業応用の部分が多いかもしれない。 05月23日 DNNによるRDF上の単語間の関係の予測を見たかったのだが、部屋に着いた時には質疑だった。 Deep Learning系やチュートリアルセッションはどこも激混みで、大変であった。 DNN圧縮時のパラメータと圧縮後の精度, 大きさの関係
- はじめに - 社内ハッカソンと社内勉強会のネタとして、今更ながらGenerative Adversarial Networks*1 (GAN)とその応用とも言えるモデルであるDeep Convolutional Generative Adversarial Networks*2 (DCGAN)について調査し、実際に検証を行った。 この記事は、DCGANについていくらか調査、検証した部分について記述しておくものである。 なお、画像生成系のモデルは以前より話題になっていたため論文には目を通していたが、実際に触ったのは初めてである。 題材として「名刺」の画像をDCGANで生成する事を試みた。 その過程と結果を示す。 - GANとDCGAN - DCGANはGANに対してConvolutional Neural Networks(CNN)を適応する構成手法のようなものである。 生成モデルにおけ
- はじめに - 自分のWebサービスは基本PythonのDjangoフレームを利用している。 Djangoでフォームから画像を投稿してもらって、それを受け取り、画像処理や機械学習で色々やって画像として返す、といったサービスを作りたい時のメモ。 実際に「ドイツのトリおるか」なる特定の鳥を赤枠で囲むクソサービスを運営しているので、そちらも参考に。 - Django周りのコード - view.py辺りにいつもこんな感じで書いている。 # //-- Django周りのimport -- from PIL import Image import sys sys.path.append("/usr/local/lib/python2.7/site-packages") import numpy import dlib import cv2 @csrf_protect def main(request
- はじめに - この記事は以下 『コンピューターで「脳」がつくれるか』(2016/9/27 五木田 和也) を読んだ所感をまとめたものです。 コンピューターで「脳」がつくれるか 作者: 五木田和也,青木健太郎出版社/メーカー: 技術評論社発売日: 2016/09/27メディア: 単行本この商品を含むブログ (3件) を見る 未購入の方やこれから読むぞという方、また読んだので語りたいという方向けに記録として残すものです。 ちなみにこの記事の筆者は、情報工学を専攻し機械学習を研究、現在エンジニアをやっている人間です。 そのような視点から書いているという前提をご理解下さい。 - 読了難度について - まず、テーマが「コンピューター」「人工知能」「機械学習」という事もあり「一歩踏み出しにくいな」という方も居ると思います。 個人的には、そういった人にこそ薦められる書籍です。 実際に筆者の @kaz
次のページ
このページを最初にブックマークしてみませんか?
『https://vaaaaaanquish.hatenablog.com/』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く