TransformerやAttentionの分かりにくい点についてのメモ - StatsBeginner: 初学者の統計学習ノート
ChatGPTの「GPT」はGenerative Pretrained Transformerの略であり、TransformerというのはGoogleが2017年に発表した『Attention is all you need』という論文で提案されたディープラーニングの画期的なアーキテクチャで、その論文のタイトル通り「Attention」という機構だけを使い倒している点が特徴的である。 ……という話は色々なところで紹介されているのだが、私のような素人が読むと誤解してしまうような記述も少なくない。 「仕組みを分かっていない人がいい加減な説明をしている」というよりは、「仕組みをよく知っている人が、素人の気持ちをあまり考えずに説明している」という感じで、悪気は全くないと思うし誤解するのは不勉強なこちらが悪いのだが、読むほうとしては困ることも多い。 そこで、にわか機械学習ユーザである自分がall y
【Python】MeCabと極性辞書を使ったツイートの感情分析入門 - StatsBeginner: 初学者の統計学習ノート
負のオーラを自動検出したい 前回のエントリで、著作権侵害にあたる違法アップロード動画を自分のTwitterで拡散してしまっている懸念を考えて、YouTube動画のリンクが貼ってあるツイートをまとめて削除しました。 前回のエントリでも言いましたが、著作権侵害モノ以外にも、「残しておくとまずいツイート」は色々ある可能性があり、たとえば誹謗中傷の類いがあるかと思います。誹謗中傷ツイートを自動抽出する方法はにわかには思いつきませんが、たぶん「クソ」とか「死ね」とか「バカ」とかそういう悪口の辞書が必要になりそうです。 ところで、言語データの分析手法として、単語ごとに感情特性を評価した辞書というものがあちこちで作られていまして、これを使ってツイートがどのような感情を帯びているか分析するということが、よくやられています。Yahoo!がそういうツールを提供してたりもします（参考リンク）。 Yahoo!のリ
メールデータ解析のため、Outlookの分類フォルダをまたいでメッセージを一括テキスト変換 - StatsBeginner: 初学者の統計学習ノート
Outlookのマクロ（VBA）に関するエントリです。 オライリーの『入門機械学習』はRによる機械学習の教科書で、正直どっちかというと今は「同じタイトルでPythonによる分析の教科書」の方が欲しい感じなのですが、これもけっこう写経しているだけでも勉強になります。 入門 機械学習 作者: Drew Conway,John Myles White,萩原正人,奥野陽,水野貴明,木下哲也出版社/メーカー: オライリージャパン発売日: 2012/12/22メディア: 大型本購入: 2人 クリック: 41回この商品を含むブログ (11件) を見る 代表的な機械学習モデルの基本的な処理が一通り解説されており、実際にサンプルデータを使って一からコードを書いて分析を進めていくという内容で、前処理から順番に「こういうところでこういう問題が起きるだろ？だからこうやって解決するんだぜ」みたいな感じになっており、
Pythonメモ: Tweepyのややこしいレスポンスデータの読み方 〜Twitter API活用の最初の難関〜 - StatsBeginner: 初学者の統計学習ノート
Twitterのbot作りは良い勉強になる 以前のエントリで紹介したように、Tweepyというライブラリを使うと、かなり簡単にPythonでTwitterを自動操作出来るようになります。 www.statsbeginner.net つぶやいたり、フォロー／アンフォローしたり、RTしたりふぁぼったりといったアクションをTweepyを使って記述し、自動で実行できる環境に置けば、自前のbotが出来上がります。botといえば、ブログ記事の紹介ツイートを定期的に流したり、新しいフォロワーにフォロバするといった使い方がよくされていますが、自作のプログラムであれば例えば特定のキーワードを含むツイートをしているユーザを検索してそのプロフィールを取得してデータベース化するとか、ふぁぼやRTをよくしてくれる人を一定の基準を設けてリストに登録していくといった複合的な作業も、自動化できて手間が省けます。 私は自分
こんな私でもニューラルネットワークをスクラッチで実装できました(30歳 男性） - seri::diary
この記事はトレタ Advent Calendar 2016の22日目です。 21日目はswdhの ActiveRecordオブジェクトを関連ごとシリアライズしてデシリアライズするでした。 スナップショット的にその時点のモデルを関連モデル含めて保存したい、っていう要望はBtoBやってると結構遭遇しますね。テーブルをちゃんと正規化すればするほど難しくなるやつなのでgem化されてるとありがたいです。 さて、この記事ではゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装を読んでpythonに入門するところから初めてニューラルネットワークを実際に実装して見た所感を記述します。平たく言えば読書感想文です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2
機械翻訳に関する記事を読んで面白いと思ったこと（与太話） - StatsBeginner: 初学者の統計学習ノート
短いし大したことは言わないし正確に理解もできていないので、ブログ記事にするのもためらわれますが、Twitterの字数では書けないのでここに書きます。 以下の、機械翻訳の現状に関する記事を読み、大変参考になりました。 rekken.g.hatena.ne.jp それで学説史的に興味深いなと感じたのでメモしておきます。与太話です。 1960年代から70年代にかけて「認知革命」というアカデミアのムーブメントがあったと言われます。心理学、言語学、脳科学、計算機科学とかそういった分野にまたがる運動だったんだけど、心理学の方面から見た時によく言われるのは、「記号（表象）の関係をモデル化する」という研究が推し進められたのが特徴であったということ。それまでは、パブロフとかスキナーといった名前が有名だけど、「行動主義」という考え方があって、心の中身はモデル化することはできないから、外面的に観察できる「刺激」
Pythonのリスト内包表記みたいなのをRで書く方法（とおまけ） - StatsBeginner: 初学者の統計学習ノート
Rの小技 Rでデータ分析するときに最近よくやる書き方があるのですが、よくやるといいながら1か月とか間が開くと忘れているので、メモしておきます。 ２個あるのですが、１個目は将来ネットで検索して役に立ててくれる人がいるかもしれないので、１個目の小技をこのエントリのタイトルにして２個目をおまけ扱いにしました。 私はべつに、Rにもプログラミングにも詳しい人間ではないので、妥当なやり方かどうかは知りません。 というか、もっと良いやり方あればご教示いただけると・・・。（とくに２個目） １．Pythonのリスト内包表記みたいなやつをRで書く Pythonだと、リストに入っている要素について、連続的に何かの処理をして、その結果をリストで返すという処理のために、リスト内包表記というのがありますね。 ある教科書に載ってた簡単な例でいうと、 cities = ["OSAKA", "TOKYO", "KYOTO"
ネットワーク分析ライブラリiGraphをPythonから使うための準備（Macの場合） - StatsBeginner: 初学者の統計学習ノート
ネットワーク分析のツール ネットワーク分析ってありますよね。 表面的な理解としては、こんな風情の図を描いたりするやつです。 頂点（node, vertex）と、頂点を結ぶ線（link, edge）の集まりとしての「グラフ」の性質を記述するグラフ理論というものがあって、これに基づいてたとえばソーシャル・ネットワーク上の人間関係とかが分析されたりするわけです。 ネットワーク分析のツールとしては、 igraph + Pythonによるネットワーク分析 ~ Blog of an immature researcher Python/NetworkXで簡単ネットワーク分析 - あんちべ！ 2章グラフ理論スピード入門 このあたりの記事を拝読すると、RやPythonのユーザとしては、iGraphってやつとNetworkXってやつを知っておけばよさそうです。 iGraphは（たぶん）Rのものが有名で、↑の
Macに入れた各種Pythonを全部アンインストールしてAnacondaを入れなおす - StatsBeginner: 初学者の統計学習ノート
Pythonいろいろ入れすぎた Python3を単独で入れてみたり、Canopyを入れたりAnacondaを入れたり、Spyderを入れたらその中にもPythonが入っていたり・・・と、わけがわからなくなってきたので、いったんMacに標準で入っているもの以外は全部アンインストールして、Anacondaを基本にすることにしました。 Spyderも、前のエントリではSpyder単独でインストールしたのですが、Anacondaにパッケージされたものを使えばいいことが判明したので、今のうちにやり直したい。 Apple が提供している Python は /System/Library/Frameworks/Python.framework と /usr/bin/python にそれぞれインストールされています。これらは Apple が管理しているものであり Apple やサードパーティのソフトウェア
Spyder（PythonのIDE）を入れてみたところ、とても使いやすい - StatsBeginner: 初学者の統計学習ノート
Pythonを使う時、なんとなく、Canopy ExpressっていうIDEを使ってました。 あまり深い理由はなく、オライリーの『Pythonによるデータ分析入門』でCanopy使いましょうって書いてあったり、IPythonのインストール解説ページにいくと、IPythonを使いたいなら単独で入れるのではなくAnacondaかCanopyのようにパッケージ化されたものを使うべしと書いてあった（リンク）からです。 それで、とりあえず使えたから良いんですが、 スリープになるたびに不正終了としてエラーログをEnthoughtに送信するか聞かれる デバッガを使おうとすると有料 スクリプトの特定部分を選択してその場で実行ってのができない（実行したい分だけコピペしてコンソールに貼れば実行できるけど、カーソルで選択した部分をcommand + enterで実行できる方がよい） など不満な点もあったので、い
Pythonの"Tweepy"でTwitter APIから取得したデータを読んでみる - StatsBeginner: 初学者の統計学習ノート
[追記] このエントリを書いた後、レスポンスデータの読み方について別途詳しくエントリにまとめました。 www.statsbeginner.net [/追記] 前回のエントリで、PythonのTweepyライブラリを導入し、TwitterのAPIをいじることができるようになりました。 statsbeginner.hatenablog.com で、APIから情報を取得して分析とかをするのであれば、Tweepyが返してくるデータから必要な項目を抜き出さなければならず、「Tweepyはいったいどんなデータを返してきているのか」を理解してなければ話にならないですよね。 とにかくまずはTweepy公式サイトのReferenceを読んでいくべきですが、取得されるデータの内容について細かいことは書いてないような気が？ どっかにドキュメントあるのかなと思ってGitHubをみてみたら、ソースコードとかは読めま
Tweepyを使って、PythonでTwitterのAPIを超簡単に操作する - StatsBeginner: 初学者の統計学習ノート
PythonでTwitterのAPIを触りたい PythonでTwitterのAPIを操作し、検索の自動化による情報収集・解析とか、自動でつぶやくbotの作成を可能にしたい。 そこでTweepyというライブラリを使うと、とても簡単に態勢が整いました。10行以内のコードで準備が終わります。 Tweepy ちなみにTwitterのAPIは「REST API」と「Streaming API」の2種類があって、今回使うのはREST APIのほうです。REST APIは（RESTというものの説明はREST - Wikipediaでもみてください）、HTTPリクエストを投げるとそれに対応した情報がjsonで送られてくるってやつで、特定のツイートやユーザの情報を取得したり、検索をしたり、つぶやいたりするのに使うものです。Streaming APIはTwitter上に流れる情報がリアルタイムに流れ込んでく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
