TransformerやAttentionの分かりにくい点についてのメモ - StatsBeginner: 初学者の統計学習ノート
ChatGPTの「GPT」はGenerative Pretrained Transformerの略であり、TransformerというのはGoogleが2017年に発表した『Attention is all you need』という論文で提案されたディープラーニングの画期的なアーキテクチャで、その論文のタイトル通り「Attention」という機構だけを使い倒している点が特徴的である。 ……という話は色々なところで紹介されているのだが、私のような素人が読むと誤解してしまうような記述も少なくない。 「仕組みを分かっていない人がいい加減な説明をしている」というよりは、「仕組みをよく知っている人が、素人の気持ちをあまり考えずに説明している」という感じで、悪気は全くないと思うし誤解するのは不勉強なこちらが悪いのだが、読むほうとしては困ることも多い。 そこで、にわか機械学習ユーザである自分がall y
「シャブ漬け」という比喩は世間でそれなりに使われている - StatsBeginner: 初学者の統計学習ノート
吉野家の役員のくだんの発言については、特に非難したいとも擁護したいとも思わず、「生娘をシャブ漬けにしてる暇があったらうちの職場の近くに店をつくってくれ」ぐらいの感想なのだが（飲食店がほとんどないので）、「シャブ漬け」という喩えはそれなりに耳にする割に、えらい勢いで世間が怒っているなと感じた。まぁ、「生娘」のほうに怒っている人が多いのかもしれないが。 マーケティングの先生が、 あくまで(いちマーケティング学者の)私見ですが、マーケティング界隈において「シャブ漬け戦略」という用語は全くもって流通していませんし、通常「内輪」ですら使われていないと思います。— 関大岩本ゼミのアドミン (@AkinoIwamo) April 19, 2022 とおっしゃっていて、それはそうだろうと思う一方で、「しかし『シャブ漬け』っていう比喩はそれなりに聞くけど、どんな場面だっけ？」としばらく悩んで思い出したのだが
Rで棒グラフと折れ線グラフを重ねた2軸グラフを描く - StatsBeginner: 初学者の統計学習ノート
さっき、Rで棒グラフと折れ線グラフを重ねたものを作ろうとして、けっこう手間取りました。最終的に描いたのは↓のようなものなのですが。 「2軸グラフの書き方」「種類の異なるグラフの重ね方」についていろいろ調べたところ、barplot()とplot()を組み合わせるやり方もあるんですが、ggplot2でやるほうがやりやすかったです。以下、まず単なる2軸グラフの書き方をおさらいした後で、棒と折れ線を組み合わせる方法をメモしておきます。 2軸グラフの作り方 左右の軸をつかってスケールの異なるグラフを重ねたいだけなら、さほど難しくはなく、plot()ですぐできます。 例えば折れ線グラフを２つ重ねたいのだとしたら、まず1つめの変数のグラフを軸無しで書いたあとに、x軸と左軸を描く。その後、par(new=T)で、2つめの変数のグラフを軸なしで重ね描きした上で、右軸を描けばいいです。 で、最後にbox()で
四半期GDP成長率の「年率換算」はどれぐらいブレるのか？ - StatsBeginner: 初学者の統計学習ノート
GDPは「四半期速報値」というのが作成されており、前の四半期との比（たとえば2019年7-9期と10-12月期の比）を4乗したものが、「年率換算」の成長率として報道などで使われている。最新の速報では、2019年10-12月期の実質GDPが、年率換算でマイナス7.1%と大幅な減少を記録したと報道されていた。 この、四半期成長率を4乗した値というのは、トレンドが安定していればもちろん年率の成長に一致するが、短期的な変動が4乗されるわけなので、けっこう大きく上下する。 以下は、ちょっとわかりにくいが、実質GDPの -年間（暦年）の成長率［黒い線］ -四半期成長率を「年率換算」したもの（前期比の4乗）［赤い線］ -四半期GDPを4倍したものと、前年の年間GDPの比［青い線］ をグラフにしたものだ。四半期はいずれも季節調整済み。 データは、暦年GDPについては平成30年度の国民経済計算年次推計、四半
Rで連立方程式を解く練習（例：超小型の日本経済マクロ計量モデル） - StatsBeginner: 初学者の統計学習ノート
先日、『gretlで計量経済分析』という本に載っている二段階最小二乗法の演習をRでやってみるエントリ（リンク）を書いたのですが、同じ本の次の章は「マクロ計量モデル入門」となっていて、1980年から2009年までの日本経済のデータを用い、5本の構造方程式と2本の定義式、7つの内生変数と9つの外生変数からなる超小型のマクロ計量モデルをつくるというものでした。 Rで連立方程式を解く方法の確認がてら、Rで実行してみます。 最近、研究室の学生にRの使い方をイチから教えてるのですが、これをさらに単純化して練習問題に使えるかも……？ データは本のサポートページからダウンロードできるものですが、「model.gdt」というファイルをgretlで読み込んでcsvで書き出したものを、Rに読み込ませて使いました。 準備 データは↓のようなイメージです（画像は一部です）。 library(lmtest) libr
文系の大学院生が就活に苦戦する理由 - StatsBeginner: 初学者の統計学習ノート
「文系の院生」は就活で不利？ とある就活サイトの人から、リレーブログみたいなものへの参加を依頼されたので書きました。この記事は主に企業への就職の話ですが、面接対策の部分は公務員であれ何であれ同じようなことが言えると思います。 （もう一本、研究開発職の就活に関する記事も書いてあり、そっちでは人事部の裏話的なものを載せています。） ちょうど１年くらい前、「『頭のいい』女子はいらないのか——ある女子国立大院生の就活リアル」という記事（リンク）にはてなブックマークが400個ぐらい付いて話題になっていた。記事は「女だから」という理由で就活で苦労するという話なのだが、ツイッターのタイムラインではなぜか、「女だからというより、『文系の院生は使えない』からだろ。とくに社会学はダメだ！」みたいな話になっていて、以下のようなまとめまで出てきていた。 togetter.com 「文系の院卒」の就職率は相対的に悪
某メーカーの採用担当者に聞いた、研究開発職の新卒採用の裏話（就活エントリの続き） - StatsBeginner: 初学者の統計学習ノート
採用の当事者へヒアリング さっき就活エントリを書いたついでに、10年ぐらい前に別のブログに書いたネタを再掲しておこう。 食品会社や製薬会社を狙って研究・開発職志望で就職活動を始めた▲▲大学のＡ子さんから、エントリーシートの書き方とか面接での自己ＰＲの仕方について、軽く相談を受けたことがあった。全然業種が違ったんだけど、私はもう就職してたから一応コメントするみたいな。 で、たまたま私は、某大手食品会社の人事部採用担当にＢ子という知り合いがいたことを思い出して、そいつに「採用側の視点から何かアドバイスしてやってくれ」と、ヒアリングを実施したわけである。 採用担当者も面接官もタイプは色々なので、あくまで「こいういう人もいる」という一例に過ぎないし、エントリーシートを紙で書いてた時代の話なので今とは違う面もある。当時私は就職1年目ぐらい、A子は4年目ぐらいとどちらも若かったので、今同じ話をすれば付
Rでの単位根検定はadf.test()関数よりCADFtest()関数がいいのでは？ - StatsBeginner: 初学者の統計学習ノート
時系列データをあまり扱わないのでまじめに考えてなかったんですが、Rで単位根検定をする場合、拡張ディッキー＝フラー検定（augmented Dickey–Fuller test）を実施してくれるadf.test()という関数があります。 しかしこの関数は、 考慮するラグの次数を指定しなかった場合、サンプルサイズ（時系列データの長さ）を基準にして自動選択している 定数項もトレンド項も含むパターンしかやってくれない という制限があり、後者についてはたいていの場合含めといたほうがいいらしいので問題ないとして、前者はよくわからない基準であって*1、本来はAICなどに基づいて選択されたラグ次数を用いたモデルで検定したほうがいいと思われます。実際ラグ次数によって結果がけっこう変わることもあるので、慎重に選んだほうがいいかと思います。 ということで、以下の記事で説明されているように、CADFtestパッケ
Pythonの簡単なコードでメールを自動送信してみる - StatsBeginner: 初学者の統計学習ノート
意外と簡単にできた メールを300人ぐらいに発信する必要がありまして、Toに全員入れるわけにはいかないし、BCCで送るのもダサいかなと思って、「1人1人を個別にToに指定して、同じ件名・同じ文面のメールを送る」ってのをPythonでやってみました。*1 標準モジュールのemailってのとsmtplibってのを使って、50行程度のコードで簡単に送れました。 １点心残りなのは、後述のとおりFromの欄に日本語の差出人名を表示させるやつが、色々調べたものの結局できませんでした。 用意するもの アドレスリストをCSVで用意して、本文はテキストファイルに書いておきました。 コード ネットでsmtplibを使ったPythonでのメール送信の解説を探すと、sendmail()というメソッドで送っているものと、send_message()というメソッドで送っているものがあります。sendmail()が基本
今更ながら、Rのアンインストール・インストール・初期設定の復習（Macの場合） - StatsBeginner: 初学者の統計学習ノート
備忘のためのメモが必要 Rのバージョンアップをしようとしたんですが、Macの場合はアップデート用のコマンドが使えないらしいので、アンインストールして新バージョンを再インストールをすることにしました。 Rのインストール方法なんて解説サイトが山ほどあるのでこの記事をみるメリットはあまりないですが、自分がやることになった時に自分で書いたブログ記事を見直すのがたぶん一番早いので、まとめておくことにします。 初期設定一式については、新しくパソコンを買った時とかに一通りやり直さなければならない場面もあるかもしれないですし。 研究室ではみんなSPSSを使ってる（私もSPSSを使い始めた）ので、学生にインストールを教えることは当面なさそうですが、Rの何かのパッケージを使わないとできないことが出てきたら，教える場面もあるかもしれません。 なお今回の環境としては、OS X SierraでR 3.4.0を使って
「学術論文の元データはどれぐらい他人が入手可能なのか？」について調査した論文 - StatsBeginner: 初学者の統計学習ノート
今日、知り合いのFacebookで、以下の記事がシェアされていました。 「生データの保存大切」 山中教授、ＳＴＡＰ問題で指摘（1/2ページ） - 産経ニュース 内容はタイトルのまんまで、特に思うこともないんですが、これ読んで、ある研究を思い出しました。 Vines, T. H., et al. (2014). The availability of research data declines rapidly with article age. Current Biology, 24(1), pp.94-97. http://www.cell.com/current-biology/abstract/S0960-9822(13)01400-0 ↑のリンクから手に入る（たぶん有料。私は大学のアカウントがあるのでタダみれる。）論文なんですが、簡単にいうと「他人が書いた学術論文の元データって、ど
Pythonメモ: Pandasで文字列検索をループするとかなり遅かった - StatsBeginner: 初学者の統計学習ノート
前回のエントリで、Pandasのデータフレームを文字列で検索すると遅かったと書いたんですが、実際に検索の方法を変えるとどれぐらい違うのかを計測してみました。 結論から言えば、辞書型に変換してから検索したらだいぶ速くなったのですが、それが凄いというよりは、Pandasの基本がまだ分かってないということかなと思いました。こうやると速いとか遅いとかいう記事はいろいろあるみたいなのでまた勉強したいと思います。 一応、前回のエントリでやった方法を確認のため比較することとして、PN Tableに載っている単語をランダムに1万個選んだ上で、1個1個についてPN値を選択して取ってくるという処理の時間を測ります。 Pandas内での工夫についてはよくしらないので、Pandasではない形で検索した場合と比べました。 時間を図る方法は単純に、処理の直前と直後に時刻を取得して引き算するだけにしました。 まずパター
【Python】MeCabと極性辞書を使ったツイートの感情分析入門 - StatsBeginner: 初学者の統計学習ノート
負のオーラを自動検出したい 前回のエントリで、著作権侵害にあたる違法アップロード動画を自分のTwitterで拡散してしまっている懸念を考えて、YouTube動画のリンクが貼ってあるツイートをまとめて削除しました。 前回のエントリでも言いましたが、著作権侵害モノ以外にも、「残しておくとまずいツイート」は色々ある可能性があり、たとえば誹謗中傷の類いがあるかと思います。誹謗中傷ツイートを自動抽出する方法はにわかには思いつきませんが、たぶん「クソ」とか「死ね」とか「バカ」とかそういう悪口の辞書が必要になりそうです。 ところで、言語データの分析手法として、単語ごとに感情特性を評価した辞書というものがあちこちで作られていまして、これを使ってツイートがどのような感情を帯びているか分析するということが、よくやられています。Yahoo!がそういうツールを提供してたりもします（参考リンク）。 Yahoo!のリ
エンジニア泣かせの「日本の住所」は誰が決めているのか - StatsBeginner: 初学者の統計学習ノート
住所のデータを機械で扱おうと思った時、日本の住所は「1の1」と「1丁目1番」と「1-1」のように表記が統一されていないこと、数字の部分だけでなく町名や字名の部分も複数の書き方があること、漢字の旧字新字が混じること、アメリカ等のようにカンマでの分かち書きがされていないことなどの理由によって、処理が難しいというのはよく知られた話です（分かち書き問題についてのわかりやすい記事はこちら）。 それで苛立ったエンジニアの人が「なんで統一ルールを作らねぇんだよ！」とブチ切れたりすることがあったりするわけですが（私はエンジニアではないのでブチ切れません）、「じゃあその統一ルールは誰が作ればいいんだ？」と考えると、「そもそも誰が決めてるんだっけ？」という疑問に行き当たります。 そこで、日本の住所が何に基づいてどのように決定されているのかについて、備忘のために要約しておきました*1。未確認事項が２点残っており
Python作業メモ: 残しておくとマズそうな自分のツイートをまとめて削除する（YouTubeリンク編） - StatsBeginner: 初学者の統計学習ノート
著作権侵害にあたるYouTube動画へのリンクを削除する たまにツイッターで、YouTubeのリンクを貼り付けたツイートをしていますが、よく考えたら違法アップロードに該当するものを拡散してしまっている可能性があります。可能性とかいう曖昧なレベルで考えるのが面倒なので、いっそのことYouTubeのリンクを共有した過去のツイートをいっぺんに削除してしまおうと思いました。 ついでに、人の悪口を言ってるようなツイートも削除して、自分のアカウントを「とてもいい人のアカウント」に変貌させていこうかとも思い出しましたが、まだ手法が検討できていません。（私の場合は必要性が低いですが、最近の就活生などには必要かも？） ツイートの感情分析を行って、負の感情の高ぶりが感じられるツイートを自動削除していけばいいんでしょうかね。本文を形態素解析で単語に分けて、人名を含むツイートを抽出した上で、さらに単語ごとに感情の
フォルダの差分同期をExcel（VBA）で行う - StatsBeginner: 初学者の統計学習ノート
VBAの勉強エントリです。 自分がデータ分析とかをやる場面ではべつにVBAを使う必要はなく、RやPythonでやればいいのですが、会社の仕事で他の人たちと共同作業する上では、Excelとかのマクロが組めると便利だろうなと思うことが多いです。 しかしほっといたらいつまでたっても勉強しないので、「とりあえず使いこなせるレベルにはならなくていいから、VBAで何かやるときの作業イメージをつかんで、いざ必要になったときの心理的ハードルを下げておきたい」と思い、ちょっといじってみています。 何かVBAでできそうなタスクがあったときに、「ググりながら時間かければ俺でも何とかできるかも」という前向きなモチベーションを持てるようにしておくのが目的です。 フォルダの同期 VBAで２つのフォルダの中身を比較して、差分の同期をする方法を検索したら、robocopyというWindowsのコマンドをVBAから起動する
メールデータ解析のため、Outlookの分類フォルダをまたいでメッセージを一括テキスト変換 - StatsBeginner: 初学者の統計学習ノート
Outlookのマクロ（VBA）に関するエントリです。 オライリーの『入門機械学習』はRによる機械学習の教科書で、正直どっちかというと今は「同じタイトルでPythonによる分析の教科書」の方が欲しい感じなのですが、これもけっこう写経しているだけでも勉強になります。 入門 機械学習 作者: Drew Conway,John Myles White,萩原正人,奥野陽,水野貴明,木下哲也出版社/メーカー: オライリージャパン発売日: 2012/12/22メディア: 大型本購入: 2人 クリック: 41回この商品を含むブログ (11件) を見る 代表的な機械学習モデルの基本的な処理が一通り解説されており、実際にサンプルデータを使って一からコードを書いて分析を進めていくという内容で、前処理から順番に「こういうところでこういう問題が起きるだろ？だからこうやって解決するんだぜ」みたいな感じになっており、
学術研究費のクラウドファンディング 〜CrowdからTribeへ〜 - StatsBeginner: 初学者の統計学習ノート
以下の記事をみてTwitterでシェアしようと思ったら要約が長くなりすぎたのでここにメモしておきます。単に概要を箇条書きしただけです。 Crowdfunding and Tribefunding in Science – The Next Regeneration 政府系の競争的な研究資金を取るのは大変で、研究者はその応募書類をつくるのにめちゃめちゃ労力を割いている。 一方、そんだけ労力を割いても採用されないプロジェクトが多く、審査も完全ではないから、優れたアイディアが闇に消えてしまっている可能性もある。 そんななか、最近は学術研究の分野でも、クラウドファンディングによって研究費を集めるケースが増えてきている。 experiment.comなど、そのためのオンラインプラットフォームも出来ている。 数十人・数十万円を集めれば成立するプロジェクトが多く、意外と成立している。 意外と、大衆受けす
Pythonメモ: Tweepyのややこしいレスポンスデータの読み方 〜Twitter API活用の最初の難関〜 - StatsBeginner: 初学者の統計学習ノート
Twitterのbot作りは良い勉強になる 以前のエントリで紹介したように、Tweepyというライブラリを使うと、かなり簡単にPythonでTwitterを自動操作出来るようになります。 www.statsbeginner.net つぶやいたり、フォロー／アンフォローしたり、RTしたりふぁぼったりといったアクションをTweepyを使って記述し、自動で実行できる環境に置けば、自前のbotが出来上がります。botといえば、ブログ記事の紹介ツイートを定期的に流したり、新しいフォロワーにフォロバするといった使い方がよくされていますが、自作のプログラムであれば例えば特定のキーワードを含むツイートをしているユーザを検索してそのプロフィールを取得してデータベース化するとか、ふぁぼやRTをよくしてくれる人を一定の基準を設けてリストに登録していくといった複合的な作業も、自動化できて手間が省けます。 私は自分
Pythonメモ: Pandasのデータフレームに空のデータフレームを合体させたらint型の列がfloat型になってた - StatsBeginner: 初学者の統計学習ノート
こんな事象に陥る人が他にいるのか分からないのですが、ググって解決しなかった問題が解決したので、せっかくだからメモしておきます。 Pandasのデータフレームに、整数型で値が入っている列があるとします。 >>> import pandas as pd >>> import numpy >>> >>> df1 = pd.DataFrame({ ... 'ID':[123456789012345678, 123456789012345673, 12345678901234567], ... 'Name':['Ichiro','Jiro','Saburo'] ... }, ... columns = ['ID', 'Name'] ... ) >>> >>> type(df1['ID'][0]) # 列ごと取り出すとPandasのSeriesですと言われるので <class 'numpy.int64
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
