Rで棒グラフと折れ線グラフを重ねた2軸グラフを描く - StatsBeginner: 初学者の統計学習ノート
さっき、Rで棒グラフと折れ線グラフを重ねたものを作ろうとして、けっこう手間取りました。最終的に描いたのは↓のようなものなのですが。 「2軸グラフの書き方」「種類の異なるグラフの重ね方」についていろいろ調べたところ、barplot()とplot()を組み合わせるやり方もあるんですが、ggplot2でやるほうがやりやすかったです。以下、まず単なる2軸グラフの書き方をおさらいした後で、棒と折れ線を組み合わせる方法をメモしておきます。 2軸グラフの作り方 左右の軸をつかってスケールの異なるグラフを重ねたいだけなら、さほど難しくはなく、plot()ですぐできます。 例えば折れ線グラフを２つ重ねたいのだとしたら、まず1つめの変数のグラフを軸無しで書いたあとに、x軸と左軸を描く。その後、par(new=T)で、2つめの変数のグラフを軸なしで重ね描きした上で、右軸を描けばいいです。 で、最後にbox()で
四半期GDP成長率の「年率換算」はどれぐらいブレるのか？ - StatsBeginner: 初学者の統計学習ノート
GDPは「四半期速報値」というのが作成されており、前の四半期との比（たとえば2019年7-9期と10-12月期の比）を4乗したものが、「年率換算」の成長率として報道などで使われている。最新の速報では、2019年10-12月期の実質GDPが、年率換算でマイナス7.1%と大幅な減少を記録したと報道されていた。 この、四半期成長率を4乗した値というのは、トレンドが安定していればもちろん年率の成長に一致するが、短期的な変動が4乗されるわけなので、けっこう大きく上下する。 以下は、ちょっとわかりにくいが、実質GDPの -年間（暦年）の成長率［黒い線］ -四半期成長率を「年率換算」したもの（前期比の4乗）［赤い線］ -四半期GDPを4倍したものと、前年の年間GDPの比［青い線］ をグラフにしたものだ。四半期はいずれも季節調整済み。 データは、暦年GDPについては平成30年度の国民経済計算年次推計、四半
文系の大学院生が就活に苦戦する理由 - StatsBeginner: 初学者の統計学習ノート
「文系の院生」は就活で不利？ とある就活サイトの人から、リレーブログみたいなものへの参加を依頼されたので書きました。この記事は主に企業への就職の話ですが、面接対策の部分は公務員であれ何であれ同じようなことが言えると思います。 （もう一本、研究開発職の就活に関する記事も書いてあり、そっちでは人事部の裏話的なものを載せています。） ちょうど１年くらい前、「『頭のいい』女子はいらないのか——ある女子国立大院生の就活リアル」という記事（リンク）にはてなブックマークが400個ぐらい付いて話題になっていた。記事は「女だから」という理由で就活で苦労するという話なのだが、ツイッターのタイムラインではなぜか、「女だからというより、『文系の院生は使えない』からだろ。とくに社会学はダメだ！」みたいな話になっていて、以下のようなまとめまで出てきていた。 togetter.com 「文系の院卒」の就職率は相対的に悪
複式簿記の「複」の意味合い - The Midnight Seminar
「複」の意味は意外と忘れられている 企業で働いていると、損益計算書（PL）と貸借対照表（BS）とキャッシュフロー計算書（CF）の関係などは大雑把に理解できるようになるものだが、「現代の企業会計は複式簿記なんですよ」と言われた時に、なんでそんなネーミングになっているかを説明しろと言われると、意外とできない人が多いのではないだろうか。「仕訳」について日々考えざるを得ない経理部の人たちは分かっているとは思うのだが、それ以外の部署で売上を入力したり出費を入力したりしている人たちは、仕訳を意識することも少ない。 貸借対照表の右と左が対応していることを「複式」と呼んでいるわけではないし、貸借対照表と損益計算書がつながっていることを「複式」と呼んでいるわけでもない。後述するように、取引を「借方」「貸方」に分けて記録するのが複式簿記ではあるが、これは貸借対照表の左右を「借方」「貸方」と呼んでいるのとは（無
11年前に聞いた、おでん屋のじいさんの話 - The Midnight Seminar
2006年の冬だったと思うが、夜中につくば市の408号線を車で走っていたら、道路脇の駐車場というか空き地のようなところにおでん屋の屋台があるのをみつけたので、友人と３人ぐらいで入ってしばらくおでんを食いながら店のじいさんと雑談しした。 ある程度広さのある敷地で営業していたので、トラックの横にテーブルとテントが出してあって、たぶん6人ぐらいは座れるスペースになっていたと思う。その後たぶん、近くの深夜営業してる喫茶店で何かの相談をして帰ったと思う。 そのときの屋台のじいさんの話をメモした紙がでてきた。当時日記を書いていたので、忘れないように喫茶店で紙にメモしたんだろうと思う。 けっこう面白いじいさんで、もう一度会いたいと思うが、もう死んでるかもしれない。 以下その時のメモ。 今年の7月1日からこの場所で屋台をやっている。今74歳。 昨年12月に、ばあさんを亡くした。ばあさんは5人目の妻で、26
【Python】MeCabと極性辞書を使ったツイートの感情分析入門 - StatsBeginner: 初学者の統計学習ノート
負のオーラを自動検出したい 前回のエントリで、著作権侵害にあたる違法アップロード動画を自分のTwitterで拡散してしまっている懸念を考えて、YouTube動画のリンクが貼ってあるツイートをまとめて削除しました。 前回のエントリでも言いましたが、著作権侵害モノ以外にも、「残しておくとまずいツイート」は色々ある可能性があり、たとえば誹謗中傷の類いがあるかと思います。誹謗中傷ツイートを自動抽出する方法はにわかには思いつきませんが、たぶん「クソ」とか「死ね」とか「バカ」とかそういう悪口の辞書が必要になりそうです。 ところで、言語データの分析手法として、単語ごとに感情特性を評価した辞書というものがあちこちで作られていまして、これを使ってツイートがどのような感情を帯びているか分析するということが、よくやられています。Yahoo!がそういうツールを提供してたりもします（参考リンク）。 Yahoo!のリ
エンジニア泣かせの「日本の住所」は誰が決めているのか - StatsBeginner: 初学者の統計学習ノート
住所のデータを機械で扱おうと思った時、日本の住所は「1の1」と「1丁目1番」と「1-1」のように表記が統一されていないこと、数字の部分だけでなく町名や字名の部分も複数の書き方があること、漢字の旧字新字が混じること、アメリカ等のようにカンマでの分かち書きがされていないことなどの理由によって、処理が難しいというのはよく知られた話です（分かち書き問題についてのわかりやすい記事はこちら）。 それで苛立ったエンジニアの人が「なんで統一ルールを作らねぇんだよ！」とブチ切れたりすることがあったりするわけですが（私はエンジニアではないのでブチ切れません）、「じゃあその統一ルールは誰が作ればいいんだ？」と考えると、「そもそも誰が決めてるんだっけ？」という疑問に行き当たります。 そこで、日本の住所が何に基づいてどのように決定されているのかについて、備忘のために要約しておきました*1。未確認事項が２点残っており
Python作業メモ: 残しておくとマズそうな自分のツイートをまとめて削除する（YouTubeリンク編） - StatsBeginner: 初学者の統計学習ノート
著作権侵害にあたるYouTube動画へのリンクを削除する たまにツイッターで、YouTubeのリンクを貼り付けたツイートをしていますが、よく考えたら違法アップロードに該当するものを拡散してしまっている可能性があります。可能性とかいう曖昧なレベルで考えるのが面倒なので、いっそのことYouTubeのリンクを共有した過去のツイートをいっぺんに削除してしまおうと思いました。 ついでに、人の悪口を言ってるようなツイートも削除して、自分のアカウントを「とてもいい人のアカウント」に変貌させていこうかとも思い出しましたが、まだ手法が検討できていません。（私の場合は必要性が低いですが、最近の就活生などには必要かも？） ツイートの感情分析を行って、負の感情の高ぶりが感じられるツイートを自動削除していけばいいんでしょうかね。本文を形態素解析で単語に分けて、人名を含むツイートを抽出した上で、さらに単語ごとに感情の
森友学園問題を理解するための個人的なメモと、まとめ年表 - The Midnight Seminar
こないだ深夜バスで大阪から東京まで移動する必要があって、やることがなくて暇だったので、籠池氏の証人喚問（計４時間ぐらい）を全部見た。それまであまり森友関係のニュースは追いかけていなかったのだが、あのおっさんが喋っているのを４時間も聴いていると人物像のイメージがつかめてきたし、質問者によっては論点をそれなりに整理してしゃべっていたので、ある程度理解が進んできた。 しかし肝心なことはよく分からないというか、証人喚問でやり取りされている論点がどうでも良いことばかりのような気がして、国会と世間の騒ぎ方の方向性が変なのではと思うに至った。それであれこれ検索して記事を読んでいると頭が混乱してきたので、今の時点での理解をメモしておくことにする。時系列が分からなくなりがちなので、下の方に年表もまとめておいた。 主に自分の頭の整理のために書いているものであり、正しさは保証しない。あと、ダラダラと書いてるので
メールデータ解析のため、Outlookの分類フォルダをまたいでメッセージを一括テキスト変換 - StatsBeginner: 初学者の統計学習ノート
Outlookのマクロ（VBA）に関するエントリです。 オライリーの『入門機械学習』はRによる機械学習の教科書で、正直どっちかというと今は「同じタイトルでPythonによる分析の教科書」の方が欲しい感じなのですが、これもけっこう写経しているだけでも勉強になります。 入門 機械学習 作者: Drew Conway,John Myles White,萩原正人,奥野陽,水野貴明,木下哲也出版社/メーカー: オライリージャパン発売日: 2012/12/22メディア: 大型本購入: 2人 クリック: 41回この商品を含むブログ (11件) を見る 代表的な機械学習モデルの基本的な処理が一通り解説されており、実際にサンプルデータを使って一からコードを書いて分析を進めていくという内容で、前処理から順番に「こういうところでこういう問題が起きるだろ？だからこうやって解決するんだぜ」みたいな感じになっており、
Pythonメモ: Tweepyのややこしいレスポンスデータの読み方 〜Twitter API活用の最初の難関〜 - StatsBeginner: 初学者の統計学習ノート
Twitterのbot作りは良い勉強になる 以前のエントリで紹介したように、Tweepyというライブラリを使うと、かなり簡単にPythonでTwitterを自動操作出来るようになります。 www.statsbeginner.net つぶやいたり、フォロー／アンフォローしたり、RTしたりふぁぼったりといったアクションをTweepyを使って記述し、自動で実行できる環境に置けば、自前のbotが出来上がります。botといえば、ブログ記事の紹介ツイートを定期的に流したり、新しいフォロワーにフォロバするといった使い方がよくされていますが、自作のプログラムであれば例えば特定のキーワードを含むツイートをしているユーザを検索してそのプロフィールを取得してデータベース化するとか、ふぁぼやRTをよくしてくれる人を一定の基準を設けてリストに登録していくといった複合的な作業も、自動化できて手間が省けます。 私は自分
Power Pointのスライドマスタ設定が分かりにくいのでメモ - StatsBeginner: 初学者の統計学習ノート
統計学習とは関係ない話です。 パワポのスライドマスタ機能は分かりにくい 会社でパワポの資料を作るときは、会社の公式のスライドマスタを使うんですが、スライド番号とかconfidentialとか日付の表示について、微妙にマスタをいじることがあります。表示するページとしないページがあるとかですね。 ところが、スライドマスタの仕様は単純ではなくて、理解できていなくて困ったことがあります。困っている人が多いから、スライドマスタまわりの機能はあまり活用されていないような気もします。 今はWindows 7でPower Point 2010を使っているので、その前提で、気づいたことをメモしておきます。というか、仕事中にメモしていたことを貼りつけただけです。 以下はとくに、スライド番号の表示を制御する場合の話です。パワポをよく見たら「マスタ」ではなく「マスター」になっていたので、以下「マスター」に統一しま
「かけ算の順序」にこだわる教え方を擁護できるかも知れない理屈を一応考えてみる - StatsBeginner: 初学者の統計学習ノート
叩かれる先生たち 数日前の茂木健一郎氏のブログ記事に限らず、かけ算の順序にこだわった教授法が不毛だとしてネット上で叩かれているのはよくみかける。Wikipediaにもページが設けられているし、この問題について考察した書籍も出ているようだ。 かけ算には順序があるのか (岩波科学ライブラリー) 作者:高橋 誠発売日: 2011/05/27メディア: 単行本（ソフトカバー） 要約すると、日本の小学校ではかけ算を「かけられる数×かける数」「１あたり量×いくつ分」という順序で考えるように教えることになっているらしく、「子どもが６人いて、１人に４個ずつみかんを配ります。みかんは何個必要でしょうか」みたいな問題を解く時に「４×６＝２４」と書けば正解だが、「６×４＝２４」だと不正解ということにされてしまい、そういうプリントを見つけた親が「こんなバカなことがあるか」と画像をTwitterでさらして教師を叩く
立憲主義へのちょっとした疑問：憲法は「国家権力を縛る」ためにあるのか？ - The Midnight Seminar
「立憲主義」は流行語 ここ数年で、「立憲主義」という言葉が突如として政治ニュースにおける頻出ワードになりました。もちろん「立憲主義」という言葉自体は私の中高時代の公民・歴史の教科書にも載っていたし、法学の基礎的な教科書にも載っているのでたいていの人が知っているはずです。しかし、もともと立憲主義というのは、17～18世紀の欧米で市民革命を経て憲法に基づく統治形態が樹立されたとか、日本でも19世紀に憲法を制定し議会を設立して近代国家の体裁を整えることが急がれたとかいうような歴史的背景を説明する文脈で登場する言葉です。現実の政治論議で「立憲主義」が論点になることなんてほとんどなく、ここ数年の「立憲主義」ブームはかなり唐突感があります。 この唐突感は単なる私の印象というわけでもない。たとえば昨年出版された憲法学者・木村草太氏の『集団的自衛権はなぜ違憲なのか』（晶文社）という本の中では、哲学者の國分
長時間労働の問題なのか？ - The Midnight Seminar
電通の社員が自殺に追い込まれたという事件が話題になっていますが、気になったのは、「長時間労働」の問題だと捉えているような記事が目につくことですね。 電通新入社員が自殺 広告業界に蔓延するクソ長時間労働の根深い実態を書いておく : おはよウサギ！ 電通新入社員：「過労自殺」労基署認定…残業月１０５時間 - 毎日新聞 そろそろ電通あたりの広告代理店は「ブラック企業」であることを常識にしようよ。 もちろん、連続20時間会社にいたことがあるとか、月100時間以上の残業というのは明らかに過重労働なのですが、それだけで自殺に追い込まれるものでしょうか。そもそも東大を卒業して電通に就職するような人が、暇な職場を想像していたとも思えないし。 既にセクハラ・パワハラに該当するような発言もいろいろ報道されていて、そっちのほうが大事なんじゃないかと私には思えます（リンク）。新人に長時間労働を強いたという点以外で
戦時下にも政府やマスコミの煽りに騙されなかった人々 - The Midnight Seminar
↓この記事を読みまして・・・ 半藤一利氏 『昭和史』 （ちきりんの日記） そして、もう日本が全くお話にならないくらい負けて疲弊して食べるものもなくて死にそうになっていた1945年7月28日、前日に届いたポツダム宣言について各マスコミが報じた内容は下記です。（これ、原子爆弾が落ちる前です。ポツダム宣言をすぐに受諾し敗戦に持ち込んでいたら、原爆を落とす余地を与えずに済んだ、というタイミングです。） 讀賣報知新聞 「笑止 対日降伏条件： 戦争完遂に邁進。帝国政府問題とせず」 朝日新聞 「政府は黙殺」 毎日新聞 「笑止！ 米英蒋共同宣言、自惚れを撃砕せん、聖戦を飽くまで完遂」 「“笑止”はないんじゃないの？」と思いますよね。この時期には南方に送られた兵士の多くが戦う前に（食料不足で）餓死しつつあり、弾も燃料も無くなった日本軍は若者に「志願」させて、敵艦に突っ込ませるという特攻隊で戦争を続けていたと
Pythonの入門書としても使える『言語処理のためのプログラミング入門』 - StatsBeginner: 初学者の統計学習ノート
Python及びテキストマイニングの超初心者向け入門書として 友人と週１回ペースで行っている統計＆プログラミングの勉強会で、以前、Pythonの入門書は何がいいだろうかと考えて本書を取り上げました。当時ブログにはまとめていなかったのでまとめておきます。 言語研究のためのプログラミング入門: Pythonを活用したテキスト処理 作者: 淺尾仁彦,李在鎬出版社/メーカー: 開拓社発売日: 2013/06/25メディア: 単行本この商品を含むブログ (3件) を見る 本書はほんとにプログラミングというものに全く触れたことがない人向けのものなので、内容はちょっと簡単すぎた感もあるのですが、勉強会ではRばかりやってきてPythonには皆慣れているわけではないし、テキストマイニングの入門という意味もこめて一応やりました。初心者でもすぐ理解できる内容なのでさっさと終わらせようと思い、１回２章ずつのペース
「土浦全国花火競技大会」を観覧する人のための攻略法 - The Midnight Seminar
土浦花火大会の観覧は大変 今週土曜日（10/1）に、土浦全国花火競技大会がありますね。 今年は福島の会津若松市でも競技会があるようですが、伝統的に、花火師の競技会としては、秋田の大曲のものと、この茨城県土浦市のものが有名です。 競技会つっても、客からすれば要するに花火大会の観覧なのですが、職人が技術を競うものなので極めて多様かつ派手な作品が見られて面白いです。マンガのキャラクターの形に見える花火とかもたくさん上がります。 この花火大会の日はめちゃめちゃ混雑して、周辺の路上も椅子やシートで埋まりますので、いつ出かけてどこで観覧していつ撤収するのかという計画性が要求されます。間違っても「2時間前ぐらいに着けるように、クルマで出発して、駐車場は適当に探そう」なんて甘い考えで臨んではいけません。 なにしろ、市の人口が14万人しかいないのに、その日は駅周辺の花火会場に70～80万人もの観覧客が集まる
福沢諭吉『学問のすすめ』に関するメモ - The Midnight Seminar
学問のすゝめ (岩波文庫) 作者: 福沢諭吉出版社/メーカー: 岩波書店発売日: 1978/01メディア: 文庫購入: 12人 クリック: 414回この商品を含むブログ (125件) を見る 岩波文庫で読める福沢諭吉の著作を復習しようと思いまして、まずは『学問のすすめ』にしました。（以下ただのメモ帳であり書評ではない。） 人文社会科学の分野で福沢諭吉の名が出るとき、主著は『文明論之概略』とされることが多いように思うけど、たぶん一般的なポピュラー度合いでいえば圧倒的に『学問のすすめ』だろう。 福沢の著作は『文明論之概略』『学問のすすめ』『福翁自伝』『西洋事情』の４つだけ読んだけど、面白さでいえばもちろん『福翁自伝』が最強。とくに諭吉のおかんが最強である。 しかし役に立ちそうな教訓が多いのは『学問のすすめ』だ。明治の日本社会を理解するとかいう目的で言えば『文明論之概略』がメインになると思うけど
統計メモ：因子分析で斜交回転を行っても、共通性の値は変わらない - StatsBeginner: 初学者の統計学習ノート
２年ぐらい前にブログに書こうと思って、下書きしたまま放置してたネタを見つけました。 今となっては単なる思い出なのですが、せっかくなのでエントリにしておきます。 当時、因子分析における「共通性」の扱いについて勘違いをしていました。 プロマックス回転など斜交回転を行った因子分析の結果を報告する際に、寄与率と共通性を報告している例をみかけたんですが、それらの値は斜交回転の場合も算出可能なのか？報告する意味あるのか？と疑問に思っていました。 復習しておくと、各共通因子について、全ての観測変数との相関係数（因子が直交している場合は因子負荷に一致）の二乗和を計算したものが因子寄与で、これを観測変数の数（=総分散）で割ったものが寄与率となり、「その因子が観測変数の情報量の何%ぐらいを説明できているのか」が分かる。また共通性は、各因子が直交する場合は、各観測変数について全ての因子に対する負荷量の二乗和を計
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
