今回は機械学習でよく出てくる正則化の数理的基礎についてまとめたいと思います． ちょっと数理的なお話が多くなりますが， 大学院に居たときも今の職場で話しているときにも，この辺の事を理解している人は意外と多くないのかなと思ったので， 記事にしてみました． なお，本記事の内容の大部分は 金森敬文. (2015). 統計的学習理論 (機械学習プロフェッショナルシリーズ). を参考に書いています． 一般的な学習理論のお話 回帰にしろ分類にしろ，機械学習の理論はある程度統一的に扱うことが出来ます． 目的変数$y$が離散変数であれば分類問題になりますし，連続変数であれば回帰になります． ここでは，回帰・分類を統一的に扱い，学習理論一般に関する説明を少しだけしたいと思います． 入力ベクトルを$\boldsymbol{X}\in \mathcal{X} \subset \mathbb{R}^d$， 目的変数

C++ Advent Calendar 2018 この記事はC++ Advent Calendar 2018 15日目の記事です。 14日目: VTKライブラリ 16日目: C++のエラー処理との付き合い方 当初見積もりよりも大幅に長い記事となり、投稿したのは12/22で1週間遅刻です。すみません。 お知らせ cpprefjpにchar8_t型追加について解説を書きました。ぎゅぎゅっとコンパクトに、また査読を受けて中立的な表現で書いていますので、よければどうぞ。 UTF-8エンコーディングされた文字の型としてchar8_tを追加 - cpprefjp C++日本語リファレンス 追記 全ての開発者が知っておくべきUnicodeについての最低限の知識 - GIGAZINE Unicodeについて簡潔にまとまってるいい記事を見つけました。 Caution この文章には以下の要素が含まれます。苦手

アドベントカレンダーを完走する技術 / Techniques for completing an advent calendar

マンションポエム。マンション広告に見られる詩的なキャッチコピーのことをぼくはそう名付けた。「洗練の高台に、上質がそびえる」（野村不動産「プラウドタワー白金台」）といった名調子のことだ。折り込みチラシや、駅や電車内の広告などでよく見かける。物件のアピールの域を超えたその表現は、ポエムと呼ぶにふさわしい。

この記事は eeic （東京大学工学部電気電子・電子情報工学科）その2 Advent Calendar 2018 - Qiita の13日目の記事です。 1. なにをしたいの？ 本記事は、小説を書くことができない人間がなんとかして自力（？）で小説を生み出すために試行錯誤した記録です。 リカレントニューラルネットワークの一種である多層LSTMを用いて、「小説家になろう」に投稿された小説の「言語モデル」を学習し、学習したモデルをもとに実際に小説を自動生成します。 「御託はいいから生成された文章を見せろ」という人はこの記事の10章に飛ぶか、https://ncode.syosetu.com/n7444fc/ を見てください。 2. 「小説家になろう」とは https://syosetu.com/ 誰でも無料で小説を投稿、閲覧することができるWEBサイトです。 独自の文化を形成しており、主に異世界

こんにちは NewsPicks Advent Calendar 2018の 5日目を担当させていただきます、NewsPicks の戸辺と申します。 2年ほど前に「機械学習をゼロから1ヵ月間勉強し続けた結果」という記事を書き、多くの方に読んでいただきました。そこから引き続き機械学習に携わっており、今年も多くの機械学習系の記事を拝読させていただきました。それら中から「実戦でためになった」「機械学習の勉強に役に立った」という観点から、僕なりのベスト10をあげてみました。 長い冬休み(余談ですが、社会人で一番長く休めるときですよね!?)は知識のアップデートをするのにいい機会だと思いますので、まとめ読みしてみてはいかがでしょうか。 では、スタート！ まずは 2018年にみんなが使った Colaboratory 関連から 1位: 【スマホOK/実行しながら学ぶ】東大松尾研のデータサイエンティスト育成/

U.S. President Joe Biden has issued an executive order (EO) that seeks to establish “new standards” for AI safety and security, including requirements for companies developing foundation A Detail, a startup with video recording and editing apps for Mac and iPhone, has released a new multiplayer feature that lets users easily record a multi-camera podcast through two iPhones (or iPads) w

逆翻訳 (Back-Translation) を用いた手法が驚くべき快挙を成し遂げました*1． 逆翻訳がヤバいスコアを叩き出しててびっくりした．おそらくAttention以降では最大の性能uphttps://t.co/ssaQw2s22f 深層学習はえげつない手法が突然ポッとでてくるからおもろい pic.twitter.com/RwyrjCn8Rx— Ryobot | りょぼっと (@_Ryobot) 2018年11月15日 毎年開催される機械翻訳の国際会議 WMT18 のシェアードタスク*2にて人手評価の1位を獲得し，機械翻訳のベンチマークでは以前の最高スコアが 29.8 なのに対しこの手法は 35.0 を達成しています． 下図は機械翻訳のベンチマークにおける手法の比較です*3． 昨年登場した翻訳モデル Transformer *4も大きく評価スコアを上げましたが，逆翻訳はそれ以上の上が

今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実装を紹介します。 尚、記事の執筆にあたってこちらのリポジトリを参考にさせていただきました。 https://github.com/codertimo/BERT-pytorch 本記事は以下の4つで構成されています。 ・BERTとは ・BERTのキモ ・BER

5ch(旧2ch)ではここ数年はTwitterを使用するようになってしまいましたが、ネットのミームの発信地点であって、様々なスラングを生み、様々な文化を作ってきたと思います。 学生時代、2chまとめとか見ていたので、影響を受けてきたネット文化で、感覚値からすると、どうにも流行り廃りがあるようです。 5chの過去ログを過去18年ほどさかのぼって取得する方法と、懐かしいネットスラングのドキュメントに占める出現具合を時系列でカウントすることで、時代の変遷でどのように使用の方法が変化したのか観測することができます。 文末に「orz」って付けたら若い人から「orzってなんですか？」と聞かれて心身共にorzみたいになってる— ばんくし (@vaaaaanquish) October 19, 2018 図1. 今回集計したorzの結果 例えば、今回集計した5chの書き込み500GByte程度のログからで

「Yahoo!知恵袋」の不快な投稿、見えないところへ　わずか1日で6億件を処理　ヤフー社内で何が起きたのか（1/2 ページ） Q＆Aサービス「Yahoo!知恵袋」は長い間、不快な内容だが規約違反ではなく削除できない「グレーな投稿」に悩まされてきた。解決するための処理には約9カ月かかると思われていたが、わずか1日強で完了したという。何が起きたのか。 老舗Q＆Aサービス「Yahoo!知恵袋」は、長い間あるものに悩まされてきた。規約違反ではないため削除できないが、見る人を不快にさせる内容の“グレーな投稿”である。これまで社内でパトロールを行うなど対応してきたが、同サービスの投稿は約6億件にものぼり、全てのグレーな投稿を見つけ出すことは難しかった。スーパーコンピュータ「kukai」（クウカイ）が導入されるまでは。

機械学習のエッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning) 作者: 加藤公一出版社/メーカー: SBクリエイティブ発売日: 2018/09/21メディア: 単行本この商品を含むブログを見る発売されてからだいぶ経ちますが、構想段階の頃より著者の「はむかず」さんこと加藤公一さんからお話を伺っていて注目していたこちらの一冊をようやく一通り読みましたので、サクッと書評めいた何かを書いてみようかと思います。 各章の概要 言うまでもなく実際の内容は皆様ご自身でお読みいただきたいのですが、これまでの書評記事同様に概要を簡単にまとめておきます。 第01章　学習を始める前に Python環境やAnacondaのインストールについての説明もなされているんですが、重要なのは後述する「本書は何を含まないか」という節。ここに本書の狙いの全てが書かれていると言って

※実際記事で紹介する書籍は12冊ですが、メンバーが借りてオフィスになかったため、上記画像内に3冊ないものがあります。 はじめに AI Academyを開発・運営しています、株式会社エーアイアカデミー代表の谷です。 6ヶ月ほど前に書いた下記記事は約1200のいいねと7万viewsを超える記事になりました。 【保存版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 お読み頂いた方々、またいいねして頂いた方々ありがとうございました！ あれから6ヶ月ほど経ちまして、さらにPythonや機械学習の書籍が増えて参りましたので、改めて初心者向けにPythonと機械学習の良書12選を紹介し、初学者が独学でも機械学習プログラミングの基礎スキルUPに貢献できたらと思います。 また、AIプログラミングを作りながら学べるプログラミング学習サービスAI Academyを無料でご利用頂けますので

徳島県は人工知能（ＡＩ）を使った議事録の音声のテキスト化と要約を、１５日から全ての審議会や協議会に広げた。昨年度に知事の定例会見のデータを使って実施した実証実験を踏まえ、本格導入することにした。議事録作成にかかる作業が５分の１に減り、公開までの時間も大幅に短縮されるという。 行政改革室によると、昨年１０月から今年３月に実施した実証実験では、これまで会見４日後だった知事会見のホームページ公開を当日中に前倒しできた。ホームページへのアクセス数も２倍以上に増え、利用者の満足度は９割を超えたという。 会議データを要約する「ＡＩ要約システム」は、当初は不自然な日本語になることもあったが、長い発言には「。」（句点）を入れるなどの工夫で分かりやすい表現になるよう、使い方を改善したという。 県の審議会や協議会は約１３０あり、議事録は原則としてインターネットで公開している。これまでは職員が音声データを聞きな

英検のライティングとスピーキング試験に、AIによる自動採点を導入。実証研究を行った結果、人の手を介した採点と遜色ない成果が出たため、採用に踏み切った。 日本英語検定協会は、「実用英語技能検定」（英検）と、コンピューター上で受験する「英検CBT」のライティングとスピーキング試験に、人工知能（AI）による自動採点を2019年度から導入する。実証研究を行った結果、人の手を介した採点と遜色ない成果が出たため、採用に踏み切った。 スピーキング問題の自動採点では、英語の文章を読み上げる問題と、文章を自分で考えて話す問題があり、特に後者の自動採点は難しいとされていた。 英検は複数の企業と技術検証を行っており、今回、中国の技術ベンチャーiFlytekと、同社の提携先である日本の技術ベンチャー・サインウェーブの技術を採用。iFlytekの評価エンジンに英検の回答データを投入して機械学習させ、一部の採点業務で

テクノロジーが発達することで、専門家でなくてもニューラルネットワークを使って翻訳プログラムを作ることが可能になりました。とは言っても、全く知識がない人にその仕組みを理解するのは難しいもの。そこでライターのSamuel Lynn-Evansさんが自分で情報を調べつつ0から翻訳プログラムを作成し、その時に理解した仕組みを数式を使わずに説明しています。 Found in translation: Building a language translator from scratch with deep learning https://blog.floydhub.com/language-translator/ 言語は非常に複雑で、これまで機械翻訳を行うには何人もの専門家が必要でした。しかし、人工知能(AI)の発達により、もはや専門家でなくても機械翻訳を行うことが可能になりました。これまで専門家

「開発の丸投げやめて」　疲弊するAIベンダーの静かな怒りと、依頼主に“最低限”望むこと：これからのAIの話をしよう（覆面AIベンダー編）（1/5 ページ） AI（人工知能）開発を丸投げするクライアントの「いきなり！AI」に苦悩するAIベンダー。データサイエンティストのマスクド・アナライズさんに、AI開発現場の実態と、依頼主に最低限望むことを聞いた。 「AI（人工知能）は触ったことないし、プログラムも書けません。でも社長が“AIをやれ”って言うので何とかしてください」――こんな困ったオジサンたちを、ユーモアたっぷりの愛と皮肉で表現する人物をご存じでしょうか。 その名は「マスクド・アナライズ」さん。正体は一切不明でソーシャル上のアイコンは覆面マスクと、一見イロモノ系アカウントに見えますが、Twitterでの発言は多くの人たちから「あるある」「共感する」と絶賛され、ときには何千回、何万回とRTや

「エロい目で見んじゃねえよ、このクズ」　26万人を罵倒したAI「罵倒少女」から考える「飽きない対話AI」の作り方：AI MEETUP 2（1/2 ページ） ユーザーが入力した言葉の意味を推測し、さまざまな罵詈雑言を浴びせるAI「罵倒少女」が2016年に注目を集めた。開発者がキャラクターAIの開発で得た知見、今後の展望を語った。

前置き 自然言語処理分野の博士課程の学生です。言語理解みたいなものが興味の対象です 自然言語処理の研究に悩む の続きのつもりです（あらすじ参照） まだ悩んでいる あらすじ 自分の研究的なトピックは「機械による読解 machine reading comprehension 」です。雑に言うと、言語理解のモデル化のひとつの手段として「国語の文章題が解けるようなシステムを作る」のがこのトピックの目標です。ここ2,3年でそれなりな流行を見せており、大規模（問いが数万個、の単位）なデータセットが数多く出てきて、それを解くようなニューラルなシステムがたくさん提案されています。中には人間の精度に匹敵する性能を出せたものもあります。 しかしこのような進展を見ても、システムに人間と同等の文章読解力があるとは到底思えない感じがします。システムを評価する側のデータセットが簡単そうに見える、というのが大きな理由