群馬大学情報学部教授の地村弘二は，慶應義塾大学大学院理工学研究科大学院生の岡安萌（研究当時），同　犬飼天晴，高知工科大学脳コミュニケーション研究センター教授の中原潔，同　特任教授　竹田真己らとの共同研究で，色と言葉の情報が矛盾するときに生じる「ストループ効果」は，色を答えるときではなく，色がついた単語を知覚するときに起こり，その解消には，大脳の前部にある前頭前野と，小脳の外側にある皮質が含まれるループ回路（前頭・小脳ループ）が重要であることを発見しました．今回の結果は，機能が比較的単純であると考えられてきたヒトの小脳が，前頭・小脳ループを介して，ヒトに特有な言語や，認知の制御のような高度な心理機能に関連していることを例示しています．この研究はイギリスの学術論文誌Nature Communicationsで1月11日発表されました． １．本研究のポイント ストループ効果における言葉の影響を知

みなさんこんにちは！FOLIOアドベントカレンダーの8日目の記事です！ 昨日は弊社の顧客基盤部でバックエンドエンジニアをされているmsawadyさんによる記事でした！ ８日目の本記事は、FOLIO金融戦略部でコンテンツの編集＆執筆をおこなっています設楽がお届けします。 この記事の目的・初心者向けに、Pythonを使ったデータ分析（自然言語処理）の初歩の初歩を伝える記事。 読者対象・Python初心者。データ分析初心者 ・アンケートとか顧客の声を分析してみたいと考えている人 私ですが、普段は弊社サービスを使って頂いているユーザー様向けに、投資や資産運用に関するいろいろな記事を執筆、編集しているという、データ分析とかプログラミングとは全然関係ない業務をおこなっています。 今回は、お客様から回答頂いているアンケートを使い、サービスがもっと良くなるためのヒントや、お客様がどういう点に困っていたり悩

20211130：Word-cloud記述に誤りあり、修正。 はじめに 過去の記事で、テキスト（自然言語）の分析や可視化を紹介しました。分析の手順としてはザっと以下のような内容です。 自由記述であれ何であれ、テキスト（自然言語）をガサっとtxtテキストファイルに放り込む。 「。」でセンテンスに分割。 形態素分析。 WordCloud、出現語カウントグラフ、共起ネットワーク…等を描画 アンケート等で得た結果を全般として把握したい場合は、上記の方法でいいですが、User単位で表形式でまとめられた形式は崩さず、満足度等の情報があればそれらも活かして分析を進めたいですね。 自然言語処理は様々なサイトで紹介されていますが、なぜか不思議とテキストデータを取り込んで…というものばかり。 表形式のデータを取り込み、データフレーム化して自然言語処理を進めたいということで、やってみましたという記事です。 所定

歴史言語学についてはまったくの素人だけど、最近話題になった「日本語の原郷は「中国東北部の農耕民」　国際研究チームが発表 | 毎日新聞」（はてブ）っていう記事の元になったロベーツらの論文（Robbeets et al. 2021）を読んでみたよ！ 結論うさんくさい 前提知識共通の祖先を持つことが証明された言語の集団を「語族」という日本語は琉球諸語と共通の祖先を持つことが明らかである（日琉語族；Japonic）しかし日琉語族と他の言語との系統関係は証明されていない内陸アジアのテュルク語族、モンゴル語族、ツングース語族、そして欧州のウラル語族は特徴が似ているかつて、テュルク・モンゴル・ツングース・ウラル・日琉・朝鮮の諸語族が「ウラル・アルタイ語族」に属するという説があったが、結局誰もこれらの諸言語が共通の祖先を持つという証明ができなかった今回の論文は、テュルク・モンゴル・ツングース・日琉・朝鮮諸

心理学の研究論文は再現性が低いことが指摘されていました。再現性が低くなる原因は、学界全体に「疑わしい研究手法 （QRPs）」が蔓延していたことにあるとみられます。 現在は学界全体をあげての対策が行われているようです。研究の事前登録、データの公開、追試などが重視されるようになっています。 学界は正しい方向に進んでいるようですが、だからこそ、重要な発見だとみなされてきた過去の研究成果が次々に覆されているようです。 少々調べましたが……、いやはやこれは……脱力しました。心理学以外の分野でも援用されている有名な研究たちが、あれもこれも。興味を引かれたものに重点をおきつつ、ざっくりとメモ的にまとめておくことにします。 2021年9月12日追記 追試というのは、1年半以上かかるものも珍しくないようです。かなりの時間・精神力・体力を要するのに対して、見返りが少ないものといいます。この記事では多くの研究の

第1　はじめに 自然言語処理技術の発展に伴い、自然言語AIを利用したサービスが大変盛り上がっています。 たとえば、検索、要約、翻訳、チャットボット、文章の自動生成、入力補完などのサービスで、近いところで有名なのは、2020年にOpenAIが発表した「GPT-3」ですかね。これは約45TBにおよぶ大規模なテキストデータを学習し、あたかも人間が書いたような文章を自動で生成することが可能な自然言語モデルです。 【参考リンク】 自然言語処理モデル「GPT-3」の紹介 進化が止まらない自然言語処理技術ですが、事業者が自然言語AIを利用したサービス（＊ここでは、データの処理がクラウド上で自動的に行われるサービスを前提とします）を提供する際に検討しなければならないことは、大きく分けると、学習済みモデルの構築フェーズの問題と、モデルを利用したサービス提供フェーズに関する問題に分かれます。 このうち、モデル

Welcome Welcome to the Chinese Text Project homepage. The Chinese Text Project is an online open-access digital library that makes pre-modern Chinese texts available to readers and researchers all around the world. The site attempts to make use of the digital medium to explore new ways of interacting with these texts that are not possible in print. With over thirty thousand titles and more than fi

英検の大問１は、短文穴埋め問題になっています。例えば、こういう問題です。 My sister usually plays tennis (　　　) Saturdays. 1. by　　2. on　　3. with　　4. at Bob (　　　) five friends to his party. 1. made　　2. visited　　3. invited　　4. spoke 文の中の隠された部分に入るものを、選択肢の中から答える問題です。文法的な判断もあれば、文脈から意味の通りが良い単語を選ぶ問題もあります。5級から1級まですべての難易度で出題される形式です。 この問題形式は、BERT (Bidirectional Encoder Representations from Transformers)の学習アルゴリズム（のうちの１つ）とよく似ています。ということは、事前学習済みのBE

word2vecとは？ 言語モデルをもとに、単語をベクトル化して計算できるようにしたもの 学習させる言語モデルは自分で指定できる(例:NARUTOの世界観でモデルを作成するなど) 環境 mac os x jupyter notebook python 3.8.2 学習済み日本語モデルを使う 今回は日本語版wikipediaをもとにした学習済みモデルを使用する http://www.cl.ecei.tohoku.ac.jp/~m-suzuki/jawiki_vector/ ダウンロードしたファイルを解凍する "entity_vector.model.bin"を実行環境と同じディレクトリに移動させる モデルをロードする import gensim word2vec_model = gensim.models.KeyedVectors.load_word2vec_format('./entity

デジタル化社会の「これからのあたりまえ」を描くカンファレンス「LINE AI DAY 2021」を開催AIのビジネス活用・企業におけるDX/UX・LINEの最新AI技術など、全12セッションをオンラインで配信 LINE株式会社 AIカンパニー（本社：東京都新宿区、カンパニーCEO：砂金 信一郎）は、LINEのAI事業「LINE CLOVA」に関するカンファレンス『LINE AI DAY 2021』を7月15日（木）に開催しましたので、お知らせいたします。 イベント公式ページ：https://clova.line.me/lineaiday2021/ 「LINE AI DAY 2021」は、「これからのあたりまえ」となるデジタル化社会の未来を描くカンファレンスです。 本カンファレンスでは、各業界の最前線で「これからのあたりまえ」の実現に向けて取り組むキーパーソンが多数登壇し、AIのビジネス活用

マンガ『ゲームセンターあらし』をはじめ、数々の人気作で知られるマンガ家・小説家のすがやみつる氏。2020年には新刊『ゲームセンターあらしと学ぶプログラミング入門 まんが版こんにちはPython』を上梓し、注目を集めた。またすがや氏は、京都精華大学マンガ学部の教授として、多くの学生を世に送り出してきた人物でもある。2021年3月の退職を機に、研究者・教育者としての足跡について聞いた（写真はすべてすがや氏提供）。 INTERVIEW＿小野憲史 / Kenji Ono EDIT＿三村ゆにこ / Uniko Mimura（@UNIKO_LITTLE）、海老原朱里 / Akari Ebihara 大学の教員を退職し、再びクリエイター活動へ CGWORLD（以下、CGW）：遅ればせながら、京都精華大学を退職おめでとうございます。 すがやみつる氏（以下、すがや）：2020年3月に専任教員を定年退職して、

再帰的ニューラルネットワークとは 再帰的ニューラルネットワーク（Recurrent Neural Network: RNN）」は、回帰型・循環型とも呼ばれるニューラルネットワークです。 このネットワークは単語に含まれる「再帰的」という言葉の意味を理解していると、その本質が理解しやすくなります。ただ、「再帰」という単語はコンピューターや数学に関わっていない人には聞き慣れないかもしれません。再帰というのは、事象の結果が原因になり得る状態を指す言葉で、一種の「ループ」をイメージすると分かりやすいでしょう。 たとえば、「ニワトリは卵から生まれ卵はニワトリから生まれ、そのニワトリは卵から……」とか「ジュースを売ったお金で売ったジュースを買い戻し、そのジュースを売ったお金で……」というのは再帰的な事象と言えます。延々と続きそうな現象ですが、「ニワトリが卵を生む前に死ぬ」「お店が閉店する」といった事象が

例としてあげるデータは全て、atmaCup#10のものです。また、この記事の内容はこちらのノートブックで実験を行っています。 データの例。'title'、'description'など自然言語を含むカラムが存在する。 参考: 自然言語処理におけるEmbeddingの方法一覧とサンプルコード Bag of Wordsベースの手法 文書をトークンの集合として扱う手法です。トークンとしてはよく単語が選ばれますが、自分でtokenizerを設定して文章を単語以外のtokenの集合として扱うこともできます。また、日本語などの言語においてはトークン化が自明でないため、MeCabなどを用いてトークン化することがかなり多いです。 コラム MeCabを用いたトークン化

本書は時系列データを別の時系列データに変換するSeq2Seqについて、RNN、LSTMからAttentionまで説明します。また、Attentionを用いた最新の様々な自然言語モデルのベースとなっているTransFormerについても説明します。(CNNの基礎を理解している前提で記載しています。まだ理解していない方は別冊のCNNの基礎を先に読んでください） Seq2Seqを基礎から理解するために、本書では以下の順番で説明を行います。最初に時系列データを扱うシンプルな構造であるRNN（Recurrent Neural Network）からはじめ、RNNを性能改善したLSTM（Long Shot Term Memory）、Encoder-Decoderモデル、そして本書の目的であるSeq2Seqの順に説明を行います。さらにSeq2Seq に劇的な進化を起こすディープラーニングにおける重要なアー

BERT後の自然言語処理についてのサーベイ

人工知能（AI）はさまざまなことをうまくやってのける。その1つは大学の期末レポートだ。まあまあな出来だが、それでも率直に言ってすごいことだ。 これは、学生と教育者のためのリソースサイトEduRefの実験結果だ。この実験は、深層学習による言語予測モデル「GPT-3」が匿名でレポートを提出し、合格点を獲得できるかどうかを明らかにするというものだ。 EduRefは「われわれは複数の教授にレポートの課題を作ってもらい、その課題を大学を卒業したばかりの人々と学生のグループ、そしてGPT-3に提示してレポートを書かせた。GPT-3のものを含むレポートを匿名で教授に提出して採点させ、レポート提出者についての考察を聞くフォローアップ調査をした」という。その結果、AIは驚くべき自然言語能力を示した。 GPT-3（Generative Pre-trained Transformer 3）というこのAIは、20

OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:

この記事は私, wataokaが1年間をかけて作り続けた超大作記事です. 総文字数は8万を超えていますので, お好みのところだけでもみていってください. ついにこの時が来ました！！！！！ 1年間書き続けたQiita記事です！！！！！ ご覧下さい！！！！！https://t.co/eKBwP1zoeB — 綿岡 晃輝 (@Wataoka_Koki) December 31, 2020 俺的ランキング 動画での解説も挑戦してみました！ ぜひぜひご覧下さい！ 動画のリンク 第3位: Likelihood-Free Overcomplete ICA and Applications in Causal Discovery wataokaの日本語訳「尤度が必要ない過完備ICAと 因果探索における応用」 - 種類: ICA - 学会: NeurIPS2019 - 日付: 20190904 - URL: