36億パラメータの日本語言語モデルを公開しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事
「色鉛筆との自然な会話」はどのように作られているか 日本語に特化した、大規模汎用モデルを搭載したLINEの「HyperCLOVA」
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで佐藤敏紀氏が、日本語の大規模汎用モデルを搭載した「HyperCLOVA」について紹介しました。まずはHyperCLOVAとはどういったものなのかについて。 色鉛筆とチャットで会話 佐藤敏紀氏：「日本語に特化した、大規模汎用モデルを搭載した『HyperCLOVA』の現状」という発表をします。よろしくお願いします。 最初に自己紹介をします。私は佐藤敏紀と言います。自然言語処理と検索を専門にしているソフトウェアエンジニアです。以前はLINE CLOVAの日本語のNLUシステムの開発を担当していましたが、2021年からはNLP開発チームのマネージャーをしており、HyperCLOVAの日本語版の開発面に関する責任者もし
【予告】新機能「はてなブログ タグ」をリリースします - はてなブログ開発ブログ
はてなブログでは、新機能「はてなブログ タグ」をリリースする予定です。今回はその予告として、機能の概要とリリースに至る背景をお伝えいたします。 リリース時期は2019年夏ごろを予定しておりますが、開発の状況によって変更する可能性があります。 はてなブログ タグで、できるようになること リリースにあたって はてなブログのコンテンツを、多くの方に届けるために はてなキーワードを、時代背景にあわせ、より気軽にご利用いただくために 今後の開発予定 はてなブログ タグで、できるようになること はてなブログ タグでは、はてなキーワードの本文データ、はてなブログ・はてなブックマークのコンテンツを活用し、ある言葉についてネット上の意見や感想を知ることができます。 はてなブログをご利用の方も、そうでない方も、言葉の意味やネット上の意見を同時にチェックできるようになり、自分の興味のある記事を探しやすくなります
自然言語処理ってなに？課題は？ 研究者に聞く、エンジニアが学術論文を読み解くための技術 - エンジニアHub｜若手Webエンジニアのキャリアを考える！
自然言語処理ってなに？課題は？ 研究者に聞く、エンジニアが学術論文を読み解くための技術 多くのサービスに実装される自然言語処理ですが、そもそも一体どのような技術なのでしょうか？東京工業大学で研究にあたる、西川 仁助教に自然言語処理の歴史と現在。そしてどのような課題があるかをうかがい、さらにエンジニアが学術論文を読み解き、役立つ情報を手にするための手法も聞きました。 技術に関する最新の情報を得るための手段は様々ですが、“学術論文を読む”とは、その有力な手段の一つでしょう。しかし、数多くある論文から、自分の目的とする情報をいかに探し出し、いかに読むのが効率的なのでしょうか。そして、日頃から論文にふれる機会の多い研究者の方はどのように論文から情報収集を読み解いているのでしょうか。 今回お話をうかがったのは、自然言語処理研究のフロントランナーとして、東京工業大学に所属し、自動要約の研究をされている
AIで「ゲームの面白さ」を改革したい！─スクウェア・エニックス三宅陽一郎とLINE佐藤敏紀が議論 - リクナビNEXTジャーナル
昨今ホットワードとして度々取り沙汰される「AI」。実際の企業や製品の中ではどのように導入や活用が進んでいるのでしょうか。 デジタルゲームにおけるAI技術の開発・研究に従事し、日本デジタルゲーム学会理事でもあるスクウェア・エニックスの三宅陽一郎氏と、スマートスピーカーという急成長する新しい領域でAIの可能性を見出そうとするLINEの佐藤敏紀氏が、各業界でのAI活用と、人間とAIの関係性について議論します。 ＜対談者プロフィール＞ 株式会社スクウェア・エニックス テクノロジー推進部 リードAIリサーチャー 三宅 陽一郎氏 京都大学で数学を専攻、大阪大学大学院理学研究科物理学修士課程、東京大学大学院工学系研究科博士課程を経て、人工知能研究の道へ。 ゲームAI開発者としてデジタルゲームにおける人工知能技術の発展に従事。国際ゲーム開発者協会日本ゲームAI専門部会チェア、日本デジタルゲーム学会理事、芸
サブカルのためのword2vec | BLOG - DeNA Engineering
はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。（ @bonprosoft, ポートフォリオ：http://vbcpp.net/about/ ） 現在、東北大学大学院の修士1年で、大学院では（自然言語ではなく）高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取り組んでいました。 その後はアルバイトとして、期間中にできなかった追加実験と実際の製品への適用に取り組んでいます。 取り組んだタスク 突然ですが、みなさま、ハッカドールはインストールされていますか？ ハッカドールは、主にサブカルチャーに関する記事に特化した、ニュースアプリケーションです。 アプリケーション内のユーザーのクリックや「ホシイ/イラナイ」などのアクションを通して、ハッカドールがユーザーの好み
AIに「Clova、今日の天気は？」を理解させることの面白さ - LINE ENGINEERING
LINEのData Labsに所属している佐藤敏紀（@overlast）です。この記事はLINE Advent Calendar 2017の23日目の記事です。 この記事では、スマートスピーカーで対処を求められる自然文クエリの言い換えがどれほど多様であるかを示し、「スマートスピーカーを実現するための自然言語処理の楽しさ」をお伝えしたいと思います。 はじめに みなさんはスマートスピーカーを家に置いていますか？ 私は自宅のリビングに弊社が販売しているClova FriendsとClova WAVEを置いていますし、それ以外に、Google HomeとAmazon Echo Dotも設置しています。 ちょっと多すぎでしょうか (;^_^A これらのスマートスピーカーは、主に人間の言葉を聞いてその内容に基づいた動作をします。たとえばClova Friendsに「Clova！小町さんに電話して（クロ
LINE、スマートスピーカー「WAVE」今秋発売 1万5000円
LINEは6月15日、クラウドAIプラットフォーム「Clova」を搭載したスマートスピーカー「WAVE」を今秋に発売すると、都内で開いたイベント「LINE CONFERENCE 2017」で発表した。価格は1万5000円（税別）。 WAVEは同社初のスマートスピーカー。「Clova、テレビ消して」などと話し掛けるとテレビを消すなど、家電製品との連携機能を搭載する。対応するメーカーは世界で約2000社。WAVEは日本の住宅環境に合わせて開発しており、本体から5メートルほど離れた位置で話しかけても認識するという。 サービスの中核となるのは「音楽」で、LINE MUSICが提供する約4000万曲の楽曲が聴ける。楽曲名やアーティスト名で曲を指定できるほか、「今日の天気に合わせた音楽をかけて」と話し掛ければ、雰囲気や好みに合った楽曲を流してくれるという。 通常、LINE MUSICを利用するには月額
LINEの音声スピーカ「WAVE」は1万5000円--秋に発売へ
LINEは6月15日、同社が1年に一度開催する大規模カンファレンス「LINE CONFERENCE 2017」にて、音声AIプラットフォーム「Clova」を搭載したスマートスピーカ「WAVE」の価格と発売時期を発表した。 発売は2017年秋ごろを予定しており、価格は1万5000円（税別）。また、いち早く提供すべく一部機能に限定した先行体験版を2017年夏ごろに発売予定。こちらは1万円（税別）と安価だが、正式版の提供と合わせてアップデートを実施。正式版と同様の機能が利用できるという。 WAVEは、同社のAIプラットフォーム「Clova」を搭載したスマートスピーカ。Amazonの「Echo」やAppleの「HomePod」、Googleの「Google Home」などのスマートスピーカと同様、「Clova」と話かけると音声でコミュニケーションでき、「LINEニュース」と連携したニュース・天気情
タスクに合わせたトークナイザ、単語分割に関連したポエム - yasuhisa's blog
ポエムを適当に書きます。2本立て。週末のノリなので、適当です。 Sentencepieceの紹介記事を読んだ 文書分類でneologdとmecabを比較した まとめ Sentencepieceの紹介記事を読んだ ニューラル言語処理向けトークナイザのSentencepieceについて書かれた紹介記事を読みました。 自分用の要約すると ニューラル言語処理では語彙数が大きくなると扱いにくい 単語をサブワードに分割できるものは分割して、語彙数を制限する(数千から数万)方法がよく使われる 尤度を最大にするエントロピー圧縮の一部と見なせる スペースもメタ文字に置き換えて生文を食わせることにより、detokenizeが言語によらず簡単になる 翻訳等のタスクで助かる! こういうのが必要なくなる 単語分割されたものからさらに分割するわけではなく、生文からやるために計算量オーダーの削減が行なわれている 従来の
形態素解析とNgramを併用したハイブリッド検索をSolrで実現する方法 - ZOZO TECH BLOG
こんにちは、バックエンドエンジニアの塩崎です。 今まではiQONの全文検索用のインデックスには形態素解析だけを用いていましたが、先日Ngramも併用することで検索を改善しました。 その結果、検索結果のヒット数が向上し、なおかつ検索ノイズの増加を軽微なものに抑えることができました。 この記事では、Ngramを併用することのメリット、およびそれをApache Solrで利用する方法について紹介します。 欲しい情報が見つからないとは そもそも、「検索したけど欲しい情報が見つからない状態」とはどのような状態でしょうか？ ここではその状態を以下の2つの状態に分解して考えてみます。 欲しい情報の数が少ない 1つ目の状態は「欲しい情報が検索結果中に少ない」状態です。 例えば、旅行情報サイトで「東京」と検索した時にDBの中には数千件のデータがあるのに検索結果数がわずか数件しかないような状態です。 欲しくな
ウィキペディア日本語版 tf-idfのidf辞書の公開 - にほんごのれんしゅう
nora(野良)-idf-dic モチベーション LevelDB(kvs)を利用した省メモリ設計で、すべてのWikipediaのコンテンツコンテンツを取得して処理したい XGBoostやElasticNetなど他のアルゴリズムでの前処理にを楽にしたい JSONスキーマなので、Python以外の他のスクリプト言語でも利用可能にしたい ダウンロードリンク Dropboxにアップロードしております。 www.dropbox.com フォーマット idfはjsonのdict型（ハッシュマップとも言います）です。 idf = { term1: weight1, term2:weight2, ... } このようなフォーマットになっており、単語とidfの重みがペアになって格納されています。 式の説明 tf-idfはヒューリスティックなものなので、そもそも明確なんてないんですが、一番、わたしとわたしの周
見出しの改行位置を適正化する試み | tech - 氾濫原
やりたいのは 1文字だけの改行の拒否 - Hail2u のようなことの延長です。長めの見出しがブラウザによって改行されると、どうもバランスが悪くなったり可読性が微妙になることが多い。これをなんとかする。 仕様 元の高さから変わらないこと 非同期にやってもガタガタしないこと 各行ができるだけバランスをとること 文字数 (正確には幅) をあわせる 元の高さから変わらないことというのは行数を変えないということです。これを制約にしてページ全体の高さに影響を与えないようにすることで、非同期的に行数を調整しても閲覧に支障がないようにという意図があります。 「各行のバランス」はできるだけ行ごとの幅を揃えるという意味でいっています。基本的に幅が揃うことはないので、あくまでできるだけです。また、揃わない場合には一番下の行が一番長くなるようにします。これはデザイン上、重心が下になるほうが安定して見えるからです
NEologd Casual Talks | #neologd (2016/04/26 19:00〜)
商用利用自由で無償な自然言語処理資源として定期更新を始めて1年経った NEologd(色々あるのでまとめてNEologdと呼ぶ) について、便利〜、役立つ〜、ありがたい〜、わかる〜などとお声がけ頂く機会が増えありがたいのですが、一体どこでお役に経っているのかよく分からないという現状があります。 Twitterを眺めていると、MeCabのユーザー辞書や、Elasticsearchのkuromoji-neologd・シノニム辞書で解決できる課題について悩んでいるエンジニアさんもこの世に居ることは確実ですが、でも誰がどう悩んでるのか具体的な内容がネット上にはほとんど表出しません。 とある言語資源をどう実サービスで使うのか、実サービスで使える言語資源をどう作るのか、その資源をどうやって維持していくか、すでに公開されている超有益だけどあまり使われていない言語資源はどこにあるのか、言語資源を作るとかい
【コーポレート】データ専門研究開発組織「LINE Data Labs」を新設 | ニュース | LINE株式会社
サービス上での機械学習、人工知能（AI）、大規模データ基盤領域における研究を推進 年内50人規模の組織を目指し、採用を強化 LINE株式会社（本社：東京都渋谷区、代表取締役社長：出澤 剛）は、LINEおよびLINE周辺サービス事業領域におけるデータの分析・研究を行う専門の開発組織として「LINE Data Labs（ライン データラボ）」を新設いたしましたので、お知らせいたします。 「LINE Data Labs」は、これまで各サービス事業領域ごとに存在していたデータチームを統合して新設されたデータ専門研究開発組織です。「LINE Data Labs」の設立により、各サービスの事業領域を超えて、ユーザーの利用動向等のデータを横断的に扱うことが可能になり、より精密なデータ分析や情報フィルタリングを実現し、これまで以上に効率的なデータ・情報活用を目指してまいります。 「LINE Data La
neologd-solr-elasticsearch-synonyms/README.ja.md at master · neologd/neologd-solr-elasticsearch-s...
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
朝日新聞単語ベクトル
LINE、スマートスピーカー「WAVE」を今秋発売、1.5万円。スマホの次のAI時代を担う
Forkwell Press – TensorFlow と出会った「ドルヲタ」エンジニアが1年かけてたどり着いた境地 － LINE すぎゃーん（sugyan）氏
GitHub - neologd/neologd-solr-elasticsearch-synonyms
