CohereForAI/c4ai-command-r-plus · Hugging Face
","chat_template":[{"name":"default","template":"{{ bos_token }}{% if messages[0]['role'] == 'system' %}{% set loop_messages = messages[1:] %}{% set system_message = messages[0]['content'] %}{% elif false == true %}{% set loop_messages = messages %}{% set system_message = 'You are Command-R, a brilliant, sophisticated, AI-assistant trained to assist human users by providing thorough responses. You
GitHub - deepset-ai/haystack: :mag: LLM orchestration framework to build customizable, production-ready LLM applications. Connect components (models, vector DBs, file converters) to pipelines or agents that can interact with your data. With advanced retri
🔍 LLM orchestration framework to build customizable, production-ready LLM applications. Connect components (models, vector DBs, file converters) to pipelines or agents that can interact with your data. With advanced retrieval methods, it's best suited for building RAG, question answering, semantic search or conversational agent chatbots.
GitHub - niderhoff/nlp-datasets: Alphabetical list of free/public domain datasets with text data for use in Natural Language Processing (NLP)
nlp-datasets Alphabetical list of free/public domain datasets with text data for use in Natural Language Processing (NLP). Most stuff here is just raw unstructured text data, if you are looking for annotated corpora or Treebanks refer to the sources at the bottom. Datasets (English, multilang) Apache Software Foundation Public Mail Archives: all publicly available Apache Software Foundation mail a
結城浩とChatGPTの対話
ChatWithChatGPT.md 結城浩とChatGPTの対話 2022年12月2日 「質問」は結城浩の文章です。 「回答」はChatGPTの文章です。 質問 ChatGPTという対話するAIツールがあります。人間が質問を投げかけるとそれらしく対話して回答してくれるツールです。こういうツールに対してどんな質問を投げかけたらおもしろい対話になるでしょうかね。何かアイディアがあったら聞かせてください。具体的な質問を知りたいなあ。 回答 ChatGPTは自然言語処理能力が高いため、人間が自然に投げかける質問をそれらしく受け答えることができます。例えば、ニュースやスポーツに関する話題、人間の心理や行動、哲学的な問題、文化や歴史に関する話題など、様々なテーマについて対話することができます。また、ChatGPTを用いた対話は、人間のようなスムーズな会話のように進むことができますので、おもしろい対話
自然言語処理でトラフィック変化検知 | IIJ Engineers Blog
最近はセキュリティログ解析などに取り組んでいます。何か面白そうな話題があればお声がけください。IIJ/IIJ-II技術研究所所属。 【IIJ 2021 TECHアドベントカレンダー 12/6（月）の記事です】 猫も杓子も深層学習と言っていた時代も一区切りついたように思います。画像処理の分野で一躍（再）注目を浴びた深層学習技術は、自然言語処理や囲碁ゲームなど、他の分野でもめざましい成果をあげました。 我々はインターネット界隈で活動していますが、それらの技術を自分たちの分野に活用できないかと検討をしたものです。何か今までできなかったようなすごいことが、深層学習を使ったら魔法のように実現するのではないか、と夢を見ていた時期もありました。もちろん、トップ研究者の方々がいろんな方面からインターネットへの深層学習の応用を試みて、素晴らしい成果が上がったことに間違いはないと思います。ただ、それらが今のネ
汎用言語表現モデルBERTを日本語で動かす(PyTorch) - Qiita
今DL for NLP界で、BERTというモデルが話題です。PyTorchによる実装が公開されていたので、日本語Wikipediaコーパスに適用してみました。 コードはこちらに公開しております。 2018/11/27 作成したBERTのモデルを使って内部動作の観察とその考察を行いました。単語の潜在表現獲得の部分で感動的な結果を見せてくれました。ご興味あればご覧ください↓ https://qiita.com/Kosuke-Szk/items/d49e2127bf95a1a8e19f この記事ではBERTのポイントの解説と、ポイントごとの実装を紹介します。 尚、記事の執筆にあたってこちらのリポジトリを参考にさせていただきました。 https://github.com/codertimo/BERT-pytorch 本記事は以下の4つで構成されています。 ・BERTとは ・BERTのキモ ・BER
素人がトピックモデルを試してみた (第2回) | IIJ Engineers Blog
前回ヒートマップでいくつか見たように、定期の観測記事 1.3.1 節 ～ 1.3.3 節は概ねそれぞれのグループに分類されています。 例えばグループ 0 は、1.3.3 節(SQL インジェクション攻撃の定期観測記事)を中心として構成されています。 ただ、このグループは他の節を 3つ含んでいます。 これらを詳しく見ていきましょう。 特定のトピックに分類された文書を詳しく読んでみる Vol.3 の 1.3.1 節は DDoS 攻撃の定期観測記事ですが、ヒートマップ上は他の号の 1.3.1 節とよく似たトピック分布を示しています。 たまたまトピック番号 0 が他のトピック番号よりも高い値になったのでしょう。 最も高い確率を示したトピック番号で分類先を決めた、今回の分類法の限界と言えるでしょう。 Vol.10 の 1.4.1 節は 2010年9月に発生した大規模 DDoS 攻撃を解説しています。
素人がトピックモデルを試してみた (第1回) | IIJ Engineers Blog
セキュリティ本部 セキュリティ情報統括室 に所属。雑踏をさけて一人で散歩する時間が生きる上で欠かせない。好きな雑草はカタバミとオナモミ。 私たちは毎日のように文書を読んでいます。 メール、SNS 投稿、技術文書、ニュース記事などなど…… もちろん読むだけでなく、自分たちで書いたりもします。 日々たくさんの文書に囲まれて生活しています。 こうした文書生活の利便性を上げるために、自動的に整理したり補助情報を付加する方法が考え出され使われています。 いくつか例を挙げると タグ付け その文書がどんな話題を扱っているか端的に示すタグ(複数)が付いている グループ化 同じ話題に関する文書をひとつにまとめてある 関連文書の提示 話題の近い文書をおすすめ などがあります。 もしこれらを実現する技術が手元にあれば、複数の情報源(サイトやシステム)を横断して自分たちの用途に合わせて統一的なタグを付けたり、グル
文章の「自動要約ツール」、ユーザーローカルが無償提供
ユーザーローカルは7月24日、入力した文章から重要部分を取り出して要約する「ユーザーローカル自動要約ツール」を公開した。Webサイト上で無償利用できる。 入力フォームにテキストを貼り付けるか、テキストファイルをアップロードすると、文章構造を分析して特徴語（特徴的な言葉を機械的に抽出した単語）や重要文を自動抽出するツール。重要な文章をマーキングやヒートマップ、モノクロ強調で視覚的に捉えられる強調表示にも対応する。 要約文は「3行ダイジェスト」「5行ダイジェスト」「10行ダイジェスト」といった分量調整もできる。 重要文の抽出には、重要単語を多く含み、他の文に類似度が高い文を抽出するアルゴリズム「LexRank」を活用した。 ツールが公開されているWebページには、ニュース配信各社から引用したニュース本文の要約をダイジェストとしてランキング表示している。 同社は「インターネット上には、日々ニュー
大自然言語時代のための、文章要約 - Qiita
さまざまなニュースアプリ、ブログ、SNSと近年テキストの情報はますます増えています。日々たくさんの情報が配信されるため、Twitterやまとめサイトを見ていたら数時間たっていた・・・なんてこともよくあると思います。世はまさに大自然言語時代。 from THE HISTORICAL GROWTH OF DATA: WHY WE NEED A FASTER TRANSFER SOLUTION FOR LARGE DATA SETS テキスト、音声、画像、動画といった非構造データの増加を示したグラフ そこで注目される技術が、「要約」です。膨大な情報を要点をまとめた短い文章にすることができれば、単純に時間の節約になるだけでなく、多様な視点から書かれた情報を並べて吟味することもできます。 本文書は、この文書要約(Text Summarization)についてその概観を示すことを目的として書かれていま
断言しよう、チャットボットブームは去るし関連ビジネスも失敗するよ
会社名を明かせないが、業界大手のベンチャーキャピタルに所属している。 主な出資先は所謂ミドル、レイターと呼ばれる「成長、拡大期」のベンチャーである。 私自身も一回事業立ち上げ、売却した経験を持つ。 さて、そんな私も最近は起業前、もしくは新規事業を立ち上げようとしている方にアドバイスをすることが多い。 そしてその中でもここ1ヶ月は会う人の3割がチャットボット系のサービスのアイデアを語るのである。 「やめたほうが良い」と毎回アドバイスするのだが、毎回伝える3つの点についてここに記したい。 願わくばこの記事が広まり、浅はかな「対話型サービスの未来」を考えているベンチャーが断念し、より可能性の高いビジネスに切り替えて欲しい。 そしてこの記事を受けても尚、私の予測を上回り成功するチャットボットサービスが出てきてほしいとも思う。 前置きが長くなったが、以下3点がチャットボットが失敗する理由である。 1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - nomic-ai/gpt4all: gpt4all: run open-source LLMs anywhere
AI Programmer
GitHub - yagays/ja-timex: 自然言語で書かれた時間情報表現を抽出/規格化するルールベースの解析器
中国、5秒で記事10本 AIが自動作成 - 日本経済新聞
GitHub - microsoft/SPTAG: A distributed approximate nearest neighborhood search (ANN) library which provides a high quality vector index build, search and distributed online serving toolkits for large scale vector search scenario.
GitHub - WorksApplications/Sudachi: A Japanese Tokenizer for Business
GitHub - tuem/resembla
GitHub - facebookresearch/fastText: Library for fast text representation and classification.
GitHub - recruit-tech/summpy
