並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 274件

新着順 人気順

トークンの検索結果1 - 40 件 / 274件

タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。

トークンに関するエントリは274件あります。 セキュリティsecurityAI などが関連タグです。 人気エントリには 『見ているサイト上に露出している機密情報(APIトークン、IPアドレスなど)を見つけるブラウザ拡張を作りました』などがあります。
  • 見ているサイト上に露出している機密情報(APIトークン、IPアドレスなど)を見つけるブラウザ拡張を作りました

    見ているサイト上に露出している機密情報(APIトークン、IPアドレスなど)を見つけるブラウザ拡張を作りました SecretlintというAPIトークンなどの機密情報がファイル内に含まれているかをチェックできるツールを書いています。 Secretlintはコマンドラインツールとして動くので、主にCIやGitのpre-commit hookを利用して、リポジトリに機密情報が入るのを防止できます。 SecretlintでAPIトークンや秘密鍵などのコミットを防止する | Web Scratch 一方で、実際のウェブサービスなどは機密情報がファイルにハードコードされているわけではなく(Secrelint自体がこういうハードコードを防ぐツールです)、環境変数やDatabaseに保存していると思います。 このような場合にも、コードのミスなどによって公開するべきではない情報(秘密鍵、APIトークン、Sl

      見ているサイト上に露出している機密情報(APIトークン、IPアドレスなど)を見つけるブラウザ拡張を作りました
    • 認証用トークン保存先の第4選択肢としての「Auth0」

      iCARE Developer Meetupは、月次で開催している株式会社iCAREが主催するエンジニア向けのLT勉強会です。18回目の今回は、Ruby on Railsをテーマに行いました。サーバーサイドエンジニアの越川氏からはToken認証機能について。 Rails APIモードで開発するときの認証用のトークンはどこに保存すればいいの問題 越川佳祐氏:私からは、「Rails APIモードにおけるToken認証機能について」というテーマでLT(ライトニングトーク)をしようと思っていたんですが、スライドを作っていて「あれ、これ別にRailsだけの話じゃなくない?」と思ってしまいました。みなさんの中にも、そう思う方がいるかもしれないんですが、もうこれで作っちゃったのでご了承ください。 私は株式会社iCAREで、サーバーサイドエンジニアをしている、越川と申します。Twitterは@kossy0

        認証用トークン保存先の第4選択肢としての「Auth0」
      • APIトークン認証の論理設計

        SPAやモバイルアプリから利用するAPIを開発する際の、トークン認証のお話です。 どの認証ライブラリを使うべきという話ではなく、トークン認証の論理的な設計について考察します。 私自身も結論が出ていないので、色んな意見が聞けると嬉しいです。 出発点 ユーザテーブルにアクセストークンを持つのが最も安直な発想だと思います。 ログイン成功時にアクセストークンを発行し、該当ユーザレコードにセット。 同時に有効期限もセットします。 認証時には、アクセストークンが存在し有効期限内であれば、認証を通過させ、 そうでなければ認証失敗とします。 ログアウト時には、該当ユーザレコードのアクセストークンを空にします。 発行日時を持ち、システム内に定義された有効期間をもとに、認証時に計算する方法もあると思います。 Laravel Sanctum 等はそういう実装です(しかもデフォルトでは有効期限なし)。 有効かどう

          APIトークン認証の論理設計
        • セッション認証とトークン認証について

          概要 セッション認証とトークン認証について整理する。下記サイトで詳しく解説されていたので、自分はあくまで学びをアウトプットする目的として本記事を作成する。詳しく学びたい人は、こちらで確認してほしい。 早速だがセッション認証とトークン認証について、一言で言うと、セッション認証はサーバー側主体の認証方法であり、トークン認証はブラウザ側主体の認証方法である。 セッション認証 セッション認証は、ユーザがログイン成功した際に、ユーザ情報と紐付けたセッションIDを返す。ユーザはこのセッションIDをブラウザ上でクッキーとして保存して、サーバー側へリクエストを送る。具体的な流れを下記に示す。 ユーザがログイン認証を経て、サーバがユーザ情報と紐づけたセッションIDを発行する。 発行されたセッションIDをユーザのブラウザが受け取り、クッキーとして保存する。 クッキーとして保存されたセッションIDを用いて、ユー

            セッション認証とトークン認証について
          • Azure AD が発行するトークンの有効期間と考え方 (2023 年版)

            Note 本記事は、2018 年公開の以下の Blog の内容が、現在の機能/技術にマッチしない内容になってきたことを踏まえ、2023 年現在の機能/技術を元に改めて考え方をおまとめしたものとなります。以前に公開した Azure AD が発行するトークンの有効期間について (2018 年公開) の記事は参考のためそのまま残し、新しく本記事を執筆しました。 こんにちは、Azure & Identity サポートの金森です。 Azure AD (AAD) は、Microsoft 365 をはじめ様々なクラウド サービスの認証基盤 (Identity Provider / IdP) として利用されています。その重要な機能としてユーザーの認証が完了したら、アプリケーションに対してトークンを発行するというものがあります。あるサービス (Teams や Exchange Online、他に Azure

              Azure AD が発行するトークンの有効期間と考え方 (2023 年版)
            • HerokuのOAuthトークン流出で、やっておくといいことリスト(コメント大歓迎)

              2022年4月16日(日本時間)にアナウンスがあった、Heroku/Travis-CIのOAuthトークンの流出および悪用を受けて、ユーザーとしてやっておくといいことをまとめました。 GitHubのOrganizationのオーナー向けと個人向けで分けてあります。 追記: 複数の補足のコメントを頂き、記事にも取り込んでいます。ありがとうございます! 注意 執筆者はGitHub, Heroku, Travis-CIの専門家ではありません。この記事は誤っている可能性があります。 この記事は現在調査中の問題について書かれています。最新情報は必ず公式サイトをご確認ください。 GitHub Heroku Travis CI インシデントの概要 GitHubがHerokuとTravis-CIのOAuthアプリケーションに発行したトークンが流出・悪用したことで、それらの連携が有効だった多くのOrgani

                HerokuのOAuthトークン流出で、やっておくといいことリスト(コメント大歓迎)
              • Vyvoネットワークビジネス、徹底検証!トークンでは稼げない? | インターネット(オンライン)集客ネットワークビジネス|成功しやすい会社と成功法

                Last Updated on 2023年12月16日 by admin Vyvo Japanは、2019年に日本支社ができたばかりのネットワークビジネス(MLM)会社です。 まだ知られていないことも多く、「Vyvoってどんな会社なの?」「将来性はあるの?」と気になっている方も多いことでしょう。 また、「Vyvoのスマートウォッチで稼ぐことはできるのか?」も知りたいところですよね。 今回は、Vyvoの活動内容や報酬プラン(仕組み)、Vyvoのスマートウォッチ最新モデル「vista+」等について、独自に検証した内容をご紹介します。 ネットワークビジネス(MLM)は会社選びが大切です。 ネットワークビジネス(MLM)業界では珍しく、スマートウォッチを扱うVyvoを選ぶべきか、公平に判断するための材料としてお読みいただければ幸いです。 Vyvo(ヴィーヴォ)とはどんな会社? まずはVyvoがどん

                  Vyvoネットワークビジネス、徹底検証!トークンでは稼げない? | インターネット(オンライン)集客ネットワークビジネス|成功しやすい会社と成功法
                • 匿名かつ検証可能なPrivate Access Tokensの提案仕様 (プライベートアクセストークン) - ASnoKaze blog

                  「Private Access Tokens」という提案仕様が、Google, Apple, Fastly, Cloudflareの方々らの共著でIETFに提出されています。なお、すでに実装が進められているそうです。 この「Private Access Tokens」の一つのモチベーションに次のようなものがあります。 昨今、プライバシー保護の要求は高まっており、ユーザのIPアドレスを秘匿する、iCloud Private RelayやOblivious HTTPといった技術が出てきています。いままではIPアドレスベースでアクセスレートリミットを行っていましたが、 そのような環境でも、アクセスのレートリミットを設けたいというというのが一つの目的です。 それを、追加のユーザインタラクション無しに、かつユーザをトラッキングできないような匿名なトークンで行うというのがPrivate Access

                    匿名かつ検証可能なPrivate Access Tokensの提案仕様 (プライベートアクセストークン) - ASnoKaze blog
                  • カード番号をSalt無しのSHA256でトークン化するのがどのくらい危険か試してみた

                    はじめに 後輩から実データからトークンキーを生成するの「SHA256とかでハッシュ化でも良いですか?」と聞かれたので「少なくともSaltは必須だね」的な話をしたところ「Saltは(短い可能性があるから)パスワードとかには使うイメージだったけど元データがそれなりに長ければ要らないと思ってました」的な話題になりました。 十分な時間を掛ければ解けるのでもちろんダメなのですが、そういえば十分な時間ってどのくらいだろうと思いちょっと試してみました。 そこそこ長くて識別子に使われる可能性がある番号だとクレジットカード番号が16桁で良い感じなので試してみました。 クレジットカード番号は何通り? 16桁で0-9の値ですが数字なので先頭に0はおけませんから以下のような式になります。 その数なんと9000兆通り! 果たしてこれは計算しきれるのでしょうか? ちなみに実際にはクレジットカード番号には下記のように取

                      カード番号をSalt無しのSHA256でトークン化するのがどのくらい危険か試してみた
                    • 表現の自由のためのユーティリティトークン「Skeb Coin」発行に向けた3社間覚書締結のお知らせ

                      いつもSkebをご利用いただきありがとうございます。 Skebを運営する株式会社スケブ(本社: 東京都港区、代表取締役社長: 喜田 一成)は、株式会社カイカエクスチェンジ(本社: 東京都港区、代表取締役社長: 鈴木 伸)、及び株式会社スケブベンチャーズ(本社: 東京都港区、代表取締役社長: 岩野 裕一)とイニシャル・エクスチェンジ・オファリング(IEO)実施検討に関する覚書を締結したことをお知らせいたします。 法令に基づき各機関の審査を経て、2022年9月頃のSkeb Coin(仮称スケブコイン)の発行、及び資金調達、暗号資産交換所での取引開始を目指します。調達された資金はSkebの発展に活用される予定です。 また、Skebの利用者の皆さんに安心してSkebをご利用いただくために、SkebはNFTに関する事業に今後も関与する予定がないことを改めてお知らせいたします。 Skeb Coinとは

                        表現の自由のためのユーティリティトークン「Skeb Coin」発行に向けた3社間覚書締結のお知らせ
                      • GitHubがGit操作時のパスワード認証を廃止、今後はトークンによる認証が必須に

                        GitHubがコマンドラインでのGit操作時の認証方式のひとつである、パスワード認証を廃止すると発表しました。同サービスは2020年11月にREST API利用時におけるパスワード認証を廃止し、二段階認証などのトークン認証に移行しており、今回の発表はその範囲を拡大した形となります。 Token authentication requirements for Git operations - The GitHub Blog https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ 近年、GitHubは二段階認証やサインインアラート、デバイス認証、WebAuthnへの対応など、トークンを基盤としたセキュリティ機能の向上に力を入れてきたとのこと。トークンは「ユーザーごとに固有」「いつで

                          GitHubがGit操作時のパスワード認証を廃止、今後はトークンによる認証が必須に
                        • Secretlint 6リリース: .bash_historyや.zsh_historyに残ったトークンをマスキングする

                          ファイルに含まれるAPIトークンやパスワードなどの機密情報を見つけるSecretlint v6をリリースしました。 Release v6.0.1 · secretlint/secretlint Secretlintは secretlint "**/*"のようにglobやファイルを指定して実行すると、ファイルに含まれる機密情報を見つけて標準出力に表示します。 一方で、SecretlintはESLintやtextlintなどと違って、--fixといった自動修正はできません。 なぜなら、APIトークンなどを見つけて消しても、ただ単に壊れるだけだからです。 そのため、見つけた機密情報は報告して、ユーザーがそれを手動で修正する必要があります。 たとえば、ソースコードにハードコードするのではなく、環境変数などで受け取るように変更するといった修正をします。 secretlint/credentials-

                            Secretlint 6リリース: .bash_historyや.zsh_historyに残ったトークンをマスキングする
                          • JWT+RDBを用いたOAuth 2.0 ハイブリッド型トークンの実装例 - r-weblife

                            おはようございます、ritouです。 (⚠️認可イベントの識別子のあたり、ちょっと見直しました!最初に見ていただいた方はもう一回どうぞ!) 前回、ハイブリッド型と呼ばれる OAuth 2.0 のトークン実装について書きました。 ritou.hatenablog.com その続きとして JWT(JWS) + RDBでできる実装例を紹介します。 理解するにはそれなりの OAuth 2.0 に関する知識が必要になるかもしれませんが、よかったら参考にしてみてください。 何を考えたのか OAuth 2.0のRefresh Token, Access Tokenを考えます。 要件から整理しましょう。 要件 結構ありますが、最低限の OAuth 2.0 の Authorization Server を実装しようと思ったらこれぐらいはやらないといけないでしょう。 RFC6750 で定義されている Bear

                              JWT+RDBを用いたOAuth 2.0 ハイブリッド型トークンの実装例 - r-weblife
                            • GitHub Appsトークン解体新書:GitHub ActionsからPATを駆逐する技術

                              GitHub ActionsではGITHUB_TOKENで権限が足りない場合、PAT(Personal Access Tokens)がよく使われます。しかしPATより優れた選択肢があります。それがGitHub Appsトークンです。本記事ではGitHub Appsトークンの実装方法をゼロから学びます。目標はPATの完全駆逐です。 本記事で学べること PATとGitHub Appsトークンの違い GitHub Appsの作成・インストール方法 GitHub ActionsでGitHub Appsトークンを払い出す方法 本番運用で考慮すべきセキュリティとトレードオフ イントロダクション GITHUB_TOKENはGitHub Actionsのワークフロー開始時に自動生成され、終了時に自動削除されるトークンです。GITHUB_TOKENで済むなら、これがベストです。何も悩む必要はありません。問題

                                GitHub Appsトークン解体新書:GitHub ActionsからPATを駆逐する技術
                              • 今井翔太 / Shota Imai@えるエル on Twitter: "MPT-7Bというオープンソース大規模言語モデルが先ほど公開されたのですが,オープンソースの本命という気がします https://t.co/8BU5N4mCOG ・商用利用可能 ・6万5000トークン使用可能(GPT-4の2倍!) ・7Bと比較的小さいモデルながら,かなり高性能 ・日本語を扱え,性能もかなり高い(超重要)… https://t.co/3KVk8SDiQd"

                                • 認証アプリ「Authy」の安全性を危惧する声。何が問題なのか。Authyに登録したトークンをエクスポートして移行する方法

                                  [追記] 2022/8/4 に Twilio がフィッシング攻撃で顧客データを漏洩しました。これが下で説明していたデータを預けるリスクです。 クラウド電話APIサービスのTwilioにフィッシング攻撃で顧客データ漏えい - ITmedia NEWS クラウド電話APIサービスを手掛ける米Twilioは8月7日(現地時間)、4日に「高度なソーシャルエンジニアリング攻撃」を受け、一部の顧客アカウント情報に不正にアクセスされたと発表した。 最近驚いたのですが、どうもセキュリティ・プライバシーを重視する人たちは Twilio Authy から他のワンタイムパスワード(TOTP [Time-based One Time Password])ツールに移行しているようです。 TOTPは多要素認証としてよく使われるようになってきています。Google は2要素認証(2段階認証)によってアカウントへの侵入が

                                    認証アプリ「Authy」の安全性を危惧する声。何が問題なのか。Authyに登録したトークンをエクスポートして移行する方法
                                  • 図解 JWS/JWE/JWT/IDトークン/アクセストークンの包含関係 - Qiita

                                    JWS/JWE/JWT/IDトークンの包含関係 JWS (JSON Web Signature) と JWE (JSON Web Encryption) の直列化方法には、それぞれ JSON 形式とコンパクト形式がある。 JWT (JSON Web Token) は JWS か JWE だが、いずれにしてもコンパクト形式である。仕様でそう決まっている。 仕様により、ID トークンには署名が必要なので、ID トークンは JWS もしくは「JWS を含む JWE」という形式をとる。 ID トークンは「JWE を含む JWS」という形式はとらない。なぜなら、仕様により、ID トークンを暗号化する際は「署名してから暗号化」という順番と決まっているため。 アクセストークン/JWT/IDトークンの包含関係 アクセストークンの実装が JWT だとは限らない。 仕様により、ID トークンは必ず JWT で

                                      図解 JWS/JWE/JWT/IDトークン/アクセストークンの包含関係 - Qiita
                                    • Metaが既存の生成AIにあるトークン制限をはるかに上回る100万トークン超のコンテンツ生成を可能にする次世代AIアーキテクチャ「Megabyte」を発表

                                      MetaのAI研究チームが、100万トークンを超えるテキストや画像、オーディオ形式などのコンテンツを生成できる可能性を持つ「Megabyte(メガバイト)」のアーキテクチャを提唱しました。GPT-4やBardなどのAIモデルの基盤となっているアーキテクチャは「Transformer」ですが、MegabyteをAIモデルに採用することで、より高度で熟練したAIモデルの開発が可能になるとMetaは主張しています。 [2305.07185] MEGABYTE: Predicting Million-byte Sequences with Multiscale Transformers https://doi.org/10.48550/arXiv.2305.07185 Meta AI Unleashes Megabyte, a Revolutionary Scalable Model Archit

                                        Metaが既存の生成AIにあるトークン制限をはるかに上回る100万トークン超のコンテンツ生成を可能にする次世代AIアーキテクチャ「Megabyte」を発表
                                      • Mac が覚えている GitHub のパスワードをパーソナルアクセストークンに変更する

                                        2021/08/13 ( 時間不明 ) に GitHub はパスワードで push / pull ができなくなったんですね? 全然知りませんでした、すげービビりました。 $ git push origin foo Support for password authentication was removed on August 13, 2021. Please use a personal access token instead. remote: Please see https://github.blog/2020-12-15-token-authentication-requirements-for-git-operations/ for more information. fatal: unable to access 'https://john-doe@github.com/jo

                                          Mac が覚えている GitHub のパスワードをパーソナルアクセストークンに変更する
                                        • Anthropicのテキスト生成AI「Claude」がOpenAIのGPT-4の約3万2000トークンの3倍近い10万トークンに対応して長文の入力も可能に

                                          ChatGPTなどの対話型AIは、高精度なテキストを生成できる一方、入力が可能な言語の最小単位である「トークン」には限度があります。OpenAIのGPT-4は約3万2000トークンまでの入力が可能ですが、AI研究スタートアップのAnthropicがテキスト生成AI「Claude」のトークンを9000から10万へ拡張したことを発表しました。 Anthropic | Introducing 100K Context Windows https://www.anthropic.com/index/100k-context-windows Anthropic’s latest model can take ‘The Great Gatsby’ as input | TechCrunch https://techcrunch.com/2023/05/11/anthropics-latest-mode

                                            Anthropicのテキスト生成AI「Claude」がOpenAIのGPT-4の約3万2000トークンの3倍近い10万トークンに対応して長文の入力も可能に
                                          • LLMは時折「一時停止」させると、より計算し深く推論するためアウトプットの品質が向上するとの検証結果。新トークン導入フレームワーク | AIDB

                                            本研究は、一時停止トークンという新しい手法を導入することでLLMに追加で計算を行わせ、推論を深めさせることに成功しています。本記事ではその詳細をご紹介します。 また、プロンプトを工夫することで、一時停止トークンのような効果を模倣する可能性も考察しました。一般のユーザーも高度なプログラミングスキルや専門的な知識なしに、LLMの性能を向上させることができるかもしれません。 さらに記事の最後では、人間の挙動との類似性にも触れました。 参照論文情報 タイトル:Think before you speak: Training Language Models With Pause Tokens 著者:Sachin Goyal, Ziwei Ji, Ankit Singh Rawat, Aditya Krishna Menon, Sanjiv Kumar, Vaishnavh Nagarajan 所属:

                                              LLMは時折「一時停止」させると、より計算し深く推論するためアウトプットの品質が向上するとの検証結果。新トークン導入フレームワーク | AIDB
                                            • 数行のコード追加でStable Diffusion生成画像を高品質にする「FreeU」、Llama2を10万トークンに低コストで増やす手法「LongLoRA」など重要論文5本を解説(生成AIウィークリー) | テクノエッジ TechnoEdge

                                              2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless(シームレス)を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第13回目は、画像生成AIを高品質にする手法、画像と文章を中間言語を用いずに入出力するモデルなど5つの論文をまとめました。 生成AI論文ピックアップ数行のコード追加でStable Diffusionなどの生成画像を高品質にする手法「FreeU」 大規模言語モデルのトークンを効率よく増やす手法「LongLoRA」 Llama2を10万トークンに 2.6兆トークンで訓練された、130億のパラメータを持つ多言語モデル「Baichuan 2」 スマホで物体検出をリアルタイムかつ高精度で行う新モデル「Gold-YOLO」 画像と文章を“そのまま”入出力できる生成モデル「Drea

                                                数行のコード追加でStable Diffusion生成画像を高品質にする「FreeU」、Llama2を10万トークンに低コストで増やす手法「LongLoRA」など重要論文5本を解説(生成AIウィークリー) | テクノエッジ TechnoEdge
                                              • ChatGPT対抗「Claude」が10万トークン対応。人間が5時間以上かけて読む資料を1分以内で理解

                                                  ChatGPT対抗「Claude」が10万トークン対応。人間が5時間以上かけて読む資料を1分以内で理解
                                                • 図解 DPoP (OAuth アクセストークンのセキュリティ向上策の一つ) - Qiita

                                                  はじめに DPoP(ディーポップ)という仕様を紹介します。 OAuth 2.0 Demonstration of Proof-of-Possession at the Application Layer (DPoP) この仕様は、悪い人がアクセストークンを盗んだとしても、それだけでは API に対する不正アクセスができないようにするための仕組みです。 従来は、クライアントアプリケーションがアクセストークンを提示して API にアクセスしてきたとき、そのアクセストークンが有効であれば、API アクセスは許可されていました。しかし、DPoP などの Proof of Possession(PoP)の仕組みを用いると、アクセストークンを提示しているクライアントがそのアクセストークンの正当な所有者かどうか(=アクセストークンの発行を受けたクライアントと同一かどうか)もチェックされるようになり、アク

                                                    図解 DPoP (OAuth アクセストークンのセキュリティ向上策の一つ) - Qiita
                                                  • GPT-4 Turboより3倍速い「日本語特化のGPT-4」が提供開始、トークンも削減/

                                                      GPT-4 Turboより3倍速い「日本語特化のGPT-4」が提供開始、トークンも削減/
                                                    • サイバーエージェント、再び大規模言語モデルを無料公開 3万2000トークンに対応 商用利用もOK

                                                      サイバーエージェントは11月2日、新しい日本語大規模言語モデルを無料公開した。日本語と英語データで事前学習をした70億パラメータのベースモデル「CyberAgentLM2-7B」と、チャット向けにチューニングした「CyberAgentLM2-7B-Chat」の2種類を配布。ライセンスはApache License 2.0で、いずれも商用利用できる。

                                                        サイバーエージェント、再び大規模言語モデルを無料公開 3万2000トークンに対応 商用利用もOK
                                                      • イナバ @inaba_desu Microsoftデータサイエンティストの @hiro_gamo さんが公開したChatGPTに関する資料(全90ページ)がAI理解にオススメ。 ・GPTの概要、活用事例、弱点 ・GPTのパターメーターやトークン ・プロンプトエンジニアの学習法 など。 非エンジニアの私でも理解できました。

                                                        • プログラムの内容ではChatGPTのトークン数はどのようになるか? - Taste of Tech Topics

                                                          枝差ししていたバジルが順調に成長して切り出し元の株と代替わりをしました、またバジル生活が始まりそうな菅野です。 皆さんはChatGPTのAPIを利用していますでしょうか? まだ利用していない、利用方法がわからないという方は以下の記事をご覧ください。 acro-engineer.hatenablog.com APIの仕組みの中でも直感的にわかりづらいトークン数について、今回はさらに深堀していこうと思います。 トークンとは、Chat Completions API等OpenAIが提供するAPIの処理単位です。 入力、出力共にByte Pair Encodingした結果を1トークンとして処理します。 英語の場合は通常1単語1トークン、日本語の場合は1文字でも複数トークン換算される場合がある模様です。 実際に利用する文章のトークン数が事前に知りたい場合は以下のページで確認することができます。 ht

                                                            プログラムの内容ではChatGPTのトークン数はどのようになるか? - Taste of Tech Topics
                                                          • OpenAI、日本語に最適化したGPT-4カスタムモデル提供。通常のGPT-4 Turboより最大三倍高速、トークン数削減でコスト効率向上 | テクノエッジ TechnoEdge

                                                            OpenAIは東京にアジア初のオフィスを開設するとともに、日本語に最適化したGPT-4カスタムモデルの提供開始を発表しました。 日本語テキストの翻訳・要約の性能、およびコスト効率を向上させたモデルで、日本語タスクにおいては最新の汎用モデルGPT-4 Turboの最大三倍高速に動作します。 高速化に加え、従来のモデルよりも少ないトークン数で動作するため必要な演算量が減り、コストは47%低減しました。 日本オフィス開設にあたり、サム・アルトマンCEOのコメントは 「日本にオフィスを開設できたことを嬉しく思います。日本は長い歴史を通じ、人々と技術が協力し、大変多くのことを成し遂げています。AIが、人々をより創造的で生産的になるのを助け、まだ想像されていない新しい産業にも広範囲に価値を提供することを加速できると信じています。」 OpenAIによれば、ChatGPTはすでに国内でダイキン、楽天、トヨ

                                                              OpenAI、日本語に最適化したGPT-4カスタムモデル提供。通常のGPT-4 Turboより最大三倍高速、トークン数削減でコスト効率向上 | テクノエッジ TechnoEdge
                                                            • 米ネット広告業界団体、クッキーに代わるデジタルトークンで追跡問題の解決を提案

                                                              ネットユーザーを追跡するオンライン広告の技術に対し、さまざまな規制の動きが出てきているが、最新の選択肢が広告業界自体から登場した。長年にわたりネット広告業界を代表してきたInteractive Advertising Bureau(IAB)が設立した技術協議連合会IAB Technology Laboratory(IAB Tech Lab)は米国時間9月4日、広告主およびネットユーザー双方のニーズによりよいバランスをもたらすことを目指す、新しいデジタルトークンを提案した。この技術には、ユーザーが広告主に対して追跡しないよう伝える機能も含まれるという。 IAB Tech Labのメンバーシップおよびオペレーション担当シニアバイスプレジテント、Jordan Mitchell氏によると、今回の提案では、デジタルトークンが単一の識別子として使われ、これによりネットユーザーはウェブサイトのパブリッシ

                                                                米ネット広告業界団体、クッキーに代わるデジタルトークンで追跡問題の解決を提案
                                                              • オンラインバンキングなどで利用されているセキュリティトークンのしくみを解説

                                                                セキュリティトークンとは セキュリティトークンとはワンタイムパスワードを発行するための小さなハードウェアで、ハードウェアトークンと呼ばれることもある。ワンタイムパスワードにも、いくつかの方式があるが、セキュリティトークンで発行されるワンタイムパスワードは、時刻同期方式(詳細は後述)と呼ばれる方式が主に採用されている。セキュリティトークンのメリットは「トークンごとに異なる情報を保持している」ということであり、セキュリティトークンの所有という行為がセキュリティの強化を担保することになる。このような方式は「所有認証」と呼ばれる。 ワンタイムパスワードとは、その名の通り、毎回あるいは一定時間ごとに変更されるパスワードを使うことで、セキュリティを高める仕組みである。セキュリティトークンを使わずとも、メールや電話でワンタイムパスワードを受け取るという方法もある。しかし、サービスにログインしようとするた

                                                                  オンラインバンキングなどで利用されているセキュリティトークンのしくみを解説
                                                                • secretlint 3.0リリース、GitHubの新しいトークンの検出に対応

                                                                  コミット内容にトークンやSSHの秘密鍵など機密情報が入ってないかをチェックできるSecretlint 3.0をリリースしました。 Release v3.0.0 · secretlint/secretlint secretlint v3.0 support GitHub’s new authentication token detection - DEV Community 👩‍💻👨‍💻 secretlint 3.0では、GitHubの新しくなったトークン形式の検出に対応する@secretlint/secretlint-rule-githubのルールが追加されました。 Behind GitHub’s new authentication token formats | The GitHub Blog Authentication token format updates are ge

                                                                    secretlint 3.0リリース、GitHubの新しいトークンの検出に対応
                                                                  • 暗号資産(仮想通貨)ベーシックアテンショントークン(BAT:バット)が上がると確信… - 株で稼ぐ Kensinhan の投資ブログ

                                                                    今日は、期待から確信に変わる瞬間です…。本日、大手、仮想通貨取引所の Coincheck(コインチェック:暗号資産交換業登録 関東財務局長 第00014号)が、2020年7月21日より、新たにBasic Attention Token ベーシックアテンショントークン(BAT:バット)の取扱いを開始すると発表しました。これは凄いニュースだと思います。 これにより、Coincheck(コインチェック)で取扱う暗号資産は、国内の暗号資産交換業者として最多の13種類となりますが、何よりも嬉しく、興味深いことは、国内最大級のbitFlyer(ビットフライヤー:関東財務局長 第00003号)に続き、CoincheckでもBAT(バット)の扱いが始まるということです。コインチェックは、東証一部上場のマネックスグループ傘下で、bitFlyer同様、徹底したセキュリティ体制を構築している仮想通貨取引所です。

                                                                      暗号資産(仮想通貨)ベーシックアテンショントークン(BAT:バット)が上がると確信… - 株で稼ぐ Kensinhan の投資ブログ
                                                                    • ChatGPTに日本語テキストを入力するとき、日本語テキストがどのように分割されてトークンに変換されるかをtiktokenでのぞく - nikkie-ftnextの日記

                                                                      はじめに これも1つの願いの鍵探し1、nikkieです。 先日tiktokenデビューし、ChatGPTのAPIを呼び出さずに入力トークン長が分かるようになりました。 その中で、ASCII以外の文字(例:日本語)については、トークン(bytesオブジェクト)がそのままでは読み解けませんでした。 読み解くための方法についてこのエントリでアウトプットします。 目次 はじめに 目次 前回のtiktoken! 英語の場合 日本語の場合 Encodingでデコードして得られたbytesのリストと、元の文字列との対応を取りたい nikkieが唯一知っていたこと:strとbytesは相互に変換できる 元の文字列をbytesに変換してみた 長さが3の倍数なら戻せる! 長さが3の倍数ではないとき(1文字が複数トークンに分割されているとき) 試行錯誤まとめ bytesを読み解き、元の文字列と対応を取るスクリプ

                                                                        ChatGPTに日本語テキストを入力するとき、日本語テキストがどのように分割されてトークンに変換されるかをtiktokenでのぞく - nikkie-ftnextの日記
                                                                      • 独自の日本語LLM(大規模言語モデル)のバージョン2を一般公開 ―32,000トークン対応の商用利用可能なチャットモデルを提供―

                                                                        株式会社サイバーエージェント(本社:東京都渋谷区、代表取締役:藤田晋、東証プライム市場:証券コード4751)は、70億パラメータ・32,000トークン対応の日本語LLM(Large Language Model、大規模言語モデル)を公開したことをお知らせいたします。 当社はかねてより日本語LLMの開発に取り組んでおり、2023年5月には国内の自然言語処理技術の発展への寄与を目的とし、「CyberAgentLM」を一般公開しました。その後もLLMに関する研究開発を続け様々なモデルを開発するとともに、当社が提供する「極予測AI」をはじめとするサービスにおいて活用を進めております。

                                                                          独自の日本語LLM(大規模言語モデル)のバージョン2を一般公開 ―32,000トークン対応の商用利用可能なチャットモデルを提供―
                                                                        • 非代替性トークン - Wikipedia

                                                                          スマート・コントラクトによって生成される非代替性トークンのイメージ図。 非代替性トークン(ひだいたいせいトークン、英: non-fungible token、略称: NFT)とは、ブロックチェーン上に記録される一意で代替不可能なデータ単位である[1]。NFTは代替可能性(英: fungibility)がない唯一無二のデータであるという点で、ビットコインなどの暗号通貨とは異なる。NFTは、画像・動画・音声、およびその他の種類のデジタルファイルなど、容易に複製可能なアイテムを一意なアイテムとして関連づけることが可能である[2]。 NFTは「関連づけられているファイルなどの真正性や所有権を証明する」と主張されているが、NFTによって保証・譲渡される法的権利は不明瞭な可能性が指摘されている[3]。また、NFTには、関連づけられているファイルの共有や複製を制限する機能は存在せず、ファイルの著作権を必

                                                                            非代替性トークン - Wikipedia
                                                                          • 虚構新聞速報/編集部便り on Twitter: "【編集部】自民党青年局がNFTを活用した「岸田総理トークン」を配布する記事について、本紙報道とのご指摘をいただいておりますが、これは現実のニュースです。ご了承ください。https://t.co/oWyReblVV0"

                                                                            【編集部】自民党青年局がNFTを活用した「岸田総理トークン」を配布する記事について、本紙報道とのご指摘をいただいておりますが、これは現実のニュースです。ご了承ください。https://t.co/oWyReblVV0

                                                                              虚構新聞速報/編集部便り on Twitter: "【編集部】自民党青年局がNFTを活用した「岸田総理トークン」を配布する記事について、本紙報道とのご指摘をいただいておりますが、これは現実のニュースです。ご了承ください。https://t.co/oWyReblVV0"
                                                                            • みんな代替トークン使とる。使てへんのお前だけ。

                                                                              なお、よく「ダイグラフ」と呼ばれたりもするが、見ての通りキーワード型の物も結構あるし、キーワード型を除いたとしても必ずしも「ダイ」(2文字)ではない(%:%:)。 ちゃんと「代替トークン」(あるいは「オルタナティブトークン」)と呼んであげよう。 ちなみにこれらの名前も予約語なので、例えば and や or と言った関数名や変数名は使えない。 and って言う関数書こうとしたら何故かエラーが出た的な話を稀に聞くが、まさにコイツらの仕業である。 なお、「トークン」と名前がついている通り、コンパイラがソースをトークン化する際に処理されるので、文字列中や他の識別子中では代替トークンとはみなされない。 まぁ当たり前っちゃあ当たり前なんだが… 使用例(その1) さっそく使用例を見ていこうと思う。 使用前 #include <iostream> int main() { int a[] = { 114,

                                                                                みんな代替トークン使とる。使てへんのお前だけ。
                                                                              • 【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM | WEEL

                                                                                【StreamingLLM】トークン数400万、小説40冊を読み込める無限LLM 2023 10/19 皆さん、StreamingLLMというLLM用のアプリケーションをご存知ですか? LLMで無限に入力ができることを可能にしたツールなんです!LLMを日々使い倒している弊社としては、衝撃のツールなんですよ。 GitHubでも4500超えのスターを獲得しており、徐々に注目が集まっています。AIオタクであれば、知らなかったなんてことないですよね。 このStreamingLLMを使えば、対話型でLLMを動かすことができ、モデルが質問の都度、リアルタイムで応答を生成してくれます。 というわけで、今回はStreamingLLMの使い方や、実際に使ってみた感想などをご紹介します。 この記事を最後まで読むと、StreamingLLMを使いこなすことができ、LLMとのリアルタイムの会話も可能になります!

                                                                                • Amazon Bedrockの基本情報とRuntime APIの実行例まとめ - 参考資料、モデルの特徴、価格、使用方法、トークンと推論パラメータの説明 - NRIネットコムBlog

                                                                                  小西秀和です。 今回は2023-09-28にGeneral Availability(GA)になったAmazon Bedrockの基本情報、Runtime APIの実行例についてまとめました。また、トークンやパラメータのイメージをつかむための必要最小限の用語説明も所々入れています。 最終更新日:2024/03/14 ※本記事および当執筆者のその他の記事で掲載されているソースコードは自主研究活動の一貫として作成したものであり、動作を保証するものではありません。使用する場合は自己責任でお願い致します。また、予告なく修正することもありますのでご了承ください。 今回の記事の内容は次のような構成になっています。 Amazon Bedrockの基本情報 Amazon Bedrockの参考資料・学習リソース Amazon Bedrockとは テキストを扱うGenerative AIにおけるトークン(to

                                                                                    Amazon Bedrockの基本情報とRuntime APIの実行例まとめ - 参考資料、モデルの特徴、価格、使用方法、トークンと推論パラメータの説明 - NRIネットコムBlog

                                                                                  新着記事