並び順

ブックマーク数

期間指定

  • から
  • まで

41 - 80 件 / 2235件

新着順 人気順

dataの検索結果41 - 80 件 / 2235件

  • Azure OpenAIの「Add your data」で出来ること出来ないこと

    この記事の主題ではないので簡単に説明しますが、PaaSへのアクセスを閉域化するのがPrivate Endpoint、PaaSからのアクセスを閉域化するのがVNet統合です。 非対応だった以前までの内容 では、登場人物全てが閉域化に対応しているのに、なぜ「Add your data」は閉域化できないのでしょうか。それはAzure OpenAIからCognitive Searchへの通信が執筆時点ではパブリックのみになっているからです。「Add your data」の仕組み図を閉域ネットワーク的に書き換えると以下の図のようになります。 ネットワーク閉域化をしている場合、インターネットからのアクセスを遮断するのでAzure OpenAIからのインターネット経由のアクセスができなくなります。そのため、執筆時点では「Add your data」は閉域化できないということになります。Azure Ope

      Azure OpenAIの「Add your data」で出来ること出来ないこと
    • 東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新)

      東京大学 がちょっとびっくりするくらいの超良質な教材を無料公開していたので、まとめました Python入門講座 東大の Python 入門が無料公開されています。scikit-learnといった 機械学習 関連についても説明されています。ホントいいです Python プログラ...

        東大が無料公開している超良質なPython/Data Science/Cloud教材まとめ (*随時更新)
      • データをモデリングしていたら、組織をモデリングし始めた話 / engineers-in-carta-vol3-data-engineer

        イベントページ https://cartaholdings.connpass.com/event/248756/ アーカイブ https://youtu.be/_GGR1xI4IUw 変化し続けるビジネス、増加し続けるデータに、どのように向き合ってきたか。また、データに強い組織にするには、組織構造から再考する必要性が顕在化した。これまで何をやってきたか?これからは何をするか?株式会社Zucksとデータの泥臭い事例について紹介します。

          データをモデリングしていたら、組織をモデリングし始めた話 / engineers-in-carta-vol3-data-engineer
        • Big Data is Dead

          For more than a decade now, the fact that people have a hard time gaining actionable insights from their data has been blamed on its size. “Your data is too big for your puny systems,” was the diagnosis, and the cure was to buy some new fancy technology that can handle massive scale. Of course, after the Big Data task force purchased all new tooling and migrated from Legacy systems, people found t

            Big Data is Dead
          • Practical Data Science with R and Python: 実践的データサイエンス

            実践的データサイエンス はじめに データ分析のためにコンピュータを利用する際、RおよびPython言語のいずれかを使うことが多いと思います(Julia言語は高レベル・高パフォーマンスな技術計算のための言語で今後期待が膨らみます)。これらの2つの言語では、データ操作や可視化、データ分析、モデリングに使われるライブラリが豊富にあり、 どれを使うのが良いのか迷うような状況が続いていました。しかしその状態は落ち着きを見せ、成熟期を迎えつつあります。 R言語ではパイプ演算子の登場によりデータフレームに対する操作に大きな変化が生じ、tidyverseによるデータ読み込みからデータ整形、可視化までが可能になりました。またtidyverseのような、機械や人間の双方が扱いやすいパッケージが増えてきました。特にR言語の強力な一面でもあったデータ分析の操作はtidymodelsに代表されるパッケージがユーザの

            • Good Data Analysis  |  Machine Learning  |  Google for Developers

              Good Data Analysis Stay organized with collections Save and categorize content based on your preferences. Author: Patrick Riley Special thanks to: Diane Tang, Rehan Khan, Elizabeth Tucker, Amir Najmi, Hilary Hutchinson, Joel Darnauer, Dale Neal, Aner Ben-Artzi, Sanders Kleinfeld, David Westbrook, and Barry Rosenberg. History Last Major Update: Jun. 2019 An earlier version of some of this material

                Good Data Analysis  |  Machine Learning  |  Google for Developers
              • Excelに新機能「Custom Data Types」登場。セルをキーにしてさまざまな情報を参照。ユーザー独自の定義も可能に

                Excelに新機能「Custom Data Types」登場。セルをキーにしてさまざまな情報を参照。ユーザー独自の定義も可能に マイクロソフトはExcelの新機能として従来の「Data Types」を拡張した、「Custom Data Types」の導入を明らかにしました。 Custom Data Typesは、いわばあるセルに入っている情報をキーにして情報を参照する機能を実現するもの。 参照先としてPower BIやPower Queryで接続されたサーバなどを設定できるため、顧客名の入ったセルをキーにすると、顧客の連絡先や住所、現時点での売り上げ、社内の担当営業といった情報をマウス操作だけで参照できるようになります。 Introducing custom data types using your own business data through Power BI and Power

                  Excelに新機能「Custom Data Types」登場。セルをキーにしてさまざまな情報を参照。ユーザー独自の定義も可能に
                • Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210

                  ---------------------------------------------------------------------------------------- 【PR】一緒に働きましょう! https://kazaneya.com/kdec ---------------------------------------------------------------------------------------- 「Tech × Marketing Conference 2021 #データマネジメント」基調講演の登壇資料です。 https://techxmarketing.connpass.com/event/229173/ データ活用やDXが注目されている一方で、実際にプロジェクトを進めようとすると「必要なデータが入力されていない」「用途を実現できるほどデータ品質が高

                    Data Management Guide - 事業成長を支えるデータ基盤のDev&Ops #TechMar / 20211210
                  • GoとKinesis Data Firehoseで非同期の検索基盤を構築─モノリス化した「カオナビ」はアーキテクチャ改善にどう取り組み始めたか - はてなニュース

                    社員の個性・才能を発掘し、戦略人事を加速させるタレントマネジメントシステム「カオナビ」を提供する株式会社カオナビでは、SaaS移行にあわせてクラウドを全面的に採用し、インフラの自動化などにAWSのマネージドサービスを積極活用しています。とはいえ10年近い運用で、サービス開発におけるシステムのモノリス化が課題となってきました。 こういった全社的な課題は、2020年からCTOを務める松下雅和(@matsukaz)さんを中心にCTO室で対応しています。モノリスなシステムは、全体のモジュラモノリス化を前提に、とくにボトルネックとなる検索処理を非同期の基盤サービスとして切り出しています。 この検索基盤の設計と実装を通して、カオナビはシステムのアーキテクチャ改善をどのように進めようとしているのか。非同期である必要性や、デプロイの工夫、開発組織の文化まで含めて、CTO室の千葉峻秀さんとインフラグループの

                      GoとKinesis Data Firehoseで非同期の検索基盤を構築─モノリス化した「カオナビ」はアーキテクチャ改善にどう取り組み始めたか - はてなニュース
                    • 日本語形態素解析器 MeCab を Python から利用する際の語彙データ(UniDic)が AWS 上で Open Data として公開されました | Amazon Web Services

                      Amazon Web Services ブログ 日本語形態素解析器 MeCab を Python から利用する際の語彙データ(UniDic)が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の特性に即した形で前処理を行う必要があります。日本語の自然言語処理を実施する際には、形態素解析と呼ばれる文章の分解処理を前位処理として一般的に行います。日本語形態素解析を行うためには、日本語の語彙データが必要となりますが、このデータは通常 GB 以上のサイズに及ぶ大きなサイズとなります。またこれらを用いた計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの

                        日本語形態素解析器 MeCab を Python から利用する際の語彙データ(UniDic)が AWS 上で Open Data として公開されました | Amazon Web Services
                      • [DATAで見るケータイ業界] 消耗戦続くスマホ決済、加盟店手数料の水準も低く収益化の柱はローンにシフト

                          [DATAで見るケータイ業界] 消耗戦続くスマホ決済、加盟店手数料の水準も低く収益化の柱はローンにシフト
                        • 日本語形態素解析器 Sudachi の語彙データ(SudachiDict)および単語ベクトル(chiVe)が AWS 上で Open Data として公開されました | Amazon Web Services

                          Amazon Web Services ブログ 日本語形態素解析器 Sudachi の語彙データ(SudachiDict)および単語ベクトル(chiVe)が AWS 上で Open Data として公開されました 多くの機械学習デベロッパーの方々が、AWS 上でさまざまなアルゴリズムの開発やモデルの構築を行なっています。中でも自然言語処理を行う際には、対象言語の言語ごとの辞書データや単語ベクトルデータを用いることが一般的です。これらのデータは GB 以上のサイズにおよび、また計算の際にも大量の GPU および CPU を必要とするため、従来こうしたモデルを構築する際には常にストレージおよびコンピューティングのリソースの調達が問題となってきました。AWS 上で自然言語処理モデルの開発を行う際には、Amazon SageMaker を用いて学習に必要なリソースを確保することで、ALBERT の

                            日本語形態素解析器 Sudachi の語彙データ(SudachiDict)および単語ベクトル(chiVe)が AWS 上で Open Data として公開されました | Amazon Web Services
                          • AWS Data Wranglerを使って、簡単にETL処理を実現する | Amazon Web Services

                            Amazon Web Services ブログ AWS Data Wranglerを使って、簡単にETL処理を実現する 2019年9月、Github上にAWS Data Wrangler(以下、Data Wrangler)が公開されました。Data Wranglerは、各種AWSサービスからデータを取得して、コーディングをサポートしてくれるPythonのモジュールです。 現在、Pythonを用いて、Amazon Athena(以下、Athena)やAmazon Redshift(以下、Redshift)からデータを取得して、ETL処理を行う際、PyAthenaやboto3、Pandasなどを利用して行うことが多いかと思います。その際、本来実施したいETLのコーディングまでに、接続設定を書いたり、各種コーディングが必要でした。Data Wraglerを利用することで、AthenaやAmazo

                              AWS Data Wranglerを使って、簡単にETL処理を実現する | Amazon Web Services
                            • ゼロから始めるChatGPT「Advanced Data Analysis(旧Code Interpreter)」-始め方や使い方・料金を徹底解説|Ainova

                              ゼロから始めるChatGPT「Advanced Data Analysis(旧Code Interpreter)」-始め方や使い方・料金を徹底解説 2023年7月、ChatGPTの有料版(ChatGPT Plus)を利用しているユーザーに向けて、新機能「Advanced Data Analysis(旧Code Interpreter)」のベータ版の提供を開始しました。 この新機能「Advanced Data Analysis」を利用することで、ユーザーはChatGPT上でファイルをアップロード・ダウンロードをして、そのファイルに対してChatGPTに様々なタスクの依頼や質問ができるようになります。 例えば、売上データを管理しているExcelをアップロードして、ChatGPTにそのデータを使ってデータ分析やグラフ作成をお願いすることが可能になります。 そこでこちらの記事では、ChatGPT「

                              • メルカリ・ヤフー・ZOZO開発者が語る「画像検索」の最前線!  Bonfire Data & Science #1 イベントレポート

                                ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 祝! データサイエンス領域で初めての Bonfire!! そんな記念すべき初回のイベントレポートを書かせていただきます、Yahoo!ショッピングでサイエンス領域を担当している東孝信です。 Bonfire Data & Scienceは、データとサイエンスに関わる人たちが情報共有できる勉強会/交流会です。 今後も定期的に開催される予定ですので、興味のある方は第2回以降もぜひチェックしてください! さて、第1回のテーマは「画像検索」です! 最近EC系のサイトで類似画像検索が出来るようになったけどどうやってるの? 画像検索のモデルってどうしてるの? 画像検索のインフラはどうしてるの? 私たちの会社でも画像検索を用いたサービスを構築できる

                                  メルカリ・ヤフー・ZOZO開発者が語る「画像検索」の最前線!  Bonfire Data & Science #1 イベントレポート
                                • DynamoDBのテーブル設計に最適!NoSQL WorkbenchのData modelerで今度こそDynamoDBを使いこなす! | DevelopersIO

                                  はじめに CX事業本部の佐藤智樹です。 今回はAWSが提供しているDynamoDB用のアプリ「NoSQL Workbench」の機能を使ってデータモデリングする流れを解説します。 最近案件でテーブル設計を再検討する必要がありNoSQL Workbenchを使ったところ、サンプルデータを入れながら設計が正しいか検証でき非常に便利だったので紹介します。 他の記事でもアプリの紹介はありますが本記事ではデータモデリングに絞って解説を行います。題材として多対多のデータをモデリングしながら設計する方法を紹介します。 本記事を読めば今までDynamoDBのデータ設計に悩んでいた方の検討時間をかなり減らすことができます。自分ももっと早く「NoSQL WorkbenchのData modeler はこう使って欲しい!」という記事があれば良かったなあと思ったので記事にしました。 NoSQL Workbench

                                    DynamoDBのテーブル設計に最適!NoSQL WorkbenchのData modelerで今度こそDynamoDBを使いこなす! | DevelopersIO
                                  • Exploring Notion's Data Model: A Block-Based Architecture | Notion

                                    A generation of pioneers (Doug Engelbart, Ted Nelson, Alan Kay, and many more) saw the computer as tool to augment human problem-solving by giving people power over information. Today, that information mostly remains siloed across tools. Take cloud-based document editors, where pages are their smallest atomic unit. Information is locked inside of pages and files and folders — that’s reminiscent of

                                      Exploring Notion's Data Model: A Block-Based Architecture | Notion
                                    • Azure OpenAI Service 「on your data」 で独自データを使ったチャットを実現する - Taste of Tech Topics

                                      こんにちは、igaです。 先日は台風の影響が出る前に出かけられて、リフレッシュできました。 今回は、Azure OpenAIとチャットする際に、独自データを使用してみます。 独自データの使用(原文の表記はon your data)は、2023年8月現在パブリックプレビューとして利用できる機能です。 techcommunity.microsoft.com 独自データの使用(以降、on your dataと表記します)により、例えば企業内ドキュメントやFAQをAzure OpenAIに検索させることで、ユーザーからのチャットでの問い合わせに対して企業内ドキュメントやFAQを検索した結果をAzure OpenAIがチャットの応答として返すことができるようになります。 今回は、on your dataを利用するまでの流れを試したいと思います。 on your dataのポイント on your d

                                        Azure OpenAI Service 「on your data」 で独自データを使ったチャットを実現する - Taste of Tech Topics
                                      • Terraform 1.4 で導入された terraform_data リソースの使い方

                                        Terraform 1.4 が GA になりました 🎉🎉🎉 Terraform 1.4 では新しく terraform_data リソースが導入されました。 terraform_data リソースは null_resource を置き換えるものであり、さらに異なる用途にも使用できます。 この記事では terraform_data リソースの使い方についてまとめます。 null_resource の代わりに使う replace_triggered_by に使用する サンプルコード この記事で紹介するサンプルコードは以下のリポジトリで管理しています。 検証環境 Terraform v1.4.0 使い方 null_resource の代わりに使う 前提知識として、 null_resource は何も作成しないリソースです。 Provisioner と合わせて使用することで、他のリソースの状

                                          Terraform 1.4 で導入された terraform_data リソースの使い方
                                        • ChatGPT APIで「素人質問で恐縮ですが…」と鋭い質問してくるSlack Botを作った - Platinum Data Blog by BrainPad

                                          本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、議論を活性化する質問をLLM技術によって生成できないかと考え、『この分野は素人なのですが…Bot』を開発した内容を、ご紹介します。 こんにちは、アナリティクスサービス部の藤田です。 ブレインパッドでは、有志による社内勉強会がとても活発で、ほぼ毎日何かしらの勉強会が開かれています。社内勉強会では、参加者による質問が重要な役割を果たします。質問によって、質問者は理解を深めることができ、他の参加者や発表者にとっても新しい視点を得ることができます。しかし、参加者が多い

                                            ChatGPT APIで「素人質問で恐縮ですが…」と鋭い質問してくるSlack Botを作った - Platinum Data Blog by BrainPad
                                          • データハンドリングのためのSQL / SQL for data handling

                                            株式会社ブレインパッドの2019年新卒研修資料です。SQL操作に関する基本的な内容を扱っています。 SQLローカル環境の構築方法については事前にこちらをご参照ください https://speakerdeck.com/brainpadpr/sql-local-environment-construction

                                              データハンドリングのためのSQL / SQL for data handling
                                            • Safe Data Fetching in Modern JavaScript

                                              How to Build: Visually Building with AI webinar today @ 10 am PST. Register Now

                                                Safe Data Fetching in Modern JavaScript
                                              • AWS、Pythonから「MeCab」を利用する際の語彙データをOpen Dataとして公開

                                                アマゾンウェブサービスジャパンは、日本語自然言語処理で定番の形態素解析器である「MeCab」を、ラッパーライブラリである「fugashi」経由でPythonにて使用する際の語彙データ「UniDic」が、「Open Dataset」に追加されたことを、10月9日に発表した。 「MeCab」は、オープンソースの形態素解析器で、日本語の形態素解析において幅広く用いられており、言語、辞書、コーパスに依存しない汎用的な設計を基本とし、高速に動作する。 「fugashi」は、「MeCab」をPythonから使用する際のラッパーライブラリで、unidic-pyとの連携によって「UniDic」を簡単に読み込んで使用できる。 「UniDic」は、国立国語研究所によって構築された、日本語テキストを単語に分割し、形態論情報を付与するための電子化辞書。 データはAmazon S3上でホストされているので、AWSで

                                                  AWS、Pythonから「MeCab」を利用する際の語彙データをOpen Dataとして公開
                                                • GitHub - mckinsey/vizro: Vizro is a toolkit for creating modular data visualization applications.

                                                  Rapidly self-serve the assembly of customized dashboards in minutes - without the need for advanced coding or design experience - to create flexible and scalable, Python enabled data visualization applications Use a few lines of simple configuration to create complex dashboards, which are automatically assembled utilizing libraries such as Plotly and Dash, with inbuilt coding and design best pract

                                                    GitHub - mckinsey/vizro: Vizro is a toolkit for creating modular data visualization applications.
                                                  • Startup.fm: スタートアップのためのデータレイク構築の流れ / Startup.fm: Build a Data Lake in steps

                                                    データウェアハウスやログ分析、機械学習といった進化する分析環境に柔軟に対応する 「データレイク」は今やデータ活用に欠かせないものとなりました。 一方で、現場では以下のような疑問や課題も多く出てきているのではないでしょうか? 「データレイク向けの関連サービスとか多くてなんかよくわからない」 「最初からデータレイクの構築は、ハードル高くて時間もコストもかかるでしょ?」 「手軽に始めたいけど、将来的にスケールできるようにもしておきたい・・・」 「とりあえず今はMySQLとかにデータ入れてるけど、次は何をすればいい?もっといいやり方ないの?」 この度そんなスタートアップのお客様向けに、データレイクセミナーの開催を決定いたしました! これからデータレイクを始めたい方にも、データレイクをさらに効果的に活用したい方にもおすすめです。

                                                      Startup.fm: スタートアップのためのデータレイク構築の流れ / Startup.fm: Build a Data Lake in steps
                                                    • Google Data Studioのスクリーンショットを定期的にSlackに投稿するツールを作った - 日直地獄

                                                      サービスを運用していく上でメンバーに数字感を身に付けてもらったり、リリースした機能の利用状況、狙い通り正常に動作しているかを把握してもらったりすることはとても大事です。 同じオフィスにいる場合には、常時モニタに表示するなど工夫が可能ですが、リモートワーク下においてはそれも困難になりました*1。 これにまつわる、いくつかの課題を解決するためにGoogle Data Studio *2の任意のページのスクリーンショットを定期的にSlackに投稿するGoogle Apps Scriptを書きました。 利用開始する前にはSlack側でAppを作成したりそれなりに準備が必要なのですが、一度設定したら、あとは手がかからなくなるので、費用対効果はいいと思います。 詳しい導入方法などは下記を参照してください。 https://github.com/airreader/datastudio-2-slack

                                                        Google Data Studioのスクリーンショットを定期的にSlackに投稿するツールを作った - 日直地獄
                                                      • GitHub - anandrmedia/heroku-free-alternatives: Free tier of Heroku Dynos, Postgres and Data for Redis will no longer be available after November 28, 2022. Let's find a list of services with a free plan that developers can use as an alternative to Heroku.

                                                        You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                          GitHub - anandrmedia/heroku-free-alternatives: Free tier of Heroku Dynos, Postgres and Data for Redis will no longer be available after November 28, 2022. Let's find a list of services with a free plan that developers can use as an alternative to Heroku.
                                                        • ChatGPT(GPT-4)のAdvanced Data Analysis(旧Code Interpreter)、日本語フォントでグラフや画像、PDFファイルを出力する方法とTwitterの分析

                                                          ChatGPT(GPT-4)のAdvanced Data Analysis(旧Code Interpreter)、日本語フォントでグラフや画像、PDFファイルを出力する方法とTwitterの分析 はじめに 先週末にOpenAIの発表があり、ChatGPT(GPT-4)のCode Interpreterという機能が公開されました。内部でPythonが動いており日本語や英語で指示するだけでノーコードでデータの分析などを行うことができる便利なサービスです。 そのままではグラフ描画などで日本語の表示ができないのですが、「日本語フォント表示する方法を見つけ出した」のでこちらの記事でご紹介します。 ※8月29日にCode InterpreterからAdvanced Data Analysisに名称が変更になりましたが記事中ではCode Interpreterのまま記載しております この記事で学べること

                                                            ChatGPT(GPT-4)のAdvanced Data Analysis(旧Code Interpreter)、日本語フォントでグラフや画像、PDFファイルを出力する方法とTwitterの分析
                                                          • 統計的因果推論とデータ解析 / causal-inference-and-data-analysis

                                                            統計的因果推論の解釈と、実際の運用における注意点をまとめた資料です。 先日、closedな勉強会で発表したものを一部改変したものです。 twitter : @tomoshige_n mail : tomoshige.nakamura@gmail.com �注)一部、わかりやすさを厳密性よりも優先した部分があります。厳密性などを求める方は、文献等をあたってください。

                                                              統計的因果推論とデータ解析 / causal-inference-and-data-analysis
                                                            • GCP Professional Data Engineerに1日で合格する方法 - Qiita

                                                              Professional Data Engineerに合格しました。受験体験記を共有したいと思います。 Professional Data Engineerとは 2022年の最も高収入につながる IT 認定資格ランキングで1位の資格です。平均年収2200万円($171,749) 合格するためにやったこと 模擬問題集で70%あれば合格できます。1セット1時間合計8時間で終わります。試験開始前に間違えた問題を再度確認しておきましょう。Udemyのセール時に購入するのがおすすめです 【最短攻略】Google Cloud 認定 Professional Data Engineer 模擬問題集 Google Cloud Professional Data Engineer - GCP - Exams - 2022 テストは英語ですが、右クリックで日本語にできます。 Udemy自動化 Tampermo

                                                                GCP Professional Data Engineerに1日で合格する方法 - Qiita
                                                              • DuckDuckGo on Twitter: "After months of stalling, Google finally revealed how much personal data they collect in Chrome and the Google app.… https://t.co/QyruuVo1cO"

                                                                After months of stalling, Google finally revealed how much personal data they collect in Chrome and the Google app.… https://t.co/QyruuVo1cO

                                                                  DuckDuckGo on Twitter: "After months of stalling, Google finally revealed how much personal data they collect in Chrome and the Google app.… https://t.co/QyruuVo1cO"
                                                                • Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行

                                                                  Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行 MongoDBは、Amazon S3に保存されているデータをそのままデータベースへ転送することなく、直接MongoDBのクエリ言語で検索可能にするクラウドサービス「MongoDB Atlas Data Lake」の正式リリースを発表しました。 発表は同社がオンラインで開催したイベント「MongoDB.Live 2020」で行われました。 通常、データベースで検索や分析の対象となるデータはデータベース内に保存されているデータであるため、ファイルサーバやオブジェクトストレージなどに保存されているJSONデータやCSVファイルなどは、何らかの方法でデータベースへインポートする必要があります。 MongoDB Atlas Data

                                                                    Amazon S3のデータを直接検索できる「MongoDB Atlas Data Lake」正式リリース。データベースへの転送不要、MongoDBのクエリ言語を直接実行
                                                                  • 毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management

                                                                    毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management

                                                                      毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
                                                                    • クライアントの Cookie などのデータを削除する Clear Site Data という仕様について

                                                                      作成日 2023-02-28 更新日 2023-02-28 author @bokken_ tag Clear-Site-Data, storage, Cookie はじめに Clear-Site-Data というクライアントサイドのデータを削除するための仕様がある。提案自体は2015年頃からある仕様だが、最近 Safari の Beta Release にリリースされ、もうすぐ主要ブラウザで実装が出揃う形になる。¶ この記事では、Clear Site Data とはどういう仕様なのかをまとめる。¶ Clear Site Data とは Web アプリケーションでは、オフライン時にも利用できるようにリソース (データ) をキャッシュしたり、パフォーマンスを高めるため、 local マシンにリソース (データ) を保持することがある。また、サービスをログインするのに Cookie にセッショ

                                                                        クライアントの Cookie などのデータを削除する Clear Site Data という仕様について
                                                                      • 無料でデータを可視化して効率化できる!Google Data Studioとは

                                                                        「データを上手くまとめる方法を知りたい」と思っている方は多いのではないでしょうか。 Excelなどで表を作っても視覚化して分析するのは大変ですよね。Google Date Studioはそんな悩みを解決してくれます。データを視覚化できるのでプレゼンテーションや分析に役立つツールです。 今回はそんなGoogle Date Studioについて基本的な情報や特徴を紹介します。さらに実際の使い方も解説しているのでぜひ最後までお読みくださいね。 Google Data Studioとは? Google Data Studioは、Googleが無料で提供しているデータ収集・分析・解析ツールです。 Googleの既存ツールであるGoogle AnalyticsやGoogle AdWordsなどのデータ、さらには表計算ツールとして多くの人に支持されているスプレッドシート、MySQLなどのデータもそのまま

                                                                          無料でデータを可視化して効率化できる!Google Data Studioとは
                                                                        • #Qiita ついにTreasure Data のオプトアウトに対応する (「Qiita」「Qiita Jobs」におけるユーザー情報の取り扱い不備について思うこと & Qiita のユーザーページの件でオプトアウトを試す) - 人生100年!生涯エンジニア人生!

                                                                          2020年5月12日 更新 Qiita ついにTreasure Data のオプトアウトに対応する 2020年5月8日にQiitaの利用規約が改定されました。 blog.qiita.com 同時にプライバシーポリシーも改定されました。 qiita.com そして、ずーっと私が言ってた!!オプトアウト設定が入りました!! 2020年3月26日から騒いで、ここまで来ましたね。 現場のエンジニアさんも頑張ってくれました、対応に感謝します。 オプトアウトするにはQiitaにログインしてアカウントの設定を行います。 qiita.com このオプトアウトの文言を見ると、このように記載があります。 拒否すると、匿名情報のみがTreasure Dataに送信されます。と書いてあるので、利用情報は渡るようです。 これは匿名加工情報制度によるものなので違法ではないです。 (気分的に嫌と感じる人は、ログアウトし

                                                                            #Qiita ついにTreasure Data のオプトアウトに対応する (「Qiita」「Qiita Jobs」におけるユーザー情報の取り扱い不備について思うこと & Qiita のユーザーページの件でオプトアウトを試す) - 人生100年!生涯エンジニア人生!
                                                                          • 日本語自然言語処理のData Augmentationライブラリdaajaを作りました - 農園

                                                                            概要 こんにちは@kajyuuenです。 日本語自然言語処理のData Augmentationライブラリdaajaを作成しました。 この記事ではdaajaが実装しているData Augmentation手法についての解説とその使い方について紹介します。 ソースコードは以下のリポジトリで公開しています。 github.com また、このライブラリはPyPIに公開しているのでpip install daajaでインストールが可能です。 はじめに Data Augmentationとは Data Augmentationとは元のデータから新しいデータを生成し、データ数を増やす手法です。 日本語ではデータ拡張という名前で知られています。 ラベル付きデータを擬似的に増やすことによって、アノテーションコストを必要とせずにモデルの汎化性能や精度の向上が期待できます。 対応している手法 現在daajaは

                                                                              日本語自然言語処理のData Augmentationライブラリdaajaを作りました - 農園
                                                                            • Data, Design and Government

                                                                              日本のデジタル社会実現の司令塔として、デジタル庁は政府内において、データと根拠に基づいた政策判断・効果の可視化の推進を先導する役割を担っていきます。その一環として、政策に関わるデータを「政策データダッシュボード」として公開しています。本プロジェクトを主管しているファクト&データユニット長の樫田とデザイナーの志水が政策に関わるデータを公開する意図やダッシュボードの開発プロセスを紹介します。 政策データダッシュボード: https://www.digital.go.jp/resources/govdashboard

                                                                                Data, Design and Government
                                                                              • Announcing PartiQL: One query language for all your data | Amazon Web Services

                                                                                AWS Open Source Blog Announcing PartiQL: One query language for all your data Data is being gathered and created at rates unprecedented in history. Much of this data is intended to drive business outcomes but, according to the Harvard Business Review, “…on average, less than half of an organization’s structured data is actively used in making decisions…” The root of the problem is that data is typ

                                                                                  Announcing PartiQL: One query language for all your data | Amazon Web Services
                                                                                • GitHub - vectordotdev/vector: A high-performance observability data pipeline.

                                                                                  You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                                    GitHub - vectordotdev/vector: A high-performance observability data pipeline.