こんにちは。BizOpsエンジニアのにっしーです。 データ分析やOps自動化の仕事をしています。 昨今世界を賑わせているChatGPTですが、「どう業務で使うのかいまいちわからない。。」と感じている方が多いのではないでしょうか。 そこで今回は、ChatGPTを使った業務改善の実践例を3つ紹介します。 私がお手伝いしているmicroCMS社での実例で、業務をまるっと置き換えるというよりは業務の一部を切り出して担当してもらおう、というお話です。 プロンプトも載せています。参考になれば幸いです。 なお、自動化ツールにはpipedreamを採用していますが、Zapier、makeほか自前実装でも実現可能です。自社に最適なツールを選択してください。 📮 バックオフィス部門の効率化：問い合わせの分類 会社の問い合わせフォームから営業の連絡ばかり来てうんざりしませんか？ できれば必要な問い合わせだけに

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。 ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介していきます。 なお今回はYahoo!ショッピングを題材にしたケースばかりですが、アイデア自体は汎用的なものとなっています。 ※1： ABテストはウェブサービス上のUI改善、機械学習モデル改善、機能追加etc.といったさまざまな施策が、KPIにどれくらいのイン

tenkinoarekore.com 2023 著作権. 不許複製 プライバシーポリシー

バッチなどで日々のKPIを自動で集計した内容をすぐ確認できるようにしてみる。今回はLINEへ通知する方法。とても簡単 １．まずは下記にアクセスし、ログインした上で通知を行いたいチャットに対してアクセストークンの発行を行う。 ２．発行されたアクセストークンをメモして（1回しか表示されないらしいので注意。コピーし忘れたら一旦提携を解除してもう一度発行しなおせばＯＫ） ３．以下のコードを追加 import requests line_notify_token = 'アクセストークン' line_notify_api = 'https://notify-api.line.me/api/notify' message = '通知したい内容' payload = {'message': message} headers = {'Authorization': 'Bearer ' + line_noti

セッションIDやアクセストークン、はたまた業務上で使う一意の識別子など、いろんなところで一意のIDを生成しなきゃいけないケースが存在します。 そこで世間で使われているIDの生成方法について調べてみました。 選択基準 ID生成における要求として、以下の観点が上げられるかと思います。 生成の速度 大量にデータを短期間で処理し、それらにIDを付与する場合、ID生成そのものがボトルネックとなることがあります。 推測困難性 IDを機密情報と結びつける場合、IDを改ざんされても、機密データが見れないようにできている必要があります。 順序性 採番した順にデータをソートする必要がある場合は、IDがソートキーとして使えないといけません。 それぞれについて各生成手段を評価します。 ID生成の手段 データベースの採番テーブル 採番用のテーブルを作り、そこで番号をUPDATEしながら取得していくやりかたです。古い

さまざまなデータをグラフや表で分かりやすく表示するためのツールはいろいろありますが、その中の一つが「Googleデータスタジオ」です。Googleが作ったサービスという利点を生かし、GoogleアナリティクスやAdWordsなど同じGoogle製のサービスとの連携が簡単ということで、実際にGoogleアナリティクスとの連携を試してみました。 データスタジオ（ベータ版） | データの視覚化とレポートの作成 | 無料版を試す - Google https://www.google.com/analytics/data-studio/ まずはGoogleデータスタジオのページへ行き、「無料版を試す」をクリックします。 Googleにログインします。ログインしたいアカウントをクリックして…… パスワードを入力し、「次へ」をクリック。 Googleデータスタジオを使えるようになりました。「空白」をク

Google Analyticsには「サンプリング」というローデータ（raw date）をそのまま表示せず、推定値を算出して表示するAnalytics独自の制限機能があります。 このサンプリングを回避し、正確なデータを取得する方法にAnalytics APIを使ってデータを細かく取得する、という方法があります。 そこで今回はサンプリングとは何か、そしてAPIでデータを取得する方法について説明したいと思います。ぜひ参考にしてみてください。 大規模サイトにおけるGoogle Analyticsの問題点Google Analyticsのサンプリングとはなにか？月間アクセス数が数百万以上ある大規模なWebサイトの場合、Google Analyticsの集計値がサンプリングによって正確に表示されない事があります。 サンプリングとは、ローデータ（母集団）から一部分のみを抽出し、その一部のデータから全体

自分で小さいツールを作る時に心に留めているtipsです． 書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います． メインルーチンを関数にする 関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． #!/usr/bin/env python def main(): print('hello, hello, hello!') if __name__ == '__main__': main() pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後

一応仕事で SQL Server は触っていて、テーブル型についても仕事で必要になった範囲でなんとなく使ってたんですけど、ちょっと応用したことをしようとしたらどう書けばいいのかわからなくなったので、自分の中で整理することにしました。 テーブル型変数の宣言 DECLARE @Table TABLE( Id int NOT NULL, Name varchar(20) NOT NULL ) テーブル型変数を使った SELECT SELECT * FROM @Table テーブル型変数への INSERT INSERT INTO @Table VALUES(1, 'Hoge') テーブル型変数の UPDATE UPDATE @Table SET name = name + '1' テーブル型変数の DELETE DELETE FROM @Table インラインテーブル値関数 RETURNS には

SQL文を実行する際のパフォーマンスに大きな影響を及ぼすものとして，もう一つ，インデックスがあります。インデックスについては，どう定義すべきかというデータベース設計上の問題と，インデックスを有効に使うためのSQL文をどう書くべきかというコーディング上の問題があります。 ここではテーブル設計上の問題を主に取り上げます。SQL文のコーディングについては囲み記事「SQL文を最速にする11のポイント」を参照してください。 インデックスは，テーブルの検索速度を向上させるためのものです。それぞれのSQL文に対して最適なインデックスを定義するのが理想的ですが，実際にはある程度限られたインデックスで，必要なパフォーマンス要件を満たすようにインデックスを定義する必要があります。加えて，どんなSQL文が実際に発行されるのかがあらかじめわかっていない場合は，適当な想定に基づいてインデックスを定義しておかなくては

都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト Kaggleにおいて、人によってはソリューションを書いてくれているものがあります。特徴量エンジニアリングやアルゴリズムなど業務での参考になるだろうと思われるので、仕事で関わりそうなデータという観点から4つほどですが事例を集めてみました。このような事例のまとまった本とかあったらいいのですが。 基本的に各事例ごとに ・目的 ・どんなデータセット ・どんな特徴量エンジニアリング ・どんなアルゴリズム ・リンク を記していきます。 Walmart Recruiting – S

背景 WEBサービスで駅とか路線のマスター情報とか使いたいときが結構あると思います。自分でマスター管理するのは大変なので、どこかにお願いしたいですよね。そんな時はこちら。 無料 駅データ.jp 無料（有料プランもあり） 事業者マスタ、路線マスタ、駅マスタ、接続駅マスタがCSVで提供されます APIでの提供も用意されています 商用利用やデータの改変についても制約がなく使い勝手が良さそうです 有料契約すると取得できる情報がちょっと詳細になります リクルートWEBサービス 無料 APIでの情報提供になりますが、沿線マスタAPIで全件取得できますので、それをもとにAPIをぐるぐる回せば自分で駅マスターは作れそうです ただ利用者としてリクルート社のコンテンツをマッシュアップしてサービス提供したい人向けのようなので、全く無関係のシステム・サービスで利用しようとしている場合は利用許可がでないかもしれませ

Tutorial R Tutorial ggplot2 ggplot2 Short Tutorial ggplot2 Tutorial 1 - Intro ggplot2 Tutorial 2 - Theme ggplot2 Tutorial 3 - Masterlist ggplot2 Quickref Foundations Linear Regression Statistical Tests Missing Value Treatment Outlier Analysis Feature Selection Model Selection Logistic Regression Advanced Linear Regression Advanced Regression Models Advanced Regression Models Time Series Time Serie

例えば Google で「ポスグレ」を検索すると、下のアドレスバーのように q=%E3%83%9D%E3%82%B9%E3%82%B0%E3%83%AC という文字列が Google に送られる。日本語など非 ASCII 文字はそのまま送れないので、ある規則に従って % と半角英数字たけに変換する。これが URI エンコードである。Chrome のアドレスバーでは検索した語がそのまま表示されるが、送信時にエンコードしているのは同じである。 ↓ URI エンコードの規則は一つでない。例えば JavaScript では二つ関数 encodeURI と encodeURIComponent があり、適宜使い分けられている。 JavaScriptプログラムメモ - JavaScriptでURIエンコード（URLエンコード）を行う http://logic.moo.jp/data/archives/

これまでに、(主に)Amazon Redshiftで活用出来るGUIツールとして『Intellij IDEA Ultimate Edition』や『Aginity』等を紹介して来ましたが、Intellij IDEAを開発しているJetBrain社から別種のDB関連ツールが開発されているという情報を先日知りました。 Amazon RedshiftのMac OS X向けGUIツールとして『Intellij IDEA Ultimate Edition』のDatabase Toolsを使う ｜ Developers.IO Redshift専用 Windows GUIツール『Aginity Workbench for Amazon Redshift』が便利かもしれない件 ｜ Developers.IO それがこの『0xDBE』と呼ばれるものになります。アナウンス自体は1年以上前からなされていた様で、

サンディスクのmicroSDカード 512GBが40%OFF。写真や動画のデータ置き場はこれで良くない?【Amazonセール】