インターネットイニシアティブ（IIJ）は7月27日、資料「AI・ChatGPTとの“業務上”の付き合い方」を無料公開した。同社のエンジニアで、広報部の堂前清隆副部長が作成。自身が登壇したセミナーで使った資料で、「IT業界以外の方にも話を聞いてもらう前提でまとめたもの」という。 米OpenAIが提供するAIチャットサービス「ChatGP」などにも利用されている、大規模言語モデル（LLM）の利用方法や、動作の仕組み、特徴、注意点などを紹介。今後登場すると予測できるLLMや、LLMを利用したサービスに対する見解も掲載している。一部の内容については、デモ動画による紹介も行っている。 堂前副部長は「今後AIはさまざまな用途で使われるようになると思う。特にLLMは『汎用的なAI（強いAI）』の基礎として発展するのではないか」と指摘。「今は人間との対話（チャット）用途ばかりが強調されているように感じるが

データドリブンにプロダクトを改善していきたい、とはどんなプロダクトマネージャーでも志すことですが現実には上手く行かないこともあると思います。その時に、参考になる動画を見つけたので紹介します。 Product School のチャンネルで公開されている Webinar: Top 10 Digital Analytics Mistakes by Amplitude's Adam Greco and WillowTree's Jeremy Stern です。登壇者の Adam Greco さんは Amplitude という分析プラットフォームの Product Evangelist 、 Jeremy Stern さんは WillowTree というプロダクトでのデータ活用を支援するコンサルティングサービスの Director of Product Analysis を担当されています。動画の見ど

Excelにインターネットからデータを取り込むサイト

こんにちは、データ基盤グループの吉田(id:syou6162)です。先日、モノタロウ社内で「データ管理に役立つメタデータ」に関する勉強会を開催しました。BigQueryのINFORMATION_SCHEMAを中心とした実例を豊富に盛り込んだ内容について話したのですが、社内に限らず有用な内容であると思うので、広く公開します。 開催に至った背景 モノタロウ社内では広くデータ活用が進んでおり、GCPのプロジェクトは数百以上運用され、その中の多くのプロジェクトでBigQueryも使われています。社内に広く提供するDWHやセキュリティなど全社的なデータ基盤に関することはデータ基盤グループが運用/管理を行なっていますが、社内のGCPプロジェクト全てのデータ管理にデータ基盤グループが深く関わっていくのは工数的に困難です*1。 INFORMATION_SCHEMAなどデータ管理に役に立つメタデータのノウハ

GMOペパボは9月21日、同社の新人エンジニア研修資料を無償公開した。4年前から毎年公開しているが、今年は機械学習教材を一新。座学と体験学習を組み合わせた14時間分の資料で、機械学習の基礎から応用まで学べる。 公開したのは、機械学習の他、コンテナ技術やクラウドサービス、Webセキュリティ、フロントエンド、SPA（1つのWebページでアプリケーションを構成するSingle Page Application）、モバイルアプリ開発などの資料。 機械学習研修は、5日間・合計14時間で実施した内容。初学者向けに、データの扱い方から機械学習の定義、機械学習を使った課題の解決法、サービス導入までの流れなどを解説している。 関連記事 「動画で助かる」「IT基礎知識が一通り学べる」──各社が公開した新人エンジニア向けの研修資料が話題に　人気資料まとめ IT企業が社内の新人エンジニアに向けた研修資料を無償公開

stan推定後の可視化に便利なパッケージとその関数について紹介します。 ・stanfitオブジェクトについて ・rstanパッケージの関数 ・bayesplotパッケージの関数 ・tidyverseでstanfitを扱う

プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat

JX通信社シニアエンジニアの@shinyorkeです. 最近はチームの朝会でよく着ているTシャツにツッコミを受けてます.*1 JX通信社では, いい感じにデータを整備・運用しているデータ基盤を駆使して, BI（Business Intelligence）文脈でのデータ分析・可視化. ダッシュボード作ったり. 機械学習的なアプローチを使ったR&Dと機能開発（分類タスクなど） といった業務・タスクを社員・インターン問わず行っています. データ分析でSQLを書いたり, 「新しいアルゴリズム試すやで！」的なノリでPythonのコードをゴリゴリ書く・動かして結果を見て振り返ってまた臨む...って楽しいですよね. チームの皆さんも, もちろん私もモチベーション高くやってるわけですが！？ あれ, notebookどこ行ったんや...🤔 よくありますよねー（震え） 自分もチームメイトも, 前のめりになっ

概要 時間のかかる処理を実行した時、応答がないと「今どれくらい処理が進んでいるのか」「というか動いているのか」などなど、不安になることってありませんか？ありますよね？そう、あるんですよ(3段活用)。 ということでループ処理の進捗状況を表示する方法を覚書しておきます。 ↓↓↓ちなみにこんな感じです↓↓↓ 何かの役に立ちましたらぜひLGTM・ストック・コメントいただけると嬉しいです。 Vimmerはよければこちらもどうぞ見てってください↓ VimでPython書きたい人へ 深層学習についても実装混じりでいろいろ書いてます(DNN〜CNNまで)↓ 深層学習入門 ~基礎編~ 目次 パッケージtqdmの利用 tqdmでネストループの進捗表示 自分で作ってみる エスケープシーケンス プログレスバーを作ってみる 発展：ANSIエスケープコード 20/11/17追記 パッケージtqdmの利用 進捗表示の王

1. 初めに Google Colabratoryの利用に有用なTipsを纏めます。 2. Google Drive マウント Google Colabでは、仮想環境の/content/にファイルが生成・保存されます。 例えば、自前の写真データセットを使いたい時を考えましょう。　/content/にデータセットを直接にアップロードする代わりに、そのデータセットを事前にGoogle Driveのどこかに入れてから、Google Driveをマウントします。そして、Google Driveの写真データセットのフォルダーを指定したほうが使いやすいです。 下記にサンプルコードを掲載します。 from google.colab import drive drive.mount('/content/drive') #Datasets Dir (例) base_dir = '/content/drive

本記事では、データサイエンティスト、AIエンジニアの方がPythonでプログラムを実装する際に気をつけたいポイント、コツ、ノウハウを私なりにまとめています。 AIエンジニア向け記事シリーズの一覧 その1. AIエンジニアが気をつけたいPython実装のノウハウ・コツまとめ（本記事） その2. AIエンジニアが知っておきたいAI新ビジネス立案のノウハウ・コツまとめ 2020年4月に書籍を、出版しました。 【書籍】 AIエンジニアを目指す人のための機械学習入門 実装しながらアルゴリズムの流れを学ぶ（電通国際情報サービス 清水琢也、小川雄太郎 、技術評論社） https://www.amazon.co.jp/dp/4297112094/ 本投稿は、上記の書籍に書ききれなかった 「AIエンジニアが、Pythonでプログラムを実装する際に気をつけたいことのまとめ」 です。 本記事の内容は、あくまで筆

pandasを触り始めた時に感じた思いをタイトルにしてみました。テーブル操作においてSQLを使うことに慣れすぎて、pandasのDataFrameを操作しようとした時どうやるのか戸惑うことが多かったです。 SQLの基本的な構文がpandasではどう実現するのかを1つ１つ並べて確認して行きます。備忘録になれば幸いです。 pandasとは という説明は全部ふっとしばします。その代わりに以下のサイトに綺麗にまとまっているので読んでみてください。 pandasで使われるデータ構造 ～1次元、2次元、3次元のデータの扱い方～ 事前準備 titanicのコードを使います。kaggleのコンペティションからデータをダウンロードしてきます。 import pandas df = pd.read_csv("local/path/to/train.csv") df1 = df[['PassengerId',

概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、 そのやり方として基本的な統計学が十分に使えると思っています。 今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。 また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境 以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う

はじめまして。 先週競プロに入門した初心者です。 今はpythonを使っています。 出来ればC++に頼ることなく競プロで良い結果を出したい！ ということでpythonのままスコアを上げる方法を考えました。 例えばC++では こんな感じで高速化をする人が多いです。 要するに、頻繁に使う記述を簡略化しておくって感じですかね。 前からこういうおまじない的な慣習があることは知っていました。 が、これのpythonバージョンはpythonで競プロをやっているのに知りません。 そこで、pythonの競プロ強者の慣習を学んでいこうと思い、この記事を書きました。 同じような方にも参考になれば幸いです。 はじめにしたこと 強い人の提出コードを読みました。 やっぱりC++競プロと同じようなおまじないがあったので解読していこうと思います。 (とある強そうな人から引用しています) 実際のコード 実際のコードを順に

皆さんこんにちは お元気ですか。最近自炊が少しずつ捗ってきました。 本日はデータ分析でよく起こる「Memory Error」の対策を書いていこうと思います。 今回のはGPUではなく、CPUです。 そもそもなぜ「Memory Error」と遭遇するのか 大量のデータを解析する、もしくは、大量の特徴量を扱うからです。 または、途中の巨大途中処理が原因で載らなくなったとかですね。 その結果、マシンが落ちることもデータ分析している人が陥るよくあることです。 その場合の処方箋を書いていこうと思います。 メモリ対策 不要な変数のメモリを開放する。 一番シンプルで、もういらないから消してしまえという方式です。 方法は単純です。変数をdelして、ガーベジコレクション（不要なメモリを回収し、空ける方式）を実行することです。 例えば、次の通りです。 import gc import numpy as np m

機械学習でアルゴリズムを構築する上で重要なのが「データセット」です。アルゴリズムの精度を上げるためにはより多くのデータと時間が求められますが、十分に大規模なデータセットを集めたり探したりするのは機械学習を行う上で特に苦労するポイント。そんなデータセットをオンライン上から検索できる「Dataset Search」の正式版をGoogleが公開しました。 Dataset Search https://datasetsearch.research.google.com/ Discovering millions of datasets on the web https://blog.google/products/search/discovering-millions-datasets-web/ Dataset Searchにアクセスするとこんな感じ。 データセットを検索するには、入力欄に検索した

株式会社ブレインパッドの2019年新卒研修資料です。SQL操作に関する基本的な内容を扱っています。 SQLローカル環境の構築方法については事前にこちらをご参照ください https://speakerdeck.com/brainpadpr/sql-local-environment-construction

こんにちは。ブレインパッドという会社でデータサイエンティストをしている吉田です。 今回はブレインパッドで新しく始める"OpenBrainPad"という取り組みについて紹介をしたいと思います。 OpenBrainPad とは OpenBrainPadとはその名の通り、業界に対してブレインパッド社をよりオープンにしていくプロジェクトです。（以下、プロジェクト名を "OpenBP" と略） すでにブレインパッドでは企業webページや公式ブログで情報の発信をたくさん行っていますが、OpenBPでは特に、「ブレインパッドの"中身"が気になる！」という人に対してより具体的な情報を届けることを目的としています。 このプロジェクトを通じて発信する予定のコンテンツは以下です。 - 会社で実際に使用した技術者向け新卒研修資料 - 社内向けに作成されたデータ分析に関する資料（を公開用に編集したもの） - 社内の

概要 プログラミングをする際には、APIリファレンスやソースコードのコメントなどを英語で読むことが求められます。場合によっては英語で関数名を付けたり、ちょっとしたマニュアルを書いたりする機会もあります。ただしプログラミング時に求められる英単語は、一般的な英語で求められる英単語とは異なります。 本必須英単語リストでは、プログラミング時に求められ、特に目にすることが多い英単語を以下のカテゴリーに分けて選定しています（注1）。プログラミング英語の学習や知識確認にご活用ください。