はじめに 本記事は、trocco® Advent Calendar 2023の9日目の記事になります。 trocco®だけを取り上げるわけではありませんが、この内容をおさえておくとその価値や使い方が理解しやすいと思いますし、もちろんユーザー以外でもデータエンジニアリング入門として読んでいただければと思います。 さて、私は今年の2月にtrocco®を提供する株式会社primeNumberに転職し、現在はtrocco®を利用したデータパイプライン／BIツールによるダッシュボード構築などを行っています。 前職は広告代理店でTableauを使ったマーケティングデータ分析を行っていたのですが、総合職の異動でたまたまデータ関連部門にいただけですし、プログラミング経験もなかったので、異業種異職種への転職でこの1年はめちゃくちゃ勉強をしてきました。 エンジニア出身の方向けには、『実践的データ基盤への処方箋

テラーノベルで機械学習を中心に担当している川尻です。みなさんも大量のデータを特徴抽出してみたけど、どう使ったらいいかわからないなぁということありますよね。とりあえずどういうデータなのか雰囲気だけでもみるために、簡単な可視化から入るかと思います。以前にもグラフデータの可視化について記事を書きました。 テラーノベルでは小説投稿アプリを作っており、OpenAI Embedding APIを使って全作品の特徴量を出しているデータベースがあります。今回はこのデータを例にして、UMAPという可視化に便利な次元削減手法の使い方を紹介します。 UMAPとは UMAPというのは非線形の次元削減手法で、特徴は次元数やデータ量に対してほとんど一定の計算時間で済むということです。LLMなどの事前学習モデルでよく扱うような1,000次元を超えるような特徴量でも全く問題なく動きます。さらに、Pythonでとても使いや

「今や私達の生活に欠かせない生成AIだが」そんな書き出しを来年あたりはしているのではないだろうか。AIのスマホアプリに音声認識がついておしゃべりができたり、その進化の速度はめざましい。 私は計算ができなかったりウソをしれっとつく今のAIの至らぬところが好きだ。でもすぐに更新されて忘れてしまうのだろう。せめて思い出にでもできたらいいなと思う。 おふくろの味、大学の学食の味、味には思い出がある。AIにレシピを聞いてせめて味としておぼえておこう。

はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し、その内容に基づいてテキスト情報を生成する能力を持っています。例えば、写真やイラストから物体を識別し、それに関連する説明や情報をテキストとして提供できます。この技術は、画像とテキストの間のギャップを橋渡しするものであり、多様な応用が可能です。 DROBEは、多様なファッション商品を取り扱うECサイトを運営しています。我々の挑戦の一つは、膨大な数の商品画像と説明文から、正確で有用なタグを抽出し、整理して保存しておく事です。このプ

こんにちは。おうちKubernetesを勧めるためにやってきました。 このシリーズでは、Part 1で「なぜやるのか」、Part 2で「どうやるのか」について話します。 この記事は自宅サーバー上のKubernetesで不特定多数向けのサービスを展開することを勧めるものではなく、自分用・身内用のアプリを自宅サーバー上のKubernetesで運用することを勧めるものです。 ハード面 1台構成 or 複数台構成 複数台構成を取るメリットは大きいものだと以下があります。 1台が不調でも残りのサーバーで処理を継続できる（可用性が高まる） 大量のアクセスを捌ける 前者は、自宅サーバーでは気にしても仕方がないというか、停電やネット回線の障害で簡単に落ちるため、過度に可用性を気にする必要はないと思います。逆に言えば、可用性を気にする場合には、そもそも自宅サーバーはあまり向いていません。電源やネットを普段使

こんにちは。おうちKubernetesを勧めるためにやってきました。 このシリーズでは、Part 1で「なぜやるのか」、Part 2で「どうやるのか」について話します。 この記事は自宅サーバー上のKubernetesで不特定多数向けのサービスを展開することを勧めるものではなく、自分用・身内用のアプリを自宅サーバー上のKubernetesで運用することを勧めるものです。 エンジニアは全員おうちKubernetesをやるべき絶対的な理由 自己研鑽のために （鑽←この字「研鑽」と「大鑽井盆地」でしか見ない） 企業がKubernetesを採用する場合、ほとんどがEKSやGKEといったクラウド上で動作するマネージドKubernetesサービスを使用すると思います。ただ、Kubernetesであればコマンドやマニフェストファイルの書き方は共通なので、おうちKubernetesで学んだことがそのまま業務

2023/11/11に開催されたJJUG CCC 2023 Fallでの登壇資料です

自分は現在アメリカの医療系スタートアップ企業でソフトウェアエンジニアとして働いている。カナダに在住していて、年収は日本円にして約1600万円、エンジニアとしては現在4年働いている。 もしあなたが日本のエンジニアなら、これを読んだ時に心がざわついたと思う。日本にいると表面化しづらい、世界的エンジニアの給与格差を今目の当たりにしたのだから。しかし実際には、自分はほぼぴったりアメリカでのエンジニアの平均給料を貰っているに過ぎない。 日本でのエンジニアの扱い給料Economic Research InstituteをソースにしたCodeSubmitさんの各国のエンジニアの平均給料のリサーチによると、日本は$36,024でランキングの27ヶ国中18位、1位のアメリカ($110,140)とは$74,116、即ち2023年11月現在の日本円対アメリカドルのレートで1100万円ほどの開きがある。ちなみに日

はじめに 現在ITエンジニア歴16年目でこれまでなんどかチームリーダー(プロジェクトリーダー)を経験してきましたが、数年前は上手くいっていたけど、ここ1年位のチームではなかなかうまく行かないことが多く、メンバーからのクレームが上長経由で伝えられてくることがあります。 クレームを伝えてくるメンバーの多くが経験が浅いエンジニア(若手、未経験中途入社)であり、まだITエンジニアとしての業務や商流が分かってない部分もあるゆえのエゴのようなクレームもあるのですが、中にはリーダーとして気をつけるべきだなと思ったことがあったので、まとめておきたいと思います。 なお、経験が浅いエンジニアと主語大きめに書きましたが、数年前にリーダーをした際にQAから転身したてのITエンジニアや、20台中盤くらいの方もいましたが特にクレームはなかったので「メンバーによる可能性はある」ということは書き添えておきます。 また、上

先日 "Python の「仮想環境」を完全に理解しよう" というスライドを公開したらかなり反響がありました。 Python の開発環境の構築は、正直言ってかなり複雑だと思います。 pip・venv・pyenv・Pipenv などなど、似たような名前・似たような役割のツールがたくさん登場して、最初は全然意味が分かりません。 慣れればなんとかなるのですが、慣れるまではかなり苦しいです。 このようにとても難解であるにも関わらず、Python は機械学習などでよく使われることから、避けられないことも多いです。 そこでこの記事には、「そもそも Python の開発環境にはどんな観点があるんだ？このツールはなにを解決してくれるんだ？」という話をまとめます。

先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて

こんにちは。ユーザープラットフォーム開発本部(UP部)の原です。 あなたのチームの雑談チャンネルは1日あたり何回ぐらい発言がありますか？ 小さい仲良しチームなら頻繁に発言があるかもしれませんが20人,30人あたりになってくるとだんだん発言が少なくなってきますよね。 チームメンバーのエンゲージメントや生産性を高めるためには少なくともお互いがどんな人なのかを知っているようにしておくべきです。 JMDCは数百人いる組織だし、私の所属するUP部だけでも20名以上の社員が所属しており、しかもほぼ全員リモートで仕事をしている状況なので、いかに "チームメンバーがお互いにどんな人なのかを知っている状態" を作り出すかが課題になっています。 GitLabのリモートワークガイド参考にする 自らを “A world leader in remote work” と呼んでいるGitLabも雑談を重要なものと捉え

ビジネスでデータサイエンスを活用するシーンとして、過去データを使って将来を予測するタイプの問題がある。商品販売数や店舗売上高など、折れ線グラフを使って表現するようなデータ（時系列データ）に基づいた時系列分析だ。過去の販売データに基づいて翌月の発注量を決めたり、3年後など中長期の計画を策定したりするのに使う。今回は、この時系列分析に活用しやすい3つのアルゴリズムを見ていこう。 Prophet

以下は去年の弊社のQiita アドベントカレンダーに投稿したものです。 qiita.com これはなに？ はじめまして。リンクアンドモチベーションの伊藤です。 主にバックエンドの開発を担当しており、最近はタイトルにあるように新規機能開発や既存機能改善に関わる多くの設計に「レビュワー」として携ってきました。 この記事では私がレビュワーとして開発の「設計」に関わってきた中で、 スムーズにステークホルダーの認識が揃ったな 議論がより深まった上で決定できたな と感じた設計におけるポイントをまとめてみました。 「設計でなにをしたらいいか迷っている方」 「コーディングだけじゃなくもう少し上流工程に入りたいと思っている方」 の参考になれば幸いです。 そもそも設計って？ この記事では特に「基本設計」について触れていきたいと思います。 実装よりも上流の過程についてはこの記事などを参照ください。 唐突ですが設

2022年9月13日 株式会社メンバーズ ポップインサイトカンパニーでのウェビナーのスライドです。「ユーザーが欲しいと言った機能をつけたのに使われない！」という経験はありませんか。プロダクトをつくるとき「ユーザーの心理を理解しよう」とよく言われます。しかし、ユーザーに言われたままやることと、ユーザーが本当に望んでいることは異なります。「UXデザイン・UXリサーチ」は、ユーザーを理解するための専門技術です。ユーザーインタビューやユーザビリティテストを用いてファクトを集めることで、ユーザーの表面的な言葉に惑わされない、本当のインサイトにたどりつくことができます。かんたんなワークも交えながら、体系的に解説いたします。Read less

全農広報部【公式】日本の食を味わう @zennoh_food JA全農 広報部の公式アカウントです。みなさんのごはんがちょっと楽しくなることを目指してつぶやいています。好きな食べ物は国産農畜産物、いま食べたいのはレンコンのきんぴら。ソーシャルメディアポリシーはこちら→zennoh.or.jp/publish/sns/so… zennoh.or.jp/index.html

冒頭2022年現在、データ界隈で良く聞く概念の一つに、Active Metadataがある。最も、日本では未だ広く浸透していない概念ではあるが、北米ではData MeshやData Fablic、Metrics Layer等のバズワード(?)と同じように界隈を賑わしているものであり、こと ”データが資源” である21世紀の企業経営においては（現時点で少なくとも北米においては）最重要トピックの一つであると言って過言でない。 本日は、データの最前線を賑わしているアクティブメタデータについて、まだ日本語での記事も多くないので、思うところを書いてみることにした。 背景ときっかけ既にご存知の方も多いと思うが；象徴となったのは、Gartner社が2021年8月にMagic Quadrant for Metadata Managementの廃止を宣言し、代わりに Market Guide for Act

お久しぶりです。CADDiの河合、もとい@vaaaaanquishです。 数ヶ月前、CADDi社内で「オススメ書籍」というものを書きました。 社内にも公開し読み会などを開いています私は前職の上司の影響でビジネス書を多く読むようになったのですが、ゴリゴリの技術書でない書籍というのはどうしてもエンジニアにとって読みにくい物も多いなと思っています（悪いと言っている訳ではなく飲み込みのために行動や知識を求められるよねという意です）。 また、エンジニア向けの書籍でも、少し概念的に古く、現代に適応しにくいものもあったりします（名著は名著である事には変わりないですがエンジニアリングもIT分野も年々進化し続けているので一部現代で扱いづらい概念が出てくるのは当たり前だよねとも思います）。 なので、なるべく「エンジニアが読みやすく」「比較的新しい環境で使える」をテーマに書籍を選び、比較的本を読む数の多くないエ

眼鏡を何十本か持っているそれなりの眼鏡オタクとして言いたい。 似合う眼鏡を探すために一番重要なことはこれだけです。これさえ気をつければまず失敗しません。 ズバリ サイズ感を適切に合わせること。 これに尽きます。 もちろん肌色とフレームの色の相性や、顔のパーツや体つきと眼鏡の存在感のバランスといった要素もあることはあります（補足として次の記事でちょっと書いてます）。 しかし“似合う眼鏡”を探す時、なによりも真っ先に大事なのは、眼鏡のサイズ感です。 ということで、数々の眼鏡を買ったり試着したり、多くの優秀な眼鏡屋さんと会話した結果導き出した「似合う眼鏡のサイズ感」について、3項目で具体的に解説します。 基本的に男女や体型を問わず適用できます。 1.　眼鏡の左右方向（横幅）のサイズ感　似合う眼鏡のサイズ感で最も重要なのはこれ。横幅のサイズ感です。 具体的には ・レンズの左右方向の中央と、瞳孔の外