5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
エンジニアの佐野です。カンムはカード決済のサービスを提供しています。カード決済にはいくつかの決済手段があり、マグストライプ、IC、IC非接触(俗に言うタッチ決済)、オンライン決済などの機能が提供可能です。iD のようなスマートデバイスにカード情報を入れてスマホでタッチ決済する仕組みもあります。カンムのプロダクトであるバンドルカードはマグストライプとオンライン決済、Pool はマグストライプとオンライン決済に加えて IC接触決済、IC非接触決済(タッチ決済)を提供しています。今日はセキュリティ的な観点から各種決済手段の特徴や問題点とともに、主に IC 決済の仕組みについて小ネタを交えつつ書いていこうと思います。カンムが提供しているカードは Visa カードでありクローズドな仕様や confidential なものについては言及することはできませんが、公開仕様であったり一般的な事柄のみを用いて
この記事は datatech-jp Advent Calendar 2023 3日目の記事です。 背景・趣旨 筆者（@yuzutas0）は風音屋（@Kazaneya_PR）という会社を経営しており、データ職種の採用・育成に関心を持っています。 複数企業で少ない専門家を奪い合って疲弊するような採用活動ではなく、マーケット全体がより豊かになるような動き方はできないだろうかと模索しています。 1つの実験として、MENTAで「第2新卒が3ヶ月でデータ職種への転職を目指す講座」というトレーニングを提供し、ありがたいことに30名以上の方々に受講いただきました。 ちなみにこの講座は今では風音屋の社内研修になっています。 MENTAの受講者が30名を突破しました🎉 卒業生が風音屋に入社したり、スキルアップして「社内で提案が通るようになった」「現職で活躍できるようになった」という感想もいただいています。
Pythonにはライブラリが沢山あります。ライブラリとは便利な機能を持ったプログラムを集めたものを言い、このライブラリを上手く使うことで色々なことを実現できます。 今回はこのライブラリを用途別で図解にまとめました。 Pythonでプログラムを組む際の参考になりましたら幸いです。 ※簡単にまとめているだけなので、詳しい中身は公式ドキュメント等をご確認ください。 追記（2023/12/25） 当記事がありがたいことに好評いただけたので、Pythonの基礎も図解化しました。あわせてご活用いただけますと幸いです。 機械学習 機械学習 ⊃ 深層学習という包含関係です。 ざっくり言うと、特定のタスク（分析の方向性が明確）に対して予測できるのが機械学習で、より複雑なデータも処理できるのが深層学習です。 ただし深層学習はその分、学習に要する時間やデータは多くなります。 【機械学習入門】scikit-lea
「システム運用の基本と戦略」についてただまとめる
23卒でバックエンドエンジニアをしているたかしゅんです。（@1341Shun） 先日、株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用に関する講義を行いました。 そこで話した内容とスライドを完全公開したので、内容について解説します。 90分の内容のため、かなり長いですが、個人的にぜひ一読して欲しい内容になっています。 実際の資料はこちらになります↓ 自己紹介 こんにちは、たかしゅんと言います。2023年度入社で今年で２年目になります。株式会社サイバーエージェントのAIオペレーション室で新規立ち上げをやっております。 入社して最初に広告プロダクトに配属し、PipeCDの導入などのDevOps業務を中心に行なっておりました。 記事もあるのでもしよろしければ、ご覧ください。 2月中旬からAIオペレーション室に移動し、新規立ち上げのインフラ環境の構築からCI
AWSコスト異常検知を導入したら、『人にお願いする』トイルが発生したのでSlackBotを作って解消した - KAYAC engineers' blog
SREチームの池田(@mashiike)です。SRE連載の５月号になります。 AWSのコストについては、多くの方がすごく気にしていると思います。 カヤックでもAWSのコストの変動に関しては敏感に気にしています。 そんな方々の心のお供になる機能が、 AWSコスト異常検知(AWS Cost Anomaly Detection) です。 今回は、このコスト異常検知にまつわるトイル削減の取り組みを紹介します。 背景 AWSコスト異常検知は、AWS マネジメントコンソールの中では『Billing and Cost Management』配下にある機能になります。 この機能を使うことでAWSで発生したコストに関して、通常とは異なるコストの発生を検知することができます。 コスト異常検知自体については、CureApp テックブログ様のZennの記事がわかりやすくまとまっているので、そちらを参照いただければ
こんにちは。サービス開発室の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2024年版です。 こんにちは。サービス開発室の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2024年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2023年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 247個 です。 まとめるにあ
はじめに 本書『Observability Engineering』は、複雑化の一途をたどる現代のソフトウェアシステムに立ち向かうための、強力な武器となる一冊であり本稿はその読書感想文です。Observability Engineering を今から知りたい方はもちろん、Observability Engineering の基礎を改めて学びたい方もぜひお読みください。この記事もかなりの長さになるので普通に書籍を読んだほうがいいかもです learning.oreilly.com 「Observability:可観測性」という言葉は、近年ソフトウェアエンジニアリングの世界で大きな注目を集めています。しかし、その概念の本質を理解し、実践に移すことは容易ではありません。 本書は、そのオブザーバビリティについて、その基本的な考え方から、具体的な実装方法、そして組織への適用まで、幅広くかつ深く解説して
データサイエンスエキスパート ゲームクリア 攻略チートシート配布 攻略指針 図書館を巡ってアイテム収集 図書館の初見殺しトラップ攻略 参考書籍 統計基礎 統計学（初歩） 統計学（高度） ベイズ統計 分散分析 数学基礎 線形代数 微積分 計算基礎 情報全般 データベース アルゴリズム モデリング・AIと評価 歴史・応用分野・AIなど 多変量解析 時系列解析 グラフィカルモデル テキスト分析 因果推論 機械学習・モデル評価・ニューラルネットワーク データサイエンスエキスパート ゲームクリア 日本統計学会が主催するデータサイエンスエキスパート試験に合格した。 www.toukei-kentei.jp データサイエンスエキスパートは、統計検定より実践寄りであるデータサイエンスシリーズの最上位資格という位置付け。下位資格には「データサイエンス基礎」や「データサイエンス発展」があるが簡単そうだったので
こんにちは。研究開発部 Architectグループの中村です。 本記事は Sansan Advent Calendar 2023 の16日目の記事です。 今回は、私達のチームで開発&運用している全社横断データ分析基盤のデータレイヤの再設計、及びdbtの導入を進めているという事例について紹介します。 既存のデータ基盤に対して、dbtの導入を検討されている方の参考になれば幸いです。 （本稿ではdbtとはについては触れませんので、ご了承ください） TL;DR 歴史的経緯 全社横断データ基盤が生まれる前 全社横断データ基盤 立ち上げ期 課題 立ち上げ期に作られたデータマートがカオスに・・・ 課題の解決に向けて データレイヤの再設計 Transformツールの選定 dbtへの移行戦略 その他dbt移行におけるTips チームでの開発の標準化 Cosmosの導入検証 データカタログのホスティング まと
愛してやまないAWSで展開するセキュリティ対策戦略
TL;DR セキュリティ対策には予防的統制と発見的統制の2つの観点が欠かせない AWSが提供するセキュリティサービスが予防的・発見的統制にどう寄与するかを解説 セキュリティ対策は、リスクの特定と可視化、リスク分析と優先度付け、施策費用の算出、経営層への報告とサポートの獲得で進めるべし セキュリティは、単に技術やツールを導入するだけではなく、組織全体の意識や文化、そして継続的な改善が求められる はじめに レバテック開発部レバテックプラットフォーム開発チームに所属している内藤です。 普段は、バックエンドの設計や実装、さらにインフラの構築まで幅広く担当しています。 最近、私は弊社開発部を代表して（色々な方面から怒られそう笑）、AWSセキュリティインシデント擬似体験GameDayに参加する機会に恵まれました。このイベントでは、セキュリティインシデントへの対応方法や予防策など、実際のインシデント調査
先日、統計ダッシュボード機能(β)をリリースしました。記事をひとつでも公開している場合、Zennにログインすればどなたでも統計情報を表示できます。執筆頻度の確認や閲覧回数の参考にお役立てください。 本稿ではどのように実現したかについて課題とともに記録します。 TL;DR 投稿ページの表示イベントは Google Analytics から BigQuery へ連携しており、イベントデータ（BigQuery）と記事データ（Cloud SQL）をどうJOINさせるかが課題 外部接続でBigQueryからCloud SQLつなぐことにした 統計データ読み出し時、BigQueryを直接使うとクエリ毎に課金されてしまうため、BigQuery BI Engine を使うことにした スケジュールクエリを使い、BI Engineの容量に収まるように集計データを最小限にまとめる チャートは Chart.js
最近、画像の異常検知研究が活発になってきました。 そこで、本稿では、画像の異常検知研究に関する最新情報をお伝えします。 画像はpaper with codeより転載 先に結論 最近の研究は精度を維持しつつ、メモリの圧迫を抑える。さらに、推論時間も短縮させている。 最近のデータセットは多様性が増し、より難易度が上がっている 予備知識 本題に入る前に、従来の手法・データセットが抱える問題点をおさらいしておきます。2021年くらいまでの情報ですので、ご存知の方は読み飛ばしてください。 従来の手法 PaDimとマハラノビスAD 今でも根強い人気があるのがPaDim[1]です。中身が簡単なことに加え、異常検知性能も高いことが理由だと思います。また、PaDimの基となったのがマハラノビスAD(gaussian AD)[2]です。 上記のスライドは二つの手法を説明したものです。両手法とも、ImageNe
前提: これは何? dbtを使ったデータプロダクトを作っている社内のチームメンバー向けに書いた勉強会用のドキュメントです 社外に公開できるように少し抽象化して書いてます DWHに限らずdbtを使ったデータプロダクトで生かせる話ですが、分かりやすさのためにDWHを題材にしています 3行まとめ elementaryはdbtを利用しているデータパイプラインに対してData Observabilityを強化するツールであり、付属のリッチなレポートやSlachへのアラート通知が便利です しかし、実はelementaryが内部で生成している成果物はDWHの改善に役に立つものがたくさんあります 本エントリではelementaryの成果物や役に立つ実例を多めに紹介します 前提: これは何? 3行まとめ 背景: DWHとデータ品質 Observability / Data Observabilityについて
2024年11月、Mackerelのメトリックがオブザーバビリティ標準であるOpenTelemetryに正式対応し、あわせて価格体系を全面的に改定します - Mackerel お知らせ #mackerelio
現在パブリックベータとして提供しているOpenTelemetry対応を2024年11月1日に正式リリースいたします。また、機能に合わせた価格体系の見直し（価格引き上げも含む）を行います。 OpenTelemetry対応と今後のMackerelの開発方針について クラウドネイティブな開発を進めていくと、システム内で何が起きるのかあらかじめ予測して監視・対応しておく、ということが困難になってきます。こういった環境ではシステム内部の状態を把握できるように多角的に観測可能にしておく、可観測性を上げておくことが重要となります。このような環境に対応していくため、Mackerelはメトリックを多次元的に扱うことができる「OpenTelemetry対応」を2024年11月1日に正式リリースします。 OpenTelemetry対応機能は、以下の特徴を持っています。 メタデータを付与した多次元的なメトリックの
Amazon Web Services ブログ 単一アベイラビリティーゾーンでのアプリケーション障害からの迅速な復旧 2023 年 5 月 3 日のアップデート このアップデートにより、Amazon Route 53 Application Recovery Controller のゾーンシフトは、以下の AWS リージョンでも利用できるようになりました。 詳しくは、更新された What’s New ポストまたはゾーンシフトのドキュメントでご確認ください。 本日は、Elastic Load Balancing (ELB) に組み込まれた Amazon Route 53 Application Recovery Controller (Route 53 ARC) の新機能であるゾーンシフトをご紹介します。ゾーンシフトを実行することで、単一のアベイラビリティゾーン (AZ) 内のアプリケーショ
【参加メモ】AI時代のソフトウェアテストの現在と未来 #genai_autify_launchable - ソフトウェアの品質を学びまくる
本日2024年3月5日(火)の昼間に開催された、『AI時代のソフトウェアテストの現在と未来』というイベントがとてもよかったので、特に印象深かったポイントについて共有したいと思います。 イベントの詳細はこちらで。 autifyjapan.connpass.com 登壇者はタワーズ・クエストの和田卓人 @t_wada さん、Launchableの川口耕介 @kohsukekawa さん、Autifyの近澤良 @chikathreesix さんのお三方。ファシリテーターは、近澤さんと同じくAutifyの、末村拓也 @tsueeemura さんです。 宣伝タイム Launchableは、「テストの失敗をよりインテリジェントに扱う」ことを目指している。 たとえば、テストのFlakinessの判定や対処にできるだけ人を介在させないとか、過去の実行結果を見て再実行要否の判断をするといったもの。 Auti
「データサイエンス」とはどんな学問？ 企業300社と共同した滋賀大の問題解決例（高校生新聞オンライン） - Yahoo!ニュース
近年トレンドに挙がるデータサイエンスは、具体的にどんな場で活用されているのか。2017年に全国で初めてデータサイエンス学部を創設した滋賀大学の椎名洋学部長に聞いた。（野口涼） ビッグデータを活用して課題解決―そもそも、「データサイエンス」とは何でしょうか？ 高校生の皆さんなら「ビッグデータ」という言葉を聞いたことがあるでしょう。文字通り、圧倒的な量のデータ（実験や観察などによって得られたもので、数字・文字・音・映像など様々な形がある）のことをいいます。 近年、情報通信技術の発展によって、世界中のさまざまな場所で日々生み出されるデータを集め、保存し、分析することが容易になりました。そのことを利用して今ある課題を解決したり、新たな価値を生み出だしたりする学問が「データサイエンス」です。 ―社会ではどう活用されているのでしょうか。 身近な例を紹介しましょう。皆さんがスマホで検索したワードは、Go
Professional Machine Learning Engineer試験対策マニュアル - G-gen Tech Blog
G-gen の佐々木です。当記事では Google Cloud（旧称 GCP）の認定資格の一つである、Professional Machine Learning Engineer 試験の対策や出題傾向について解説します。 基本的な情報 Professional Machine Learning Engineer とは 難易度 試験対策 機械学習の一般的な知識 代表的な機械学習アルゴリズム 評価指標 回帰問題における評価指標 分類問題における評価指標 ヒューリスティック 機械学習モデルの開発、運用における課題の解決 データの前処理 欠損値の処理 カテゴリカル変数の扱い 不均衡データの対策 過学習の対策 正則化 早期停止 トレーニングの改善 ハイパーパラメータの調整 トレーニング時間の改善 交差検証 モデルのモニタリングと改善 スキューとドリフト モデルの軽量化手法 Google Cloud
【開催報告 & 資料公開】AWS 春の Observability 祭り 2024 | Amazon Web Services
Amazon Web Services ブログ 【開催報告 & 資料公開】AWS 春の Observability 祭り 2024 こんにちは。ソリューションアーキテクト (以下 SA) の高野です。 2024 年 4 月 25 日に「AWS 春の Observability 祭り 2024 〜Observability 獲得までの旅〜」と題したイベントを開催しました。昨年秋に実施させていただいた AWS 秋のObservability 祭り以来の Observability をテーマにしたイベントになります。ご参加いただきました皆様には、改めて御礼申し上げます。昨年の開催報告ブログはこちら。 本ブログでは、その内容を簡単にご紹介しつつ、発表資料を公開致します。今回は、Observability の獲得プロセスをテーマに様々なセッションを行いました。Observability 獲得の全体像
こんにちは、CTOの森です。 本記事はiimonアドベントカレンダー16日目の記事となります。 普段機械学習を使うことは無いのですが、勉強も兼ねてCloudFrontのログを機械学習させてみたらどうなるのか試してみました。 検証した環境 ログデータの形式 使用したログデータのフィールド 分析までの手順 正しくデータを読み込む 学習できる形式に変換 method result_type path_num path_0 ~ path_4 query_num query_len sc-status time-to-first-byte 学習 元のデータと結合 CSVファイルに出力 コード全体 分析結果 (比較的)うまくいった結果 うまくいかなかった結果 参照したサイト まとめ 最後に 今回ログデータをIsolation Forestという手法を用いて分析してみました。Isolation Fore
富士通は11日、人工知能（AI）の機能を短期間で開発できる技術を開発したと発表した。生成AIを使い、開発に約1カ月かかっていたのを1日に短縮できる。顧客が生成AIに言葉で指示すると自動で開発でき、新たな機能を生み出しやすくする。従来はAIの技術者が顧客から要件を聞き取り、需要予測や機器の異常検知といった機能を開発していたため時間がかかっていた。新技術を使えば顧客が生成AIと言葉でやり取りし、A
人工知能（AI）を用いた踏切の異常検知システムの実証実験の様子。AIが映像解析で人を検知する＝沖電気工業提供 人身事故が続く踏切が大阪府の住宅街にある。全長約16メートル、健康な成人でも渡りきるのに20秒程度かかり、歩行者が列車にはねられて亡くなる悲劇が重なった。どうしたら事故を防げるのか。対策に頭を悩ませていた鉄道会社はこの春、最新技術を駆使して「魔の踏切」解消に乗り出した。 監視カメラの映像には踏切を歩く男性の姿が映し出されている。目の前の遮断機が下りた。「危ない」。そう思った瞬間、画面上に「パーソン（人）」と解析結果が示され、近くを通る列車の運転士に停止の信号が送られた――。 これは南海電鉄が試験的に導入した人工知能（AI）を用いた検知システム作動の一場面だ。南海では3月から踏切1カ所にシステムを設置して事故防止の効果を検証している。 沖電気工業と丸紅ネットワークソリューションズが共
OpenAI APIをRubyアプリケーションに統合する（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Integrate OpenAI API in Ruby applications | Saeloun Blog 原文公開日: 2023/05/22 原著者: Gowsik Vivekanandan サイト: Saeloun Blog OpenAI APIの情報は移り変わりが早いのでご注意ください。最新の情報については以下などの公式情報をご覧ください。 参考: Guides | OpenAI Help Center 参考: GPT best practices - OpenAI API なお、サンプルコードにあるOpenAI APIの出力結果の日本語訳には、OpenAI APIによる機械翻訳の出力結果を使っています。 🔗 ChatGPTについて ChatGPTは、OpenAIが開発した人工知能（AI）チャットボットであり、人間
はじめにこのブログは、「現場で使える機械学習活用」をテーマにした4部作のうち1作目です。これらの4部作では「いかにして機械学習を使って現実世界の問題を解決するか」を軸に、陥りやすいポイントやコツを解説していきます。 第1回目は、プロジェクトの流れとプロジェクト成功のため留意すべきことを解説します。 機械学習プロジェクトの流れと留意すべきこと ←イマココ 仮想プロジェクトを題材にしたプロジェクトのコツ解説 プロジェクトで頻出する問題の対応 説明性があるAI (XAI) とその活用 機械学習プロジェクトの流れ機械学習を実務に適用するプロジェクトは、下記に示す5つの段階に分けることができます。 課題から機械学習で解決できそうな部分を見つけ、実現性を探る 機械学習で解けるように問題を設定する 必要なデータを集め、前処理をする 機械学習で学習・モデルの改善を行う 機械学習を実務に組み込む 1~4 は
近大、ウナギの完全養殖に成功 大学初
近畿大学水産研究所は10月26日、ニホンウナギの完全養殖に成功したと発表した。同日時点の仔魚の飼育期間は112日。今後、育成技術の安定化に向けた研究を続ける。ウナギの完全養殖は水産研究・教育機構が2010年に成功しているが、大学では初という。 近畿大学水産研究所では1976年からニホンウナギの種苗生産研究を行い、採卵・ふ化に成功していたが、仔魚が餌を食べるには至らず研究を中断していた。 2019年3月、水産機構が開発・公表している技術情報をもとに研究を再開したところ、人工ふ化に成功。人工ふ化したウナギの雌雄を親魚として、成長の良いものから順次、人工的に成熟を促進する「催熟」を行ったところ、2023年7月5日に受精卵が得られ、翌6日には仔魚がふ化して完全養殖に成功したという。その後、8月3日、8月24日にもふ化が確認されれた。 今後、3カ月から半年程度でシラスウナギに変態し、一般的な食用サイ
今日も今日とてopenAIの新発表が機械学習界隈を賑わせていますね。 今回は、2024/05/14に発表されたGPT4oについてです。 返答速度があがったり画像認識精度があがったり音声会話の性能が良くなったりと色々話題が尽きません。 具体的にどのあたりが凄くなったのかは僕以外にもまとめている人が多そうなのでこの記事では触れません。 個人的に特に気になっているのが画像認識の精度向上部分で、今回は画像認識精度がどの程度あがったのか？というのを画像系機械学習の主要なタスクであるBBoxによる物体認識というタスクで簡単にチェックしてみようと思います。 BBoxとは BBoxはBoundingBoxの略で、画像内の特定のオブジェクトを囲むために使用される長方形のボックスの事を指します。 BoundingBoxの定義は以下の通り このBBox検出は画像系機械学習モデルの基本的なタスクであり、自動運転の
はじめに 弊社アダコテックでは、異常検知AIを開発・提供しています。 弊社で取り扱った実績のある異常検知の対象には、いろいろな形式のデータがあります。 静止画 電子部品（半導体部品、受動部品）や、自動車部品など 動画 監視カメラ映像や、製造装置の監視など 時系列信号（センサー） さまざまな機械の劣化検知など 音 さまざまな機械の異音検知など 今回は、弊社でも長年にわたって研究開発してきた、動画の異常検知について説明します。 はじめに 動画ってなんだっけ？ そもそも異常検知って？ HLACによる異常検知 CHLACは動画版HLAC CHLACのマスクパターン CHLACによる異常検知の流れ おわりに 動画ってなんだっけ？ 動画？ 動く画像ですよね。 動画像とか映像とかアニメーションとかとも言います。 少しずつ変化する画像を連続的に見ると残像効果で動いているように見えます。 ノートの端などに描
【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ | Amazon Web Services
Amazon Web Services ブログ 【開催報告】AWSで実践！Analytics Modernization ～事例祭り編～ 2023 年 5 月 18 日に「AWS で実践！ Analytics Modernization ～事例祭り編～」を開催しました。今回の事例祭りでは AWS の Analytics サービスをご利用いただいている ミーク株式会社様、ニッセイ情報テクノロジー株式会社様、 ビットバンク株式会社 様、株式会社 Gunosy Gunosy Tech Lab DR&MLOps 様、にご登壇いただきました。本ブログでは当日の各発表内容を紹介いたします。 Amazon OpenSearch Serverless のご紹介 アマゾン ウェブ サービス ジャパン合同会社 ソリューションアーキテクト 深見 修平 資料ダウンロード AWS の深見からは 2023 年 2 月
Gartner、「生成AIのハイプ・サイクル：2023年」を発表－2026年までに、企業の80%以上は生成AIのAPIを使用して、生成AIに対応したアプリケーションを本番環境に展開するようになる
Gartner、「生成AIのハイプ・サイクル：2023年」を発表－2026年までに、企業の80%以上は生成AIのAPIを使用して、生成AIに対応したアプリケーションを本番環境に展開するようになる ガートナージャパン株式会社 (本社：東京都港区、以下Gartner) は、2026年までに、80%以上の企業が生成AIのAPIやモデルを使用して、生成AIに対応したアプリケーションを本稼働環境に展開するようになるとの見解を発表しました (グローバルでは2023年10月11日に発表しています)。これは、2023年の5%未満からの大幅な増加になります。 ディスティングイッシュト バイス プレジデントのアルン・チャンドラセカラン (Arun Chandrasekaran) は次のように述べています。「生成AIはCレベル幹部の最優先課題となっています。ファウンデーション・モデルの範囲を超え、新たなツールに
Interop Tokyo 2023 〜 L5G x IoT Connect Gateway の取り組み紹介 〜 - NTT Communications Engineers' Blog
目次 目次 はじめに L5GとICGWの相互接続構成 デモ内容 温湿度、Co2濃度の可視化 カメラ画像 各社L5Gのスループット計測値 設定・運用面の工夫 ゼロタッチプロビジョニング デバイスの遠隔保守 おわりに はじめに こんにちは、5G&IoTサービス部、IoTサービス部門の岩辻です。 NTTコミュニケーションズ株式会社 (以下、NTT Com) は、世界最大級のネットワーク展示会である 「Interop Tokyo 2023 (会場 : 幕張メッセ、会期 : 2023年6月14日〜16日、以下Interop) 」 において会場内に構築されたローカル5G (以下、L5G) とIoT Connect Gateway (以下、ICGW) の相互接続を実現しました。 また、L5G、ICGWを通じて収集したIoTデバイスのセンサデータ、L5Gネットワークのスループット計測などの可視化も実施しま
LLMの用途はチャットボットや検索にとどまらず——エンプラ系アプリの可能性を広げるエンベディングとは - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image credit: LlamaIndex 大規模言語モデル（LLM）の人気が高まるにつれ、さまざまなデータタイプの特徴を数値表現に圧縮する深層学習システム「エンベディングモデル」にも関心が集まっている。 エンベディングモデルは、企業向けの LLM の重要なアプリケーションの1つである検索拡張世代（RAG）の重要なコンポーネントの1つである。しかし、エンベディングモデルの可能性は、現在の RAG アプリケーションにとどまらない。この1年、エンベディングアプリケーションは目覚ましい進歩を遂げた。 エンベディングの仕組み エンベディングの基本的な考え方は、画像やテキスト文書などのデータの一部を、その最も重要な特徴を表す数値のリストに変換することだ。エンベディングモデルは、異なるタイプのデータを見分けることができる最も関連性の高い特徴を学習するために、大規模なデータセットで学習される。 例
【読売新聞】 地方銀行「きらぼし銀行」（東京）が会社社長による４億円超の不審な送金を見過ごした疑いのある問題で、社長から別に送金依頼を受けたメガバンク１行が取引を監視するシステムで異常を検知し、送金を拒否していたことがわかった。きら
Typstで書く卒論・修論テンプレート
1. Typstとは 公式ドキュメントにあるようにマークアップベースの組版システムです. Rust言語で書かれているので, Latexに比べてコンパイルが早いのが特徴です. 2. 修論テンプレート 今年リリースされたこともあってか, 修士論文のテンプレがなかったので自分で作りました. GitHubからダウンロードできます. 3. 実装したもの ディレクトリ構成は以下のようになっています. . ├── Figures │ ├── typst-github.svg │ └── typst.svg ├── README.md ├── main.pdf ├── main.typ ├── references.bib ├── template.pdf └── template.typ template.typに環境変数やレイアウトを書いていまして, それをmain.typで読み込んで本文を書いていく
良さそう ITインフラの“体調”を一元監視で早期に異常検知 https://t.co/TumixShIsb @PRTIMES_JPより — adachinSRE (@adachin0817) February 26, 2024 皆さんお久しぶりです！1ヶ月ぶりのブログとなってしまいましたが、本日はなかなか面白いモニタリングツールを発見しました。 きっかけはXでの呟きからなのですが、メタップスホールディングスさんがSaaS向けイベントログの一元監視サービス「srest(スレスト)」をリリースされました。非常に気になっていたので使ってみようかなと思っていたところ！開発メンバーが「お初ですが、飲みいきましょう！」と誘われたので、いざ新大久保へ！ 今日は「srest」というイベントログの一元化ツールを開発しているメンバーと新大久保でポッサム会！みんな超面白い方でした！来週辺りに個人でsrest触っ
システムエンジニアとしてITベンチャー企業と金融系企業に勤めた後、2019年にデータサイエンティストとしてブレインパッドに入社。 需要予測に関するプロジェクトに多く従事し、モデル構築から運用保守まで一貫して経験。LLMを活用したプロジェクトにも携わる。 Kaggle Competition Master。 ①プロジェクトの目的を明確にする まず初めに、プロジェクトの目的を明確にすることが重要になります。 これはデータ分析プロジェクト以外にも共通する部分ですが、プロジェクトとは「特定の目的を達成するために行われる期限のある活動」です。まずデータ分析プロジェクトの目的（=ゴール）を明確にし、発注側と受注側で共通認識を持つことが、プロジェクト成功に向けた第一歩となります。「目的を明確にするなんて当たり前。意識しなくてもできる」と思われるかもしれません。しかし、私の経験上、目的が曖昧で関係者の認識
爆誕予定のテレメトリー集約/可視化基盤を晒してみる - NTT Communications Engineers' Blog
この記事は、NTT Communications Advent Calendar 2023 8 日目の記事です。 はじめに こんにちは、イノベーションセンターでノーコード分析ツール「Node-AI」開発チームの林です。 業務としては Node-AI のフロントエンドやバックエンド開発、最近では監視/可視化のプラットフォーム開発に携わっています。 本記事ではこの監視/可視化のプラットフォームについて、検討段階ではあるのですがアーキテクチャを中心にまとめていきたいと思います。 Node-AI について Node-AI はノーコード分析ツールとなっていて「予測/異常検知モデルをすぐに・簡単に・わかりやすく作成可能」といったところを推しているツールとなっています。 インフラとしては、Google Cloud を利用しており Google Kubernetes Engine (以下、GKE)の上でア
ノーコードで独自のIoT処理ロジックを構築できる - Things Cloud の「Analytics Builder」とは - NTT Communications Engineers' Blog
わかること IoTプラットフォームにおける独自のイベント処理ロジックの構築について Things Cloudのノーコードツール「Analytics Builder」でできること ※本記事は、Things Cloud バージョン10.14（8月以降リリース予定）の利用を想定しています。 はじめに こんにちは、Things Cloud のカスタマーサクセスチーム 井上です。 私たちは、5G＆IoTサービス部で IoTプラットフォーム「Things Cloud」のサービス開発やお客さまへの技術支援を担当しています。 早速ですが、皆さんは「IoT化」という言葉を聞いて何を思い浮かべるでしょうか。データの収集から可視化、分析、異常検知、通知、自動制御などIoTで実現できることは幅広く、適用可能なビジネス領域や業界も多様です。特に最近では、専門的なスキルを必要とせず手軽にIoT化を実現できるIoTサー
OTセキュリティリスク可視化サービス OsecT、リニューアルしました - NTT Communications Engineers' Blog
はじめに こんにちは、イノベーションセンターの黒木（GitHub：krk09）と鍔木（GitHub：takuma0121）です。 今回はOT（Operational Technology）ネットワークのセキュリティリスク可視化サービスであるOsecT（オーセクト）のリニューアル提供を開始したので、サービス運用で得られた知見をもとに、どのような機能改善をしたのか紹介します。 OsecTとは OsecTとは工場などのOTシステムのセキュリティリスクを可視化・検知するサービスです。 多様化する工場システムのセキュリティ脅威に対して、パケット解析するセンサー機器を設置するだけで、OTシステムへの影響なく、ネットワークの可視化と脅威・脆弱性検知ができます。 早期にリスク感知できる状態を作り、工場停止による損失を未然に防ぐことができます。 詳しくは過去のブログ記事に書いているので、興味がある人はぜひ見
au HOME、IoTデバイス「かんたん見守りプラグ」を発売
KDDI株式会社 沖縄セルラー電話株式会社 2023年7月11日 KDDI、沖縄セルラーは2023年7月31日以降、暮らしに「あんしん、たのしい、べんり」を届ける「au HOME」において、人の動きや部屋の明るさ、温湿度などのセンサーで家族や不在時の見守りができ、熱中症対応の傷害保険も付帯するIoT見守りデバイス「かんたん見守りプラグ」を発売します。発売に先立ち、2023年7月11日以降順次、予約受付を開始します。 「かんたん見守りプラグ」は、コンセント接続型のIoTデバイスです。映像で確認するネットワークカメラなどと異なり、複数のセンサーで周囲の状況を把握し、プライバシーに配慮してご家族の状況を確認できます。また、熱中症リスクの判定ができ、ご高齢の家族に水分補給や部屋の温度調整などを促すなど、熱中症の対策につなげることができます。 なお、「かんたん見守りプラグ」はIoT機器向けの通信方式
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
カード決済のセキュリティ的な問題点とその対策、IC チップの決済とその仕組み - カンムテックブログ
データ職種の課題図書リストを作りたい - 下町柚子黄昏記 by @yuzutas0
【図解】Pythonのライブラリ 24選＋α - Qiita
【2024年】AWS全サービスまとめ | DevelopersIO
もう一度読むObservability Engineering - じゃあ、おうちで学べる
23/7/5 データサイエンスエキスパート合格 チートシートと攻略ガイド - LWのサイゼリヤ
全社横断データ基盤へdbt導入を進めている話 - Sansan Tech Blog
統計ダッシュボード機能を BigQuery と BI Engine で実装する
【異常検知】最近の研究動向・2023年夏 - Qiita
DWH改善に生かす! 入門elementary - yasuhisa's blog
単一アベイラビリティーゾーンでのアプリケーション障害からの迅速な復旧 | Amazon Web Services
CloudFrontのログを使って機械学習で異常検知を試してみた - iimon TECH BLOG
富士通、生成AIで開発効率30倍 1カ月の作業を1日で - 日本経済新聞
「魔の踏切」を攻略せよ 事故防止に鉄道会社が導入した新システム | 毎日新聞
現場で使える機械学習活用 ~その①機械学習プロジェクトの流れと留意すべきこと~｜akiraTOSEI
GPT4oを使って、訓練無しで物体検出(BBox)ができるか試してみる
やさしい！動画の異常検知 CHLAC入門 - アダコテック技術ブログ
不審送金「見逃し」疑惑、メガバンク１行は異常検知で送金拒否…きらぼし銀行は８０回・４億円超の送金も「適切に対応」
[SRE][Monitoring]イベントログの一元監視サービス「srest」を使ってみた！
データ分析プロジェクトを外注する際に失敗しないための5つのポイント | DOORS DX