はてなブックマーク

こんにちは。XI 本部AIトランスフォーメーションセンター所属の山田です。 先日、部内の勉強会でAzure AI Searchについて紹介したので、テックブログでもその内容を紹介したいと思います。 Azure AI Searchとは？ Azure AI Searchに保存されるデータに関する用語と概念 Azure AI Searchのスケーラビリティに関する用語と概念 Azure AI Searchでサポートされる検索の仕組み 全文検索について Azure AI Searchのアナライザー ベクトル検索について ベクトルの近傍検索アルゴリズム ハイブリッド検索 検索インデックスのスキーマ設計 検索インデックスにドキュメントを追加する方法 Pushモデル Pushモデルを利用する場合のアーキテクチャの例 Pullモデル Pullモデルを利用する場合のアーキテクチャの例 インデクサーの計算リソ

データバージョンの管理とは？ データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは？ データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイルはキャッシュディレクトリに保存され、必要なタイミングで自動的に復元されます。 データのリモートリポジトリを定義することで、データ一式を簡単なコマンド操作で S3 等へ push / pull すること

グラフニューラルネットワーク (機械学習プロフェッショナルシリーズ) 作者:佐藤 竜馬講談社Amazon 講談社より『グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）』を上梓しました。 グラフニューラルネットワークはグラフデータのためのニューラルネットワークです。化合物やソーシャルネットワークのようなグラフデータの解析に使うことができます。また後で述べるように、テキストも画像もグラフなのでテキストや画像の分析にも使えますし、それらを組み合わせたマルチモーダルなデータにも適用できます。要は何にでも使うことができます。この汎用性がグラフニューラルネットワークの大きな強みです。 本稿ではグラフニューラルネットワークを学ぶモチベーションと、本書でこだわったポイントをご紹介します。 グラフニューラルネットワークは何にでも使える 付加情報をグラフとして表現できる グラフニューラルネッ

2024年4月5日、江崎グリコは基幹システムの切り替え後にシステム障害が発生し、同社や販売委託を受けている一部の冷蔵食品の出荷に影響が生じていると公表しました。ここでは関連する情報をまとめます。 障害後緊急対応するも在庫数合わず業務停止 今回システム障害が起きたのは江崎グリコの基幹システムで、物流、販売、会計などを一元管理するERPパッケージ SAP社製「SAP S/4HANA」で構築された。2024年4月3日の新システムへの移行に伴い発生したが、障害原因の詳細は同社から開示されていない。なおサイバー攻撃によるものではないと取材に答えている。*1 システム障害の影響により同社のチルド（冷蔵）食品17品目（乳製品、洋生菓子、果汁、清涼飲料など）の4月14日以降の受発注および出荷業務に影響が出た。*2 チルド食品以外の常温、冷凍食品の出荷業務はシステム障害発生後も継続して行われている。また同社

こんにちは。技術広報の maeken です。 なぜか 社内ブログで「#お前らのpcデスク周り晒していけ 」というタイトルの記事が流行しています...！ さまざまな自宅デスクのこだわりが 13本も掲載され、社内で一時のブームとなっていました。 このブログで登場するエンジニアたちは、それぞれの理想の空間を求め、個人的な見解を述べています。 情報は一般的なものであり、専門家の意見ではありません。 社内ブログはSlackにも連携するようになっており、記事が公開されるたびに、Slack上でも感想や理想のPCデスクについて話が展開されていました。 理想の作業環境ってどんな感じ？リモートワークが当たり前の今、きっとみなさんも一度は考えたことがあるハズ。 実際に公開されている内容を一部抜粋しながらお届けします！個性的な空間が目白押し！！ 洗練されたミニマリスト空間（株式会社CARTA MARKETING

こんにちは。 FindyのTeam+を開発している西村(sontixyou)です。 【エンジニアの日常】エンジニア達の自慢の作業環境を大公開 Part1と題して、公開したブログが好評でした。 それに続いて、弊社エンジニア達の作業環境を見ていきましょう！ 作業環境を大公開 西村 私は、現在週3日ほど出社と残りはリモートワークしています。そんな私の作業環境をご紹介します。 デスクの全体像はこのような感じです。 デスクは新卒時代の先輩からおさがりです。幅120cmのものを使用しています。 ディスプレイはDELLの27インチ 4Kモニタを2枚使っています。1枚だけ縦置きにしている理由は、省スペース化と首の振り向きが大変だからです。 横置きのディスプレイでは、エディタとSlack専用になっています。 縦置きのディスプレイでは、ブラウザ専用になっています。ウィンドウを垂直に2枚置いて活用しています。

こんにちは、igaです。 最近は気温の上下が大きいので、服装選びが大変ですね。 今回は、Azure OpenAI Servce Assistants APIを使ってみました。 Azure OpenAI Servce Assistants APIに横浜市の人口データを投入して、人口の増減がどう推移しているのか自動で分析させてみました。 Azure OpenAI Servce Assistants API Azure OpenAI Servce Assistants APIとは Azure OpenAI Servce Assistants APIは、2024年4月現在パブリックプレビューとして利用できる機能です。 learn.microsoft.com Azure OpenAI Servce Assistants API（以降、Assistantsと表記します）により、Azure OpenAI

Pull requestのタイトルや説明文を書いている時、「これ絶対AIでできるよな」と感じたことがある開発者は少なくないと思います。 もちろん変更の経緯や背景など、コードの差分からは読み取れない情報もありますが、コードの差分からわかることはAIが書いてくれるといいですよね。 この願いを叶えてくれるのがCodiumAIが提供しているPR-Agentです。GitHub Actionで実行でき、OpenAIはもちろんAzure OpenAIやAmazon Bedrockも使えます。 PR-Agentはすでにいろいろなところで取り上げられています*1 *2 *3ので、このブログ記事では、これまでにあまり紹介されていないPR-AgentでLLMとしてAzure OpenAIで使う方法と、使ってみた感想を紹介します。 どうしてPR-Agentを使うのか コードレビューをできるAIエージェントはいくつ

はじめに ししとうLTとは？ アウトプットと採用と育成 Insight Edge 猪子 (@iN0Ti) チームが進化し続けるための改善プロセス アスエネ 石坂 (@ishisak) クライアントワークのエンジニアリング 　フラー 韮澤 (@nirazo) 強みを伸ばすキャリアデザイン HRBrain 山口 (@yug1224) 雑談のすすめ IVRy 近藤 (@K0703K) 懇談会 最後に はじめに こんにちは！Insight Edgeの人事担当、合田です。 4/9(火)の夜に第１回「ししとうLT会」をオフラインで開催したので、今回はそのイベントレポートを書かせていただきます。 ししとうLTとは？ 「ししとう」は見た目とは裏腹に、一口食べると意外な辛さがあることがあります。 ししとうのような「意外性や挑戦」をテーマに、新しい発見や刺激を提供できるコミュニティになればと思い、この名前をつ

この記事の要約 はじめに 問題点の要約 (追記) 先行研究について GARCH(っぽい)モデルによるシミュレーション シミュレーション前の理論分析 選択的夫婦別姓との比較 (追記) ゴルトン゠ワトソン分枝過程について 使用するデータ シミュレーションの技術的な補足 乱数生成について GARCHモデルの結果 シミュレーションの追試 より複雑なシミュレーションについて 男女別 世代重複 創作苗字 三親等の婚姻禁止ルール より高度な人口学的モデル 結論 2024/4/22: 先行研究とゴルトン゠ワトソン分枝過程の解説の追記 2024/4/23: 多数の言い回しのおかしい箇所の校正 2024/4/24: グラフ上の記載ミスとグラフ描画コードを修正 この記事の要約 先日報道された「500年後に日本人が佐藤だけになる」という試算の内容に違和感を覚えた. 資料を確認してみると, 大きな問題のある方法で試

はじめに こんにちは、イノベーションセンターの鍔木（GitHub: takuma0121）です。 OT/ICSセキュリティリスク可視化サービス、OsecTの開発・運用を担当しています。 2024年3月4日から7日までの間、米国マイアミで開催されたS4x24に聴講参加しました。 このカンファレンスは日本では知名度が高いとは言えませんので、S4の全容とOT/ICSセキュリティのトレンドについてお伝えできればと思います。 目次 はじめに 目次 S4とは プレゼンテーション Vulnerability Management Pavilion Welcome Party / Cabana Sessions Swag Bag 最新のOT/ICSセキュリティトレンド Keynote CFP経由での発表 スポンサーセッション ネットワーキング 会場の雰囲気 エピソード 所感 イベント全体 最新動向/発表

こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の

先日発表された「株式会社日本カストディ銀行　ガバナンス検証第三者委員会の調査・検証報告書」に考えさせられた。 ・調査・検証報告書 https://www.custody.jp/news/pdf/news_cbj/20240419_report1.pdf ・調査・検証報告書（要約版） https://www.custody.jp/news/pdf/news_cbj/20240419_report2.pdf 要約版だけ見ても理解できるだろう。 ガバナンス機能が欠落していた、と一言で言えば簡単だが、これらの件は誰が止めることができたのだろうか。 社内で自浄作用を働かせるとして、役員レベルで「こうしなさい」と内部監査人含め現場に命令が飛んだら、何も言えなくなるんじゃないかな。 内部監査人の指摘は役員レベル以上の重みを持つのなら発言ができるが、それこそ権限がおかしいことになる。内部監査の結果を役員が

仕事でsedのコードをパパッと書いて使ったら、コードレビューで動かんと言われてしまった。そういえば、同僚はMacで、おれはLinuxだったな。 まぁsedならよくある話なので、しょうがないと思ってawkで同じことをした。awkは比較的もうちょっと互換性がある気がしているからだ(どっこいどっこいな気もする)。 しかしまだ動かないと言う。もう、大絶叫だ。アー。おしまいだ。カスがよ〜〜〜と思いつつ(社会人なので絶叫はしない)、よく調べてみるとmakeの互換性だった。というのも、試しにbrew install makeしてGNU Makeで試してみてくれ、と言ったら、あっさり動いたからである。実はsedもawkも悪くなくて、そいつを呼び出してるmakeに互換性がなかった。ごめんな、お前たち悪くなかったよ。でもそれはそうと互換性はない。 define foobarstring ... endef #

先日2024/04/16にタイミーさんのオフィスで開催された、AWS知見共有会というイベントで発表してきました。この会のテーマは「運用のスケーラビリティとセキュリティ」ということで、私は「コンパウンドスタートアップのためのスケーラブルでセキュアなInfrastructure as Codeパイプラインを考える」というタイトルで発表してきています。 イベントの動画もあります。 私の発表は 1:43 ぐらいからです。 この発表については資料と動画を見ていただければ！という感じで特に付け加えることもなかったのですが、イベントの開催後にGitHubから発表された新機能Push rulesがとても便利で、新たなベストプラクティスとなるインパクトがあると思ったので、この記事で紹介します。 Push rulesとは つい昨日発表された機能で、現在はpublic betaという状態です。なので、仕様変更と

こんにちは。GitHub Copilotを先日初めて触って、感銘を受けたMNTSQ代表の板谷です。MNTSQの代表をしておりますが、現役の弁護士でもあります。 なぜ私が、GitHub Copilotに感銘を受けたかというと、「プログラミングの LLM による進化」は、契約という言語をコーディングするためにもドンピシャで使えそうだと感じたからです。 例えば、GitHub Copilot では、自分の過去のコードを参照して、最適なコードをサジェストしてくれます。 これは、契約に関わるすべてのビジネスパーソンが求めていたものです！契約の 99.9%が過去のコードの使い回しであるにもかかわらず、毎回ゼロからコーディングするのが本当に苦痛だからです。ちなみに、前回契約と理由なく diff があると取引先に怒られます。笑 しかし、GitHub Copilot 的なものがプログラミング言語だけでなく契約

はじめに こんにちは。データサイエンスチームYAMALEXのSsk1029Takashiです。 最近はOpenAIに日本支社が出来て、日本語対応が加速するというニュースにわくわくしています。 今回はそんなOpenAIから発表されたBatch APIという機能が便利、かつお得な機能だったのでどのように使えるのか試してみます。 Introducing the Batch API: save costs and get higher rate limits on async tasks (such as summarization, translation, and image classification). Just upload a file of bulk requests, receive results within 24 hours, and get 50% off API pri

Channelスタイルの並行処理の記述を(もちろん型安全に)可能にするライブラリOxについて調べて試してみた。結論から言うと書き味がめちゃくちゃ良くて面白い。 ソースコードも置いておく。 github.com Ox Oxとは、sttpなどの開発でお馴染のSoftwareMillによって開発されているScala用の非同期ライブラリである。まだ非常に若く、活発に開発されている。 github.com Oxの特徴は、というか目的といっても差し支えないのだが、それはChannel指向の非同期処理、つまりGoroutineをScalaの上で実現している点だ。Goユーザならすぐに理解できるだろう。 百聞は一見に如かず。こんな感じのコードを書くことができる(v0.0.25時点)。 import ox.* import ox.channels.* import scala.concurrent.durat

エンジニアリング戦略室の高井といいます。 みなさん、GitHub Copilot は利用されていますか？　GitHub Copilot は GitHub と OpenAI が共同で開発した生成 AI を活用した開発支援ツールです。コードの自動補完、コード生成、ドキュメントの提案など、多岐にわたる機能を提供し、開発者の生産性を向上させることを目的としています。 マネーフォワードでは、昨年度にトライアルとして Copilot の利用を開始しました。本記事では、Copilot を利用して半年以上経過して、その利用がどのような効果をもたらしたかをレポートします。なお、ここで GitHub Copilot として言及されている Copilot のプランは GitHub Copilot Business です。 Copilot 利用状況・分析対象 なお、分析にはエンジニアリング組織のパフォーマンスを可

マネージド&セキュリティサービス部サービスプラットフォーム部門の田中です。 2023年度の下期にダブルワークという社内施策で、イノベーションセンター生成AIチームに参加しました。 その取り組みとして、本ブログの記事データを管理している GitHub リポジトリに LLM (大規模言語モデル) の1つである GPT-4 を用いた校正CIを導入してみました。 適切なプロンプトを得るための試行錯誤や、この記事自体を校正させてみた結果をお伝えします。 目次 目次 背景 LLM校正CIの詳細 プロンプトの試行錯誤 この記事の校正結果 おわりに 背景 本ブログ記事のデータ管理やレビューには GitHub を利用しています。 投稿者は記事を執筆した後 PR (Pull Request) を出し、レビュアーが PRコメントで記事の修正を提案し、推敲していきます (なお、GitHubを活用した記事公開プロセ

目次 目次 はじめに 口コミ投稿画像のカテゴライズ業務について なぜ自動化することにしたのか？ どのように自動化を実現したのか？ 1. 画像をカテゴライズできる機械学習モデルを実現した方法 1-1. CLIPについて 1-2. 口コミ投稿画像のカテゴライズ業務にCLIPを利用する方法 2. 食べログのシステムに機械学習モデルを組み込んだ方法 2-1. 今回の施策で開発したシステムの概要 2-2. 機械学習モデルを組み込む際の運用設計 2-2-1. 自動でのカテゴライズ精度が低いカテゴリへの対応 2-2-2. システム障害時の対応 一部自動化を実現した結果、どうなったか？ はじめに こんにちは。食べログシステム本部 ウェブ開発部 プロダクトチームの高橋です。 この記事では、食べログにおいて、口コミ投稿画像のカテゴライズ業務の一部を自動化した事例について紹介します。 口コミ投稿画像のカテゴライ

＜この記事の著者＞ ばんか（bamka） - Tech Team Journal Web制作会社の会社員（Webディレクター）として働きつつ、個人でブログ／メディアライターとしても活動するパラレルワーカー。 ChatGPT等AIを公私で駆使し、ITツール・ガジェットを用いて人々の生活をより豊かにするための活用術を提供するブログも運営。 ITエンジニアと関わることが多いWebディレクターの重要な役割のひとつがプロジェクトの進行と管理です。ひとつの目標に向かって進むべき道筋を示し、各メンバーがそれぞれ自身のパフォーマンスを100%発揮できるよう気を配ります。 プロジェクトのタスク管理も重要な仕事のひとつ。Notion・Todoist・Backlogなどツールはケースバイケースですが、複数人でひとつのタスク管理ツールを使い、互いの進捗やプロジェクトの進行状況を把握できるように促します。 そこで今

こんにちは、安部です。 最近急に、暖かさを通り越して暑いぐらいになってきましたが、皆さまいかがお過ごしでしょうか。 季節外れかなとも思いつつ、もう半袖で過ごしたいくらいの気候ですね。 さて、今回は、OpenAIのAssistants APIの使い方を紹介していきます。 題材は「PDFを和訳して要約してもらう」としました。 これはWeb版のChatGPTでも単にPDFファイルを添付して依頼すればできますが、APIの使い方を示すサンプルとしてはちょうどよいと思います。 最新情報については以下の公式ドキュメントをご覧ください。 https://platform.openai.com/docs/assistants/overview https://platform.openai.com/docs/api-reference/assistants それでは早速、Assistants APIの使い方

はじめに はじめまして、今回ドコモグループの現場受け入れ型インターンシップに参加させていただいた上野です。大学院ではコンテナセキュリティなどについて研究しています。 この記事では、インターンシップ体験記として以下の内容を紹介します。 私のインターンシップの参加経緯や取り組み NTTコミュニケーションズの業務やインターンシップについて知りたい就活生向け Process InjectionとPool Partyの概要 Pool Partyについて日本語で概要を知りたいセキュリティエンジニア向け 目次 はじめに 目次 RedTeam プロジェクト（RedTeam PJ） インターンシップ参加の経緯 インターンシップ概要 T1055 - Process Injection Pool Party Thread Pool Pool Party Variants Variant 1: Worker Fa

CTO 室の恩田です。 今回は GitHub Copilot Enterprise を評価してみて、現時点ではまだ採用しないことを決めた、というお話をご紹介したいと思います。 きっかけ とあるエンジニアが Slack で自身の times チャネルに時雨堂さんの GitHub Copilot Enterprise のススメという記事を投稿したことが発端でした。特に感想はなく URL に 👀 だけが添えられていたので、後で見るぐらいのメモだったんだと思います。 それを見かけた別のエンジニアが技術雑談チャネルにその投稿を共有して、これは凄そうと話題を向けたところ、CTO の「評価してみる？」の一言で、有志が集って評価プロジェクトが始まりました。 雑談チャネルできっかけとなる投稿が共有されてから、30分足らずの出来事でした（笑）。 この話題が出たのは金曜日でしたが、週明け早々に稟議を終え、火曜

超知能ＡＩの暴走リスク このブログではＡＩの歴史と現在、そして近未来について考察してきました。 今回の記事では、もう少し先の未来――ＡＩが人間と同等かそれ以上の知能を身に着けて、「超知能」となった時代の話をしましょう。 超知能ＡＩの暴走は、サイエンス・フィクションでは定番のテーマの１つです。 たとえば映画『ターミネーター』は、自我に目覚めたＡＩ「スカイネット」が人類に反旗を翻し、機械の軍隊で襲い掛かるという設定でした。映画『マトリックス』は、人類は薬漬けで眠らされて、一生を夢を見ながら過ごすという設定でした。機械の目的は、人体から出る微弱な電流を電源として利用することでした。ビデオゲーム『デトロイト：ビカム・ヒューマン』では、奴隷として扱われていたアンドロイドたちが立ち上がり、人権を主張するという物語が描かれました。 これらのシナリオは、どれほど現実味があるのでしょうか？ じつを言えば、私

2024年4月12日、Palo Alto Networksは、同社の製品であるPAN-OSにおいて、深刻な脆弱性が確認されたとしてセキュリティ情報を公開しました。情報公開の時点では修正版は開発中（その後4/14から4/18にかけHotfix公開）であり、さらにこの脆弱性を悪用した限定的な事例を同社は把握していることから、脆弱性修正を含むHotfixの情報や推奨される回避策等の公開を行っています。ここでは関連する情報をまとめます。 概要 脆弱性が確認されたのはPalo Alto社のFW製品等で稼働するPAN-OS一部バージョンのGlobalProtect機能。攻撃者が脆弱性の存在するFW製品等に対しネットワーク経由でのっとりなど可能となる恐れがあるもので、同社は脆弱性深刻度を最高と評価している。 修正版は情報公開時点で準備中であったが、4月14日にHotfixが公開された。Hotfix以外の