社内版 ChatGPT を構築し、社内の ChatGPT 利用を促進した話 - メドピア開発者ブログ

SRE の田中 @kenzo0107 です。 社内版 ChatGPT を構築し、社内の ChatGPT 利用を促進した話です。 社内版 ChatGPT が必要だった理由 以下要望を実現する為です。 秘匿情報をクローズドな環境で OpenAI にポストしたい 社員誰もが最新のモデルやバージョンで高精度、且つ、パフォーマンスの高い ChatGPT を利用したい 構成 - Web 版 社内 ChatGPT Web サービスは AWS に配置 ALB を会社毎に分けて Google 認証する *1 ECS から Azure API Management 経由で Azure OpenAI Service に問い合わせ API Management は Azure OpenAI Service の監査ログを取得する為に配置している *2 Azure 側ではネットワークセキュリティグループで AWS N

[imatac]

ブコメにあらゆる企業の業務がMS365で完結すると思い込んでるアホがいるけど、そもそもこの規模のテック企業の多くはGoogle + Slack。金銭的なコストを最小にしつつセキュリティを担保する工夫してて素晴らしいと思う。

[TakamoriTarou]

とかやってるうちにMS365を契約していると使えるEnterprise BingなりCopilotなりが使える要になりました、どっとわらい 1年前だったら多少ポジティブだけど今出すってのは動向をキャッチアップできてない事の表明だぬ

[bayaread]

わ

[ookitasaburou]

“以下要望を実現する為です。 秘匿情報をクローズドな環境で OpenAI にポストしたい 社員誰もが最新のモデルやバージョンで高精度、且つ、パフォーマンスの高い ChatGPT を利用したい”

[misshiki]

“Azure 側は必要最低限の利用リソースのみにし AWS 側で基本 Web サービスを配信する構成としました。”

[kibitaki]

そりゃAzureの方が閉じてるけどAWSでやる理由が明記されてるから噛みつかなくていいと思うし、Google+Slackは今や逃げたい組み合わせだし、何しろそこじゃない。

[augsUK]

多数が利用するだろうSlackから投げるパスの方が秘匿情報禁止のルールは、守られるはずがないと思うが。

[satorhyum]

ログ取るためだけのAPI managementを閉域化するのにPremiumの高い料金払って、果たしてログを何に活用しるんだろう。目的決めてアプリ側でログとった方が良いパターンに見える。