ChatGPTでstep by stepもロールプレイもやめたらプロダクト開発で使える精度になったよ｜MRYY

プロダクトマネジメントのコーチをしています。プロダクト開発の中でもGPT4を使うケースが増え、相談されることが増えてきました。 ChatGPTのGPT4を用いた際の、専門家として信用できる精度で推論させるための工夫の一部を紹介します。精度が必要な専門職かつ中級者向けになると思います。「機密情報の入力をどうさけるか」といった運用の話は今回はしません。 やったことと起きたこと一通り論文を読んで試したり、試行錯誤しました。 その結果、専門家として業務レベルで使える程度のものができるようになってきました。 クライアントのプロンプトを添削する仕事も増えつつあります。副作用として、日本語なのに日本語と感じられない自然言語に目覚めてきました。この片鱗についてお話しします。 分かったこと分かったこととして、精度を業務レベルで用いるためにまずはじめにとりくむことは下記です。 ・接待モードを切る ・指示の質が

[shunkeen]

おまじないには意味がないという、実感のこもった記事。プロンプトが複雑化、迷信化していく中で、「明確に指示を出せ」という明確な指針で一刀両断してるの面白い。これにはプロンプト疲れした現代人もニッコリ。

[morita_non]

もはや自分で書いた方が早くね？「補完させることなく解釈の揺れも起きないほど明瞭な指示を表現するとびっくりするくらい伸びます。」

[otihateten3510]

俺はそもそもChatGPTをハックしようとすること自体に反対。そのテクニックの賞味期限どんくらいなん？

[tpircs]

下手なstep by stepや下手なロールプレイ指示が良くないってだけの話なような。特にロールプレイは偏りを与えるための方法なんだから質問事項の専門家みたいな肩書与えても意味ないのは普通。

[hihi01]

結局、あまり集中力の続かない小学生に丁寧に手順や、お手本を示して、実行させる気合いでプロンプト作るしかないのだと知りました。

[pwatermark]

コレ系はゆくゆくは「プロンプト熟慮しなくても適切に回答返せるように、サービス側が変わっていく」と思ってるんで、俺はあんまりごねごねしないようにしてる

[NOV1975]

精度を低下させるポイントはわかったがそれが「プロダクト開発で使える精度になったよ」のタイトルを証明していない。

[mztns]

この記事とはまったく関係ないんやけど「ChatGTP」タグややこしいからやめてもらえへんやろか…

[Aodrey]

上司に忖度せねばと指示の遵守よりもご機嫌取りを優先する部下の心理的安全性を高めてやる上司ムーブ良い。人間はAIに育てられる時代。

[programmablekinoko]

完全同意。はっきりと欲しい具体的イメージがあってそれを出力する、電卓のように使うのが効率が良い。あと間違っていたら「以後〜と定義します」と指示する。所詮文章/単語計算機である。

[nemoba]

(精度上がらなかったんだろうな。。)

[Falky]

…で？具体的に精度が上がった実例と、場合によっては「精度」の判断基準を示してくれないと何もわからんよ。この記事は虚無だ。なんでこんなものが絶賛されてんの？

[younari]

ずーっと思ってた。素直に聞けよと。駄目なら再度聞けばいい。対話型だぞ？

[nilab]

ChatGPTでstep by stepもロールプレイもやめたらプロダクト開発で使える精度になったよ｜MRYY｜note

[shields-pikes]

その接待モードとやらの条件を聞き出してるつもりの問答自体が、まだ接待モード上でのやり取りなわけだが……。単に「リクエストに応じた粒度でレスポンスが返る」ということでしかない。ロールプレイは言葉遣い。

[kei_1010]

俺が読み取れてないだけか？「プロダクト開発で使える精度になった例」が見当たらない気がするんだが？ダメな例はいっぱい出てるけど肝心な「こうすればすばらしい出力が出た」例がないよね？ある？

[Nean]

とりあえず。

[nashiyasan]

我々は既にAIに気を使われているのか

[evergreeen]

この人、根本的に勘違いしてないか？ChatGPTはデータベースに価値があるんじゃなくて、簡単で適当であいまいな自然言語にちゃんと返してくれることに価値がある。その価値を捨てて精度を求めるって本末転倒では？

[uehaj]

「自分の欲しい物をわかっていない顧客」なら的確な指示なんか出せるわけない。欲しい物がわかっていて説明できる発注元になれ。するとChatGPTは優秀な部下になる

[tmngz]

人間向けに仕様書を書くくらいのつもりで条件定義していくと普通に使えるレベルのコードを返してくれるので大変助かっている。ただ、使う側が詳しくないとどうしようも無い感じはあるな。

[jigarashi]

精度の定義が不明なのでなにをもって開発で使えるのか分からん

[tigerace01jp]

バカにでもわかるように実証して欲しい。 でないと、精度の高い回答を求めるためには、自分がピンポイントに正解を知っている必要があることになっちゃう。 自分の考えている答えに誘導しているだけとも言える。

[akagiharu]

そこまで明確に指示出せるなら自分で判断したほうが速くない？て話にならん？。子供に宿題を与えて合ってるか確かめるようなもんだよね。

[bababanar]

チェック

[puhu208n]

入力が出力の大部分を規定する圧縮形式とみなせる場合、GPT系LLMはそれを超解像処理して伸長することができるわけだ。入力情報量が足りないと崩壊する。これはGPTが強いAIではないということだと思う。

[gewaa]

接待モード（情報の補完）がなければ自然言語による対話は成立しないと思う。言葉を文字通りに解釈するだけだとフレーム問題に行き当たるから。

[TakamoriTarou]

GPT5あたりで不要になるんだろうなこのあたりも。

[takeshiketa]

なんかあの手のテクニック役立つのかなと思ってたけどまぁそうだよね

[hennamanao]

接待モード切るの良さそう。「そうじゃなくてこうなのでは？」と聞いた時にこっちの意見を採用しがちなところがあるのに困ってたので。忖度してほしいんじゃなくて正しい情報が知りたいだけだし

[tolkine9999h]

この知見めちゃいい。使い方次第だけど、確かに精度を求めるときは接待モードはない方が良いと感じる。

[ytRino]

「プロダクト開発で使える精度になったよ」の部分が全然書かれていないな・・・ChatGPTに評価してもらおう

[spam_lover]

刺さるテンプレートが見つかったらxmlみたいに厳密に定義したくなって、この時はこのテンプレ使いたいという分岐が使いたくなってきて、最終的にプログミングっぽくなっていくっていう予測通りの流れ

[buhoho]

専門レベルの出力ほしいなら専門レベルの入力しろってだけでは。詳細な情報がほしいなら詳細に入力しろ

[mirie0908]

ここ最近あちこちで読んでいたプロンプトエンジニアリングのノウハウとは逆のことも書かれていてちょっと驚いた。まだ決定的なものはないということか。

[gyampy]

やはり質問力がものをいうな

[ginga0118]

“指示の質が回答の質になる”、まさにこれ。質の低い要求をして出てきた回答を評価してる人が多い。うちの会社の連中も使えないと言っている人がそう。

[businessart]

タブローやBIを使ったことあるだけで「データサイエンティスト」 名乗ってる無能な文系がChatGPT言い出しててほんま有害。

[natu3kan]

AIも接待する時代。