ChatGPT（GPT-4）にE2E自動テストを書かせてみた - Qiita

2023/3/15は完全にGPT-4の話題でもちきりでした。 私も触ってみたところ「これはすごい」と思ったので即課金して色々試していまして、 本業の一部であるE2Eの自動テストを書かせたらどうなるんだろう、を試してみました。 条件など テスト対象はHOTEL PLANISPHERE - テスト自動化練習サイト いつもお世話になっております ChatGPTとのやりとりはModel: GPT-4で3/15~16にかけて E2E自動テストを書かせてみた まずは最初の依頼。 次のサイトに対して、自動E2Eテストを作成したいです。 Python, Playwright, pytestのテストコードを書いてください。 https://hotel.testplanisphere.dev/ja/ ChatGPTが出力したPython+Playwrightのコード これに対する返答が以下です。 --ここから

[door-s-dev]

テスト自動化練習サイトなんてものがあるのか知らなかった

[otoan52]

「知ってること」と「知らないこと」の差が激しいんですよね。しかも「知らないこと」である自覚がなかったりする。そこを上手くコントロールできると幅がかなり拡がりそうなんだけど。

[awawawann]

ふーむ。HTML直書きで渡せばどうかなぁ

[shunkeen]

そもそもChatGPTは外部のURLを開く能力を持ってないから前提がおかしかない？意味ありげだけど存在しないURLを渡しても、多分それっぽいコードを幻覚（ハルシネーション）で出力してくれるはず。

[bayaread]

もう指摘されているけど、GPT-4ってまだURLの中身を見てくれる機能はないよね。ドメインからある程度推測して動いてはくれるので、それっぽいコードが書けてるだけかと。HTML直渡しすると結構正確に動く。

[irimo]

うお〜GUIのテストか:+1: