大学入試共通テスト、3つのチャットAIに解かせてみたら？ GPT-4はバケモノだった
企業へのAI導入コンサルティングなどを手掛けるLifePrompt（東京都千代田区）は1月16日、先日行われた大学入試共通テストを3つのチャットAIに解かせた結果を「note」で公開した。「やはりGPT-4はバケモノだった」という。 テストを解いたのは、米OpenAIの「Chat GPT」（GPT-4）、米Googleの「Bard」、米Anthropicの「Claude2」。1月13日と14日に行われた2024年大学入試共通テストのうち、国語、英語（リーディング）、数学など5教科7科目に挑戦した。テキストか画像で試験問題をAIに入力し、テキストによる出力結果を元に答え合わせをした。 結果はChat GPT（GPT-4）がダントツ。数学以外の科目で受験者の平均を大きく上回った。Claude2も複数の科目で平均以上の点数を出した。ただし数学科目については、特殊な解答形式に対応できず、いずれのA
「まともに単体テストを書ける人は実はすごく少ない」 市場バグを発生させない“単体テストで対処する”という考え方
品質やテストといった活動が「本質的にアジャイルになって変わらなければならない」といった問題を定義し、その解決手段を提案する「今、全エンジニアに求められる『アジャイル開発での品質視点の変化』」。ここで株式会社デジタルハーツホールディングスの高橋氏が登壇。最後に、あらためて参加者からの質問に回答します。前回はこちらから。 どうすればうまくリファクタリングができるか 高橋寿一氏（以下、高橋）：じゃあここでもう1回Q&Aタイムを取ります。 高木陽平氏（以下、高木）：ありがとうございます。今Q&Aにまだ質問が上がっていないみたいなので、ちょっと私から質問します。リファクタリングをしなければいけないところって、逆に手をつけられないようなけっこう複雑怪奇な部分だと思うんです。そこらへんはどうすればうまくリファクタリングができるんでしょうっていう（笑）。 高橋：まず、日本人がすごくリファクタリングが嫌いな
手動テストだけのソフトウェアは腐っていく: 柴田 芳樹 (Yoshiki Shibata)
この本で、著者のRobert Martinも、次のように述べています。 この10年間の間に この業界では多くのことがありました。1997年当時、テスト駆動開発などという言葉は誰も聞いたことがありませんでした。ほとんどの人にとって、単体テストというのは動作をひとたび『確認』したら捨ててしまうものでした。苦労してクラス メソッドを書き上げ、それらをテストするためのその場しのぎのコードをでっちあげていたのです。 『Effective Java』で有名なJoshua Blochは、この本の中のインタビューで、次のような会話を行っています。 「デバッグの話をしましょう。あなたが追いかけた最悪のバグはどのようなものでしたか」 それに対して、Joshua Blochは、 「最初に勤めた会社で私が開発したソフトウェアですね。ソフトウェアのデバッグに1週間半費やしました」 という話をしています。 1週間半費
ファミコンエミュレータ実装の感想 - ichirin2501's diary
とりあえずスーパーマリオが動いて一段落したので覚えているうちに感想書いていく。 (この記事の情報量は、デバッグは大変、以上) 動機 単に好奇心。ただ、ファミコンのエミュレータに着手したのはこれで3回目になる。 1度目は10年前の身内ハッカソンのとき。このときはC言語で実装してて強引にHELLO, WORLD!を表示するだけで終わった。 実装の続きをしたかったけど、この後は忙しくなってしまって挫折している。 2度目は2年前で、過去の心残りを精算するためにGo言語で着手したのだけど、CPUの実装が終わった後ぐらいからまた忙しくなって挫折している。 今回は2年前のGoコードの続きからコミットを積んでここまで来たので、一応リベンジ成功....と言って良いんじゃないかな、たぶん。 過程 PPUの実装は最初からinternal register(v,t,x,w)を使う方法にした(PPU scrolli
フロントエンドコーディング試験
RESAS(地域経済分析システム) APIの「都道府県一覧」APIから取得するAPIレスポンスから都道府県一覧のチェックボックスを動的に生成する都道府県にチェックを入れると、RESAS APIから選択された都道府県の「人口構成」を取得する人口構成APIレスポンスから、X軸:年、Y軸:人口数の折れ線グラフを動的に生成して表示する「総人口」の他に「年少人口」「生産年齢人口」「老年人口」も切り替えるUIを何らかの形で用意し表示できるようにすること（同時に表示する必要はない） React/Vue.jsのいずれかを用いてSPAを構築すること（バージョンはできるだけ最新版をご使用ください）ReactVueNuxt.jsやNext.jsなどの、これらを内包したフレームワークの利用も許可する都道府県一覧および総人口情報はRESAS APIのデータを用いることグラフは Highcharts や Rechar
Software Design連載 2021年10月号 スナップショットテストの可能性を追求する - MonotaRO Tech Blog
こんにちは、辰巳です。 第3回は「スナップショットテスト」をテーマにお送りします！ 「組織が拡大する中で、十分な設計情報がない状況でも、複雑に改修が積み重なったソフトウェアをいかに安全かつ正確に変更できるか？」 本記事では、数多くの大幅なシステム変更の経験を経て、この課題に対してモノタロウがいま実践しているグッドプラクティスを紹介します。 本記事の初出は、 Software Design2021年10月号「Pythonモダン化計画（第3回）」になります。過去の連載記事は以下を参照ください。 第1回 Software Design連載 2021年8月号 Python製のレガシー＆大規模システムをどうリファクタリングするか 第2回 Software Design連載 2021年9月号 「テストが無い」からの脱却 スナップショットテストの可能性を追求する モノタロウは、事業者向けの間接資材を販売
うっかりテスト用のスクリプトで現実に存在する1万台の携帯電話をロックしてしまったエンジニアの経験談
作成したソフトウェアのテストを行うためのコードは、ソフトウェアの動作には関係ないということで品質が軽視されがちなもの。そんなテストのためのコードが原因でとんでもないトラブルを引き起こしてしまったという経験を、エンジニアのシャントヌ・ティワリさんがブログに書いています。 The Day My Script Killed 10,000 Phones in South America https://new.pythonforengineers.com/blog/the-day-i/ ティワリさんが開発していたのは携帯電話会社向けの、盗まれたり支払いが滞ったりしたスマートフォンを遠隔でロックするアプリ。Androidの一部としてインストールされているため、ユーザーが勝手にアンインストールすることはできず、電話機能やWi-Fi機能など低レベルな機能を制御することも可能な権限がありました。 ティワリ
テストコードを書き始める前に考えるべきテストの話（2021年版） #scrumosaka / scrum_fest_osaka_2021
以下のイベントの投影資料です。 https://confengine.com/conferences/scrum-fest-osaka-2021/proposal/15337 お問い合わせは https://twitter.com/nihonbuson まで。 【発表資料中のURL】 P12 ISTQBテスト技術者資格制度 Foundation Level シラバス 日本語版 Version 2011.J02 http://jstqb.jp/dl/JSTQB-SyllabusFoundation_Version2018V31.J03.pdf#page=15 ※2011年版は現在リンク切れのため、最新版のシラバスのURLを掲載しています P17 概説テスト分析 http://www.slideshare.net/takashiyamasaki378/ss-55384920 P29 システム/
「スタートアップだからテストを書かない」は正しいか - An Epicurean
スタートアップのCTOクラスの人がたまにそういうことを言っているのを聞くことがあります。もしくは「スピード優先だからテストを書かない」等です。 それは真ではなく、言ってしまえば、未熟だからテストを書「け」ない、のではないでしょうか。ただ、スタートアップという言葉に未熟であるという意味が含まれているのであれば「スタートアップだからテストを書かない」という問は真になるかも知れません。スタートアップは得てして未熟なものだし、それでも良いからです。 テストを書かないというジャッジをするのは構いません。でもそれは、スタートアップだからでもスピード優先だからでもない。自分達が未熟だからで、そこには向き合うべきだと考えます。状況のせいにするのではなく、徹底的に自分ごと化する。それがスタートアップに求められる姿勢です。少なくとも技術のトップが自分たちの技術力に向き合わないのはまずいでしょう。 「スタートア
セキュリティがヤバいと噂のスターバックスのフリー無線LANはやっぱり危険な香り : 市況かぶ全力２階建
登録完了スタバWi-Fi twitpic.com/b0bzfn— mimicyaさん (@mimicafelatte) 10月 2, 2012 http://twitpic.com/b0bzfn スタバで時間つぶし！リッチ！（笑）WiFi入ってるしゆーことなしですね(*^o^*)あと30分後に出発やな～ twitter.com/wtcoo/status/2…— わたぬんちのあずささん (@wtcoo) 10月 2, 2012 RT @neohawk: 暗号化してないWiFiスポットを利用するのは危険ということは頭に置いておいて欲しい。わーい、スタバ無料WiFi便利とか言ってる場合じゃないかもよ。— ありんこ８さん (@arinko88888888) 9月 12, 2012 スタバのフリーなwi-fi使ってるんだけど、昨日辺りからアタックが目につくようになった。常識だけど、セキュリティ対策を
｢基礎が大事｣という本当の意味を理解しているか? - teruyastarはかく語りき
自分への問いかけ。 と解答。 ｢基礎は無意識に落としこむほど反復してこそ、本当の土台となる。｣ ｢基礎は常に更新、あるいは再構築されるものである。｣ 以下本文。 高校生を応援するNHKの番組｢テストの花道｣みて 早稲田先進理工学部で、 その他いろんな薬学部にも合格もらった人の 勉強法が面白かったです。 問題集への取り組み方 学校で配られた問題集で、 ｢例題｣→｢練習問題｣→｢演習問題｣ と普通は順番に理解し解いていくところ、 ｢例題｣のみひたすら繰り返す! ｢練習問題｣｢演習問題｣には手をつけない。 え? それだけ? というか、例題だけ覚えても練習やら応用やら、 やらないとダメなんじゃないの? と、思ったんですが、 どうも受験対策に買った物も｢基礎英文法｣と｢単語帳｣だけで、 後は授業の復習や、学校のプリント、問題集のみ。 結局応用問題には最期まで手を付けなかったそうです。 (そんなんで薬
Excelマクロによる、seleniumテストケースの自動生成（1）：CodeZine
はじめに seleniumについての基本的な内容は、以下を参照してください。 Selenium 0.7利用手順書（前編） Selenium 0.7利用手順書（後編） seleniumを利用するメリットとデメリット メリット seleniumを利用する最大のメリットは、「再テスト」が容易になることです。 不具合発生時 テスト担当者と修正担当者の伝達が容易 再テストが容易 仕様変更後 リグレッション（デグレード確認）テストが容易 筆者が特にメリットを感じるのは、テスト担当者と修正担当者の伝達が容易になる点です。テスト期間中は、テスト担当者も修正担当者も作業に追われています。通常、不具合発生時は、テスト実施担当者から修正担当者へ不具合内容を伝達するために、不具合管理ツールなどに、ケース番号や再現手順の詳細を記述、デバッグログの添付などを行い、修正担当者はそれを読み解く必要
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【新世代コミPo】「Midjouney」にマンガを描かせてみるテストで出来上がった超美麗フルカラー漫画「サイバーパンク桃太郎」がすごい
はてブを見ていると国語のテストって大事だったんだなと痛感する
クソコードの測り方
オシャレエロサイトをリリースして、10万PV/日を捌くためにやったこと - 彼女からは、おいちゃんと呼ばれています