LLMによるLLMの評価とその評価の評価について
LLMをプロダクトに活用していく上でプロンプトの出力結果を評価していかなければいけない訳ですが、可能な限り自動で定量評価できると改善もしていきやすくなり大変助かります。 そこで所謂LLM-as-a-Judgeと呼ばれるLLMに評価してもらう手法を取るわけですが、やはり「このスコアはどれくらい信じられるのか...?」という疑問が湧いてきて"評価の評価"がしたくなってきます。 というところで、本記事では使いそうなLLM-as-a-Judgeの手法について調べた後、"評価の評価"の仕方を調べてみた結果をまとめていきます。 LLM-as-a-Judgeの手法 まず初めに、LLM-as-a-Judgeにも様々な手法が存在するので、それらを確認していきます。 スコアベース 一番ベーシックなものはスコアをつけてもらうやり方です。 次のように実際のインプット、それに対するLLMの回答をプロンプトに加えて、
目標設定の基本
NTT Com Open TechLunch #7「エンジニアリングマネージャー と 目標設定」の登壇資料です。20分くらいの短いセッションなので網羅的ではありません 2. 吉羽龍太郎 / Yoshiba Ryutaro アジャイル開発、DevOps、クラウドコンピューティング、インフラ構築自 動化、、組織改革を中心にオンサイトでのコンサルティングとトレーニン グを提供。Scrum Alliance認定スクラムトレーナー(Regional, CST-R) チームコーチ(CTC) / 認定スクラムプロフェショナル(CSP) / 認定スク ラムマスター(CSM) / 認定スクラムプロダクトオーナー(CSPO) 2
今年「部門」を廃止、小学館漫画賞を通して考える「マンガ賞」の現在とこれから 審査員の島本和彦＆ブルボン小林にも話を聞いた 2024年4月16日 18:00 121 44 マンガ大国・日本。「手塚治虫文化賞」「講談社漫画賞」「マンガ大賞」「次にくるマンガ大賞」……プロのマンガ家による作品を表彰するマンガ賞が、日本にはいくつもある。そんな名だたるマンガ賞の中でも、69年というひと際長い歴史を持つのが小学館漫画賞だ。第69回となる今年度は山田鐘人原作・アベツカサ作画「葬送のフリーレン」、松井優征「逃げ上手の若君」、絹田村子「数字であそぼ。」、稲垣理一郎原作・池上遼一作画「トリリオンゲーム」の4作品が受賞した。3月に開催された贈呈式では、参列者も聞いていて思わず笑みがこぼれるような、受賞者・審査員の“マンガ愛”が弾けるスピーチの数々が披露された（参照：やっぱり私はマンガが大好き！受賞者・審査員の思
本イベントでは、人事・労務担当者がおさえておくべき2024年の法改正の概要とその裏側を読み解いていきました。カゴメ株式会社 常務執行役員／カゴメアクシス株式会社 代表取締役社長 兼 経営管理部長の有沢正人氏とKKM法律事務所代表の倉重公太朗氏が登壇し、法改正の裏側や今後の人事課題について議論が交わされました。本記事では、カゴメで実施されているジョブ型雇用についてお話しされた内容をお届けします。 カゴメ・有沢正人氏が語る、雇用や働き方の変化 倉重公太朗氏（以下、倉重）：ではここからは対談コーナーということで、カゴメの有沢さんに来ていただいております。（有沢さんは）大人気ですけど。 有沢正人氏（以下、有沢）：いやいや。 倉重：自己紹介をお願いしてもいいでしょうか。 有沢：よろしくお願いします。私は今のカゴメが4社目で、もともとは銀行員でした。銀行では公的資金をいただき国有化されまして、みなさん
なぜ我々は GitHub Copilot Enterprise の導入を見送ったのか - 一休.com Developers Blog
CTO 室の恩田です。 今回は GitHub Copilot Enterprise を評価してみて、現時点ではまだ採用しないことを決めた、というお話をご紹介したいと思います。 きっかけ とあるエンジニアが Slack で自身の times チャネルに時雨堂さんの GitHub Copilot Enterprise のススメという記事を投稿したことが発端でした。特に感想はなく URL に 👀 だけが添えられていたので、後で見るぐらいのメモだったんだと思います。 それを見かけた別のエンジニアが技術雑談チャネルにその投稿を共有して、これは凄そうと話題を向けたところ、CTO の「評価してみる？」の一言で、有志が集って評価プロジェクトが始まりました。 雑談チャネルできっかけとなる投稿が共有されてから、30分足らずの出来事でした（笑）。 この話題が出たのは金曜日でしたが、週明け早々に稟議を終え、火曜
ℌ𝔞𝔯𝔱𝔪𝔞𝔫𝔫 @E_H_352 > ｢年功序列より成果主義の方がいい！｣ 2000年ぐらいに富士通が全社で成果主義を導入したら「評価に繋がらない仕事を誰もやらなくなった」「管理職の評価は相対評価ので馴れ合いだったので、優劣が付けられなくなった」その結果、組織全体の生産性が低下したと本社人事部の城繁幸が著書で書いてる。 x.com/fukuei_you_no_… 2024-04-07 19:16:36 福泳祐一@祝厩舎初勝利 @fukuei_you_No_1 年功序列から成果で評価するって ここ最近色んな会社が変わりつつあって ｢年功序列より成果主義の方がいい！｣ って思ってる人が多いんだなぁ みんなすごいなぁ 成果主義になったときに 自分が今より評価される側だと思っているのね 私はこのままでいいわ 2024-04-07 19:12:55
つくりました。Nstock社の評価制度（第2話）
こんにちは、Nstock代表の宮田です。 前回、「いま作ってます。Nstock社の評価制度（第1話）」で紹介したNstock社の評価制度、この1月から実際に運用をスタートしています。 今後、組織拡大にともない制度自体も変わっていくと思いますが、現時点でどうなっているのかをご紹介します！
賛否両論とか無いガチで無能な歴史上の人物を募集→牟田口廉也、万暦帝、ポル・ポト...世界中のありとあらゆるやらかした歴史上の人物が集まる
ハムストリングスうきょう @garupankuro21 牟田口廉也は戦後、英軍中佐からインパール作戦を評価されていたから賛否あると思う。 嫌いな人物ではあるが、無能とは言い切れない。 x.com/BigBrother_Pop… 2024-03-24 13:14:12 すーとも🎨🇦🇷 @Su_tomoST 牟田口廉也は賛否両論あるとは思ってる。 戦後評価としてインパール作戦を中心としたネガティブ事が多く話されがちだけども、彼がマレー作戦やビルマ作戦に従軍して活躍してる。当時の国民の評価は「常勝将軍」だったし（プロパガンダに起因するかもしれないが）、一概に「無能」とも言えないと思うな x.com/BigBrother_Pop… 2024-03-24 13:33:20
公立中に通うズボラ系男子が、テストでは及第点を取っても提出課題や授業態度などで減点方式で成績を落とされるので、公立高では内申点が重要という話→「テスト満点でも評価3とか聞く」「内申で教師から恫喝された」など、みんな苦労していた
くまえもん🧸 @cure_kumaemon 公立中に通うズボラ系男子が、テストでは及第点を取っても提出課題や授業態度などで減点方式で成績を落とされ、公立高入試の配点の3割を占める内申点の確保に苦労したというオヤ友の話。高校受験塾関係者は口を揃えて内申点なんて怖くないと言うけれど、当事者の話を聞くと決してそんなことはなさそう 2024-03-20 07:08:40
はじめにSkillnoteVPoEの安藤です。 今回はEMであれば誰しもが悩み、苦労（工夫）している目標設定・評価について書きたいと思います。 きっかけは#1の頃から参加している「EMゆるミートアップ」で、3月1日開催の#6のテーマがそのものズバリの「目標設定・評価」だったことです。 EMゆるミートアップそもそもエンジニアリングマネージャーという職務は最近になって出てきたもので、ITという比較的新しい業界の中でもさらに新しい役割、と言えるかと思います。（オライリーの書籍も日本での初版が2022年と相当に新しいことが分かります） SaaSプロダクトが隆盛な中、エンジニアチームが継続的にハイパフォーマンスを発揮するため、また事業KPIに対して直線的に貢献できるようにしていくため、プロダクトマネージャーやエンジニアリングマネージャーといった役割の重要性が昨今非常に増してきている、ということと思い
風音屋（@Kazaneya_PR）では、メンバー1人1人のスキル水準をモニタリングし、さらなる成長を促すための仕組みとして「等級（グレード）」を設定しています。プロフェッショナル人材が少しでも正当な評価とフィードバックを受けられるように試行錯誤を経てきました。 採用選考を進める中で「自分の場合はどのくらいのグレードになるのか？」というご質問をいただく機会が多々あります。この記事では、どういった考え方でグレードを設計・運用しているのかを、給与テーブルとセットで解説します。 注意事項クライアントワークを担当するAnalytics部門を想定した内容となっています。Backoffice部門の給与テーブルは試行錯誤中ですが、ベースとなる考え方は同じような形に落ち着くはずです。 人事周りのルールは今後変わっていく可能性があります。最新状況についてはカジュアル面談でお問い合わせください。 すべての人にと
評価者を孤独にしない
EMゆるミートアップ vol.6 〜LT会〜 登壇資料
働かないが会社は辞めない「静かな退職」 原因は企業側にも | Forbes JAPAN 公式サイト（フォーブス ジャパン）
仕事への意欲を失い、ただ必要最低限の業務だけを熟す「静かな退職」という働き方が広がりつつある。会社を辞める気はないが積極的に働く気もない。その多くが、入社後にそんな働き方を決めたという。調査により、その実態が見えてきた。 「静かな退職」はアメリカのキャリアコーチ、ブライアン・クリーリー氏が提唱した言葉だ。近年アメリカでも、Z世代を中心にそうした人たちが増えているという。日本では昔から、『釣りバカ日誌』のハマちゃんに代表される「ぐーたら社員」がいた。猛烈社員のアンチテーゼとして、ある意味、理想の生き方だったが、今の企業には働かない社員に給料を支払う余裕はない。 なぜそうした人が増えたのか、GPTW Japan（働きがいのある会社研究所）が企業に勤める男女6998人を対象に調査を実施した。その結果、静かな退職を選択している人の約3割が34歳以下の若手社員であり、理由のほぼ5割が「プライベートな
よくスタートアップやSaaSの世界などでノーススター（北極星）指標が注目されます。自分たちのビジネスを成長させるために組織の全員が一丸となって追うべき1つの指標というものです。 例えば、アクティビティの指標であるDAU（Daily Activity Users）やMAU（Monthly Active Users）であったり、またはエンゲージメントを測るためのDAU/MAU、またはそれこそ売上やMRRであったりするかもしれません。 データや数値を元にビジネスを成長させようということで、こうした「ノーススター」指標を決め、ダッシュボードなどで毎週、毎月モニターし始めます。 ところが、ここから誰もが話したくないことが起き始めます。 たいていの組織や企業の中の人達はこの指標をだんだん見なくなる、または本気にしなくなります。 実際見ている人は経験あると思うのですが、こうした指標の数値は良くなったり悪
今回は個人的に以前から気になっていた事について書いてみたいと思います。 きっかけは2022年に音楽メディア、Pitchforkが発表した「The 150 Best Albums of the 1990s」というこちらの企画でした。 1990年代にリリースされたアルバムの中で重要な意味を持つ、優れた作品を150枚選びランキング形式で発表するというこちらの記事。 実はPitchforkは2003年に同じ企画を行っていて、その時のラインナップと上位の顔ぶれがガラッと変わっていた事が当時話題になり、ネットやSNS上では様々な意見が見受けられました。 その当時自分もその変化ぶりに驚きつつも、時代の流れとはそういうものだよなと感じていたんですが、自分が思っていた以上に否定的な意見があった事も記憶しています。 「Pitchforkらしくない」とか、「ポップなラインナップ過ぎて面白くない」とか、「都合良く
はじめに 基盤モデル がAIの新潮流となりました。基盤モデルというとやはり大規模言語モデルが人気ですが、リクルートでは、画像を扱えるモデルの開発にも注力しています。画像を扱える基盤モデルの中でも代表的なモデルのCLIPは実務や研究のさまざまな場面で利用されています。CLIPの中には日本語に対応したものも既に公開されていますが、その性能には向上の余地がある可能性があると私たちは考え、仮説検証を行ってきました。今回はその検証の過程で作成したモデルと評価用データセットの公開をしたいと思います。 公開はHugging Face上で行っていますが、それに合わせて本記事では公開されるモデルやデータセットの詳細や、公開用モデルの学習の工夫などについて紹介します。 本記事の前半では、今回公開するモデルの性能や評価用データセットの内訳、学習の設定について紹介します。記事の後半では大規模な学習を効率的に実施す
ITエンジニアが投票した「ITエンジニア本大賞2024」発表 単体テストの考え方／AWS運用ノウハウ／ プロジェクトマネジメントの基本が全部わかる、など
この記事は新野淳一氏のブログ「Publickey」に掲載された「ITエンジニアが投票した「ITエンジニア本大賞2024」発表。単体テストの考え方／プログラマー脳／ プロジェクトマネジメントの基本が全部わかる、など」（2024年1月17日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 「ITエンジニア本大賞」は、仕事の役に立った本、初学者におすすめの本、ずっと手元に置いておきたい本など、おすすめの本をITエンジニアがWeb投票で選ぶイベントです。 主催は翔泳社ですが、対象となる書籍は出版社を問わず技術書、ビジネス書全般となっています。刊行年も関係なく、これまで大賞に選出された書籍を除き、この1年を振り返っておすすめしたい書籍が対象となります。 今回発表されたのは技術書部門とビジネス書部門それぞれのベスト10です。現時点では50音順に並んでいます。 以下は選出された技
マネージャーの評価基準（シート・動画付き）｜長村禎庸@EVeM
はじめに約1年ぶりのエントリーになります。今回はマネージャーの評価基準というタイトルで書きたいと思います。 マネージャーを評価する基準というのはありそうでないなと、この1年色々な経営者・マネージャーの方と話す中で感じていました。 その時残すべき成果が出ていればマネージャーとしてOKとしている会社もあれば、「マネージャーとしての行動リスト」のようなものが5個〜多くて30個程度であり、その行動リストを評価とまではいかなくとも、チェックリストのように使っている会社もあります。 しかし、前者の場合は「成果が出ていれば色々な犠牲が出てもよし」となりますし、後者の場合は「行動リストのうち今必要が無いことも行動せよ」となるので、両方ともマネージャーを評価する基準としては何か違うなと違和感を覚えてました。 しかし、何を以て良いマネージャーなのか、それを判断する基準がなければ、マネージャーに何を求めて良いか
iPhoneのカメラが過大評価されつつある。Blackmagic Cameraは簡単に扱えるモノではない（小寺信良） | テクノエッジ TechnoEdge
18年間テレビ番組制作者を務めたのち、文筆家として独立。家電から放送機器まで執筆・評論活動を行なう傍ら、子供の教育と保護者活動の合理化・IT化に取り組む。一般社団法人「インターネットユーザー協会」代表理事。 先日AV Watchの連載でBlackmagic DesignのBlackMagic Cameraを取り上げたことで、別の媒体からBlackmagic Cameraの特集をやりたいので手伝ってくれと声がかかるようになった。 ▲Blackmagic Camera ただその方向性が、Blackmagic Cameraを使えば凄い映像が誰でも簡単に、みたいなノリだったので、そういう方向性ならお手伝いできませんよ、とお伝えした。筆者も大人なのでまあ初心者向けの記事なのでそうしたキャッチコピーになるのはやむなしとは思うが、「誰でも簡単に」はさすがに違うんじゃないか。 どうもBlackmagic
本エントリはカケハシ Advent Calendar 2023 の 11日目の記事です。 今年はPart2もあるのでぜひそちらもご覧ください！ カケハシのVP of Engineeringの湯前（@yunon_phys）です。皆さん、目標設定と評価は順調ですか？私はこれまで何年にも渡って、様々なメンバーの目標設定や評価をしてきました。残念ながら、こうすれば良い目標設定や評価が出来る！という銀の弾丸は無さそうです。でも、こう考えたら目標設定はやりやすいかも、こうすると評価はより納得感のあるものになるかも、というのはあります。 そこで今回は制度を施行・運用していく立場の人間として、目標管理と評価制度の考え方について、私の意見を述べていきます。 目標管理 目標はそもそも変わるものである みなさんこんなことありませんか？ やる気満々であんなことやこんなことを色々考えて、壮大な目標を期初にがんばって
Learn methods like sentence-window retrieval and auto-merging retrieval, improving your RAG pipeline's performance beyond the baseline.Learn evaluation best practices to streamline your process, and iteratively build a robust system.Dive into the RAG triad for evaluating the relevance and truthfulness of an LLM's response:Context Relevance, Groundedness, and Answer Relevance. Retrieval Augmented G
ポエム。評価期になるとネガティブになっていたことをふと思い出す。そんなときに「どうメンタルを保つか」備忘録として書く。 この記事で伝えたいことネガティブさは自分のパフォーマンスを下げる 自分だけはTryを褒める。 ポジティブになるのではなく、ニュートラルへ こちらもいい話なのであわせて置いておく。これらを読むと じゃ、自分はどうすりゃええねん 読者となるので具体的に「どうするといいか」を記す。勝手に3部作化。 ネガティブさは自分のパフォーマンスを下げる"ネガティブさ"は自分のパフォーマンスを下げてしまう。 その原因は「他者に言われてもいない脳内からの批判」だったりする。 他者からのフィードバック(FB)は自分の振る舞い、日々の姿勢を客観的に見て、次の一手を打つためのヒントである。言うなれば、ガーターに落ちないためのガイドだ。 間違ってもフィードバックは批判ではない。 FBすることは人の尊厳
日本赤十字社金色有功章・受章について
日本赤十字社金色有功章・受章について 2023年11月21日 コミックマーケット準備会 共同代表 安田かほる 筆谷芳行 市川孝一 この度、コミックマーケットの『永きにわたる献血功労』に対して、日本赤十字社より金色有功章を受章いたしました。2023年10月26日に開催された「令和5年度・東京都赤十字大会」において、東京都における受章者代表の一人として共同代表安田かほるが、日本赤十字社名誉副総裁 常陸宮妃華子殿下より盾の贈呈をいただきました。 コミックマーケット準備会は1997年から東京都赤十字血液センターに協力しており、冬の会期に合わせて東京ビッグサイト周辺において、参加者を中心とした皆さんに献血への協力をお願いしております。また、2011年のコミックマーケット81からは出展企業各社にもご協力いただき、夏と冬の年2回、「献血応援イベント」と名付けて、献血いただいた方へのポスタープレゼント企画
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか？ 自社で持っているデータを使ってエンタープライズサーチを実現したい、それができればきっと無敵。そう考えて色々やろうとしているんじゃないでしょうか。私です。 RAGを使って意図した出力を得られるようにするには、十分なデータセットを準備したりパラメータを変更しながらチューニングをするなど、地道な作業が必要となります。 開発ライフサイクルにおける評価・テストステップで有効な、評価用フレームワーク RAGAS を使ってみましたので、本記事ではそれについてまとめます。 RAGASとは RAGパイプラインを評価/テストするためのフレームワークです。 パイプラインを構築するためのツールは多く
野球のデータ分析を手がける株式会社DELTAでは、2023年の日本プロ野球での野手の守備による貢献をポジション別に評価し表彰する“DELTA FIELDING AWARDS 2023”を発表します。これはデータを用いて各ポジションで優れた守備を見せた選手――いうならば「データ視点の守備のベストナイン」を選出するものです。 “DELTA FIELDING AWARDS”について “DELTA FIELDING AWARDS”は、米国のデータ分析会社Sports Info Solutionsが実施しているデータを用いた選手の守備評価表彰“THE FIELDING BIBLE AWARDS”に倣ったものです。 “THE FIELDING BIBLE AWARDS”は2006年から行われており、この流れを受け米国ではデータ視点で守備を評価する流れが非常に強くなっています。MLBでは近年、ゴールドグ
厳格に成績評価を行うように指示された大学教員が、厳格な成績評価を行ったところ、不合格者が出すぎて雇止めされた例（消極） - 弁護士 師子角允彬のブログ
１．成績評価の厳格化 文部科学省は、繰り返し、大学の成績評価を厳格にすべき方針を打ち出しています。 例えば、 ・平成12年度以降の高等教育の将来構想について（答申）（平成９年１月２９日 大学審） 「卒業に関しては、教育の内容・方法の一層の充実を図り、教育理念や目標を踏まえて厳格に学習成果を評価し、単位を認定することによって、卒業生の質の確保を図っていくことが強く求められている。」 ・２１世紀の大学像と今後の改革方策について（答申）（平成１０年１０月２６日 大学審） 「学生の卒業時における質の確保を図るため、教員は学生に対してあらかじめ各授業における学習目標や目標達成のための授業の方法及び計画とともに、成績評価基準を明示した上で、厳格な成績評価を実施すべき。」 「厳格な成績評価については、例えばGPAと呼ばれる制度を活用した取組を行っている大学もあり、各大学においては、このような例も参考とし
まず言っておこう、間違いなく「否」であると思う 単価というのは一番定量的で評価基準として採用されやすいことは事実であると思う それ故に、単価≒給料だと思う人がいてもおかしくないですね ただ、本質的に考えてみてほしい そもそも、単価が上がったから社内の評価があがったのであろうか？ 単価ってなんなのか 単価ってどう上げるのか 単価が上がるとはどういうことなのだろうか 本記事では評価の結果は給料のアップということと定義し、考えを始めようと思います 単価をあげるにはどうする必要があるのか 本章は是非「自分が人を雇うとしたらどうか」、「自分がチームメンバーを評価するとしたらどうか」という視点も入れて読んでいただきたいです そもそも単価とは 準委任、SESの場合は簡単ですね お客様からいただく人月単価（1ヵ月働いた分の対価）がそれにあたります エンジニア単価とは、その業務に対するエンジニア1人の価格、
LLMアプリケーションの安定性を高めるための精度評価・改善
今週の新選オーディオプロダクトでは前回「オトナのビーツ・ヘッドホン誕生！「Beats Studio Pro」を楽しむ【レビュー】」に続く、Beats（ビーツ）のアクティブノイズキャンセリング機能を搭載するワイヤレスヘッドホン「Beats Studio Pro」を空の旅で試した「体験レポート編」です。 今回筆者はオーストリア航空の飛行機に乗って、往路約18時間をかけてドイツの首都ベルリンに向かいました。経由地のウィーンまで14時間以上かかる長いフライトだったので、機内エンターテインメントや自分のスマホにダウンロードしたドラマを視聴しまくってもまだ時間が余る、修行のような空の旅でした。おかげでBeats Studio Proの様々な機能を試すことができました。 先に結論。Beats Studio Proは空の旅に最適！ 先に筆者の結論をまとめてしまうと、Beats Studio Proは空の旅
今回はこのような表を自動で得られるようにすることを目標とします。 LLMには、追加学習による精度の改善だけでなく、入力するプロンプトの改善による精度向上の余地があります。 今回は、通常の機械学習の実験管理とは異なり、LLM, プロンプトの2変数のうち、LLMを固定します。仮に精度が向上した場合、それが「LLMを改善したから」なのか「プロンプトを改善したから」なのかが分からなくなってしまうからです。 プロンプトの評価プロンプトの評価に必要なもの以下の4つが全て揃えば大体どんな評価もできます。 最低限*印の項目があればそれなりの評価ができます。 質問文* LLMの回答* 理想の回答 コンテキスト プロンプトの評価指標例プロンプトの評価指標は、原則「プロジェクト・タスクによりけり」です。 ここでは評価指標を定めるための参考として、いくつか事例を集めたので以下にご紹介します。 事例①: Promp
「○○コンクールで金賞」といった情報はワインなどの商品を選択する際に重要なポイントです。しかし、ベルギーの公共放送局「RTBF」が「有名ソムリエに最悪と評価された激安ワイン」のラベルを貼り替えて国際コンクールに出品する実験を行った結果、高評価を得て金賞を獲得してしまう事態が発生しました。 Médaille d’or pour une piquette à 2,50 euros : ça fait le buzz ! - rtbf.be https://www.rtbf.be/article/medaille-dor-pour-une-piquette-a-250-euros-ca-fait-le-buzz-11193070 ワインに関するコンクールは世界中で開催されていますが、各コンクールの評価がどれだけ正確なのかは分かりません。ベルギーの最優秀ソムリエに選出された経歴を持つエリック・ボッ
■イベント 急成長するSaaSを支えるエンジニア成長支援の取り組み https://sansan.connpass.com/event/293441/ ■登壇概要 タイトル：エンジニアの成長に向き合う評価と目標設定 登壇者：技術本部 Bill One Engineering Unit ⽊村 祐也 ■Bill One エンジニア 採用情報 https://media.sansan-engineering.com/billone-engineer
若いメンバーが会社を辞める理由 梅原英哉氏（以下、梅原）：先ほどの「つながり」という意味では、あるアンケートでは、最近の若い方たちが会社を辞める時、「ここにいても意味がない」と感じることが一番の理由として挙げられるということでした。 これも、つながりを感じられないというのですかね。自分の存在意義を見失った時に、「もうこの環境にいても意味がないから意味があるところを探したい」と去ってしまうのが、一番のトレンドだという話です。 小仁：おもしろいですね。今は意外とマズローの所属欲求的なところにフォーカスが当たっていたりするんですね。 梅原：そうです。だから、新型コロナウイルスの流行が追い打ちをかけたと思います。僕も最近、「そりゃそうだよね」と思ったんですけど、入社2年目の方々とリアルで研修をすると、「初めまして」と挨拶したりしているわけです。 小仁：そうですね（笑）。 梅原：Webでしか会ったこ
チームがどれだけ優れているかというレベルは、そのチームの目標にあらわれると考えてみる。 チームのレベルについて絶対的な評価基準を作るのは難しいが、チームが掲げる目標の経時的な推移から、相対的な変化の勾配を評価することはできる。 チームが現在の目標を容易に達成するようになり、より高度な目標を掲げられたら、勾配は上昇する。そのチームはレベルアップしているといえる。 同じ程度の目標を達成しつづけることに甘んじているチームは、勾配が水平に近づく。いわゆるコンフォートゾーンに留まっており、停滞したチームだといえる。 チームが少しずつ身の丈に合わせて目標を引き上げられているかどうか、これはチームが成長しているかどうかを見るバロメータになる。 チームの状態を評価するときには、いまの目標の達成度合いだけでなく、目標の勾配にも関心を向けてみるとよい。また、チームのレベルを上げたいと思っているときには、現在の
審査のゆがみ：全日本吹奏楽コンクールを例に
芸術競技において審査過程の公平性を確保することは重要な課題である．本論文では，審査結果に意図せざる形で偏りが存在しているか否か，存在するとしたらどの程度影響を与えているのか，という問いに対して全日本吹奏楽コンクールを事例として分析を行った．分析の結果，演奏順が後ろであればあるほど有利であるという “overall order bias” と，一つ前の演奏団体のパフォーマンスから影響を受ける “sequential order bias” が存在することが示された．
「成果主義になれば無能なおっさんが駆逐されて若くて有能な俺らがバシバシ昇給する」と思って導入を支持したら減給するだけの仕組みになっていることもある
射的屋 @syatekiya931 成果主義になったら仕事しねぇくせに高給取る無能なおっさんが駆逐されて若くて有能でバリバリ仕事する俺らがバシバシ昇給すると思って支持したら、バシバシ仕事しないと減給するだけの制度になったという。 なお無能と思ってたおっさんが思ったより大事だったり自分が思ったより有能でもなかったオチ 2023-08-09 18:41:38
LegalOn Technologies のエンジニアグレード評価基準を公開します - LegalOn Technologies Engineering Blog
こんにちは。LegalOn TechnologiesでCTOを務めている深川といいます。 もし私がどういう人なのか気になる方がいましたら、私のことは以下の弊社オープン社内報でも記載していますので、よかったらこちらの記事をご覧いただければと思います。 https://now.legalontech.jp/n/n36b23e19f7b0 エンジニア組織の運営は人数が増えていくにつれて加速度的に難易度があがります。その中でも、エンジニアリングマネージャーにとって常に頭を悩ませるものが人事評価制度です。特に、評価基準については、公正かつ納得感があり、それでいて属人化しない評価基準を作り上げるのは至難の業です。 弊社も例に漏れずエンジニアのグレード評価基準に課題を感じていたため、2022年10月にエンジニアグレード評価基準の刷新を行いました。そこから約10か月が経過し、徐々に刷新の効果や課題が見えて
ACTIVE GALACTIC @active_galactic 日本人は不満がないときに10点中5点をつけるなという主張を見かけることがあるが、そもそも採点は文化毎に大きく違って当然だ。オランダや韓国あたりも低い点をつける傾向がある。逆にインドは米国より高い 問題があるとしたら日本の採点文化ではなく、文化差が大きいことを無視する企業だろう 2023-07-27 10:42:58 ACTIVE GALACTIC @active_galactic 欧州は米国より低めの数値を選ぶ傾向があるし、欧州内部でも差はある。差はどこにもある そもそも米国の10点付近に分布が偏る情報エントロピーの低い採点に何か統計上の利点はあるだろうか。文化に過ぎないのではないだろうか。採点文化の違いにすぎないものを“正しい文化”に“矯正”させるべきではない 2023-07-27 11:04:28 リンク Wikiped
白潟総合研究所株式会社代表で『中小ベンチャー企業を壊す！ 人事評価制度 17の大間違い』著者の白潟敏朗氏と、『起業の科学』著者の田所雅之氏による対談の模様をお届けします。テーマは「人事評価の『ワナ』『落とし穴』」。中小ベンチャー企業の経営者に向けて、人事評価に対する悩みを解決するために最も大切なポイントについて語られました。最終回の本記事では、人事評価制度の構築・改良の成功のための６つのポイントが語られました。 固定賞与や給与に関する評価シートは、従業員が増えてから 白潟敏朗氏（以下、白潟）：少しまとめさせていただきます。（人事評価シートについて）じゃあ私どもとしてどうしたらいいのかなというのを、一覧表示してみました。まずは業績連動賞与、いわゆるインセンティブに関しては、従業員の人数関係なく、ある意味計算式でやれる世界ができれば、評価が一番楽なのかなというふうに考えます。 社員が20人にな
白潟総合研究所株式会社代表で『中小ベンチャー企業を壊す！ 人事評価制度 17の大間違い』著者の白潟敏朗氏と、『起業の科学』著者の田所雅之氏による対談の模様をお届けします。テーマは「人事評価の『ワナ』『落とし穴』」。中小ベンチャー企業の経営者に向けて、人事評価に対する悩みを解決するために最も大切なポイントについて語られました。本記事では、陥りやすい4つの落とし穴について解説されました。 中小ベンチャー企業1万2,600社を支援 白潟敏朗氏（以下、白潟）：白潟敏朗と申します。ほとんどの方に「新潟の出身ですか？」と聞かれるんですが、こちらのプロフィールに書いていますとおり、生まれは神奈川、育ちは九州の宮崎、埼玉で社会人になったという経歴です。 新潟には1ミリもかすっていないんですが、「白潟」と名乗らせていただいております。よろしければ名前と顔を覚えていただけたらうれしいなというふうに思います。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今年「部門」を廃止、小学館漫画賞を通して考える「マンガ賞」の現在とこれから
どう考えてもC評価の部下に、Bをつける上司の心のうち カゴメ・有沢正人氏が行った、公正に差をつけるための評価制度
年功序列をやめて成果主義にしたら「評価に繋がらない仕事」を誰もやらなくなって生産性が下がった
エンジニアのモチベーションが上がる目標設定・評価｜Daisuke Ando / Skillnote
メンバー1人1人のスキルアップを促す「等級（グレード）」と「給与テーブル」｜風音屋（かざねや）
ノーススター（北極星）指標をモニターしてるのにビジネスが成長しないのはなぜか？ - Qiita
この20年間で再評価された90年代のアルバムって何？｜hashimotosan
日本語CLIP 学習済みモデルと評価用データセットの公開
目標管理と評価制度の考え方 - KAKEHASHI Tech Blog
Building and Evaluating Advanced RAG Applications
ネガティブさが自分のパフォーマンスを下げることを知っているか？｜中村修三(ShuzoN)
RAG評価ツールの "RAGAS" を使って、RAGパイプラインの性能を測定する - Qiita
データで選ぶ守備のベストナイン “DELTA FIELDING AWARDS 2023”受賞選手発表
サラリーマンエンジニアの評価は単価なのか - Qiita
LLMアプリケーションの安定性を高めるための精度評価・改善
航空機のノイズがしっかり消える高い消音性能「Beats Studio Pro」空の旅に最適！ (1/3)
Prompt Flowでプロンプト評価の管理を行う | フューチャー技術ブログ
ソムリエに「最もまずい」と評価された400円の激安ワインが国際コンクールで金賞を受賞してしまう
エンジニアの成長に向き合う評価と目標設定
研修で学んだコーチングを試したのにメンバーの信頼が低下… 企業における「マネジャー育成」で成果を出すポイント
チームのレベルは目標にあらわれる | Marginalia
「日本人の商品レビュー・評価は厳しい」みたいなやつ、日本の採点文化が問題なわけではないのでは？という話
評価制度が機能するのは、前提に「腹八分目の年収」があるから 人事評価制度の構築・改良を成功させる6つのポイント
人事評価制度を変えても「モチベーションアップ」にはならない 社員のやる気を「下げない」ためのマネジメント19項目