女性歓迎！【JAPAN AI】AI Quality Scientist / Japanese｜JAPAN AI株式会社の求人・転職情報｜type女性の転職エージェント

### 業務内容

- *評価メトリクスの研究開発*
* LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules)
* 評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection)
* 報酬モデリング / preference learning の評価への応用研究
* 評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection)
* 評価セット (合成データ + 実ログ) の設計・構築・メンテナンス
- *自動評価パイプラインの設計・構築*
* スケーラブルな自動評価パイプラインの設計・実装
* CI/CD への評価パイプライン組込みと品質ゲートの構築
* エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応)
* 評価パイプラインの再現性・信頼性の担保
- *安全性・品質検証*
* 自動レッドチーミング (automated adversarial testing) の研究・実装
* 安全性 / ポリシー準拠の検証フレームワーク構築
* ハルシネーション検出・校正手法の研究・実装
* プロンプト / ツール回帰テストの設計・実行
- *統計分析・実験設計*
* 統計的実験計画 (A/B テスト、有意差検定) の設計・分析
* 品質トレンドの可視化・回帰検出の自動化
* 品質レポート作成と改善提案
* 評価シグナルの研究・開発チームへのフィードバック

### 業務内容

- *評価メトリクスの研究開発*
* LLM-as-Judge の校正手法の研究・実装 (rubric 設計、バイアス検出、proper scoring rules)
* 評価ベンチマークの設計・構築・妥当性検証 (construct validity、contamination detection)
* 報酬モデリング / preference learning の評価への応用研究
* 評価メトリクスの選定・設計 (win rate、task success、factuality、harm detection)
* 評価セット (合成データ + 実ログ) の設計・構築・メンテナンス

- *自動評価パイプラインの設計・構築*
* スケーラブルな自動評価パイプラインの設計・実装
* CI/CD への評価パイプライン組込みと品質ゲートの構築
* エージェント評価ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応)
* 評価パイプラインの再現性・信頼性の担保

- *安全性・品質検証*
* 自動レッドチーミング (automated adversarial testing) の研究・実装
* 安全性 / ポリシー準拠の検証フレームワーク構築
* ハルシネーション検出・校正手法の研究・実装
* プロンプト / ツール回帰テストの設計・実行

- *統計分析・実験設計*
* 統計的実験計画 (A/B テスト、有意差検定) の設計・分析
* 品質トレンドの可視化・回帰検出の自動化
* 品質レポート作成と改善提案
* 評価シグナルの研究・開発チームへのフィードバック

• 柔軟に働きたい

  「自由を求めるあまり、自己管理や責任感が薄いのでは」と誤解されがちですが、自律性を強調すると好印象でしょう。「場所や時間に捉われず、成果に責任を持つための工夫」を伝えるのが、信頼を得るコツといえます。

• 成果相応に稼ぎたい

  「お金のみが動力源」と思われると協調性に疑念を持たれてしまうかも。チームで成果を最大化する視点もあると伝えたいですね。「自身の目標達成が、周囲や組織の利益に繋がった」エピソードがあると◎

• スキル経験を活かしたい

  「現状維持」と捉えられ意欲を疑われてしまわないように、実績を数字で伝えつつ「即戦力として貢献しながら、貴社でさらに磨きたいスキルがある」と付け加えると、成長意欲も伝わり好印象に繋がる場合が多いです。