Real-SWE: プライベートな実務向けエンタープライズコードベースでのAIモデルベンチマーク
Real-SWE: Benchmarking AI models on private, real-world, enterprise codebases
withspecific.com ·
実在する企業のプライベートな本番コードベースから課題を取り、主要なフロンティアAIモデルとハーネスの組み合わせを評価する新ベンチマーク「Real-SWE」の紹介です。課題は請求や税計算など実際のビジネスに影響するものばかりで、ネット上に存在しない「真に分布外」なタスクとして設計されています。公開ベンチマークでは測れない、実務でのコーディングエージェントの実力を知る貴重な指標になります。