質の良くないレビューに基づいて少し原稿を修正して提出。
「データが少ないときは推定精度が低くなるのではないでしょうか」
というコメントには吹いた。普通そうだろ。分布の不明な誤差のある状況で少数データから、きちんとした推定ができれば誰も苦労なしないし、そんな枠組みがきちんと提案されると、チャンピオンデータによる実験結果から希望的観測で議論しているような、この分野の研究者の半分以上が職を失なうぞ。それほど難しい問題なのだ。
「データが多くても推定精度が良くならないことはあるのでしょうか」
というコメントならわかる。漸近的な振舞を解析せよ、ということだから。でももし提案設定における漸近的な振舞を理論的に解析できたならトップカンファレンスに採択されるレベルなので、このレベルの学会には出さない。それに、その文章をきちんと査読できる人は、「うちの分野の」国内の研究者では知る限り数人いるかいないか。そんな難しい問題を考えもせずにさらっと言える神経が羨ましい。
あと、うちの分野の宗教的信仰として「比較実験すれば客観的」と思っている研究者が多いということ。醜い家鴨の仔の定理を知っていれば、こんな間抜けな考えには至らない。いくら共通のデータセットを用意して性能を比較しても、それはそのデータセット限ること。他のデータセットではどうなるか分らない。だからデータセットを用意する側も良いデータセットを作る努力をしている訳だし、それを利用する側も、そのデータセットにおいて勝ったことは指標の一つであってそれ単独では決して客観性の証明にはならないことを理解しないといけない。必要だけど十分ではない。うちの分野にもう少し理系が増えるといいなぁ。
