MAROONのなんでも diary

MAROONの身の回りの諸々を雑多に書き連ねている日記です。(はてな日記からの移行です)

ベンチマークって?

MobileStation Benchmark

この前、新しいクリエのレヴュー(pocketgames さん)を見ていたら、VZ90 で Benchmark を実行した結果が出ていました。「Benchmark」はいうまでもなく Palm 界では古くからあるベンチマークソフトです。
で、VZ90 の結果ですが、なんと 160 だそうです! この数値の基準は 遙か昔の Palm IIIe/IIIxe でこれを 100 とした時の相対値で表示されます。最新の VZ90 でたったの 160 とは・・・。
ちなみに以前使っていた Visor Edge でも 244 でしたし、今も使用中の Tungsten|T では 255 です。これと VZ90 の 160 を比べることに意味があるのでしょうか? VZ90Visor Edge よりもずっと遅い、と考える人はいないでしょう。
ところで、VZ90 には SONY の Handheld Engine とかいう CPU が使用されています。これはシステムの負荷に応じて CPU クロックを動的に変化させて負荷が小さい時には極端にクロックを落とすと聞いています。
で、このベンチマークソフト Benchmark ですが、7KB しかない小さなプログラムで、おまけに描画試験やメモリーアクセス速度計測、などは行なわず、CPU の演算性能のみに特化した評価を行なうプログラムです。このため Handheld Engine からすると非常に負荷が小さいので極端にクロックを低下させた状態で計測しているものと推定されます。
結論として、Handheld Engine などのように負荷に応じて動的にクロックを変化させるような CPU では Benchmark の結果は余り参考にならない、ということのようです。
もっともこの点はすでに過去の機種でもローレゾとハイレゾ、モノクロとカラーのように描画の負荷が異なるマシンでも CPU 性能しか評価しない Benchmark は実態にあわないとは思っていました。
実際の負荷に合わせた評価を行なうには、CPU性能、メモリーアクセス、描画性能、などの総合性能を評価するツールが必要ですね。あるいは逆に動画再生に特化したベンチマークなんていうのも面白いかもしれません。なにかいい物差しは無いものでしょうか?
余談ですが、過去に1冊だけ出版されて後が続かなかった「モバイルステーション」という雑誌(ムック?)の付録に収録されていたベンチマークソフトは、Text, DrawBitmap, Integer, Float の4項目の結果を総合して数値化してくれるもので描画性能を中心にチェックしてくれるので実感にあった結果になっていたと思います。(写真は Tungsten|T での実行結果)
もっとも今では入手困難(不可能?)でしょうけど。