ベンチマーク
まず前提として、プライベートクラウドとパブリッククラウドのベンチマークは、どのように行ったとしても厳密性は欠けてしまいます。プライベートクラウドのベンチマークが専有されたコンピュートノード上の1インスタンスであることに対し、パブリッククラウドのベンチマークは、共有リソース上の1インスタンスである為です。フェアさを表すためには、プライベートクラウド上で別途、負荷のある何かのインスタンスを平行で動かす事も考えられますが、それでは値が余りに作られた結果になるため、意味の無いベンチマークとなってしまいます。そこで、このベンチマークでは、あえてプライベートクラウド上に、他のインスタンスが動作していない状態でのベンチマークを取得しています。
専有型のプライベートクラウドが、無作為に作られたパブリッククラウドの1インスタンスと比べて、どの程度、速いものなのか?
を表したものであり、サービスの優劣を表したものではありません。「あくまでも目安」として参考にして頂けると幸いです。
なお、ベンチマークはLinux/UNIXのサーバ用のベンチマークソフトウェアとしてsysbench 1.0.11(using system LuaJIT 2.1.0-beta3)を利用しています。sysbenchのバージョンを合わせる為、rpmではなく環境上でビルドしております。プライベートクラウド上ではCentOS 7、AWS上ではAmazon Linuxを利用しています。
※なおHigh Response Private Cloud(HRPC)は、6Gs(6世代目セカンドエディション)の開発中のXeon SP Goldモデルのものであり、実際にサービスに使われているものと、異なる場合があります。
High Response Private Cloud (HRPC-6Gs)とAWSの同一CPU数での比較(2vCPU)
CPU演算速度の比較に、素数計算の速度比較をしています。
AWS M4、M5と比べ、HRPC-6Gsはシングルスレッド処理が15%ほど高く、マルチコア利用時の計算効率も1.97と高くなっています。この値の結果、コア増設時の恩恵は大きめに現れていると考えられます。
シングルスレッド性能は、クロック差や、他のインスタンスの負荷が影響すると考えられます。コア増設時の効率は、HRPCのコンピュートノード上の物理コア余剰が十分あること、Xeon SP上のccNUMAのアーキテクチャ上、同一メモリ空間にアサインされやすいこと、論理CPU(Hyper-Threading Technology、HTT)に割り当てられにくい事が影響していると考えられます。
Test Name | AWS M4 | AWS M5 | AWS M5d | HRPC |
---|---|---|---|---|
Single Thread | 340.00 | 414.42 | 414.14 | 477.25 |
Multithreaded | 531.62 | 703.66 | 715.04 | 940.24 |
コア数の効率 | 1.56 | 1.70 | 1.73 | 1.97 |
比較方法・項目実行時間: 30秒、マルチスレッド:4並列実行、 素数計算. 20,000桁
High Response Private Cloud (HRPC-6Gs)とAWSのIOスループット性能の比較
IOスループットの比較に、シーケンシャルでのファイルリードとライトの比較をしています。
HRPC-6Gsの連続アクセス時の読み込み性能は非常に高く、書き込み性能も他よりも優れています。
これは、純粋に搭載するNVMeの性能がでていると考えられます。Sequential WriteがSequential Readに比べて奮わないのは、Xenハイパバイザの実装によるものと考えられます。
その意味では、まだチューニングの余地があると言えます。
Test Name | AWS M4 | AWS M5 | AWS M5d | HRPC |
---|---|---|---|---|
Sequential Write(MiB/sec) | 54.27 | 130.07 | 66.93 | 186.00 |
Sequential Read(MiB/sec) | 54.58 | 128.17 | 135.46 | 1,322.20 |
比較方法・項目実行時間: 60秒、4並列実行、 ファイルサイズ: 10GB、書き込み単位: 4KB
High Response Private Cloud (HRPC-6Gs)とAWSのIOPS性能の比較
IOPS性能の比較のために、4kでのリードライトを行うランダムアクセス性能での比較をしています。
基本的にHRPC-6Gsは高い性能が出ていますが、AWS M5d(NVMeのローカルSSD搭載モデル)と比べて、速度低下がみられます。
この部分についてもXenハイパバイザの実装の影響があると考えており、チューニング余地があると考えています。
Test Name | AWS M4 | AWS M5 | AWS M5d | HRPC |
---|---|---|---|---|
Random Write 4k(MiB/sec) | 11.80 | 11.57 | 66.93 | 83.90 |
Random Read-Write 4k (read/write)(MiB/sec) | 11.99/7.99 | 12.01/8.01 | 85.39/56.93 | 50.02/33.34 |
Random Read 4k(MiB/sec) | 39.90 | 43.11 | 274.35 | 167.76 |
比較方法・項目実行時間: 60秒、4並列実行、 ファイルサイズ: 10GB、 書き込み単位: 4KB
High Response Private Cloud (HRPC-6Gs)とAWSのMySQL OLTPの比較
MySQLでのOLTP速度比較です。
HRPCで、データ件数が増えた場合のパフォーマンス劣化が少ないのは、ストレージ速度の反応速度が良いことが現れていると考えられています。
レコード数 | AWS M4 | AWS M5 | AWS M5d | HRPC |
---|---|---|---|---|
2,500,000.00(t/s) | 468.27 | 549.62 | 422.13 | 789.15 |
1,000,000.00(t/s) | 621.80 | 797.77 | 462.56 | 1,082.93 |
500,000.00(t/s) | 651.21 | 886.91 | 455.12 | 1,112.26 |
比較方法・項目実行時間: 30秒、8並列実行、 レコード数: 上からメモリに収まる、+100%溢れ、+300%溢れ
まとめ
ベンチマークはあくまでも利用ニーズに合った形のものを参考にしなくてはならないため、ここで算出された値がそのまま評価に値するものではありません。
ここでの最終的結果では、MySQLのOLTPが参考にはなりますが、概ねパブリッククラウドに比べて、同じインスタンスサイズでは1.5〜2倍程度の速度がでるものだと考えてみると良いかも知れません。
プライベートクラウドのリソースコストメリットは、パブリッククラウドに比べて高いため、実際のユースケースでは、インスタンスに与えるメモリを2〜4倍程度にしてデプロイしても余裕があるケースが多々あります。アプリケーションサーバやデータベースサーバであれば、このメモリ増加はパフォーマンスに大きな影響を与えるため、今一度、データベースやアプリケーションサーバのメモリチューニング値を設定し直すことで、更なる速度アップが測れるものと考えられます。