メインコンテンツまでスキップ
バージョン: 3.14
Features and pricing

ScalarDL ベンチマークツール

注記

このページは英語版のページが機械翻訳されたものです。英語版との間に矛盾または不一致がある場合は、英語版を正としてください。

このチュートリアルでは、ScalarDL のベンチマークツールを実行する方法について説明します。ベンチマークは、一連の標準に対してシステムがどのように動作するかを評価するのに役立ちます。

ワークロードのベンチマーク​

  • SmallBank
  • TPC-C (新規注文および支払いトランザクションのみ)
  • YCSB (ワークロード A、C、および F)

前提条件​

  • 以下のいずれかの Java Development Kit (JDK):
  • Gradle
  • Kelpie
    • Kelpie は、システムのベンチマークや検証などのエンドツーエンドのテストを実行するためのフレームワークです。Kelpie Releases から最新バージョンを入手し、アーカイブファイルを解凍します。

環境をセットアップする​

ベンチマークツールには次のものが必要です。

  • ベンチマークを実行するクライアント
  • 対象の Ledger サーバー
  • ターゲット Auditor サーバー (オプション)

上記のコンポーネントをセットアップし、次のガイドに従ってクライアント、Ledger、および Auditor (オプション) のプロパティを設定します。

注記

Client SDK をダウンロードして証明書を手動で登録する必要はありません。このチュートリアルで後ほど説明するように、ベンチマークツールは必要な証明書とコントラクトを自動的に登録します。

ベンチマークツールをセットアップする​

次のセクションでは、ベンチマークツールのセットアップ方法について説明します。

ScalarDL ベンチマークリポジトリのクローンを作成します。​

ターミナルを開き、次のコマンドを実行して ScalarDL ベンチマークリポジトリのクローンを作成します。

git clone https://github.com/scalar-labs/scalardl-benchmarks

次に、以下のコマンドを実行して、ベンチマークファイルが含まれるディレクトリに移動します。

cd scalardl-benchmarks

クライアント SDK バージョンの変更​

ScalarDL と Client SDK の互換性 に基づいて、ScalarDL Java Client SDK のバージョンが対象の ScalarDL Ledger および Auditor でサポートされているバージョンであるかどうかを build.gradle ファイルで確認します。サポートされていない場合は、build.gradle ファイル内の次の部分の <VERSION> を X.Y.Z のようなバージョン (たとえば 3.11.0) に変更します。

dependencies {
    implementation group: 'com.google.inject', name: 'guice', version: '5.0.1'
    implementation group: 'com.scalar-labs', name: 'kelpie', version: '1.2.3'
    implementation group: 'com.scalar-labs', name: 'scalardl-java-client-sdk', version: '<VERSION>'
    implementation group: 'io.github.resilience4j', name: 'resilience4j-retry', version: '1.3.1'
}

ツールを構築する​

ベンチマークツールを構築するには、次のコマンドを実行します。

./gradlew shadowJar

ベンチマーク設定ファイルを準備する​

ベンチマークを実行するには、ベンチマーク設定ファイルを準備する必要があります。設定ファイルには、少なくとも実行するワークロードモジュールの場所とクライアント設定が必要です。

以下は、TPC-C ベンチマークを実行するための設定例です。client_config の下の設定は、以前にセットアップしたベンチマーク環境と一致する必要があります。

注記

あるいは、 .toml ファイルで各クライアント設定項目を指定する代わりに、ScalarDL クライアントプロパティファイルを使用することもできます。config_file が指定されている場合 (以下でコメントアウトされています)、client_config の下にある他のすべての設定は無視されます。

[modules]
[modules.preprocessor]
name = "com.scalar.dl.benchmarks.tpcc.TpccLoader"
path = "./build/libs/scalardl-benchmarks-all.jar"
[modules.processor]
name = "com.scalar.dl.benchmarks.tpcc.TpccBench"
path = "./build/libs/scalardl-benchmarks-all.jar"
[modules.postprocessor]
name = "com.scalar.dl.benchmarks.tpcc.TpccReporter"
path = "./build/libs/scalardl-benchmarks-all.jar"

[client_config]
config_file = "/<PATH_TO>/client.properties"
#ledger_host = "localhost"
#auditor_host = "localhost"
#auditor_enabled = "true"
#cert_holder_id = "test_holder"
#certificate = "/<PATH_TO>/client.pem"
#private_key = "/<PATH_TO>/client-key.pem"

設定ファイル内のモジュールに渡すパラメータを定義できます。詳細については、以下のサンプル設定ファイルと、共通パラメータで使用可能なパラメータを参照してください。

ベンチマークを実行する​

ベンチマークを選択し、コマンドに従ってベンチマークを実行します。

SmallBank ベンチマークを実行するには、次のコマンドを実行します。<PATH_TO_KELPIE> を Kelpie ディレクトリへのパスに置き換えます。

/<PATH_TO_KELPIE>/bin/kelpie --config smallbank-benchmark-config.toml

さらに、次のオプションが利用可能です。

  • --only-pre。証明書とコントラクトの登録、およびデータのロードのみを実行します。
  • --except-pre 証明書とコントラクトの登録とデータのロードを行わずにジョブを実行します。

--only-pre オプションを使用して初期化が完了したら、--except-pre オプションを使用してベンチマークを複数回実行できます。

共通パラメータ​

以下のパラメータは、すべてのワークロードで共通です。

concurrency​

  • 説明: データベースに対してベンチマークトランザクションを同時実行するワーカースレッドの数。このパラメータは、実際のベンチマーク実行フェーズでの並列処理レベルを制御します。この値を増やすことで、より多くの同時クライアントアクセスとより高いワークロード強度をシミュレートできます。
  • デフォルト値: 1

run_for_sec​

  • 説明: ベンチマーク実行フェーズの継続時間 (秒単位)。このパラメータは、ベンチマークが実行され、データベースにトランザクションを送信する時間を定義します。
  • デフォルト値: 60

ramp_for_sec​

  • 説明: ベンチマーク測定フェーズが開始される前のランプアップ期間の継続時間 (秒単位)。このウォームアップ期間中は、システムはトランザクションを実行しますが、パフォーマンスメトリクスは記録しません。これにより、ベンチマーク結果を収集する前にシステムが安定状態に達することができます。
  • デフォルト値: 0

ワークロード固有のパラメータ​

ワークロードを選択すると、使用可能なパラメータが表示されます。

num_accounts

  • 説明: ベンチマークワークロード用に作成する銀行口座の数。このパラメータは、データセットのサイズを決定し、ワーキングセットサイズに影響します。
  • デフォルト値: 100000

load_concurrency

  • 説明: 初期ベンチマークデータをデータベースにロードするために使用する並列スレッドの数。このパラメータは、初期データロードフェーズの完了速度を制御します。この値を増やすことで、大きなデータセットのデータロード時間を大幅に短縮できます。これは、ベンチマーク実行中に使用される concurrency パラメータとは別です。
  • デフォルト値: 1

load_batch_size

  • 説明: 初期データロードフェーズ中に単一のトランザクション内で挿入するアカウントの数。バッチサイズを大きくすると、トランザクション数を減らすことでロードパフォーマンスが向上しますが、各トランザクションの実行時間が増加する可能性があります。
  • デフォルト値: 1
テクニカルサポートに問い合わせ
商用ライセンスをご契約のお客様のみご利用いただけます。
ドキュメントの問題を報告
このページについて何かお気づきの点がありましたら、こちらから報告いただけます。