しくみ

nonohaの計算グラフの構成要素(ワークスペース、フロー、グラフ、ノード、ポート)と、その間を流れるデータを説明します。例には、はじめにで実行したテンプレートのワークスペースを使います。

ワークスペース

ワークスペースは、計算グラフ、プラグイン、アプリの画面をまとめた、1つのプロジェクトです。テンプレートのワークスペース(templates/default)の主な構成は、次のとおりです。

Text
templates/default/
├── plugins/
│   ├── manifest.json        有効にするプラグインの一覧
│   └── user-nodes/          ノードをまとめたPythonパッケージ
└── flows/default.vnf/       フロー
    ├── flow.json            読み込むグラフの一覧
    ├── app/                 アプリの画面(/appで配信)
    └── graphs/app.vng/      グラフ
        ├── graph.json       ノード、プロパティ、エッジ
        └── editors/nonoha-editor/models/settings.json   エディタ上の配置

nonoha Hubで作成するワークスペースは、これに加えて、エンジン(nonoha-engine/)と、エンジンとプラグインのバージョンを宣言したpyproject.tomlを含みます。

フローとグラフ

フロー(.vnf)は、1つ以上の計算グラフ(.vng)の集まりです。flow.jsonにグラフの一覧を書き、エンジンはその順に読み込みます。テンプレートのフローには、appグラフが1つあります。

グラフは、GraphProxyノードを使って、同じフローのほかのグラフの出力を受け取れます。受け取る側のグラフは、一覧の後ろに置きます。

ノードとポート

ノードは処理の単位で、入力ポート、出力ポート、プロパティを持ちます。エッジは、あるノードの出力ポートを、別のノードの入力ポートにつなぎます。graph.jsonでは、ポートをノード名.ポート名で書きます(例:Synthesizer_1.waveform)。

.で始まる名前(.waveformなど)は、グラフ自身の入出力ポートです。アプリの画面やほかのグラフは、この入出力ポートを通して計算グラフとやり取りします。

プロパティはノードの設定で、エディタやAPIから変更できます。データ型を宣言したプロパティは、@で始まるプロパティポート(Clockの@fs、Synthesizerの@frequencyなど)にもなり、エッジで値を流し込めます。

ポート名には、.、-、$を使えません。区切り文字として使うためです。

流れるデータ

ポートを流れるのは、NumPy配列(np.ndarray)そのものです。独自の型で包んでいないので、SciPyなどのライブラリにそのまま渡せます。配列の形状とデータ型は、ポートの型の定義に従います。

配列の先頭の次元はバッチ次元で、1回に運ぶ値の数を表します。テンプレートのClock(fsが600、pack_sizeが20)は、約33ミリ秒ごとに、20個の時刻を1つの配列にまとめて送ります。Synthesizerは、この20個のサンプルを、サンプルごとのPythonのループではなく、配列の演算で計算します。値を1つずつ送るより呼び出しの回数が減り、1サンプルあたりのオーバーヘッドが小さくなります。

ポートの型

ポートの型は、1つの値のデータ型と形状です。運ぶ配列には、その前にバッチ次元が付きます。

ポートの型1つの値運ぶ配列の形状
f3232ビットの浮動小数点数(バッチ,)
f32[3]長さ3のベクトル(バッチ, 3)
f32[?]長さが決まっていないベクトル(バッチ, N)
bool[6x8]6×8の真偽値の行列(バッチ, 6, 8)

データ型は、bool、i8からi64、u8からu64、f32、f64、c64、c128、strと、どの型でも受け取るanyです。

エッジでつなげるのは、型が合うポートどうしです。データ型は、同じ型か、精度を落とさずに変換できる型(f32からf64など)へつなげます。形状は、次元の数が同じで、各次元の長さが同じか、受け取る側が?のときに合います。入力ポートの型がanyなら、どの型も受け取ります。

エンジン、エディタ、アプリ

  • nonoha engine:ワークスペースの計算グラフを実行するサーバーです。GUIを持たず、計算を担います。REST APIとWebSocket APIを提供し、アプリの画面(/app)と、ビルドがあればエディタ(/editor)を配信します。
  • nonoha editor:ブラウザで動くエディタです。エンジンに接続し、計算グラフを図で編集しながら実行の様子を確認します。
  • アプリの画面:ワークスペースのapp/に置くHTMLとJavaScriptです。エンジンとはWebSocketでやり取りします(カスタムのWeb UI)。
  • nonoha embedded:フローを、アプリの中のPythonで実行する実行基盤です。iOSやAndroidのアプリに組み込み、アプリの画面はアプリ自身が持ちます。プラグインはアプリに同梱します。エンジンに固有のノードは使えません。

安全に使うために

  • エンジンのAPIには認証がありません。既定では自分のマシン(127.0.0.1)からの接続だけを受け付けますが、それだけで安全とは言えません。--hostでほかのネットワークに公開するときは、信頼できるネットワークの中だけで使います。
  • 計算グラフには、Pythonのコードを実行するノードを書けます。プラグインも、エンジンが読み込んで実行するPythonパッケージです。信頼できる作者の計算グラフとプラグインだけを読み込みます。

詳しくは、nonoha-engineのSECURITY.mdにあります。

次に読む