しくみ
nonohaの計算グラフの構成要素(ワークスペース、フロー、グラフ、ノード、ポート)と、その間を流れるデータを説明します。例には、はじめにで実行したテンプレートのワークスペースを使います。
ワークスペース
ワークスペースは、計算グラフ、プラグイン、アプリの画面をまとめた、1つのプロジェクトです。テンプレートのワークスペース(templates/default)の主な構成は、次のとおりです。
templates/default/
├── plugins/
│ ├── manifest.json 有効にするプラグインの一覧
│ └── user-nodes/ ノードをまとめたPythonパッケージ
└── flows/default.vnf/ フロー
├── flow.json 読み込むグラフの一覧
├── app/ アプリの画面(/appで配信)
└── graphs/app.vng/ グラフ
├── graph.json ノード、プロパティ、エッジ
└── editors/nonoha-editor/models/settings.json エディタ上の配置nonoha Hubで作成するワークスペースは、これに加えて、エンジン(nonoha-engine/)と、エンジンとプラグインのバージョンを宣言したpyproject.tomlを含みます。
フローとグラフ
フロー(.vnf)は、1つ以上の計算グラフ(.vng)の集まりです。flow.jsonにグラフの一覧を書き、エンジンはその順に読み込みます。テンプレートのフローには、appグラフが1つあります。
グラフは、GraphProxyノードを使って、同じフローのほかのグラフの出力を受け取れます。受け取る側のグラフは、一覧の後ろに置きます。
ノードとポート
ノードは処理の単位で、入力ポート、出力ポート、プロパティを持ちます。エッジは、あるノードの出力ポートを、別のノードの入力ポートにつなぎます。graph.jsonでは、ポートをノード名.ポート名で書きます(例:Synthesizer_1.waveform)。
.で始まる名前(.waveformなど)は、グラフ自身の入出力ポートです。アプリの画面やほかのグラフは、この入出力ポートを通して計算グラフとやり取りします。
プロパティはノードの設定で、エディタやAPIから変更できます。データ型を宣言したプロパティは、@で始まるプロパティポート(Clockの@fs、Synthesizerの@frequencyなど)にもなり、エッジで値を流し込めます。
ポート名には、.、-、$を使えません。区切り文字として使うためです。
流れるデータ
ポートを流れるのは、NumPy配列(np.ndarray)そのものです。独自の型で包んでいないので、SciPyなどのライブラリにそのまま渡せます。配列の形状とデータ型は、ポートの型の定義に従います。
配列の先頭の次元はバッチ次元で、1回に運ぶ値の数を表します。テンプレートのClock(fsが600、pack_sizeが20)は、約33ミリ秒ごとに、20個の時刻を1つの配列にまとめて送ります。Synthesizerは、この20個のサンプルを、サンプルごとのPythonのループではなく、配列の演算で計算します。値を1つずつ送るより呼び出しの回数が減り、1サンプルあたりのオーバーヘッドが小さくなります。
ポートの型
ポートの型は、1つの値のデータ型と形状です。運ぶ配列には、その前にバッチ次元が付きます。
| ポートの型 | 1つの値 | 運ぶ配列の形状 |
|---|---|---|
f32 | 32ビットの浮動小数点数 | (バッチ,) |
f32[3] | 長さ3のベクトル | (バッチ, 3) |
f32[?] | 長さが決まっていないベクトル | (バッチ, N) |
bool[6x8] | 6×8の真偽値の行列 | (バッチ, 6, 8) |
データ型は、bool、i8からi64、u8からu64、f32、f64、c64、c128、strと、どの型でも受け取るanyです。
エッジでつなげるのは、型が合うポートどうしです。データ型は、同じ型か、精度を落とさずに変換できる型(f32からf64など)へつなげます。形状は、次元の数が同じで、各次元の長さが同じか、受け取る側が?のときに合います。入力ポートの型がanyなら、どの型も受け取ります。
エンジン、エディタ、アプリ
- nonoha engine:ワークスペースの計算グラフを実行するサーバーです。GUIを持たず、計算を担います。REST APIとWebSocket APIを提供し、アプリの画面(
/app)と、ビルドがあればエディタ(/editor)を配信します。 - nonoha editor:ブラウザで動くエディタです。エンジンに接続し、計算グラフを図で編集しながら実行の様子を確認します。
- アプリの画面:ワークスペースの
app/に置くHTMLとJavaScriptです。エンジンとはWebSocketでやり取りします(カスタムのWeb UI)。 - nonoha embedded:フローを、アプリの中のPythonで実行する実行基盤です。iOSやAndroidのアプリに組み込み、アプリの画面はアプリ自身が持ちます。プラグインはアプリに同梱します。エンジンに固有のノードは使えません。
安全に使うために
- エンジンのAPIには認証がありません。既定では自分のマシン(
127.0.0.1)からの接続だけを受け付けますが、それだけで安全とは言えません。--hostでほかのネットワークに公開するときは、信頼できるネットワークの中だけで使います。 - 計算グラフには、Pythonのコードを実行するノードを書けます。プラグインも、エンジンが読み込んで実行するPythonパッケージです。信頼できる作者の計算グラフとプラグインだけを読み込みます。
詳しくは、nonoha-engineのSECURITY.mdにあります。