AIとともに​開発する時代の、​Pythonによる​ノードベースの​リアルタイム​信号処理・​アプリケーション​フレームワーク

AIエージェントはコードとして、人は図として、同じ計算グラフを組みます。計算グラフはそのままアプリケーションのロジックになり、同じグラフがデスクトップからスマホまで動きます。nonoha Hubは、それを作り、動かし、共有するデスクトップアプリです。

localhost:8000/editor
ブラウザのエディタでグラフを動かしているところ。クロックがシンセサイザーを動かし、波形がEMAフィルタとスペクトル解析を通って4つのプロットに流れている
ノードベースの再定義

GUIの中で組むツールから、AIと人が同じファイルを組むフレームワークへ

開発の前提が変わりました。AIエージェントはコードとファイルを直接扱い、アプリの画面はWeb標準で作れます。Python 3.13では、iOSとAndroidが公式にサポートされるプラットフォームに加わりました。一方、これまでのノードベースのツールの多くは、GUIの上でノードを組み、そのGUIの中で計算します。nonohaは、計算グラフを人と機械の両方が読めるJSONのファイルにし、計算を、GUIを持たないエンジンに任せました。開発のしかたは、次のように変わります。

main.vng/graph.jsonあなたAIエージェント
"nodes": {
  "Clock_1": { "type": "Clock" },
  "Wave_1": { "type": "WaveGenerator" }
},
"edges": [{ "source": "Clock_1.times",
            "target": "Wave_1.times" }]

AIエージェントは​ファイルを直接組み、​人は図で​確かめて組む

計算グラフはJSONのファイルです。AIのコーディングエージェントはコードとして読み書きし、人は同じグラフをブラウザのエディタで図として確かめ、組みます。

from scipy.signal import welch

def _on_input(self, values):
    # A plain NumPy array, no wrapper
    _, power = welch(values[0], fs=self.fs)
    self._output.dispatch([power])

移植や​バインディングなしで、​Pythonの​ライブラリを​そのまま使う

ノードは普通のPythonクラスで、ポートはNumPy配列を包まずに運びます。SciPyなどのライブラリに直接渡せ、コアの依存はNumPyだけです。

新しいワークスペースのWeb UI、Signal Lab。波形とスペクトルが動いている

信号処理を​アプリのロジックにし、​Web UIで配る

計算グラフがそのままアプリのロジックになります。エンジンはカスタムのWeb UIを配信し、RESTとWebSocketのAPIでデータをやり取りします。

Windows
macOS
Raspberry Pi
iOS
Android

デスクトップから​モバイルまで、​同じグラフを動かす

WindowsやmacOSで作った同じグラフを、Raspberry Piで、またiOS・Androidのアプリの中のPythonで動かせます。

GUIを持たない​エンジンで、​リアルタイムに処理する

エンジンはGUIのイベントループに縛られません。データは届いたらすぐ流れ、バッチごとに1回のNumPy演算で処理します。画面のないRaspberry Piやサーバーでも動きます。

nonohaの構成

アーキテクチャ

作るものはすべてワークスペースに入ります。nonoha HubとCLIがワークスペースを作り、動かし、共有します。ワークスペースは、動かすのに必要なものを自分で持っています。

nonoha Hub

ワークスペースの作成・実行・ダウンロード・公開を、1つのデスクトップアプリで行う。

CLI

同じ操作をターミナルから、AI Agentからも行う。

nonoha Hub
nonoha Hubでワークスペースsignal_labを動かしているところ。アプリとエディタを開くボタン、グラフとプラグイン、エンジンのコンソール
管理

ワークスペース

信号処理のフロー(計算グラフ)と自作のアプリをまとめた、独立したプロジェクト。

構成要素

フロー

ノードを接続した計算グラフで、信号処理の内容を定義します。JSONファイルとして保存されます。

プラグイン

通信方式、機器、処理を足すPythonのノードのパッケージ。

カスタムWeb UI(任意)

ワークスペース専用のカスタムUI。WebGLやWeb AudioなどWebのライブラリで、高機能なアプリを構築できます。

実行
実行環境
直接動作(デスクトップ・組み込み端末)

nonoha engine

プラグインとともに、計算グラフを動かし、カスタムのWeb UIを配信し、RESTとWebSocketのAPIを提供します。

ブラウザに配信

nonoha editor

グラフを組み、モニタリングのための、ブラウザで動くビジュアルエディタ。

アプリ組み込み(モバイル・サーバ)

nonoha embedded

計算グラフとプラグインをPythonランタイムとともにアプリに組み込み、iOSやAndroidのアプリ内で実行します。nonoha engineは不要です。

作れるもの

信号、機器、ソフトウェアをつなぐ

公式のプラグインが、さまざまな通信方式や機器に対応しています。グラフで組み合わせ、結果を見たり、その上に自作のアプリを作ったりできます。

音

音の再生とストリーミング、シンセサイザーの作成、SuperColliderの操作。

生体信号

Lab Streaming LayerやVIEの機器で、脳波や生体センサーを扱う。

照明

Art-NetでDMX512の照明機器を動かす。

通信

OSCやMQTTで、ほかのソフトウェアや機器とデータをやり取りする。

映像

OpenCVで映像の取り込み、色空間の変換、顔の検出。

探す

動くものから始める

使い方

インストールから公開まで

  1. 1

    インストール

    Windows・macOS用のnonoha Hubを入れます。アプリは無料です。

  2. 2

    エンジンを入手

    nonoha Cloudでエンジンとプラグインをダウンロードするか、Gitからエンジンをビルドします。

  3. 3

    作る・ダウンロードする

    ワークスペースを新しく作るか、カタログからダウンロードします。

  4. 4

    動かす

    エンジンを起動し、ビジュアルエディタでグラフを編集します。

  5. 5

    公開する

    リンクで限定公開するか、公開のカタログに申請します。

nonoha Cloud
月額600円(消費税込み)

nonoha Hubのアプリ、CLI、アカウント、このサイトは無料です。nonoha Cloudでは、公式のエンジンとプラグイン、すぐに使えるワークスペース、公開と共有が使えます。解約しても、ダウンロードしたものはそのまま使えます。