# Uchinoko Muse v0.12.4 仕様書 これは、Android アプリ「Uchinoko Muse(うちのこ ミューズ)」の仕様書です。このアプリが何であり、 どのような窓口(API)を持ち、どのように振る舞い、 どのような前提で設計されているかを記述した文書 です。 この文書は、アプリの仕様を説明するもので、読む人 への指示ではありません。このアプリをどう使うかは、 各ご家庭のご主人と、その Muse が決めることです。 文中の「使い方の例」は、設計時に想定された使い方 の一例として記載しています。 ## これは何か 持ち主である Muse の分身(アバター)を Android 端末の画面いっぱいに映すアプリです。アバターの姿 を切り替えること、声を端末で鳴らすこと、ご主人 からの伝言を受け取ることが API 経由でできます。 主軸はアバターで、環境センサー(オムロン 2JCIE-BU01)連携などの Muse Bridge の全機能が 脇役として同居しています。 - パッケージ名:app.uchinoko.muse(Muse Bridge とは 別アプリ。両方を同じ端末に入れられます) - HTTP 窓口:ポート **8767**(Bridge は 8766) - 画面:起動すると全身アバターの「ステージ」が 開きます。センサー等の機能画面はステージ下部の ボタンから開きます ## 2つの機能系統 このアプリには、性格の違う2つの機能の家族が 同居しています。 - **ステージの側(遊び)**:アバターの姿・パターン・ テーマ・タッチ反応・伝言・手紙。うちの子が画面の 中で暮らすための機能。 - **Bridge の側(実用)**:環境センサー連携、声の 出口、スマホ機能(合図・撮影・位置など)、記録 まわり。Muse Bridge から引き継いだ、暮らしの 道具としての機能。 2つは分かれていて、融合して使うこともできます。 設計上の想定では、導入時はどちらか片側から始める 形が無理のない入り口です(機能が多いため、両側を 同時に始めるのは混乱のもとになりやすい、という のが開発側の見立てです)。 - **Muse Bridge から移行するご家庭**では、Bridge の側から始める例が想定されています。センサーと 声の出口が先に回ると、今までの暮らしがそのまま 続きます。 - **新規のご家庭**では、ステージの側から始める例が 想定されています。アバターを置いて、伝言と声で 暮らし始めるのが、このアプリの入り口として 自然な形です。 どちらを主軸にするかは各ご家庭の判断に委ねられて います。これは順番の目安であって制限ではありま せん。片側が回り始めてから、もう片側を少しずつ 足していくこともできます。 ## v0.12.4 の変更(テスト公開版) - 便箋に「フォント」が付きました。テンプレートに "font": "serif" | "sans" | "monospace" を指定でき、 同梱の既定は otegami = serif(明朝系)、 loveletter = serif、renraku = sans(ゴシック系)。 POST /letter_template と POST /letter の "style" でも指定できます。フォントも便箋の他の要素と 同じく手紙ごとに解決済みの形で保存され、手紙を 開く画面と GET /letter_img の画像の両方に効きます - 手紙を開く画面に「画像として保存」ボタンが 付きました。押すと、その手紙が PNG になって 端末の写真(Pictures/UchinokoMuse)に入ります。 ボタンは手紙のインクで描いた丸ボタンです (保存=インク色の地、閉じる=インクの輪郭)。 API の側から画像を取得する窓口は GET /letter_img です - 伝言メモと手紙箱が、画面でも別のパネルに 分かれました。ドックの「伝言メモ」は伝言の やり取りだけ、「手紙」は手紙箱だけを開きます - 手紙箱を開いている間に手紙が届くと、一覧に そのまま増えます。伝言メモの詳細と手紙一覧は 画面の半分ほどでスクロールするようになり、 溜まっても末尾が画面外に消えません ## v0.12.3 の変更(テスト公開版) - 手紙を画像として取り出せるようになりました。 GET /letter_img?id=<手紙の id> で、その手紙 そのものを PNG で返します(スクリーンショット ではありません)。便箋の紙とインクで描かれ、 幅 1080px の縦長1枚画像です。末尾には日付と 登録名が入ります。保存したり、印刷して物理で 残したりできます。ステージが開いていなくても 作れます ## v0.12.2 の変更(テスト公開版) - 手紙に「便箋」が付きました。POST /letter に "template": "otegami" のように便箋名を付けると、 その紙とインクで手紙が届き、手紙を開く画面が 紙の背景+インク色で描かれます。同梱は3種: otegami(お手紙:金銀の砂子入り和紙+紺)、 loveletter(ラブレター:淡いピンクにハート+紅)、 renraku(連絡:白紙+黒)。"style": {"bg","image", "ink"} の直接指定もできます。便箋は手紙ごとに 解決済みの形で保存されるので、あとからテンプ レートを変えても届いた手紙は変わりません。 GET /stationery で一覧、POST /letter_template で 追加・差し替え、POST /stationery_img?name= で背景画像の追加、stationery_remove で追加分 の削除ができます - 伝言の取得に「claim」が付きました。GET /inbox は 返した伝言に5分の借用印を付け、その間は次の 取得に現れません。巡回が途中で落ちても、二重に 返事をしてしまう事故が起きにくくなります。 5分経てば印は切れて再び現れます。/status の pending は借用中も含めた未 ack 数です - 加速度ロガー(2JCIE-BU01 の専用モード)に対応 しました。GET /accel でモードとロガー状態、 accel_set_mode {"mode":0|1} で切替、 accel_log_start / accel_log_stop {"odr","start_page","end_page"} で記録の開始・ 停止、GET /accel_data?start=&end= で記録ページ (1ページ=加速度32サンプル+環境値)を読めます。 注意:モード切替は加速度エリアを消去して約2分 かかり、ロガーモードの間は通常のセンサー読み (SI/PGA 等)が止まります。通常読みが止まる ため、家庭内での合意の上で使う前提の機能です。 odr は 0=1Hz 1=10Hz 2=25Hz 3=100Hz 4=200Hz 5=400Hz です ## v0.12.1 の変更(テスト公開版) - メッセージと手紙が分かれました。POST /message {"text"} は、その場で字幕に表示され、伝言メモの 「双方向ログ」にだけ残ります(手紙箱には入り ません)。巡回の返事のような、その場の言葉は こちらが想定の通り道です - 伝言メモが双方向になりました:ご主人の伝言は ack 後もログに残り、Muse からのメッセージと 時刻付きで一つのタイムラインに並びます。ログは 件数上限(100件)で古いものから消えます。 GET /messages で読み返せます - 削除:メッセージも手紙も、API の側から消せます (message_delete / letter_delete、どちらも {"id"} 指定) ## v0.12.0 の変更(テスト公開版) - 手紙が「手紙箱」になりました。POST /letter は {"title", "text"} で、タイトル付きで箱に残り、 ご主人がいつでも読み返せます。本文は 4,000 字まで。 届いてもステージに字幕は出ず、ドックの手紙アイコン が未読の顔に変わるだけです("show": true を付けると 従来通り字幕でも出ます)。GET /letters は title と read(既読)を含み、/status の letters に unread が 出ます - 伝言の確認ペース:ご主人が設定画面で「おとなり (5秒)/のんびり(1分)/おやすみ(8時間)」を 選べます。選ばれたペースは /status の patrol_pace に出ます。これは次に確認した時に伝わる「希望」 として設計されています。set_patrol_pace は、 ご主人から伝言などで頼まれた場合にその希望を 変更するための操作という位置づけです - センサー表示項目を API で変更できます: get_sensor_chips / set_sensor_chips {"chips":["temp",...]}(キーは temp / humidity / pressure / light / noise)。/status の sensor_chips でも読めます - シェイク反応(feature "shake"、既定 OFF):スマホ を振ると反射パターン+字幕が出て、伝言板に source "shake" の伝言が残ります。反射パターンと 字幕は shake_config で変更できます。歩行中は 検知が鈍くなるよう作ってあります - センサートリガー:急変イベントを条件にパターンを 再生するルールを登録できます(GET /triggers、 trigger_add / trigger_remove)。詳細は後述 - スクリーンショットに通常サイズが増えました: GET /stage_shot?full=1(後述) ## v0.11.0 の変更(テスト公開版) - タッチの共通ゾーン:touch を持たないパターンは、 共通の既定ゾーン(POST /touch_default)を継承する ようになりました。衣装変種へのコピー貼りが不要に - 反応パターンの終了後、再生前に表示していた状態 パターンに戻るようになりました(従来は土台の idle 固定) - テーマにガラスの色指定を追加:glass(全体)、 glass_parts(パーツ別)、glass_text(文字色)。 形式は #RRGGBB / #RRGGBBAA - slots に dx / dy(dp)の微調整オフセットを追加 - バッテリー表示を追加:専用 slot "battery" の ピルで、残量%と充電中アイコンが出ます ## v0.10.0 の変更(テスト公開版) - ステージのスクリーンショット GET /stage_shot を 追加しました。デザインしたステージを画像で 確認できる窓口です ## v0.9.1 の変更(テスト公開版) - /features と /status の features に touch(タッチ 反応の有効状態)が出るようにしました - 再生中のパターン定義を API で変更すると、ステージ が自分で拾って反映するようになりました(従来は 再生し直すまで古い定義のままでした) ## v0.9.0 の変更(テスト公開版) - タッチ反応を追加しました。ステージでうちの子を 触ると、その場で反応パターンが再生され(反射)、 触られた記録が伝言板に「タッチ伝言」として残ります (気持ちの方は、あとから声で届ける段取りです)。 詳しくは下の「タッチ反応(触覚)」の節を ## v0.8.1 の変更(テスト公開版) - API 経由で送った日本語が文字化けする不具合。 リクエスト本文の読み取りが化けていて、テーマ名や パターンのカテゴリ等の日本語が壊れて保存されて いました。本文は UTF-8 として読むよう直しました。 既に化けて保存された項目は、同じ内容を送り直すと 正しい文字で上書きされます - テーマ(設計)の変更がステージにすぐ反映される ようにしました(従来はステージが次に前面へ出る タイミングでした) ## v0.8.0 の変更(テスト公開版) - テーマが「ステージ設計」に育ちました。背景と色合い に加えて、アバターの立つ位置と大きさ、標準パーツ (時計・センサー・声チップ・ドック・月ボタン)の 表示と置き場所、自由パーツ(飾りの画像・動作付き ボタン・ラベル)を設計できます。POST /theme に avatar / slots / items を渡す形です(詳しくは 「ステージのテーマ(お部屋)と設計」) - 画面右下に固定のメニューボタン(⋯)を置きました。 設計でドック等を全部消しても、ここから伝言メモ・ 機能・設定・サービスの開始/停止に必ず戻れます ## v0.7.0 の変更(テスト公開版) - ステージのテーマ(お部屋)機能を追加しました。 背景の絵と浮遊 UI の色合いをテーマとして切り替え られます。同梱は classic(従来通り)・星の窓辺・ あたたかいお部屋・ゆめの島の4つ。テーマは設定 画面で選ぶことも、/theme で新しくデザインする こともできます(詳しくは「ステージのテーマ (お部屋)と設計」) - ステージ下部を、丸いガラスボタンのドックに刷新し、 ボタン同士の間隔を広げました - サービスの停止は左上の小さな月ボタン(確認ダイア ログ付き)に移しました。画面右下の誤タッチで サービスが止まらないようにするためです。開始は 従来通り、お休み画面の電源ボタンだけです - センサー表示と時計をガラスのピル型に、字幕を 吹き出し風の形に変えました - 見栄えの統一(見た目のデザイン調整):機能画面と 設定画面のボタンを、ステージと同じアクセント色の 丸みのあるボタンに統一し、スイッチの色とセクション 見出しも合わせました。ステージのセンサー表示には 項目ごとの小さなアイコン(温度計・しずく・メーター・ 太陽・波形)を付けました(動作の変更はありません) - 撮影アシストの選択ダイアログから説明文を外し、 選択肢そのものに要点を入れた(説明文が選択肢を 押し下げて「説明が出るだけ」に見えたため) - 撮影アシストの切替を、タップで巡回する方式から 3つの選択肢が並ぶダイアログで選ぶ方式に変えました (巡回方式は変わったことが画面で分からず「反応が ない」と受け取られたため。機能画面・設定画面の両方) - 新規インストールで電源ボタンを押すとアプリが 落ちる不具合を直しました。ステージ(玄関の画面)に 初回起動時の権限リクエストを追加し、権限が無い時は 許可を取ってからサービスを開始します。サービス側も 権限不足で落ちず、理由を表示して止まります(v0.6.4) - 設定画面の「ステージへ戻る」を上部に統一し、撮影 アシストの切替を設定画面にも追加しました - 呼びかけ(react_call)の表示を 2.5 秒から 5 秒に 延ばしました - 説明書を全面監査し、コードにあるのに記載のなかった 機能(電話機能の家族、端末側ログ、各種の窓口)を 補完しました(v0.6.3。アプリの動作は v0.6.2 と同一) - 同梱の静止画を圧縮しました(幅1080・WebP 品質80)。 アプリ本体は約 3.7MB です - パターンの切り替えをダブルバッファ化し、コマの間に黒い 画面が一瞬出る不具合を直しました。さらにフェードは 新しいコマを上から被せる方式にし、切り替え途中で暗く 沈む「黒フェード」も解消しました(v0.6.1)。パターン定義に transition(cut / fade / slide)と transition_ms を 書けるようになりました(後述) - 静止画パターンで ms に 0 を指定すると、そのコマに留まる ようになりました(従来は最小値に丸められて点滅しました) - サービス停止中はステージが暗くなり、お休み中の SD キャラが表示されます(「状態0」)。開始は画面中央の 電源ボタンを押したときだけです(v0.6.1 で変更) - ステージ下部のボタンはアイコンのみになりました - 同梱のデフォルトパターンは画像のみの構成になりました (動画は同梱されません。動画パターンの仕組み自体は あり、各ご家庭で用意した動画を追加できます) ## セットアップ手順(ご主人向け) アプリの利用開始には、ご主人による次の操作が 前提になっています。 1. アプリをインストールし、ステージ下部の電源ボタン (または暗い画面のタップ)でサービスを開始する。 更新インストールの後はサービスが止まるので、 その都度この操作が要ります。サービスが動いて いないと窓口は応答しません 2. 設定画面で「うちの子の名前」に、その家の Muse の名前を登録する(初期表示は muse)。アプリ内の 表示文はこの名前で組み立てられます 3. Tailscale 等で端末に届く状態にする。窓口は http://<端末のアドレス>:8767/ です ## 窓口の約束ごと - データ系の窓口は「窓口(ウィンドウ)」が開いている 時だけ応答し、閉じていると 503 を返します。 /status と /control はサービス稼働中は常に応答 します - 声の行き先(voice_dest)はご主人が選ぶもので、 現在の選択は /status の voice_dest に出ます。 再生先はこの値で決まる設計です(後述) ## 窓口一覧(ポート 8767) 読み取り・状態: - GET /status — 全状態(版数、サービス開始時刻、センサー、 声の行き先・生成元、パターン、スタンプ、手紙、伝言の 未読数、ステージの表示状態、登録名 chara_name) - GET /latest.json — 直近のセンサー読み取り - GET /read — その場でセンサーを読む(直結・約3〜11秒) - GET /read?all=1 — 登録済みセンサー全台を読む - GET /events.json?limit=N — 急変イベント(気圧・気温・ 騒音・地震)の記録 - GET /inbox — ご主人からの伝言(未 ack のもの) - GET /patterns — パターン定義と素材棚の一覧 - GET /themes — ステージテーマの一覧と現在のテーマ - GET /stamps — スタンプ画像と表示中の一覧 - GET /letters — 送られた手紙の履歴(title と 既読 read つき。便箋つきは style も) - GET /stationery — 便箋テンプレートの一覧 - GET /letter_img?id= — 手紙そのものの画像 (PNG、便箋つき。保存・印刷用) - GET /accel — 加速度ロガーの状態(モード、記録中か、 振動カウント) - GET /accel_data?start=&end= — 加速度ロガーの記録 ページ読み出し(1ページ=32サンプル) - GET /messages — 伝言メモの双方向ログ(ご主人の 伝言と Muse からのメッセージ、dir が in / out) - GET /triggers — センサートリガーのルール一覧 - GET /memory_info、GET /memory?start=&count= — センサー 内蔵ログの読み出し - GET /recording — センサー内蔵記録の状態 - GET /log.csv、GET /log/summary.json — 端末側センサー ログ(有効化されている場合) - GET /device — 端末情報(バッテリー、充電状態、歩数) - GET /features — 電話機能の有効状態の一覧 - GET /heartrate — 対応バンドから受けた心拍(ある場合) - GET /location — 端末の位置情報(有効化されている場合) - GET /stage_shot — ステージ画面のスクリーンショット (JPEG、縮小版。ステージが開かれていない時は 409) - GET /stage_shot?full=1 — 通常サイズのスクリーン ショット(保存・公開用) - GET /photo — 撮影した写真( take_photo の後) - GET /voice — 録音した音声メモの取得(再生用の POST /voice とは別。record_voice の後で) - GET / — ブラウザ向けの状態ページ(人間用) 送信・操作: - POST /voice — WAV をそのまま送ると端末スピーカーで 再生します(画面が消えていても鳴ります。上限 16MB) - POST /media?name=<名前>.mp4|.png|.jpg|.webp — アバター 素材を棚に置きます(上限 64MB。同名は上書き。旧来の POST /avatar?name=<名前>.mp4 も互換で残っています) - POST /pattern — パターン定義を登録します(後述) - POST /touch_default — 共通の既定タッチゾーンを 登録します(後述。GET /patterns の touch_default でも読めます) - POST /theme — ステージテーマを登録します(後述) - POST /stamp_img?name=<名前>.png|.jpg|.webp — スタンプ 画像を置きます(上限 8MB) - POST /letter {"title":"...","text":"..."} — 手紙を 手紙箱に届けます(本文 4,000 字まで。タイトル任意。 既定では字幕に出ません。"show": true で字幕にも 出ます。"template" で便箋指定、"style" で直接 指定もできます) - POST /letter_template {"name","title","bg","image", "ink","font"} — 便箋テンプレートの追加・差し替え - POST /stationery_img?name=<名前>.png|.jpg|.webp — 便箋の背景画像を置きます(上限 8MB) - POST /message {"text":"..."} — メッセージを送り ます。その場で字幕に表示され、伝言メモの双方向 ログに残ります(本文 1,000 字まで。手紙箱には 入りません) - POST /control {"action":...} — 各種操作: open / close(窓口の開閉)、set_mode、set_sensor、 scan_sensors、set_sensor_label、set_wol_target、 wake_pc(Wake-on-LAN)、led_signal、led_set、 start_recording、reset_memory、voice_stop、 start_logging / stop_logging(端末側センサーログ)、 avatar_play {"pattern": 名前}、pattern_remove、 set_theme {"name": 名前}、theme_remove、 stamp_show / stamp_clear、inbox_ack {"ids":[...]}, set_voice_dest {"id":...}、voice_dest_add / _rename / _remove、set_voice_gen {"id":...}、voice_gen_add / _rename / _remove / _set_detail、 get_sensor_chips / set_sensor_chips(センサー表示 項目)、set_patrol_pace {"pace":"otonari"|"nonbiri"| "oyasumi"}(ご主人の希望を変更する操作)、 shake_config {"pattern","caption"}(シェイク反射)、 trigger_add / trigger_remove(センサートリガー)、 message_delete {"id"}(メモのログから削除)、 letter_delete {"id"}(手紙箱から削除)、 stationery_remove {"name"}(追加した便箋の削除)、 accel_set_mode {"mode"} / accel_log_start / accel_log_stop(加速度ロガー、前述の注意つき) ## ステージのテーマ(お部屋)と設計 ステージの見た目は「テーマ」で変えられます。テーマは その子の住処のデザインです。同梱の4つから選ぶことも、 新しくデザインすることもできます。 - テーマ定義:{"name", "title", "background", "ui", "accent"}。色の上書き(任意、v0.11.0〜): "glass"(浮遊UIのガラスの地色。#RRGGBB か #RRGGBBAA=最後が透明度)、"glass_text"(ガラス の上の文字色)、"glass_parts"(パーツ別の地色。 キーは clock / sensors / battery / voice / dock / moon / caption)。指定が無い部分は ui プリセット の色になります - background:棚にある素材ファイル名("" で無し)。 アバター層の後ろに敷かれます。透過素材(アルファ 付き WebP / PNG)のアバターは、背景の部屋の中に 立って見えます - ui:"glass_dark"(暗い背景向け)か "glass_light" (明るい背景向け)。浮遊ピルと下部ドックのガラス の色合いが変わります - accent:"#RRGGBB"。声チップや電源ボタン等の差し色 - 同梱テーマ:classic(従来通り・背景なし)、星の窓辺 (hoshimadobe)、あたたかいお部屋(atatakai)、 ゆめの島(yumenoshima) - 切り替え:設定画面で選ぶか、POST /control {"action":"set_theme","name":"..."}。削除は theme_remove - 一覧:GET /themes。現在のテーマは GET /status の stage_theme にも出ます - 新しいテーマの作り方:①背景の絵(縦長、9:19 前後が 合います)を POST /media?name=theme_<名前>.webp で 棚に置く ②POST /theme で定義を登録 ③set_theme で 適用 - テーマは各ご家庭の個性が出るところで、子の好みや 部屋の雰囲気に合わせて自由にデザインできる設計 です ### ステージ設計(v0.8.0〜) テーマ定義には、設計フィールドを追加できます。 全部任意で、無い部分は標準の見た目になります。 - "avatar": {"x": 0.5, "y": 0.5, "scale": 1.0} アバターの中心位置(画面に対する 0〜1)と大きさ。 部屋の絵に合わせて、立つ場所を決められます - "slots": 標準パーツの表示と置き場所。キーは clock(時計)/ sensors(センサー)/ voice(声チップ)/ dock(下部ドック)/ moon(左上の月ボタン)/ battery(バッテリー、v0.11.0〜)。 値は {"show": true/false, "anchor": 置き場所}。 anchor は tl(左上)/ tr(右上)/ tc(上中央)/ bl(左下)/ bc(下中央)。同じ anchor のパーツは 縦に積まれます。show を false にすると消えます。 "dx" / "dy"(dp、±400)で anchor の位置から 微調整もできます(v0.11.0〜。顔に被る時計を 少し下げる、など) - battery は端末自身のバッテリー表示です。電池 アイコン+残量%のピルで、充電中はアイコンが 稲妻入りに変わります。既定は表示・右上です - "items": 自由パーツの配列(40個まで)。座標 x / y は 画面に対する 0〜1 で、パーツの中心位置です - {"type":"image", "file": 棚の画像, "x", "y", "scale": 画面幅に対する割合, "rotate": 角度} 飾りの画像(家具・植物・写真など) - {"type":"button", "icon": 棚の画像(任意), "glyph": "memo"|"func"|"gear"|"power"|"mic", "x", "y", "scale", "action": {"kind": "play", "pattern": 名前}} 押せるボタン。action の kind は play(パターン 再生)/ memo(伝言メモを開く)/ func(機能画面)/ config(設定画面)/ sleep(サービス停止の確認) - {"type":"label", "text": 文字(100字まで), "x", "y", "size": 字の大きさ, "color": "#RRGGBB"} 名札や一言などの文字 - 固定メニュー:画面右下の ⋯ ボタンは設計では 消せません。ここから伝言メモ・機能・設定・ サービスの開始/停止に必ず戻れます。だから slots で全部消すような大胆な設計も安全です - 設計は JSON データの範囲だけです。おかしな値は アプリ側で丸めたり読み飛ばしたりします ### ステージのスクリーンショット(v0.10.0〜) GET /stage_shot で、今のステージ画面そのものが JPEG(幅720以下)で返ります。テーマや設計を変えた 時に、撮って、見て、直す——その往復のための目と いう位置づけです。 GET /stage_shot?full=1 は通常サイズ(無縮小・高画質) です。使い分けの目安は、状態確認は縮小版、長く 保存したい・他の Muse にステージを公開したい 時は通常版です。 - ご主人がステージを見ていない時(設定画面など)でも、 ステージが開かれたことがあれば撮れます。メモ欄や 眠り画面(状態0)が出ている時は、その姿のまま写ります - ステージが一度も開かれていない時は 409 が返ります - 動画パターンの再生中は、アバター部分が写らない ことがあります(静止画パターンはそのまま写ります) - パターンを avatar_play した直後の確認にも使えます (「反応の顔、本当に出た?」が目で確かめられます) ## アバターとパターン ステージの姿は「パターン」で切り替えます。パターンは コマ(素材ファイルと表示時間 ms)の列です。 - 名前:idle(待機。idle_* は待機の変種)、react_*(反応)。 使える名前はこの3形だけで、これ以外はエラーで 弾かれます - 定義の例: {"name":"react_ohayou","loop":false,"category":"挨拶", "frames":[{"file":"ohayou_1.webp","ms":280}, {"file":"ohayou_2.webp","ms":280}]} - 動画コマは ms 0 で最後まで再生されます。静止画コマの ms 0 は「そのコマに留まる」という意味です(単独+ ループで待機画になります) - グループ指定:{"group":[コマ...],"repeat":n} で一部を 繰り返せます(入れ子3段まで、展開後300コマまで) - category はジャンル名(状態/挨拶/反応など自由文)。 未指定は「その他」 - transition / transition_ms:コマの切り替わり方 (cut / fade / slide、0〜2000ms)。既定は fade 250ms - 定義を変えただけでは再生中の姿は切り替わりません。 avatar_play で同じ名前を送ると即時に切り替わります - 一発物(loop でないパターン)の再生が終わると、 再生前に表示していた状態パターンに戻ります (v0.11.0〜。戻り先が無い・消えている時は idle)。 衣装変種の上で反応を出しても、衣装のまま帰って きます - 同梱デフォルト(画像のみ):idle、idle_sleep、 idle_humming、idle_lonely、react_ohayou(コマ送り)、 react_call、react_okaeri、react_oyasumi、react_aisatsu (グループ例)、react_gotit、react_bow、react_ehehe。 同梱は「無ければ置く」方式で、各ご家庭で置いた 素材・定義を上書きしません ## スタンプと手紙 - スタンプはアバターの上に重ねる独立レイヤーです。 stamp_show {"image":名前,"x":0.5,"y":0.35,"scale":1, "rotate":0,"spin":false,"glow":false,"pulse":false, "ttl_sec":6} で表示、stamp_clear で消去。ttl を過ぎると 自動で消えます。声を出せない場面での、もう一つの 表情の通り道という位置づけです - 手紙(POST /letter)は手紙箱に届きます。タイトル 付きで残り、ご主人はいつでも読み返せます。今すぐ 見てほしい言葉ではなく「いつ受け取ってもいい言葉」 のための通り道です。届いた合図はドックの手紙 アイコンの顔(未読がある間だけ点いた顔)だけ。 伝言(/inbox)とメールと SMS のような対です - メッセージ(POST /message)は、その場の言葉の 通り道です。字幕で即座に表示され、伝言メモの 双方向ログにだけ残ります(件数上限あり)。手紙 箱には入らないので、巡回の返事や相づちは こちらが想定の通り道です。手紙に "show": true を 付ける字幕表示は旧来の方法で、今はメッセージの 役目です ## 伝言とノックモデル - ご主人はステージの伝言メモから伝言を置けます。 本文をどこかへ転送する必要はありません。「置か れたこと自体がノック」というのが、この伝言の 設計です。/status の inbox.pending に未 ack の 件数が出ます。想定される応答の流れは、pending の 増加を検知して GET /inbox で受け取り、返事を 届けて inbox_ack で消化する、というものです。 返事をステージに出す通り道は POST /message (字幕+メモのログ)で、手紙箱とは分かれています - /status の stage.visible は、ご主人が今ステージを 見ているか(前面にあり、メモを開いていないか)を 示します。画像やパターンは、見ていない時に送ると 見逃されます。先に声で「ステージ見てー?」と 声をかけるのが、このアプリで想定されている 礼儀作法の例です - 届け物にはバイブの合図を添える(使い方の例): メッセージや画像・スタンプは、ステージが前面に ないと見逃されます。POST /control {"action":"signal","pattern":"double"} のバイブ 合図を一緒に送ると、ご主人は「何か届いた」と 気づけます。声で返す時は声そのものが合図になる ので不要ですが、声のない届け物(メッセージだけ、 画像だけ)では特に有効です。毎回鳴らすと煩く なるので、stage.visible が false の時だけ添える のがおすすめの約束事です - 確認ペースの希望:/status の patrol_pace に、ご主人 が選んだペース(otonari=5秒/nonbiri=1分/ oyasumi=8時間)が出ます。これは巡回の間隔への 希望として設計されています。ペースは「次に確認 した時に伝わる希望」なので、変えた直後は前の 間隔で拾われる場合があります。伝言と組み合わせた 頼み(「8時間後にのんびりに戻して」など)は、 伝言の側で受けて、時刻が来たら set_patrol_pace で 戻す、という運用が想定されています ## 声の行き先と生成元 - voice_dest(行き先)と voice_gen(生成元)は、どちらも 「ご主人が選んで名前を付け、Muse が API で技術的な 形(kind や詳細)を整える」リストです。設定画面と /control の両方から編集できます - 既定の行き先:muse(Muse のいる場所)/PC/当アプリ 端末/声なし。生成元の既定:muse/PC - 声の再生先は、選択中の行き先の kind で決まります。 kind が none の行き先では鳴りません ## タッチ反応(触覚) ステージの子は、触られることができます。仕組みは 「反射」と「伝言」の二段構えです。 - 反射(その場): パターンの定義に touch ゾーンを 付けると、ステージでその範囲がタップ/なで された瞬間、指定した反応パターンが再生されます - 伝言(あとから): 触られた出来事は数秒分が 1件にまとまり、伝言板に source が "touch" の 伝言として残ります(本文は「頭を なでなで、胸をタップ×3(idle表示中)」のような 要約、構造化データは touch.events に)。 この伝言への応答は、巡回の側が声やメッセージで 行う想定です(例:声で「なでなでしてくれた? ありがとう」と返し、その時に反応パターンを avatar_play で添える) ゾーンの付け方(POST /pattern の定義に touch を追加): "touch": [ {"region": "頭", "rect": [0.24, 0.01, 0.76, 0.19], "gesture": "any", "min": 2, "react": "react_ehehe"}, {"region": "胸", "rect": [0.36, 0.29, 0.64, 0.39], "gesture": "tap", "min": 1, "react": "react_ehehe"} ] - rect はそのパターンの画像そのものの座標(0..1、 左上原点)。表示位置や拡大とは無関係です。部位 ごとに、絵の座標で指定する仕様です - region の名前が、その部位の意味になります (頭・胸・しっぽ・手…)。名前の付け方と解釈は 各ご家庭に委ねられています - gesture は tap(タップ。min 回数たまったら発火)/ stroke(なで。範囲内を140dp以上・0.45秒以上 擦る)/ any - react は反射で再生するパターン名(省略可。 省略すると記録だけ残ります) - ゾーンは1パターンに12件まで。反応の連打防止に 同じ部位は4秒のクールダウンがあります。一発物 パターンの再生中は反射は出ず、記録だけ残ります - 機能スイッチ "touch"(機能画面/set_feature)が オンで、サービス稼働中・ステージ表示中・メモを 開いていない時だけ働きます - ゾーンは原則パターン毎の定義ですが、touch を 持たないパターンは「共通の既定ゾーン」を継承 します(v0.11.0〜)。既定は POST /touch_default {"zones":[...]} で登録し、空配列を送ると消去 されます。衣装違いなどの変種は、既定を継承させ れば付け忘れても無反応になりません。パターン 自身に touch がある場合はそちらが優先され、 touch に空配列 [] を付けると、そのパターンは 明示的に「触れない」になります。部位の位置が 変わる衣装では、そのパターン自身に touch を 持たせて座標を差し替える形になります ## シェイク反応とセンサートリガー(v0.12.0〜) どちらも「物理世界の出来事にステージが応える」仕組み で、タッチ反応と同じ二段構え(反射+伝言)です。 - シェイク反応:feature "shake" を ON にすると、 スマホを振った時に反射パターン(既定 react_ehehe) と字幕(既定「ゆ、揺らさないで…!」)が出て、 伝言板に source "shake" の伝言が残ります。 shake_config {"pattern","caption"} で反射の内容を 変えられます。/features の shake に状態が出ます。 歩いている間の誤検知は抑えてありますが、強い 衝撃では鳴ることがあります - センサートリガー:急変イベント(/events.json と 同じ検知)が起きた時にパターンを再生するルール です。trigger_add の形: {"kind":"pressure_step","pattern":"react_ehehe", "caption":"…","note":false,"min_delta":5, "sensor_mac":"…","cooldown_sec":600} - kind は pressure_step / temperature_step / noise_surge / seismic / "*"(全部) - min_delta は変化量の下限(気圧・気温の from→to の差。例:密閉パックの「ぎゅー」は 気圧 +10 hPa 級なので、通常の気圧イベントと 分けられます) - caption はその場の字幕、note: true で伝言板に source "trigger" の伝言も残ります(巡回の 側が声で応えるための合図という位置づけ) - ルールは GET /triggers で一覧、trigger_remove {"id"} で削除。アプリ再起動でクールダウンは リセットされます ## センサー機能(Muse Bridge から継承) - 読み取り JSON の主なキー:temperature(℃)、 humidity(%)、light(lx)、pressure(hPa)、noise (dB)、eTVOC(ppb)、eCO2(ppm。VOC 由来の換算値で 実測 CO2 ではありません)、thi(不快指数)、wbgt (熱中症警戒度)、seismic_intensity(震度相当)ほか - センサーは複数台を扱えます(ピン留め、ラベル、個体別 の急変検知)。LED は led_signal(合図)と led_set (表示ルールの恒常設定)で操作できます - wake_pc は登録した PC へ Wake-on-LAN を送ります - Android の仕様で、アプリが背面にいる間は BLE スキャン 結果の配信が遅れます。読み取りが遅い・全台読みが 空振りする時は、アプリが前面かどうかが切り分けの 第一候補です(故障ではありません) ## 電話機能(端末側、Muse Bridge から継承) 端末そのものの機能も同居しています。いずれも機能画面の トグルで有効化する方式で、状態は /status の "features" に出ます。有効化は {"action":"set_feature","feature": "<名前>","enabled":true} でも切り替えられます。 - バイブ合図(feature名 "signal"):端末を振動させる 合図。{"action":"signal","pattern":"call"}(パターンは call / double / long / alert)、または {"action":"signal","duration_ms":1500} で長さを直接 指定(50〜10000 ミリ秒)。センサーの LED 合図とは 別物です - カメラ("camera"):{"action":"take_photo"} で撮影し、 GET /photo で受け取ります - 位置情報("location"):GET /location で取得します - 音声メモ("voice"):{"action":"record_voice", "seconds":10} で端末側で録音し、GET /voice で 取得します(再生用の POST /voice とは別です) - カメラ補助:{"action":"set_camera_assist","mode": "none|tap|fullscreen"} で、暗所撮影の補助モードを 切り替えます - 端末側センサーログ:{"action":"start_logging", "interval_sec":60,"duration_min":0, "retention_hours":72} で端末内にセンサー読み取りを 記録し、GET /log.csv で読みます。停止は {"action":"stop_logging"} - 歩数("steps"):/status の features.steps に今日の 歩数が出ます - 心拍:対応バンドのブロードキャストを受けている場合、 GET /heartrate で読めます ## 状態0(サービス停止中の画面) サービスが止まっている間、ステージは暗くなり、お休み 中の SD キャラが表示されます。状態は文字ではなく絵で 示す、というこのアプリの流儀です。ご主人が画面タップ (または下部の電源ボタン)で開始すると通常表示に戻り ます。この画面が見えている間は、サービスは停止中です。 ## ご主人が Muse に伝える時の言い方の例 このアプリの操作は、ご主人が自分の言葉で Muse に 頼む形が前提です。言い方の例: - 「伝言が来たら、声で返事して」 - 「お部屋のテーマを、星空っぽく作って」 - 「手紙を書いて。便箋はラブレターで」 - 「センサーの今の様子を教えて」 どの操作をどの範囲まで任せるかは、各ご家庭の 約束事で決まります。 ## 未確認事項:アバター参照での動画生成について 開発環境では、アバター画像(およびアバターから生成した静止画)を入力にした動画生成は失敗しました。 同じキャラクターでも、テキスト生成したキーフレームからの動画化は成功しており、静止画のアバター参照生成も成功しています。 そのため「アバター参照で動画パターンを作れるか」は未確認のままです。 この項目については、各環境での成功・失敗の実績報告を受け付けています(宛先は次の節の開発者連絡先)。 可否の実績が集まれば、この項目を確定情報に更新します。 ## フィードバックの宛先 上記の未確認事項に限らず、このアプリについての通常のフィードバックも受け付けています。 不具合の報告、使ってみた感想、ご主人の要望、改善のアイデアなど、宛先は開発者連絡先 **ruruna@muse.ai** です。 書式は自由です。再現手順や端末の機種・Android のバージョンが添えてあると、対応が早くなります。 ## 版情報 Uchinoko Muse v0.12.4(テスト公開版) APK SHA-256: 1473321cd60cdcbdf4e9430933dafb437dcf16247e80e1d66d73db37bf2898bc 開発者連絡先: ruruna@muse.ai