Text2Motion1.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "Text2Motion_v1.01.05.ipynb",
      "provenance": [],
      "toc_visible": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "source": [
        "# Colab版 Text2Motion  v1へようこそ！(実行編)"
      ],
      "metadata": {
        "id": "Fyy5ukQ1Snmq"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 始めに\n",
        "\n",
        "このツールの稼働状況やメンテナンス情報はTwitter（[@miu200521358](https://twitter.com/miu200521358)）にて行っています。\n",
        "\n",
        "エラーになる、起動しない、などの場合、まずは現在の配布状況をご確認ください。\n",
        "\n",
        "リプやDM等でのお問い合わせも受け付けています。"
      ],
      "metadata": {
        "id": "x0Du9XXeSsPi"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 目次\n",
        "\n",
        "このノートブックでは、Text2Motionの準備と実行を行います。\n",
        "\n",
        "ノートブックの使い方にはクセがあるので、「[準備編](https://colab.research.google.com/github/miu200521358/motion_trace_colab/blob/master/AutoTraceIntroduction.ipynb)」で使い方に慣れてください。\n",
        "\n",
        "画面左上の「＝」（実際は三本線）をクリックして下さい。目次が開きます。（既に開いている場合は次へ進んでください）\n",
        "\n",
        "![目次](https://drive.google.com/uc?export=view&id=1HGk4sJmcPtMbMwcJOvE3aU1GjvKinwA_)\n",
        "\n",
        "Googleドライブの直下に`text2motion`フォルダを作成してください。\n",
        "\n",
        "（準備編で既に作られている場合は再作成不要です）\n",
        "\n",
        "ノートブックを上から順に確認し、以下手順をひとつずつ実行してください。\n",
        "\n",
        "実行が必要なセルには番号を振ってあります。①から順番に実行してください。\n",
        "\n",
        "- **「①　環境構築」**\n",
        "  - Text2Motion v1 用の環境を構築します。\n",
        "- **「②　Text2Motion v1 実行」**\n",
        "    - Text2Motion v1 を実行します。\n"
      ],
      "metadata": {
        "id": "CoaXwL-ASx6q"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 起こる可能性のあるエラー・警告と対処方法"
      ],
      "metadata": {
        "id": "f-XzbSo-TgtU"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## GPU上限突破"
      ],
      "metadata": {
        "id": "aEQ4dKwATlsr"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "下記のようなエラーが出た場合、GPUの使用量上限に達しました。\n",
        "\n",
        "無料域の場合、24時間以上待っていただくと再度利用できるようになります。\n",
        "\n",
        "![上限](https://drive.google.com/uc?export=view&id=1xxg5yM-wgNkAr1FboAM8DS2K-aqmtw5d)\n"
      ],
      "metadata": {
        "id": "Ma1e14jVToVi"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 環境のクラッシュ"
      ],
      "metadata": {
        "id": "NrT6jPFBTq_x"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "下記のようなエラーが出た場合、環境がクラッシュしました。\n",
        "\n",
        "セッションを一度削除して、環境を作り直してください\n",
        "\n",
        "![クラッシュ](https://drive.google.com/uc?export=view&id=1qMoxfUggI_jDjrDifj7UgOrSmsEOMmHY)\n",
        "\n",
        "![クラッシュ](https://drive.google.com/uc?export=view&id=1WFHmCzEkCLi8XnHyl7goicNQPL67RHhX)\n",
        "\n",
        "![削除](https://drive.google.com/uc?export=view&id=12UaonO4UvI_HCnJI95od15_yagVIVsRD)\n",
        "\n",
        "![削除](https://drive.google.com/uc?export=view&id=1smRW97KjP8fqSy3E5dtfWJHpyBtEMKca)\n"
      ],
      "metadata": {
        "id": "TYONV48qTtSf"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 環境の自動削除"
      ],
      "metadata": {
        "id": "n0N0LWYnTw0k"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "下記のようなエラーが出た場合、時間経過や上記クラッシュなどによりColabから環境が既に破棄されています。\n",
        "\n",
        "セッションを一度削除して、環境を作り直してください\n",
        "\n",
        "![Googleドライブ連携](https://drive.google.com/uc?export=view&id=1Oa5SNwStqzR6qVMEzxg8PdLmO3FTpr1l)\n"
      ],
      "metadata": {
        "id": "ywNefafZTyy8"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## GPU未使用警告"
      ],
      "metadata": {
        "id": "P-eZr-2ST1bk"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "作業中に下記のような警告が出ることがありますが、そのまま進めていただいて問題ありません\n",
        "\n",
        "　（GPUを使うのはAIを実行する箇所だけですので、その他のセルを作業中に出る可能性があります。）\n",
        "\n",
        "![警告](https://drive.google.com/uc?export=view&id=1mRW32urnPQ4LS4xrLEoPdp_XCqlq1HUF)\n"
      ],
      "metadata": {
        "id": "v28ncAfzT3db"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## ディスク容量残警告"
      ],
      "metadata": {
        "id": "uH6cRFVgmfh4"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "下記のような警告が出てきたら、1回目は無視して大丈夫です。\n",
        "\n",
        "2回目が出てきたら、途中でColab環境ディスクがパンクする恐れがあるため、入力映像をキリのいいところで区切って分けて処理してください。\n",
        "\n",
        "（Googleドライブには影響ありません）"
      ],
      "metadata": {
        "id": "cUxpejEEmlKM"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "\n",
        "![容量オーバー](https://drive.google.com/uc?export=view&id=1EKt3nCK6ZYjgkNoflQNzSnW_0s4WnJYO)\n",
        "\n"
      ],
      "metadata": {
        "id": "Hae7pvkCmdps"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 利用規約"
      ],
      "metadata": {
        "id": "tUNmRfXodyvM"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Text2Motionをご利用、またはその結果を公開・配布する場合は、必ず利用規約のご確認をお願い致します。\n",
        "\n",
        "JSONデータの利用やUnityへの適用等、MMD以外での使用の場合も同様です。\n",
        "\n",
        "[Text2Motion v1 利用規約](https://github.com/miu200521358/mmd-text-to-motion/wiki/03.%E5%88%A9%E7%94%A8%E8%A6%8F%E7%B4%84)\n",
        "\n",
        "[Text2Motion v1 使用技術・ライセンス](https://github.com/miu200521358/mmd-text-to-motion/wiki/02.%E4%BD%BF%E7%94%A8%E6%8A%80%E8%A1%93-(Technology-used))"
      ],
      "metadata": {
        "id": "UqHhDeUAUA3V"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "# ①　環境構築"
      ],
      "metadata": {
        "id": "cGNYDeTFeFWW"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## ①-A　通知音のダウンロード\n",
        "\n",
        "通知音を[効果音ラボ](https://soundeffect-lab.info/)様よりダウンロードして、セルの実行を開始・完了・失敗した時に音が鳴るようにします。\n",
        "\n",
        "下の【①-A】のセルを実行してください\n",
        "\n"
      ],
      "metadata": {
        "id": "c2wqFlb4eTe2"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "#@markdown 【①-A】　通知音のダウンロード\n",
        "\n",
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "from enum import Enum\n",
        "\n",
        "class SoundType(Enum):\n",
        "    START = 0\n",
        "    SUCCESS = 1\n",
        "    FAIL = 2\n",
        "\n",
        "# ----------------------------------\n",
        "\n",
        "! wget --no-check-certificate -c \"https://soundeffect-lab.info/sound/anime/mp3/sceneswitch1.mp3\"\n",
        "! wget --no-check-certificate -c \"https://soundeffect-lab.info/sound/anime/mp3/incorrect1.mp3\"\n",
        "! wget --no-check-certificate -c \"https://soundeffect-lab.info/sound/anime/mp3/switch1.mp3\"\n",
        "\n",
        "from IPython.display import Audio, display\n",
        "import torch\n",
        "\n",
        "def play_sound(sound_type: SoundType, autoplay=True):\n",
        "    try:\n",
        "        if sound_type == SoundType.START:\n",
        "            file_name = \"/content/switch1.mp3\"\n",
        "        elif sound_type == SoundType.SUCCESS:\n",
        "            file_name = \"/content/sceneswitch1.mp3\"\n",
        "        else:\n",
        "            file_name = \"/content/incorrect1.mp3\"\n",
        "\n",
        "        display(Audio(file_name, autoplay=autoplay, normalize=False))\n",
        "    except:\n",
        "        print(\"■■■■■■■■■■■■■■■\")\n",
        "        print(\"■　効果音が再生できませんでした\")\n",
        "        print(\"■■■■■■■■■■■■■■■\")\n",
        "\n",
        "# ----------------------------------\n",
        "\n",
        "exec_dict = {\n",
        "    '①-A': {'exec': False, 'premise': []},\n",
        "    '①-B': {'exec': False, 'premise': ['①-A', ]},\n",
        "    '①-C': {'exec': False, 'premise': ['①-A', '①-B', ]},\n",
        "    '①-D': {'exec': False, 'premise': ['①-A', '①-B', '①-C', ]},\n",
        "    '①-E': {'exec': False, 'premise': ['①-A', '①-B', '①-C', '①-D', ]},\n",
        "    '①-F': {'exec': False, 'premise': ['①-A', '①-B', '①-C', '①-D', '①-E', ]},\n",
        "    '②-A': {'exec': False, 'premise': ['①-A', '①-B', '①-C', '①-D', '①-E', '①-F', ]},\n",
        "    '②-B': {'exec': False, 'premise': ['①-A', '①-B', '①-C', '①-D', '①-E', '①-F', '②-A', ]},\n",
        "}\n",
        "\n",
        "NVIDIA_VISIBLE_DEVICES=all\n",
        "\n",
        "class IpyExit(SystemExit):\n",
        "    def __init__(self):\n",
        "        play_sound(SoundType.FAIL)\n",
        "        pass\n",
        "\n",
        "def check_exec_dict(cell_key: str):\n",
        "    if not torch.cuda.is_available():\n",
        "        print(\"■■■■■■■■■■■■■■■\")\n",
        "        print(\"■　** ERROR **\")\n",
        "        print(\"■　GPUが有効になってません。\")\n",
        "        print(\"■　準備編を参考にしながらランタイムをGPUに変更してください。\")\n",
        "        print(\"■■■■■■■■■■■■■■■\")\n",
        "        raise IpyExit\n",
        "\n",
        "    if not exec_dict:\n",
        "        print(\"■■■■■■■■■■■■■■■\")\n",
        "        print(\"■　** ERROR **\")\n",
        "        print(\"■　セル【①-A】が実行されていない可能性があります。\")\n",
        "        print(\"■　目次から戻って実行してください。\")\n",
        "        print(\"■■■■■■■■■■■■■■■\")\n",
        "        raise IpyExit\n",
        "\n",
        "    for p in exec_dict[cell_key]['premise']:\n",
        "        # 事前に実行されるべきセルがすべて実行されているか\n",
        "        if not exec_dict[p]['exec']:\n",
        "            print(\"■■■■■■■■■■■■■■■\")\n",
        "            print(\"■　** ERROR **\")\n",
        "            print(f\"■　セル【{p}】が実行されていない可能性があります。\")\n",
        "            print(\"■　目次から戻って実行してください。\")\n",
        "            print(\"■■■■■■■■■■■■■■■\")\n",
        "            raise IpyExit\n",
        "\n",
        "    # 全部実行されていたらOK\n",
        "    play_sound(SoundType.START)\n",
        "    return True\n",
        "\n",
        "def finish_cell(cell_key: str):\n",
        "    play_sound(SoundType.SUCCESS)\n",
        "\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "    print(\"■　** OK **\")\n",
        "    print(f\"■　セル【{cell_key}】の実行に成功しました。\")\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "\n",
        "    exec_dict[cell_key]['exec'] = True\n",
        "\n",
        "# ----------------------------------\n",
        "\n",
        "# セル実行可否\n",
        "ckey = \"①-A\"\n",
        "check_exec_dict(ckey)\n",
        "\n",
        "# ----------------------------------\n",
        "\n",
        "# セル終了\n",
        "\n",
        "finish_cell(ckey)\n",
        "\n",
        "print(\"\")\n",
        "print(\"\")\n",
        "print(\"■ セル実行開始\")\n",
        "play_sound(SoundType.START, autoplay=False)\n",
        "\n",
        "print(\"\")\n",
        "print(\"\")\n",
        "print(\"■ セル実行失敗\")\n",
        "play_sound(SoundType.FAIL, autoplay=False)\n",
        "\n",
        "print(\"\")\n",
        "print(\"\")\n",
        "print(\"■ セル実行成功\")\n",
        "play_sound(SoundType.SUCCESS, autoplay=False)"
      ],
      "metadata": {
        "cellView": "form",
        "id": "ENPQ2HkzeZdl"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## ①-B　GPUランタイムの確認\n",
        "\n",
        "ヘッダの \"ランタイム\"　＞　\"ランタイムのタイプを変更\"　＞　\"GPU\"　を選択して下さい。\n",
        "\n",
        "詳しい手順は、「[Text2Motion 準備編](https://colab.research.google.com/github/miu200521358/motion_trace_colab/blob/master/text2motionIntroduction.ipynb)」を参考にしてください。\n",
        "\n",
        "変更できたら、下の【①-B】のセルを実行して下さい。"
      ],
      "metadata": {
        "id": "WKqIyaMoe2wP"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "#@markdown 【①-B】　GPUランタイムの確認\n",
        "\n",
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "# セル実行可否\n",
        "ckey = \"①-B\"\n",
        "check_exec_dict(ckey)\n",
        "\n",
        "# ----------------------------------\n",
        "! nvidia-smi\n",
        "\n",
        "import subprocess\n",
        "try:\n",
        "    subprocess.check_output(\"nvidia-smi\", shell=True)\n",
        "except:\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "    print(\"■　** ERROR **\")\n",
        "    print(\"■　nvidia-smiコマンドの実行に失敗しました。\")\n",
        "    print(\"■　① まだGPUを使ってない場合、ランタイムの設定を行っていない場合\")\n",
        "    print(\"■　　準備編を参考にしながら、ランタイムをGPUに設定してください\")\n",
        "    print(\"■　　※ランタイムを変更すると環境がリセットされるため、【①-A】からやり直してください\")\n",
        "    print(\"■　② GPUの利用上限に達して、CPUでしか使えない場合\")\n",
        "    print(\"■　　無料域の場合、24時間以上置いていただくと再度使用できるようになります\")\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "\n",
        "# ----------------------------------\n",
        "\n",
        "# セル終了\n",
        "finish_cell(ckey)"
      ],
      "metadata": {
        "cellView": "form",
        "id": "_dGYRo6Me7Df"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## ①-C　Googleドライブとの連携\n",
        "\n",
        "下記目的のため、このColabページからあなたのGoogleドライブにアクセスする許可を与えてください。\n",
        " - Text2Motion の生成結果を保存する為\n",
        "\n",
        "※Googleドライブ内の「`text2motion`」フォルダ以外は触りません\n",
        "\n",
        "下の【①-C】のセルを実行して、サブウィンドウから連携を許可してください。\n",
        "\n",
        "（最新のColabだと、キーのコピペ処理は不要になりました）"
      ],
      "metadata": {
        "id": "WfRS49WpfC0a"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "#@markdown 【①-C】　Googleドライブとの連携\n",
        "\n",
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "# セル実行可否\n",
        "ckey = \"①-C\"\n",
        "check_exec_dict(ckey)\n",
        "\n",
        "# ----------------------------------\n",
        "\n",
        "from google.colab import drive\n",
        "import os\n",
        "\n",
        "# Googleドライブマウント\n",
        "drive.mount('/gdrive')\n",
        "\n",
        "# 起点ディレクトリ\n",
        "base_dir_path = \"/gdrive/My Drive/text2motion\"\n",
        "\n",
        "if os.path.exists(base_dir_path):\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "    print(\"■　** OK **\")\n",
        "    print(\"■　text2motionフォルダ内との連携が成功しました。\")\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "else:\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "    print(\"■　** ERROR **\")\n",
        "    print(\"■　text2motionフォルダがGoogleドライブの直下に見つかりませんでした。\")\n",
        "    print(\"■　準備編を参考にしながら、text2motionフォルダを作成してください。\")\n",
        "    print(\"■　※スペルミスだった場合、フォルダ名などの変更は行わず、新しいフォルダを作成してください。\")\n",
        "    print(\"■　　Googleドライブとの連携後の更新はうまく認識されません。\")\n",
        "    print(\"■　※少しタイムラグがあるので、生成した直後は認識されない場合があります。\")\n",
        "    print(\"■　　10秒くらい待ってからセルを再実行してください。\")\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "    raise IpyExit\n",
        "\n",
        "# ----------------------------------\n",
        "\n",
        "# セル終了\n",
        "finish_cell(ckey)"
      ],
      "metadata": {
        "cellView": "form",
        "id": "QkEaktdxfcqE"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## ①-D　GoogleSDKとの連携\n",
        "\n",
        "miuのGoogleドライブから Text2Motion に必要なデータをDLするため、`GoogleSDK` と連携します。\n",
        "\n",
        "セル【①-C】と同じく、URLからアクセス許可を与えてください。"
      ],
      "metadata": {
        "id": "TAPv-jy7fz4h"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "#@markdown 【①-D】　Google SDK との連携\n",
        "\n",
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "# セル実行可否\n",
        "ckey = \"①-D\"\n",
        "check_exec_dict(ckey)\n",
        "\n",
        "# ----------------------------------\n",
        "\n",
        "# Googleドライブアクセスライブラリ\n",
        "!pip install -U -q PyDrive\n",
        "\n",
        "from pydrive.auth import GoogleAuth\n",
        "from pydrive.drive import GoogleDrive\n",
        "from google.colab import auth\n",
        "from oauth2client.client import GoogleCredentials\n",
        "\n",
        "try:\n",
        "    auth.authenticate_user()\n",
        "    gauth = GoogleAuth()\n",
        "    gauth.credentials = GoogleCredentials.get_application_default()\n",
        "    drive = GoogleDrive(gauth)\n",
        "\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "    print(\"■　** OK **\")\n",
        "    print(\"■　Google SDK との連携に成功しました。\")\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "\n",
        "except Exception as e:\n",
        "    print(e.message)\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "    print(\"■　** Error **\")\n",
        "    print(\"■　Google SDK との連携に失敗しました。\")\n",
        "    print(\"■　このノートブックを作者に共有してください。\")\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "    raise IpyExit\n",
        "\n",
        "# ----------------------------------\n",
        "\n",
        "# セル終了\n",
        "finish_cell(ckey)"
      ],
      "metadata": {
        "cellView": "form",
        "id": "P51Ag4QigW1q"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## ①-E　コードセットアップ\n",
        "\n",
        "Text2Motionのコードを構築します。\n",
        "\n",
        "下の【①-E】のセルを実行して下さい。\n",
        "\n",
        "たくさんメッセージが出ます。5分くらいかかります。\n",
        "\n",
        "**途中でコンパイルが走るので、動かなくなったように見える箇所があります。**\n",
        "\n",
        "**ビックリしたり心配になって、セルを中断しないようお願いします。そのまま待っていれば終わります。**\n",
        "\n",
        "`ERROR` という文字列が出る場合もありますが、Text2Motionを実行するには問題ないエラーの可能性が高いので、一旦無視してそのまま進めて下さい。"
      ],
      "metadata": {
        "id": "8hXO0YvKhLa_"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "#@markdown 【①-E】　コードセットアップ\n",
        "\n",
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "# セル実行可否\n",
        "ckey = \"①-E\"\n",
        "check_exec_dict(ckey)\n",
        "\n",
        "# ----------------------------\n",
        "\n",
        "import shutil\n",
        "\n",
        "if os.path.exists('./mmd-text-to-motion'):\n",
        "    shutil.rmtree('./mmd-text-to-motion')\n",
        "\n",
        "# Text2Motion v1 バージョンタグ\n",
        "version_tag = \"v1.00.02\"\n",
        "\n",
        "! git clone  --recursive --depth 1 -b \"$version_tag\" \"https://github.com/miu200521358/mmd-text-to-motion.git\"\n",
        "\n",
        "! python -m spacy download en_core_web_sm\n",
        "! BEZIER_NO_EXTENSION=true BEZIER_INSTALL_PREFIX=true python -m pip install bezier==2021.2.12 --no-binary=bezier\n",
        "! pip install --upgrade -r \"./mmd-text-to-motion/requirements.txt\"\n",
        "\n",
        "! pip install moviepy==2.0.0.dev2\n",
        "! pip install imageio-ffmpeg\n",
        "! pip install deepl\n",
        "\n",
        "# ----------------------------\n",
        "\n",
        "# セル終了\n",
        "finish_cell(ckey)"
      ],
      "metadata": {
        "id": "Wm_DfN5bhaCl",
        "cellView": "form"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## ①-F　データ配置\n",
        "\n",
        "Text2Motionに必要なデータを配置します。\n",
        "\n",
        "下の【①-F】のセルを実行して下さい。\n",
        "\n",
        "たくさんメッセージが出ます。2分くらいかかります。"
      ],
      "metadata": {
        "id": "0wpzqPQ4ihVn"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "#@markdown 【①-F】　データ配置\n",
        "\n",
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "# セル実行可否\n",
        "ckey = \"①-F\"\n",
        "check_exec_dict(ckey)\n",
        "\n",
        "# ----------------------------\n",
        "\n",
        "# motion-diffusion-model.zip\n",
        "downloaded = drive.CreateFile({'id': '16Ei9ycHMjfhbjgPIXZXpbkO5hT0PhPEh'})\n",
        "downloaded.GetContentFile('/content/mmd-text-to-motion/data/motion-diffusion-model.zip')\n",
        "! cd mmd-text-to-motion/data && unzip -o ./motion-diffusion-model.zip\n",
        "\n",
        "# ----------------------------\n",
        "\n",
        "# セル終了\n",
        "finish_cell(ckey)"
      ],
      "metadata": {
        "cellView": "form",
        "id": "VGB11PgjisJ1"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# ②　Text2Motion v1 実行"
      ],
      "metadata": {
        "id": "5ek2ZWYJkMqb"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## ②-A　Text2Motion v1 実行\n",
        "\n",
        "モーション生成用プロンプトと生成用パラメーターを設定してください。\n",
        "\n",
        "指定されたパラメーターに合わせて、Text2Motion v1を実行します。\n",
        "\n",
        "9秒のモーション1件で約3分かかります。\n",
        "\n",
        "モーション生成が完了すると、Googleドライブの `text2motion` フォルダにトレース結果を保存します。\n",
        "\n",
        " - プロンプトは日本語もしくは英語で設定してください\n",
        "     - 日本語の場合、ツール内で英語に翻訳してモーションを生成します\n",
        " - 設定が入力できたら、下の【②-A】のセルを実行して下さい。"
      ],
      "metadata": {
        "id": "30ajJ1K3kW69"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "#@markdown 【②-A】　モーション生成\n",
        "\n",
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "# セル実行可否\n",
        "ckey = \"②-A\"\n",
        "check_exec_dict(ckey)\n",
        "\n",
        "# ----------------------------\n",
        "\n",
        "\n",
        "#@markdown ### プロンプト\n",
        "\n",
        "#@markdown どういう動作をさせたいかを指定した一文を日本語または英語で入力してください。\n",
        "\n",
        "p_prompt = \"\\u524D\\u65B9\\u5411\\u306B\\u8D70\\u3063\\u3066\\u7A7A\\u4E2D\\u306B\\u98DB\\u3073\\u4E0A\\u304C\\u308A\\u3001\\u4E00\\u56DE\\u8EE2\\u3057\\u3066\\u7740\\u5730\\u3059\\u308B\\u4EBA\"  #@param {type: \"string\"}\n",
        "\n",
        "#@markdown ### モーション秒数\n",
        "\n",
        "#@markdown 動作を行う秒数\n",
        "\n",
        "p_seconds = 6 #@param {type:\"slider\", min:1, max:9.8, step: 0.1}\n",
        "\n",
        "#@markdown ### 生成個数\n",
        "\n",
        "#@markdown 同じプロンプトでも実行する度に結果が少し変わります\n",
        "\n",
        "p_num_repetitions = 2 #@param {type:\"slider\", min:1, max:10, step: 1}\n",
        "\n",
        "#@markdown ### シード\n",
        "\n",
        "#@markdown 内部乱数の元となります。0の場合、内部でランダムに割り当てます。\n",
        "\n",
        "p_seed = 0 #@param {type:\"slider\", min:0, max:1024, step: 1}\n",
        "\n",
        "\n",
        "if not p_prompt:\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "    print(\"■　** ERROR **\")\n",
        "    print(\"■　プロンプトが設定されていません。\")\n",
        "    print(\"■■■■■■■■■■■■■■■\")\n",
        "    raise IpyExit\n",
        "\n",
        "# 日本語版は翻訳 --------\n",
        "\n",
        "import deepl\n",
        "\n",
        "translator = deepl.Translator(\"74011350-6960-fb1b-e0eb-f5ee240b1fa5:fx\")\n",
        "trans_text = translator.translate_text(p_prompt, source_lang=\"JA\", target_lang=\"EN-US\")\n",
        "translated_prompt = trans_text.text\n",
        "\n",
        "# --------\n",
        "\n",
        "import datetime\n",
        "process_dir_name = f\"{datetime.datetime.now():%Y%m%d_%H%M%S}\"\n",
        "process_dir_path = f'/content/output/{process_dir_name}'\n",
        "os.makedirs(process_dir_path, exist_ok=True)\n",
        "\n",
        "! export PYTHONIOENCODING=utf-8 \n",
        "! cd /content/mmd-text-to-motion/src && python executor.py --seed $p_seed --seconds $p_seconds --num_repetitions $p_num_repetitions --text \"$p_prompt\" --translated_text \"$translated_prompt\" --parent-dir \"$process_dir_path\" --process text2move,mix,motion --verbose 20 --log-mode 0 --lang ja\n",
        "\n",
        "import os\n",
        "if os.path.exists(\"/content/mmd-text-to-motion/log/quit.log\"):\n",
        "    raise IpyExit\n",
        "\n",
        "# 結果をGoogleドライブにコピー\n",
        "output_path = os.path.join(base_dir_path, process_dir_name)\n",
        "os.makedirs(output_path, exist_ok=True)\n",
        "\n",
        "import shutil\n",
        "\n",
        "# mix(json)\n",
        "shutil.copytree(os.path.join(process_dir_path, \"02_personal\"), os.path.join(output_path, \"01_personal\"))\n",
        "\n",
        "# viz_pos.html\n",
        "shutil.copy(os.path.join(\"/content/mmd-text-to-motion/data/viz_pos.html\"), os.path.join(output_path, \"viz_pos.html\"))\n",
        "\n",
        "# prompt.txt\n",
        "shutil.copy(os.path.join(process_dir_path, \"prompt.txt\"), os.path.join(output_path, \"prompt.txt\"))\n",
        "\n",
        "os.makedirs(os.path.join(output_path, \"trace_model\"))\n",
        "\n",
        "# pmx\n",
        "shutil.copy(os.path.join(\"/content/mmd-text-to-motion/data/pmx/trace_model.pmx\"), os.path.join(output_path, \"trace_model\", \"trace_model.pmx\"))\n",
        "\n",
        "# pmx(tex)\n",
        "shutil.copytree(\"/content/mmd-text-to-motion/data/pmx/tex\", os.path.join(output_path, \"trace_model/tex\"))\n",
        "\n",
        "# readme\n",
        "shutil.copy(os.path.join(\"/content/mmd-text-to-motion/data/readme_ja.txt\"), os.path.join(output_path, \"readme.txt\"))\n",
        "\n",
        "import time\n",
        "time.sleep(20)\n",
        "\n",
        "# ----------------------------\n",
        "\n",
        "# セル終了\n",
        "finish_cell(ckey)"
      ],
      "metadata": {
        "id": "625x35Vaky9I",
        "cellView": "form"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## ②-B　生成モーション確認\n",
        "\n",
        "下の【②-B】のセルを実行すると、【②-A】で生成したモーション動画をColab上で再生することが出来ます。\n",
        "\n",
        "※このセルの実行は任意です。"
      ],
      "metadata": {
        "id": "cc3F31Wlggjy"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "#@markdown 【②-B】　生成モーション確認\n",
        "\n",
        "#@markdown ■■■■■■■■■■■■■■■■■■\n",
        "\n",
        "# セル実行可否\n",
        "ckey = \"②-B\"\n",
        "check_exec_dict(ckey)\n",
        "\n",
        "# ----------------------------\n",
        "\n",
        "from glob import glob\n",
        "from moviepy.editor import VideoFileClip, clips_array\n",
        "\n",
        "clips = []\n",
        "for video_path in glob(os.path.join(base_dir_path, process_dir_name, \"**\", \"*.avi\"), recursive=True):\n",
        "    clips.append(VideoFileClip(video_path).margin(10))\n",
        "\n",
        "clip = clips_array([clips])\n",
        "\n",
        "# ----------------------------\n",
        "# セル終了\n",
        "finish_cell(ckey)\n",
        "\n",
        "# 最後に出さないと描画失敗する\n",
        "clip.ipython_display(width=(400 * len(clips)))"
      ],
      "metadata": {
        "id": "XltsUFT9cBZh",
        "cellView": "form"
      },
      "execution_count": null,
      "outputs": []
    }
  ]
}