Merge pull request #477 from stakizawa/open_ondemand

Open OnDemandの日本語版ドキュメントドラフト

en/docs/open-ondemand/aihub.md

@@ -0,0 +1,58 @@
+# AI Hub
+
+## Overview
+
+AI Hub is a collection of tools and services for reusing large-scale pre-trained models on the ABCI, and from Open OnDemand, you can use the `App for MLflow Server`.
+
+The `App for MLflow Server` is an application that deploys the MLflow Tracking Server, an experiment management tool, in a way that allows it to be used on an ABCI group basis and managed from a web UI.
+
+The deployed MLflow Tracking Server can be used by teams for recording and sharing training histories and training models in model development from the compute nodes of the ABCI or Jupyter Lab in Open OnDemand.
+
+!!! caution
+    The `App for MLflow Server` is released as an experimental feature.
+    The service may change without notice, and responses to inquiries may take some time.
+
+## Prerequisites
+
+* An ABCI Cloud Storage bucket and an access key (When creating an MLflow Tracking Server)
+	* Please refer to [How to Use ABCI Cloud Storage](../abci-cloudstorage/usage.md) for the creation method.
+
+## Using AI Hub
+
+To start the `App for MLflow Server`, click `AI Hub` and then `MLflow Server` from the menu.
+
+When you start the `App for MLflow Server`, the following screen will be displayed.
+
+![Screenshot of App for MLflow Server](img/app_for_mlflow_server.png){width=640}
+
+#### Creating MLflow Tracking Server
+
+* Based on the screen instructions, enter the following items and click the `Create Service` button.
+
+	| Item | Description |
+	| -- | -- |
+	| `group_name` | ABCI Group |
+	| `env_name` | Environment Name |
+	| `cloud_storage_bucket_name` | Bucket Name |
+	| `cloud_storage_accesskey_ID` | Access Key ID |
+	| `cloud_storage_secret_accesskey` | Secret Access Key ID |
+
+* Upon successful creation of the service, the "Operational status for requests" section will display "Service created".
+
+#### Using MLflow Tracking Server
+
+* Click the `Service List Update` button to display a list of available "Service List".
+* You can start, stop, or delete services by operating the buttons under "Control Service".
+	* The status of the operation will be displayed in the "Operational status for requests" section.
+    * Please stop or delete services when they are no longer needed to conserve resources.
+* If you need to configure Basic Authentication for the "MLflow Tracking Server", click the `Update Auth Info` button for the service.
+	* You need to have a YAML file in a specified location beforehand in the following format.
+
+		`{'user_name':'<username for Basic Authentication>', 'pass':'<password for Basic Authentication>'}`
+
+* To access the MLflow UI, click on the URL under `URL for access from outside ABCI`.
+	* Enter your Basic Authentication username and password to log in.
+* Please use the running MLflow Tracking Server.
+	* It can be accessed from the HPC Cluster's job services or Jupyter Lab in Open OnDemand.
+	* By specifying `URL for access from inside ABCI` as the MLflow API tracking URI, you can record AI model training histories and models in the model registry.
+	* For specific usage of MLflow Tracking Server, please refer to the [MLflow documentation](https://mlflow.org/docs/latest/index.html).

en/docs/open-ondemand/index.md

@@ -0,0 +1,52 @@
+# Open OnDemand
+
+## Overview
+
+[Open OnDemand (OOD)](https://openondemand.org/) is a portal site for using ABCI through a web browser.
+
+The following features is available on the web browser, making it easier to use ABCI than ever before:
+
+* Console operations on interactive nodes
+* File operations in the home areas and the group areas
+* Use of web applications such as Jupyter Lab
+
+!!! caution
+    Open OnDemand is released as an experimental feature.
+    The service may change without notice, and responses to inquiries may take some time.
+
+## Login
+
+To log in to the Open OnDemand, first open the URL [https://ood-portal.abci.ai/](https://ood-portal.abci.ai/).
+After accessing `ood-portal.abci.ai`, you will be prompted to enter your username and password.
+Please enter the username and password you set up on [the ABCI User Portal](https://portal.abci.ai/).
+
+[![Input your username and password](img/login.png){width=640}](img/login.png)
+
+After authenticating with your username and password, you will be asked to enter an access code.
+The access code will be sent to your registered email address, so please enter the access code into the input form after receiving it.
+
+[![Input the access code](img/email-otp.png){width=640}](img/email-otp.png)
+
+After authenticating with the access code, you will be logged in to the Open OnDemand.
+
+[![Open OnDemand top page](img/ondemand-top-page.png){width=640}](img/ondemand-top-page.png)
+
+!!! warning
+    If an error occurs during login, please [contact](../contact.md) the administrator.
+
+
+## Applications
+
+You can access the features provided by the Open OnDemand from the menu at the top of the screen.
+
+[![Open OnDemand Application Menu](ood-menu.png)](ood-menu.png)
+
+1. **Files**: Perform file operations in the browser.
+
+2. **Jobs**: Edit and manage jobs in the browser.
+
+3. **Clusters**: Open the console for the interactive nodes.
+
+4. **Interactive Apps**: Launch web applications on the compute nodes and transfer the screen to the web browser.<br>For details, please refer to [Interactive Apps](interactive-apps.md).
+
+5. **AI Hub**: AI Hub is a collection of tools and services for reusing large-scale pre-trained models on the ABCI. It provides an application to manage the deployment of the Mlflow Tracking Server, one of the features that constitute AI Hub.<br>For details, please refer to [AI Hub](aihub.md).

en/docs/open-ondemand/interactive-apps.md

@@ -0,0 +1,30 @@
+# Interactive Apps
+
+Interactive apps are applications that run on the ABCI compute nodes and can be interactively operated in the web browser.
+
+When launching an interactive app, you specify an ABCI group and a type of ABCI resources.
+The interactive app is launched as a batch job that consumes ABCI points from the specified group and uses computational resources of the specified resource type.
+
+Open OnDemand for ABCI provides the following interactive apps:
+
+## Jupyter Lab
+
+Open OnDemand for ABCI provide [Jupyter Lab](https://jupyter.org/), an interactive development environment.
+Jupyter Lab is launched on the compute nodes, allowing you to operate it from the browser of your local workstation.
+
+!!! caution
+    Each time Jupyter Lab is launched, a Python virtual environment for Jupyter Lab will be created in the following path under your home directory. Please delete it periodically.
+
+    ```
+    ~/ondemand/data/sys/dashboard/batch_connect_sys/jupyter/output/
+    ```
+
+## Qni
+
+Open OnDemand for ABCI provide [Qni](https://qniapp.net/), an interactive quantum circuit design and simulator that operates in the web browser.
+Qni on the ABCI offers simulations using the GPUs of ABCI compute nodes.
+
+!!! caution
+    Qni operates on resource types equipped with GPUs.
+
+    Qni uses only one GPU. If you specify a resource type with multiple GPUs, the remaining GPUs will not be used.

en/mkdocs.yml

@@ -53,6 +53,10 @@ nav:
     - 'Using s3fs-fuse': 'abci-cloudstorage/s3fs-usage.md'
   - 'ABCI Datasets': 'abci-datasets.md'
   - 'ABCI Singularity Endpoint': 'abci-singularity-endpoint.md'
+  - 'Open OnDemand':
+    - 'Using Open OnDemand': 'open-ondemand/index.md'
+    - 'Ineractive Apps': 'open-ondemand/interactive-apps.md'
+    - 'AI Hub': 'open-ondemand/aihub.md'
   - 'FAQ': 'faq.md'
   - 'Known Issues': 'known-issues.md'
   - 'System Updates': 'system-updates.md'

ja/docs/open-ondemand/aihub.md

@@ -0,0 +1,60 @@
+# AI Hub
+
+## 概要 {#overview}
+
+AI HubはABCI上で大規模な汎用学習済みモデルの再利用等を行うためのツールやサービス群であり、Open OnDemandからは`App for MLflow Server`を利用できます。
+
+`App for MLflow Server`は、実験管理ツールである[MLflow](https://mlflow.org/docs/latest/index.html)のTracking ServerをABCIグループ単位で利用できる形にデプロイし、WebUIから管理できるアプリです。
+
+デプロイされたMLflow Tracking Serverは、ABCIの計算ノードやOpen OnDemandのJupyter Labから、モデル開発における学習履歴や学習モデルの記録・共有のためにチームで利用できます。
+
+!!! caution
+    `App for MLflow Server`は試験的機能として公開しています。
+    予告なくサービス変更する場合や、問い合わせへの回答に時間を要する場合があります。
+
+
+## 前提条件 {#prerequisites}
+
+ * ABCIクラウドストレージにバケットとアクセスキーの作成 (MLflow Tracking Serverを作成する場合)
+	* 作成方法は[ABCIクラウドストレージの使い方](../abci-cloudstorage/usage.md)をご確認ください。
+
+## アプリ操作方法 {#operation}
+
+`App for MLflow Server`を起動するには、メニューから`AI Hub`、`MLflow Server`をクリックしてください。
+
+`App for MLflow Server`を起動すると、以下のような画面が表示されます。
+
+![App for MLflow Server画面](img/app_for_mlflow_server.png){width=640}
+
+#### MLflow Tracking Serverを作成(デプロイ)する場合
+
+
+* 画面の説明にもとに、以下の項目を入力し`Create Service`ボタンをクリックします。
+
+	| 項目 | 説明 |
+	| -- | -- |
+	| `group_name` | ABCIグループ名 |
+	| `env_name` | 環境名 |
+	| `cloud_storage_bucket_name` | バケット名 |
+	| `cloud_storage_accesskey_ID` | アクセスキーID |
+	| `cloud_storage_secret_accesskey` | シークレットアクセスキー |
+
+* Serviceの作成に成功すると、Operational status for requests 欄に「Service created」と表示されます。
+
+#### MLflow Tracking Serverを管理・利用する場合
+
+* `Service List Update`ボタンをクリックする事で、自身が利用可能なService List を一覧表示できます。
+* Control Service のボタンを操作することで、サービスの起動、停止、削除を行えます。
+	* Operational status for requests 欄に操作の状態が表示されます。
+	* 利用を終えたサービスは、資源節約のため停止や削除にご協力ください。
+* MLflow Tracking ServerにBasic認証の設定する場合は、サービスの`Update Auth Info`ボタンをクリックします。
+	* 予め所定の場所に以下のフォーマットのYAMLファイルを配置しておく必要があります。
+
+		`{'user_name':'＜Basic認証用ユーザ名＞', 'pass':'＜Basic認証用パスワード＞'}`
+
+* MLflowのUIを確認する場合は、`URL for access from outside ABCI`のURLをクリックします。
+	* Basic認証用のユーザ名とパスワードを入力してログインします。
+* 起動しているMLflow Tracking Serverをご利用ください。
+	* ABCIの[ジョブ](../job-execution.md)やOpen OnDemandのJupyter Labから利用できます。
+	* MLflow APIのトラッキングURIに`URL for access from inside ABCI`を指定することで、AIモデルの学習履歴や学習モデルをモデルレジストリに記録できます。
+	* MLflow Tracking Serverの具体的な利用方法は[MLflow](https://mlflow.org/docs/latest/index.html)のドキュメントをご確認ください。

ja/docs/open-ondemand/index.md

@@ -0,0 +1,56 @@
+# Open OnDemand
+
+## 概要 {#overview}
+
+[Open OnDemand (OOD)](https://openondemand.org/)はWebブラウザからABCIを使用するためのポータルサイトです。
+
+以下の機能がWebブラウザ上で利用できるようになり、従来より簡単にABCIを使えるようになります。
+
+- インタラクティブノードでのコンソール操作
+- ホーム領域、グループ領域のファイル操作
+- Jupyter Lab等のWebアプリケーションの利用
+
+![Open OnDemandトップページ](img/ondemand-top-page.png){width=640}
+
+!!! caution
+    Open OnDemandは試験的機能として公開しています。
+    予告なくサービス変更する場合や、問い合わせへの回答に時間を要する場合があります。
+
+
+## ログイン方法 {#login}
+
+Open OnDemandにログインするためにはまず、URL [https://ood-portal.abci.ai/](https://ood-portal.abci.ai/) にアクセスします。
+ood-portal.abci.ai にアクセスした後、ABCIアカウント名とパスワードの入力が求められるので、[ABCI利用者ポータル](https://portal.abci.ai/)で設定したABCIアカウント名とパスワードを入力してください。
+
+[![パスワード入力画面](img/login.png){width=640}](img/login.png)
+
+ABCIアカウント名とパスワードによる認証後、アクセスコードの入力が求められます。
+アクセスコードは登録しているメールアドレス宛に送付されますので、アクセスコードを受信後、入力フォームにアクセスコードを入力してください。
+
+[![アクセスコード入力画面](img/email-otp.png){width=640}](img/email-otp.png)
+
+アクセスコードによる認証後、Open OnDemandへのログインが完了します。
+
+[![Open OnDemandトップページ](img/ondemand-top-page.png){width=640}](img/ondemand-top-page.png)
+
+!!! warning
+    ログイン中にエラーが発生した場合は、管理者まで[お問合せ](../contact.md)ください。
+
+
+## アプリケーション {#applications}
+
+Open OnDemandが提供する機能には、画面上部のメニューからアクセスできます。
+
+[![Open OnDemand Application Menu](ood-menu.png)](ood-menu.png)
+
+1. **Files**: ファイル操作をブラウザ上で行えます
+
+2. **Jobs**: ジョブ編集・管理をブラウザ上で行えます
+
+3. **Clusters**: インタラクティブノードのコンソールが開きます
+
+4. **Interactive Apps**: 計算ノード上でWebアプリケーションを起動し、その画面をWebブラウザに転送します。<br>
+   詳細は[インタラクティブアプリ](interactive-apps.md)を参照ください。
+
+5. **AI Hub**: AI HubはABCI上で大規模な汎用学習済みモデルの再利用等を行うためのツールやサービス群です。AI Hubを構成する機能の1つである、Mlflow Tracking Serverのデプロイを管理するアプリケーションを提供します。<br>
+   詳細は[AI Hub](aihub.md)を参照ください。

ja/docs/open-ondemand/interactive-apps.md

@@ -0,0 +1,31 @@
+# Interactive Apps
+
+インタラクティブアプリとは、ABCI計算ノード上で実行されるアプリケーションを、ブラウザ上で対話的に操作する仕組みです。
+
+インタラクティブアプリ起動時には、ABCIグループと、ABCIの資源タイプを指定します。
+インタラクティブアプリは、指定されたABCIグループのABCIポイントを消費して、指定された資源タイプの計算資源を使用する、バッチジョブとして起動されます。
+
+ABCIの Open OnDemand では以下のインタラクティブアプリを提供します。
+
+## Jupyter Lab {#jupyter}
+
+対話型の開発環境である[Jupyter Lab](https://jupyter.org/)を提供します。
+ABCIの計算ノードでJupyter Labを起動し、手元の作業PCのブラウザから操作できるようになります。
+
+!!! caution
+    Jupyter Lab起動のたびに、ホームディレクトリ以下の以下のパスに、Jupyter Lab起動のためのPython仮想環境を作成します。定期的に削除してください。
+
+    ```
+    ~/ondemand/data/sys/dashboard/batch_connect_sys/jupyter/output/
+    ```
+
+
+## Qni {#qni}
+
+ブラウザ上で動作する、対話型の量子回路設計・シミュレータである[Qni](https://qniapp.net/)を提供します。
+ABCI上のQniは、ABCI計算ノードのGPUを用いたシミュレーションを提供します。
+
+!!! caution
+    QniはGPUを搭載した資源タイプで動作します。
+
+    Qniは1 GPUのみ使用します。複数GPU搭載する資源タイプを指定した場合、残りのGPUは使用されません。

ja/mkdocs.yml

@@ -54,6 +54,10 @@ nav:
     - 's3fs-fuseの利用': 'abci-cloudstorage/s3fs-usage.md'
   - 'ABCI データセット': 'abci-datasets.md'
   - 'ABCI Singularity エンドポイント': 'abci-singularity-endpoint.md'
+  - 'Open OnDemand':
+    - '使い方': 'open-ondemand/index.md'
+    - 'インタラクティブアプリ': 'open-ondemand/interactive-apps.md'
+    - 'AI Hub': 'open-ondemand/aihub.md'
   - 'FAQ': 'faq.md'
   - '既知の問題': 'known-issues.md'
   - 'システム更新履歴': 'system-updates.md'