jupyter-introduction.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "\n",
    "# Práce s Jupyter notebooky\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Co je Jupyter a IPython?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src=\"https://upload.wikimedia.org/wikipedia/commons/3/38/Jupyter_logo.svg\" style=\"width: 250px;\"/>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Jupyter notebook je webová aplikace pro interaktivní programování, zaznamenávání, vizualizaci a prezentace výsledků. Typicky se používá při analýze dat, problémech počítačového vidění, ale také pro matematické úkoly a třeba i trénovaní neurónových sítí.\n",
    "\n",
    "Jupyter je platforma kolem Jupyter notebooku, která se kromě notebooku stará o různá rozšírení, kolaboraci a nasazení do různých prostrředí. Více detailů na webu [jupyter.org](https://jupyter.org)\n",
    "\n",
    "Jupyter vznikl jako nadstavba nad IPython notebook, který v \"data\" světě začali používat také programátori v Julii a Rku. Proto Ju(lia) - Py(thon) - e(R) = Jupyter.\n",
    "\n",
    "V Jupyter notebooku se používají dva typy buněk — textové a kód. Kód je v našem případe Pythoní, no ve standardní instalaci Jupyteru je možné přepnout na jazyk Julia a nebo R. Existují také rozšíření do pro další jazyky.\n",
    "\n",
    "Kromě kódu a text v markdownu je možné použít HTML a zpouštět také systémové příkazy.\n",
    "\n",
    "## Zkratky\n",
    "\n",
    "Jupyter rozlišuje dva módy - **Command** a **Edit**. V Command módu jsou jedno a více-písmenové zkratky na zrychlení práce pro úpravu buněk, evaluaci a pod.\n",
    "\n",
    "- přístup ke všem příkazům `CTRL`+`SHIFT`+`P`\n",
    "\n",
    "\n",
    "- přepnutí mezi módy Command -> Edit `ENTER`\n",
    "\n",
    "\n",
    "- přepnutí mezi módy Edit -> Command `ESC`\n",
    "\n",
    "\n",
    "- šipky zaručí pohyb mezi buňkami\n",
    "\n",
    "\n",
    "- vložení buňky\n",
    "  - `A` nad aktuální\n",
    "  - `B` pod aktuální\n",
    "  - `SHIFT`+`M` spojení buňek\n",
    "\n",
    "\n",
    "- zmazání buňky `d d`\n",
    "\n",
    "\n",
    "- změna typu buňky\n",
    "  - `M` markdown\n",
    "  - `Y` code\n",
    "  - `1` nadpis 1\n",
    "  - `2` nadpis 2\n",
    "\n",
    "\n",
    "- evaluace\n",
    "  - `SHIFT`+`ENTER` evaluace aktuální buňky\n",
    "  - `CTRL`+`ENTER` evaluace označených buněk"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## IPython triky\n",
    "\n",
    "- magické příkazy\n",
    "  - load externého skriptu (třeba s definicemi funkcí)\n",
    "  - interaktivní matplotlib\n",
    "  - timing\n",
    "  - html\n",
    "  - aliasy, makra, debugger, pip, conda\n",
    "  - celý seznam [v dokumentaci](https://ipython.readthedocs.io/en/stable/interactive/magics.html)\n",
    "\n",
    "\n",
    "- snapshoty a uložení výsledků\n",
    "\n",
    "- nápověda příkazem `?`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {
    "code_folding": []
   },
   "outputs": [
    {
     "data": {
      "text/html": [
       "<!-- ukážka magického příkazu a html v notebooku -->\n",
       "\n",
       "<div>\n",
       "  <b>HTML v notebooku:</b>\n",
       "  <br />\n",
       "  <div style=\"height: 200px; width: 200px; background: #f00\"></div>\n",
       "</div>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "%%html\n",
    "<!-- ukázka magického příkazu a html v notebooku -->\n",
    "\n",
    "<div>\n",
    "  <b>HTML v notebooku:</b>\n",
    "  <br />\n",
    "  <div style=\"height: 200px; width: 200px; background: #f00\"></div>\n",
    "</div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Jupyter extensions\n",
    "\n",
    "Umožňují rozšíření funkcí notebooku, jako třeba možnosti skrýt bloky textu a kódu, hezky zobrazit určité typy dat, měřit čas evaluaci buňky, a pod.\n",
    "\n",
    "Instalace:\n",
    "\n",
    "```\n",
    "pip install jupyter_nbextensions_configurator jupyter_contrib_nbextensions\n",
    "jupyter contrib nbextension install --user\n",
    "jupyter nbextensions_configurator enable --user\n",
    "```\n",
    "\n",
    "Ukázka: Codefolding, Collapsible Headings - [Nbextensions](http://localhost:8888/tree#nbextensions_configurator)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Google Colab\n",
    "\n",
    "- Jupyter prostředí na steroidech v Google Cloudu\n",
    "- propojení přes GitHub\n",
    "- dostupné zdroje na běh zdarma, pro univerzity a výzkum navyše dostupné extra zdroje\n",
    "\n",
    "\n",
    "- trénovaní NNs na GPU/TPU\n",
    "  - MNIST + jednoduchá konvoluční neurónová síť\n",
    "\n",
    "\n",
    "- dotazování na BigQuery datasety\n",
    "  - počet .js filů ve všetch JS repozitářích na GitHubu\n",
    "  - zkoumání variantů genómů"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<b>Open in Colab badge:</b>\n",
       "<a target=\"_blank\" href=\"https://colab.research.google.com/github/jakubzitny/colab-tests/blob/master/tf-gpu-test.ipynb\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open in Colab\" title=\"Open and Execute in Google Colaboratory\"></a>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "%%html\n",
    "<b>Open in Colab badge:</b>\n",
    "<a target=\"_blank\" href=\"https://colab.research.google.com/github/jakubzitny/colab-tests/blob/master/tf-gpu-test.ipynb\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open in Colab\" title=\"Open and Execute in Google Colaboratory\"></a>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Příklady\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Vektor a vypsaní grafu z minulého cvičení"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "\n",
    "def generate_vector(start, end, step):\n",
    "    return np.arange(start, end, step)\n",
    "\n",
    "start = -4*np.pi\n",
    "end = 4*np.pi\n",
    "step = 0.01\n",
    "\n",
    "x = generate_vector(start, end, step)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# magický příkaz v akci\n",
    "%matplotlib inline\n",
    "\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "y = np.sin(x)\n",
    "plt.title('Funkce sin(x)')\n",
    "plt.plot(x, y)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Systémové příkazy"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "pwd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# znovu magický příkaz\n",
    "%cd .."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "pwd"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "cd \"H:\\\\Documents\\\\bi-svz\\\\tutorials\\\\files\\\\2\\\\\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "alias home cd \"H:\\\\Documents\\\\bi-svz\\\\tutorials\\\\files\\\\2\\\\\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "home"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Načení obrázku z disku\n",
    "\n",
    "Vyzkoušíme si načíst obrázek z disku a jednoduché transformace pomocí knihoven matplotlib a OpenCV. V BI-SVZ budeme používat OpenCV hodně, takže je vhodné se s ní seznámit.\n",
    "\n",
    "Můžete se podívat na široké možnosti knihovny v její [dokumentaci](https://docs.opencv.org/master/). OpenCV je napsaná v C++, proto definice její API je zdokumentovaná taky pro C++. My budeme používat wrapper pro Python (`opencv-python`), který podporuje ty samé funkce."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "imgPath = 'images/metal.jpg'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "import matplotlib.image as mpimg\n",
    "\n",
    "img = mpimg.imread(imgPath)\n",
    "imgplot = plt.imshow(img)\n",
    "\n",
    "plt.colorbar()\n",
    "plt.show() "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "lum_img = img[:,:,0]\n",
    "imgplot = plt.imshow(lum_img)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "plt.imshow(lum_img, cmap=\"hot\")\n",
    "plt.colorbar()\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "plt.hist(img.ravel())\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# přes OpenCV (z minulého cvičení)\n",
    "\n",
    "import cv2\n",
    "image = cv2.imread(imgPath)\n",
    "\n",
    "cv2.cvtColor(image, cv2.COLOR_BGR2RGB, image)\n",
    "\n",
    "plt.imshow(image, interpolation='bilinear')\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# histogram\n",
    "\n",
    "color = ('b','g','r')\n",
    "for i,col in enumerate(color):\n",
    "    histr = cv2.calcHist([image],[i],None,[256],[0,256])\n",
    "    plt.plot(histr,color = col)\n",
    "    plt.xlim([0,256])\n",
    "    plt.ylim([0,8000])\n",
    "\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Zdroje pro samostudium\n",
    "\n",
    "- Python zpracování obrazu — [opencv](https://opencv-python-tutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_geometric_transformations/py_geometric_transformations.html#geometric-transformations), [tesseract](https://github.com/tesseract-ocr/tesseract)\n",
    "- Python data a strojové učení — pandas, matplotlib, numpy, scipy, scikit, pytorch, tensorflow\n",
    "- [Markdown cheatsheet](https://www.markdownguide.org/cheat-sheet)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.0"
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}