[langchain]map,_reduce_유튜브_영상_요약_인공지능.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "gpuType": "T4",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/jkf87/autogen-handson/blob/main/%5Blangchain%5Dmap%2C_reduce_%EC%9C%A0%ED%8A%9C%EB%B8%8C_%EC%98%81%EC%83%81_%EC%9A%94%EC%95%BD_%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# YouTube Video Summarization\n",
        "- 유튜브 비디오 내용 요약 인공지능 만들기\n",
        "\n",
        "\n",
        "1. 유튜브 영상 다운로드 (음성만 다운로드, mp3) - PyTube\n",
        "2. Speech to Text (Transcribe) - OpenAI Whisper (Local)\n",
        "3. **Map-reduce** summariation - LangChain, OpenAI ChatGPT API\n",
        "\n",
        "\n",
        "### 출처 유튜브 [빵형의 개발도상국](https://www.youtube.com/@bbanghyong)\n"
      ],
      "metadata": {
        "id": "78Xoo7NZTn6F"
      }
    },
    {
      "cell_type": "code",
      "execution_count": 2,
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "qEWAygaxWfZs",
        "outputId": "26f2eab6-d2bb-48bf-a509-0ff72e87e229"
      },
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Get:1 https://cloud.r-project.org/bin/linux/ubuntu jammy-cran40/ InRelease [3,626 B]\n",
            "Hit:2 https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64  InRelease\n",
            "Get:3 http://security.ubuntu.com/ubuntu jammy-security InRelease [110 kB]\n",
            "Hit:4 http://archive.ubuntu.com/ubuntu jammy InRelease\n",
            "Get:5 http://archive.ubuntu.com/ubuntu jammy-updates InRelease [119 kB]\n",
            "Get:6 https://ppa.launchpadcontent.net/c2d4u.team/c2d4u4.0+/ubuntu jammy InRelease [18.1 kB]\n",
            "Get:7 http://security.ubuntu.com/ubuntu jammy-security/universe amd64 Packages [1,005 kB]\n",
            "Get:8 http://archive.ubuntu.com/ubuntu jammy-backports InRelease [109 kB]\n",
            "Get:9 http://archive.ubuntu.com/ubuntu jammy-updates/main amd64 Packages [1,347 kB]\n",
            "Hit:10 https://ppa.launchpadcontent.net/deadsnakes/ppa/ubuntu jammy InRelease\n",
            "Get:11 http://security.ubuntu.com/ubuntu jammy-security/main amd64 Packages [1,082 kB]\n",
            "Get:12 http://archive.ubuntu.com/ubuntu jammy-updates/universe amd64 Packages [1,270 kB]\n",
            "Hit:13 https://ppa.launchpadcontent.net/graphics-drivers/ppa/ubuntu jammy InRelease\n",
            "Hit:14 https://ppa.launchpadcontent.net/ubuntugis/ppa/ubuntu jammy InRelease\n",
            "Get:15 https://ppa.launchpadcontent.net/c2d4u.team/c2d4u4.0+/ubuntu jammy/main Sources [2,209 kB]\n",
            "Get:16 https://ppa.launchpadcontent.net/c2d4u.team/c2d4u4.0+/ubuntu jammy/main amd64 Packages [1,133 kB]\n",
            "Fetched 8,405 kB in 9s (974 kB/s)\n",
            "Reading package lists... Done\n",
            "Building dependency tree... Done\n",
            "Reading state information... Done\n",
            "25 packages can be upgraded. Run 'apt list --upgradable' to see them.\n",
            "Reading package lists... Done\n",
            "Building dependency tree... Done\n",
            "Reading state information... Done\n",
            "ffmpeg is already the newest version (7:4.4.2-0ubuntu0.22.04.1).\n",
            "0 upgraded, 0 newly installed, 0 to remove and 25 not upgraded.\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m794.3/794.3 kB\u001b[0m \u001b[31m10.5 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25h  Installing build dependencies ... \u001b[?25l\u001b[?25hdone\n",
            "  Getting requirements to build wheel ... \u001b[?25l\u001b[?25hdone\n",
            "  Preparing metadata (pyproject.toml) ... \u001b[?25l\u001b[?25hdone\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m57.6/57.6 kB\u001b[0m \u001b[31m5.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m1.7/1.7 MB\u001b[0m \u001b[31m61.4 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25h  Building wheel for openai-whisper (pyproject.toml) ... \u001b[?25l\u001b[?25hdone\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m77.0/77.0 kB\u001b[0m \u001b[31m2.0 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m1.9/1.9 MB\u001b[0m \u001b[31m28.2 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m40.1/40.1 kB\u001b[0m \u001b[31m5.1 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m49.4/49.4 kB\u001b[0m \u001b[31m6.2 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25h"
          ]
        }
      ],
      "source": [
        "!sudo apt update && sudo apt install ffmpeg\n",
        "!pip install -q openai-whisper pytube\n",
        "!pip install -q openai tiktoken langchain"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Download YouTube video\n",
        "\n",
        "[ChatGPT 파인튜닝 심리상담 챗봇 만들기 (비용, 시간, 데이터셋, 방법 소개)](https://youtu.be/sTC_srIwhIw?si=znP9FavxST5p0RFZ) - 빵형의 개발도상국 유튜브 채널"
      ],
      "metadata": {
        "id": "gdwIV5IDUM_b"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from pytube import YouTube\n",
        "\n",
        "yt = YouTube('https://youtu.be/sTC_srIwhIw?si=_BHcN3eH3lFhtdtZ')\n",
        "\n",
        "yt.streams.filter(only_audio=True).first().download(\n",
        "    output_path='.', filename='input.mp3')"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "id": "Z0MVmwOQX0Ko",
        "outputId": "c748b711-b9e2-462d-b15b-b7e35074cf38"
      },
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "'/content/./input.mp3'"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 3
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Transcribe"
      ],
      "metadata": {
        "id": "YkFBJYpGUQoI"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import whisper\n",
        "\n",
        "model = whisper.load_model(\"base\")"
      ],
      "metadata": {
        "id": "qVlpeceUXPkU",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "f225bda6-67bc-4324-c137-d9a37ed52432"
      },
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "100%|███████████████████████████████████████| 139M/139M [00:02<00:00, 68.7MiB/s]\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "30초 이상 오디오 데이터 처리 방법\n",
        "\n",
        "https://github.com/openai/whisper/discussions/136"
      ],
      "metadata": {
        "id": "_N-P3paimK7a"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "result = model.transcribe(\"input.mp3\")\n",
        "\n",
        "result[\"text\"][:300]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 72
        },
        "id": "NolAjGyKXhxT",
        "outputId": "cd1f4e7f-11c6-40e0-c72b-0995f98c5fd6"
      },
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "' 선제로서는 시간적으로 럽다면 천천히 준비해보는 것도 좋겠습니다. 그래 네 말 대로 천천이라도 준비해보자. 좋은 결실이 있기를 기억하겠습니다. 그리고 다른 이야기를 함께 나눠볼까요? 아니야 이제 그만 얘기하자. 지금 좀 지친 것 같은데? 나이 꿈은 아이돌인데 춤을 못 춰서 고민이야. 아이돌 되고 싶은데 춤을 못 추듯이 다니고 불안하시겠군요. 그러면 춤을 잘 추는 건 다른 사람들이 해서 뭐죠 무슨 말인지 모르겠는데? 아니 아니 그렇다면 춤을 잘 추기 위해서 연습할 수 있는 방법이 있을까요? 고마워 안녕. 고마워 보다 보니 뭘 몽라. '"
            ],
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            }
          },
          "metadata": {},
          "execution_count": 5
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Map-reduce summarization\n",
        "\n",
        "https://python.langchain.com/docs/use_cases/summarization#option-2-map-reduce\n",
        "\n",
        "한글 설명: https://teddylee777.github.io/langchain/langchain-tutorial-07/\n",
        "\n",
        "![](https://i.imgur.com/2jJ0unq.jpg)"
      ],
      "metadata": {
        "id": "9SemXn9jmRlN"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Text splitter"
      ],
      "metadata": {
        "id": "f2qcpBZ9mY1H"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from langchain.text_splitter import RecursiveCharacterTextSplitter\n",
        "from langchain.schema.document import Document\n",
        "\n",
        "# 이 객체는 텍스트를 나누어 주어진 청크 크기에 따라 여러 부분으로 분할합니다.\n",
        "text_splitter = RecursiveCharacterTextSplitter(\n",
        "    chunk_size=1000,  # 각 청크의 최대 길이를 설정합니다.\n",
        "    chunk_overlap=50,  # 청크 간에 겹치는 문자 수를 설정합니다.\n",
        "    length_function=len,  # 청크 길이를 측정하는 함수를 설정합니다.\n",
        ")\n",
        "\n",
        "# 텍스트를 분할하고, 각 부분을 Document 객체로 변환합니다.\n",
        "docs = [Document(page_content=x) for x in text_splitter.split_text(result[\"text\"])]\n",
        "\n",
        "# 분할된 문서들을 더욱 작은 부분들로 나눕니다.\n",
        "split_docs = text_splitter.split_documents(docs)\n",
        "\n",
        "# 분할된 문서의 개수를 출력합니다.\n",
        "len(split_docs)\n"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "5XWJ3toqh1kZ",
        "outputId": "16cbc4a1-aa8f-4133-efea-ff4281f50aef"
      },
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "11"
            ]
          },
          "metadata": {},
          "execution_count": 6
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "split_docs"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "BVjDfLm4jVxj",
        "outputId": "f9bb799f-6e76-4cd5-a14c-3768b7b535d8"
      },
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[Document(page_content='선제로서는 시간적으로 럽다면 천천히 준비해보는 것도 좋겠습니다. 그래 네 말 대로 천천이라도 준비해보자. 좋은 결실이 있기를 기억하겠습니다. 그리고 다른 이야기를 함께 나눠볼까요? 아니야 이제 그만 얘기하자. 지금 좀 지친 것 같은데? 나이 꿈은 아이돌인데 춤을 못 춰서 고민이야. 아이돌 되고 싶은데 춤을 못 추듯이 다니고 불안하시겠군요. 그러면 춤을 잘 추는 건 다른 사람들이 해서 뭐죠 무슨 말인지 모르겠는데? 아니 아니 그렇다면 춤을 잘 추기 위해서 연습할 수 있는 방법이 있을까요? 고마워 안녕. 고마워 보다 보니 뭘 몽라. 두께 학습이랑 테스트는 괜찮은데 선생님이 싫어. 선생님 싫어. 일단 이제 허소를 하죠. 교실에서 인성격 중 이상이니까. 아니 선생님이 이상해. 우리한테는 화 잘 내주는데 부문이 꽤 말투가 바뀌어. 그러면 부문이 있으시군요. 선생님 부문을 드날 때도 가 다르게 다가오신 것 같습니다. 안녕하세요. 여러분 반갑습니다. 오늘은 여러분들한테 신기한 걸 소개해 주시켜 드릴 건데 게스트가 있습니다. 게스트 분이 만든 작품을 보고요. 코드도 한번 소개해 요청 드리려고 합니다. 한번 소개해 주시겠어요? 네 안녕하세요. 저는 코난센티비 채널을 운영하고 있고 현직 초등학교 교사로 근무하고 있는 조사한 중이라고 합니다. 반갑습니다. 이야 짜잔. 이제 방향님이랑 어쩌다 보니까 그 파인트리닝을 하다 보니까 이걸 가지고 심리상담 데이터를 넣어서 첩보슬을 만드면 좋겠다고 생각을 해서 첩보습에서 하나 만들었고요. 제가 부가정에 설명을 드리자면 체집 피티 로 파인트리닝한 결과물을 가지고 심리상담 첩보슬을 만들었어요. 시작하게 들으면 이제 원 서비스로 넘어가는 데 이렇게 여기에 첩보습 사용법을 소개하고 여기 채팅 내용이 나오고 자주 사용하는 것들 그리고 PDF로 제장하는 것 대안 내용 분석하는 거랑 이미 생성하는 것 이렇게 만들어봤고요. 자주 묻는 응답들을 준비했고요. 제가 이거를 만들어서 애들이랑 써보니까 애들이 이성고민, 학업 상담이나 진로고민이나 가족 성담,'),\n",
              " Document(page_content='만들어서 애들이랑 써보니까 애들이 이성고민, 학업 상담이나 진로고민이나 가족 성담, 동생이나 부모님과의 관계에 대해 이런 것들에 되게 관심이 많더라고요. 애들이랑 써보고 자주 물어보는 것들로 준비했고요. 공부를 잘하고 싶어요라고 그걸 봤을 때 잘하고 싶다는 생각은 뭐 이렇게 많은 분들이 가시는 것 같아요. 라고 해서 상담하듯이 채포스를 만들었고요. 실제 상담 데이터들이 여기 들어가 있습니다. 처음에 너무 어려워요. 약간 상담 기법 중에 미러링이라는 게 있는데 내 담자가 한 말을 또 그대로 응답해 주는 그런 게 있거든요. 한 번 언급하면서 아, 그러시군요. 어떤 부분이 그렇게 느껴지시나요? 이렇게 말하는 그런 상담 기법들이 약간 녹아 있습니다. 그거는 이제 데이터 세세에 그런 부분들이 있어서 이렇게 된 것 같고요. 데이터 세세을 조금 소개해 주실 것들을 드리면 지금 되게 많은데 일단 상담사입니다. 아니면 상담소입니다. 이렇게 해서 시작을 하고요. 이렇게 상담을 하고 또 답변을 받고 또 내용을 하고 하는 식으로 이게 멀티턴 데이터로 구성이 되겠습니다. 멀티턴 멀티턴 데이터가 뭐냐고 물어볼 수 있을 것 같아요. 멀티턴이라는 게 뭐냐면 우리가 대화를 하면 한 번 주고 받는 게 그냥 싱글턴이고요. 이거를 이어서 여러 번 주고 받아서 별로 내일까지 이르는 게 이제 멀티턴이라고 볼 수 있습니다. 일단 중입병 같은 걸 증상으로 불구했어요. 이렇게 말도 안 되는 얘기를 하고 있습니다. 그럴 때 이제 채취 피티한테 예부로 보면 중입병은 중학교 2학년에서 대표적으로 격르는 증상입니다. 하면서 설명을 막 해주거든요. 처음에 채취 피티는 상담의 그런 게 필요한 게 아니잖아요. 그런데 채취 피티는 어떤 얘기하면 무조건 설명을 쭉 하시고 그다음에 이어서 대화를 하는데 너무 말이 길어져요. 그러니까 공부하기 싫어하고 공격적으로 뭐 이렇게 됐다고 하고 또 그다음에 계속 대화를 이어나가는 이런 데이터입니다. 이게 하나의 데이터고요. 참고로 이게 토크니 4,996 토크까지 들어간다고'),\n",
              " Document(page_content='데이터입니다. 이게 하나의 데이터고요. 참고로 이게 토크니 4,996 토크까지 들어간다고 하더라고요. 저도 처음에는 몰랐는데 채취 피티 토크 나이저가 있어요. 여기다 넣어보니까 처음에는 몰랐습니다. 처음에는 파인틴이 하기 전에 몰랐고 파인틴이 하고 읽어보니까 토크니 4,996 토크까지만 한 줄에 들어간다고 하더라고요. 어쨌든 간에 어쩌다 보니까 그 안에 들어가서 잘리진 않은데 이런 데이터들을 대화 내용들 넣은 거죠. 엄청 많이 넣었어요. 멀티탄 데이터라는 건 서로 티켓탁하면서 주고받은 데이터 한 번만 대답이 한 번만 나오는 게 아니라 여러 번 질문하고 답변하고 답변하고 이런 걸 멀티탄 데이터라고 하는군요. 그렇죠. 그렇습니다. 그래서 뭐 좀 파인틴이 궁금하신 분들이 있을 것 같아서 파인틴인을 언제나 하는지 이런 것으로 사실 좀 정리를 좀 해봤거든요. 폼질로필 때나 우리가 이제 프럼프트 엔진이어링 같은 거 할 때 휴살살을 주고 휴살살라고 하면 일종의 예제 같은 걸 주고 그다음에 이렇게 응답을 해 라고 했을 때 비슷한 응답으로 처리가 되는 거예요. 우리가 프럼프트 엔진이어링 업중이 하나로 쓰잖아요. 그런 것처럼 휴살살살 더 많이 줘. 더 짧은 프럼프트로 나 기존에는 휴살살 줘 가지고 길게 처리했다면 이 파인틴인을 한 모델 가지고는 짧은 프럼프트로도 이런 것들이 가능한 거죠. 그리고 이제 이거는 굉장히 사용하면서 좀 이 점이었는데 빠른 응답이 가능합니다. 이제 가끔 엄청 오래 걸리는 gptpona 이런 걸 썼을 때 굉장히 응답이 늦어지는 경우가 있는데 파인틴인을 하면 응답이 굉장히 빠르게 나올 때 그런 걸 내가 하고 싶다. 할 때는 파인틴인 것 쓰면 좋은 것 같더라. 이 데이터는 어디서 얻었냐면 하은슬 gpt라고 해서 이 데이터 자 때도 사실 오픈에이아이 에이페이 이용해서 gpt로 만들었던 겁니다. 그래서 저는 이 두 가지 데이터 중에서 멀티타는 데이터. 이걸 샀으면 아파타 표정 같은 경우는 어떤 기준으로 바뀌는 건가요? 왜냐하면 지금 첫 번째 수면 장애가'),\n",
              " Document(page_content='표정 같은 경우는 어떤 기준으로 바뀌는 건가요? 왜냐하면 지금 첫 번째 수면 장애가 있으시군요. 이런 거는 앞에 보면서 얘기하고 있는 것 같고 밑에 수업 준비를 못해서 걱정에 대신다면 약간 옆을 보면서 얘기하는 것고 이런 기준이 있는 것 같아서 기준은 크게 세 가지 정도로 되어 있습니다. 그래서 긍정. 첫 번째 긍정이 있고 공감해주는 거 있고 정리해주는 게 있어요. 그래서 약간 응원이 필요할 때는 이렇게 육회를 하는 것을 하고 났거든요. 긍정의 메시지를 보낼 때는 약간 육회를 해서 힘을 주는 거고 공감할 때는 잘 경청이 또 필요하잖아요. 그래서 이제 약간 경청의 의미로 꼭 기본적인 이미지는 이런 이 이미지입니다. 이 기본의 이 기본 이미지예요. 이 이미지는 직접 그리신 건가요? 아닙니다. 다 생성형 인공지는으로 만들었죠? 생성형 인공지를 만들어서 잘랐습니다. 오려가지고 디자인은 디자인 안 하고 그냥 이 배경만 딱 날렸어요. 이 힘이 되는 이미지 생성학의를 누르면 어떻게 보이나요? 이걸 누르면 이 데이터를 지금 우리가 대화를 산 내용을 그대로 휴대회를 뽑아서 넣어서 응원해주는 이미지를 만들어주는데요. 이게 좀 이걸 하고 있네요? 그런데 이제 이거는 달리에 API를 썼는데 달리가 이미지 생성은 잘하지만 이 프롬프트를 잘 생성 못하더라고요. 프롬프트가 아니고 텍스트를 생성할 텍스트도 하고요. 텍스트를 안 넣으라고 제가 사실 프롬프트에다가 노 텍스트를 넣었는데 자꾸 텍스트를 넣어요. 아니 노 텍스트를 넣어서 노으라고 나온 거 아니에요? 아 그런가요? 노 텍스트를 넣어서 노으라고 나온 거 같은데? 아 그러면 어떻게 텍스트를 안 넣으려고 어떻게 되죠? 네. 그냥 노 텍스트를 일단 빼는 게 좋을 것 같습니다. 빼는 게? 아 네. 그렇다고도 못 고려하고 저는 네거티우 프롬프트를 이용해서 넣을 할 수 있는데 노라고 넣어서 그런 건가요? 달리는 네거티우 프롬프트가 지원이 안 되죠, 아니? 아 그런가요? 저기 비인 같은 경우, 비인 이미지 크리에이터 같은 경우는 네거티우'),\n",
              " Document(page_content='아니? 아 그런가요? 저기 비인 같은 경우, 비인 이미지 크리에이터 같은 경우는 네거티우 프롬프트 오 됐다, 됐다. 근데 뭐 거의 따봉만 나오는 것 같은데? 네. 템서글럭기 때문에 얼굴은 좀 다르게 나오고 매우 힘이 되고 있습니다. 네. 이렇게 따봉에 나오고요. 이것도 사실 프롬프트 엔진엘을 좀 더 하면 좋은 게 날 것 같은데 참고했고 그리고 대안의 형으로 분석을 하면 저는 범주를 총 6개로 나하고 정서적 안정성이랑 대행관계 등려 자기 인식도 스트레스 관리 등려 적용력, 스하스톤 등려 이런 게 필요하고 사실 이 정서적 안정성이랑 스트레스 관리 등려 이런 것들이 벼 가지고 있는 아이들이 조금 자살, 요리나 이런 걸 영화를 미치는 걸로 알고 있어요. 특히 이제 청순위형 기 아이들 이렇게 이런 게 되게 중요한데 자기가 대화를 해보고 스스로는 좀 더 판단할 수 있겠죠. 한 가지 질문이 있는데 이런 정서적 안정성, 점수 같은 거는 그리고 채취 PT가 되는 거잖아요. 그렇죠. 그게 어떤 신뢰도 믿을 만한 수치인가요? 신뢰도는 사실 이렇게 높은 편이라고 볼 수는 없습니다. 사실 지금 봤을 때는 어디까지나 채취 PT에 출근 결과인데 전 예제를 딱 한 가지면 줬어요. 그냥 제가 평가를 한 예제를 넣고 그걸 기준으로 판단하기 때문에 조금 정확하지 않을 겁니다. 아직까지는 만약에 이것도 만약에 이 파인티링을 해가지고 상담 결과로 어떤 이런 데이터들이 이제 정량적으로 나온 게 있으면 그걸 다시 넣어가지고 이제 그 모델을 쓴다면 정확하게 나오겠죠. 네, 그렇겠네요. 이렇게 되고요. 마지막에 저장하게 누르면 이제 파일로 아홉밖에 눌러서 저장을 해줍니다. 멋집니다. 아, 되게 멋진 제품이에요. 그러면 이번에는 한번 저기 아이들하고 실제로 코난스의 선생님이 초등학교 선생님이거든요. 선생님이라서 아이들하고 접하게 해가 많은데 실제로 학생들하고 해 본 결과를 한번 보도록 할까요? 요즘 애들하고 어떤 고민을 하고 있는지 네, 한번 보도록 하겠습니다. 사실 저희가 초등학교 5학년이고 남자의'),\n",
              " Document(page_content='고민을 하고 있는지 네, 한번 보도록 하겠습니다. 사실 저희가 초등학교 5학년이고 남자의 여자에 대해 섞여 있는데 공통적인 관심사이란 게 없더라고요. 어떤 친구는 정말 말도 안 된 얘기를 하고 이렇게 모르겠습니다. 이런 얘기를 하고 무릎쇼, 무릎쇼 이런 거 얘기만 하고 의미가 없는 대화들만 하는 게 어디 있고요. 어떤 친구는 연애상담을 진짜 이렇게 반해 조환의자가 있다 이렇게 얘기를 자기 성공함을 얘기하기도 해요. 그래서 어느 정도 좀 정말요? 재밌는 것 같은데요, 대화대요? 아, 지금 쉽겠고요. 네, 대화대용이 재밌는 것 같은 날 보고 거죠. 반해 조환의자가 있다고 합니다. 어떤 관계를 가지고 있는지 물어봤어요. 친구? 그냥 친구, 아직은 그냥 친구예요. 그냥 친구네요. 그런데 그러니까 이제 친구라면 어떻게 지내는지 진행해야 하는지 무엇을 좋아하고 싫어하고 어떤 성격을 가지고 있는지 파악하는 것이 중요하다고 조언을 해주고 있어요. 상대가 소심해서 말을 잘 안 한다. 그래서 소심한 성격대에 힘들다는 여자의가 소심하다, 내가 소심하니까 편안한 상황에서 대화를 나누라고 얘기하고 강요하지 말아라. 네, 그 얘기하고 있고. 어떻게 하면 더 친해질 수 있을까요?라고 질문을 하니까 관심을 가져다. 그런데 좀 약간 제너로라는 답변을 하고 있는 것 같네요. 네, 약간 그런 내용 자체가 좀 제녀를 하게 세부적인 내용들을 더 물어보지 않았어요. 여자의 아예 대한 결들이 없기 때문에 그런 것 같고요. 선제조사는 시간적으로 럴다면 천천히 준비해보는 것도 좋겠습니다. 그래, 네 말대로 천천이라도 준비해보자. 좋은 결실이 기억하겠습니당. 그리고 다른 이야기를 함께 나눠볼까요? 아니야, 이제 그만 얘기하자. 아니, 그런데 이거는 이제 좀 지친 것 같은데? 지쳤어요. 자꾸 이제 꽂아야 되니까 지쳤어요. 그렇다면 그렇다면 그렇다면 계속 그렇다면이 막고 그렇다면 꼬리에 꼬리를 묻는 상담 방법이 이것저것 한 번 기법에 일종인가요? 아마 이게 데이터스에서 한 게 있어도 있겠고요. 그렇죠? 네,'),\n",
              " Document(page_content='한 번 기법에 일종인가요? 아마 이게 데이터스에서 한 게 있어도 있겠고요. 그렇죠? 네, 그렇죠. 나이꾸마 아이돌인데 춤을 못 춰서 고민이야. 아이돌이 되고 싶은데 춤을 못 추듯이 다니고 불안하시겠군요. 그러면 춤을 잘 추는 건 다른 사람들이 해서 뭐죠? 무슨 말인지 모르겠는데. 본인이 경험할 수 없다고 생각하시나요? 이게 못하는 건 아니, 아니. 그렇다면 춤을 잘 추기 위해서 연습할 수 있는 방법이 있을까요? 고마워, 안녕. 고마워. 오늘 뭔가 아마 중간에 이제 꺼버린 것 같습니다. 나는 영화하고거나 끊고 싶은데 부모님께서 영화하고는 계속 다니라고 해. 그냥 그만 다닌고 싶은데 계속 다니라고 한다. 너무 스트레스받아. 영화하고서는 스트레스 많이 받는군요. 어디가 가장 힘드시도 듣기나요? 선생님이랑 듣기, 학습이랑 테스트하는 게 너무 힘들어. 그럼 지금 어떤 일 하면서 걱정이나 스트레스가 좀 덜 대시나요? 듣기 학습이랑 테스트는 괜찮은데 선생님이 싫어. 선생님이 싫어. 일단 이제 허소리하죠. 이제 교실에서 인성 교육 중이잖아요. 네, 어디가 재밌고 음료 느끼시나요? 합기도랑 우영. 합기도랑 우영 좋아하시는군요. 좋아하는 활동을 계속해서 하시면서 성취감을 느끼시는 것도 좋은 건 겁니다. 아니 선생님이 이상해. 우리한테는 화 잘 내주는데 부모님께는 말투가 바뀌어. 그럼 부모님 있으시군요. 선생님 부모님의 날트납때도 가다르게 다가오신 것 같습니다. 근데 저 이걸 하면서 약간 재미있었던 게 뭐가 있냐면 아이들이 지금 심리 상담, 채봇이랑 대화를 하면서 좀 부모님이나 실제 선생님이랑 당사자한테 얘기를 못하는 것들을 얘기를 하고 있는 것 같아요. 그렇죠, 솔직하게. 솔직하게 얘기하죠. 지금 하고 선생님께서 그렇죠? 부모님이랑 얘기할 때랑 또 말투가 바뀐다고 그런 얘기를 하고 있죠. 그래서 그런 부분들은 되게 좋게 사용될 수 있겠다. 라는 생각이 드네요. 편하게 얘기할 수 있으니까. 자, 그럼 우리가 이제 좀 파인트닝 코드를 한번 넘어 볼까요? 간단하게 파인트닝 코드를'),\n",
              " Document(page_content='자, 그럼 우리가 이제 좀 파인트닝 코드를 한번 넘어 볼까요? 간단하게 파인트닝 코드를 설명해 주시겠습니다. 처음에 이거 그냥 라이브러리 필요한 거 설치하고 키를 넣고 이제 더. 변한 된 제이슨 L 파일을 되었습니다. 그리고 이제 여기 퍼포즈에서 파인트닝 해서 옴로드를 하면 이 아래처럼 이렇게 옴로드를 하면 이렇게 나오고요. 옴로드를 중이라고 나옵니다. 사실은 처음에 이렇게 하면 옴로드를 한 데 얼마나 걸리나요? 옴로드를 한 데는 얼마 안 걸렸던 것 같아요. 옴로드를 한 데는 그냥 5분 정도 그랬던 것 같아요. 파이크기랑은 크게 생각은 없었고 그다음에 여기 보면 이제 이 아이디가 생깁니다. 이렇게 아이디가. 이 아이디를 여기다가 넣어줘야 됩니다. 이 아이디를 넣어주고 그다음에 우리는 3.5 터보를 튀딩을 할 거기 때문에 3.5 터보를 여기다 넣었고요. 그렇게 하면 이제 튀딩을 시작이 되는데 이제 튀딩을 하고 있을 때는 튀딩 중이라고 제 스테이트가 보이고요. 튀딩이 끝나면 튀딩이 됐다고 되었는데 요하기는 요골라시겠습니다. 오픈의 아이파이 튀딩 잡 좀 리스트하고 10개까지. 이러면 파인 튀딩이 되고 있는 작업을 몇 개까지인지 확인할 수 있고 최근에 그 파인 튀딩 여기에 오픈의 아이에서 플레이그라운드 태배 분배 싶으시면은 파인 튀딩 태배 챙겼어요. 여기에서 이제 보면 내가 파인 튀딩 한 걸 이렇게 부추어 했습니다. 언제 시작했는지 이렇게 만들었고 이거는 얼마나 걸렸던 것 같죠? 시간이? 이거 4시간 정도 글렀어요. 11시 26분에 시작했는데 오 3시. 4시간 걸렸네요. 4시간 걸렸죠? 4시간 20분. 그리고 비용도 엄청 나왔습니다. 비용놈 보여드리면 비용 보여주세요. 비용에 가장 궁금해하실 것 같은데. 비용 엄청 나왔어요. 비용이? 네. 내가 168달러 나왔습니다. 거의 20만원? 네 20만원. 20만원. 이거 한 번 튀딩 한 대 20만원. 이거를 처음에 제가 이제 리미스 100달러 보러 왔었는데 이게 웃긴 게 처음에 100달러 보러 왔고 튀딩을 하면 튀딩이 안'),\n",
              " Document(page_content='보러 왔었는데 이게 웃긴 게 처음에 100달러 보러 왔고 튀딩을 하면 튀딩이 안 돼요. 튀딩이 안 됩니다. 리미스 딱 걸려가지고 에러가 딱 뜹니다. 그래서 이거를 리미스를 풀고 지금 200달러로 리미스 풀니까 되더라고요. 200달러 언제 나오겠지 했는데 아예 200달러까지는 안 나오고 168달러가 나왔고 그 외에 좀 이것저것 한다고 그날 하루에 183달러 썼죠. 아이들을 위해서 사비를 터신 선생님. 박수. 여기 보시면 지금까지 했던 그 리스트를 볼 수 있어요. 그런데 저희가 할 때는 이게 없었죠. 이 사이트가 없었죠. 이게 없었어요. 없었기 때문에 이게 파인팅이 잘 되고 있는지 확인을 못 했어요. 그래서 이걸 찍어보면서 됐는지 안 됐는지 막 했었는데 그리고 학습을 하면 이제 이렇게 떨어지거든요. 로스 가요. 아 로스. 네. 드림 로스가 떨어지는데 이제 데이터가가 세시 잡으면 애포기 한 세 번 돌아가요. 네 데이터 스시크면 애포기 두 번만 들어가고 로스 유도 좀 큰 것 같더라고요. 그래서 이게 데이터 스시가 과연 많이 하는 게 휴일적인 건가나 좀 고민을 해봐야 될 것 같아요. 네. 아 이거 훌륭한 많은 도움이 되라는 교원입니다. 그리고 이제 완료가 되면 여기 아이디가 되기 때문입니다. 파인투�닝 잡 하고 이렇게 되고요. 그다음에 모델도 모델은 좀 뒤에 바뀌는데 일단 여기 있네요. 파인투누모델 아래 있네요. 여기 있네요. 파인투누댕댕 하고 GPD 3.5 TURBO 하고 이렇게 아이디가 의미로 부여가 되는데요. 이 때문에 몰랐어요. 나중에 알고 보니까 이것도 아이디를 만들어줄 수 있더라고요. 이거 뒤에다가 붙이면은 네 데이터가 바뀌고 싶더라고요. 이거를 크리셔도 이 안에서 있는 알아서 됩니다. 알아서. 주닝을 하는 거기 때문에 사실은 이제 코랩이 꺼지는 거랑 생각이 없는 것 같아요. 그래서 GPU가 없는 저 같은 분들께는 사실 이제 또 보면 돈을 라면 할 수 있는 거니까. 사실 GPU가 없어서 일을 하기보다는 GPD 모델이 없어서 차 GPD 모델이 없어서 하는'),\n",
              " Document(page_content='사실 GPU가 없어서 일을 하기보다는 GPD 모델이 없어서 차 GPD 모델이 없어서 하는 거죠. 이거죠. 그렇죠. 우리가 뭐 라마트 같은 경우서도 사실 한국어가 잘 안 나오잖아요. 맞아요. 그래서 그냥 이걸 쓰는 게 원하는 목적을 달성한 데는 빠른 방법인 것 같다. 네. 어쨌든 간에 이제 모델을 이렇게 넣었고 그다음에 테스트를 해봤더니 여기서 모델 ID는 아까 우리가 부여받는 그 모델 ID를 사용해드린 거죠. 그렇죠. 여기서 이 아이디가 중요하고 그리고 이건 하는 모델 ID. 네. 그리고 이거는 다른 사람이 이 모델 아이디를 알고 있어도 쓰지 못합니다. 아 네. 그렇군요. 네. 그래서 나만 쓸 수 있고 만약에 다른 사람이랑 같이 쓸다면 왜 메이저 카운트에서 여기서 사람을 초대할 수 있거든요. 멤버에서. 네. 여기 초계를 하면 쓸 수 있는 걸로 알고 있어요. 아 그렇군요. 네. 이 파인트닝 코드는 제가 예전에 AAL 프렌즈 세미나에서 한번 해본 한 적이 있어서 좀 더 자세한 설명은 그 세미나 영상을 참고하시면 좋을 것 같아요. 우리 오늘 코란스님이 유튜브 채널을 운영하고 있다고 해요. 그래서 유튜브 채널을 아마 여러분들 관심을 가지고 가지고 같아서 한번 소개를 간단하게 하드리려고 합니다. 네. 제가 유튜브 채널은 굉장히 작은 채널인데요. 코로나 때 그 온라인서 할 때 시작한 채널이고 네. 선생님들에게 온라인서 방법을 좀 알려드리려고 계설하게 되겠는데 지금은 아이들이랑 있었던 일들이나 그리고 로블록스 개발을 하고 있는 그런 것들을 좀 공유하는 차원에서 이것저것 업로드를 하고 있습니다. 저는 인공지능에 대한 것들 업로드라고 있고요. 이제 제가 교사야로서 대표적으로 보여드리면 이런 것들을 하고 있는데요. 알림장을 빛이 를 인식을 해가지고 도장을 달아가지고 카메라로 도장을 찍어주는 로봇을 만들었어요. 그의 씨 다시 써. 아 그의 씨를 제대로 안 쓰면 도장을 안 찍어주는 거거든요. 네. 그렇습니다. 그래서 다시 닥상해 주세요. 네. 그리고 다시 닥상을 해서 잘 찍으면'),\n",
              " Document(page_content='네. 그렇습니다. 그래서 다시 닥상해 주세요. 네. 그리고 다시 닥상을 해서 잘 찍으면 통과한 게 안 나오네요. 통과하게 도장을 찍어줍니다. 여기는 이제 옷이 안 된 지니 들어가 있고 네. 옷이 안 된 지니가. 카메라가 달려 있어서 알림장에 있는 글씨를 읽어서 잘 읽었으면 도장을 찍어주고 만약 글씨를 지뤑이로 썼다. 이러면 안 찍어주고. 그렇죠. 그런 게 이제 이 자체에서 크롤링을 해가지고 학교 홈페이지에다가 안 찍었으면 알아서 크롤링한 데이터를 긁어서 그걸 가지고 이렇게 찍어줍니다. 이런 게 이제 궁금하신 분들은 코난쌤 TV의 채널에 들어가셔서 한번 확인해 영상을 확인해 보시면 좋을 것 같아요. 작은 채널이라고 하기에는 영상에 300개나 있어요. 네. 대부분 다 쏙 갈렸던 거나. 방역님의 채널에 초녀를 하게 됐는데 제가 이정부터 사실 구독자도 열려랑 구독자로 한 3년 전부터 굉장히 열심히 보고 있는 채널이거든요. 사실 채널을 보면서 굉장히 실력이 많이 되었습니다. 제가 그 전에 코딩을 잘 못했었는데 지금도 그렇게 잘하는 거 아니지만 이렇게 서비스도 만들고 수업이나 아이들 가르치를 때 도움이 되는 그런 앱들을 이렇게 만들어낼 수 있는 실력이 된 건 사실 방역님의 도움이 컸다고 하잖아요. 아 그래요 무슨 말씀이에요. 저도 이제 저도 성장하는 걸 느끼고 저도 이제 두 채널에 재밌는 거 많이 올리도록 할 테니까요. 좀 그런 고민들을 같이 나눌 수 있는 그런 채널을 키우고 싶어요. 네. 코난쌤 TV 채널 많이 구독해주시고요. 네. 감사합니다. 잘 부탁드립니다. 앞으로도 우리 같이 뭔가 재밌는 것들 오늘처럼 만들어 나와서 같이 영상 올리면 재밌을 것 같아요. 아 네. 저야 영광이죠. 그럼 오늘 영상 여기까지고 다음에 또 재밌는 주제로 또 만나요 앱도록 하겠습니다. 같이 인사할까요? 안녕.')]"
            ]
          },
          "metadata": {},
          "execution_count": 7
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Prompts"
      ],
      "metadata": {
        "id": "p2W1jxOXpt-E"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from langchain.chains.mapreduce import MapReduceChain\n",
        "from langchain.chains import ReduceDocumentsChain, MapReduceDocumentsChain\n",
        "from langchain.chat_models import ChatOpenAI\n",
        "from langchain.chains.llm import LLMChain\n",
        "from langchain.prompts import PromptTemplate\n",
        "from langchain.chains.combine_documents.stuff import StuffDocumentsChain\n",
        "\n",
        "openai_api_key = \"sk-\"\n",
        "\n",
        "llm = ChatOpenAI(temperature=0, openai_api_key=openai_api_key)\n",
        "\n",
        "# Map prompt\n",
        "map_template = \"\"\"The following is a set of documents\n",
        "{docs}\n",
        "Based on this list of docs, please identify the main themes\n",
        "Helpful Answer:\"\"\"\n",
        "\n",
        "map_prompt = PromptTemplate.from_template(map_template)\n",
        "\n",
        "# Reduce prompt\n",
        "reduce_template = \"\"\"The following is set of summaries:\n",
        "{doc_summaries}\n",
        "Take these and distill it into a final, consolidated summary of the main themes.\n",
        "The final answer is a single paragraph of about 300 words and must be in Korean.\n",
        "Helpful Answer:\"\"\"\n",
        "\n",
        "reduce_prompt = PromptTemplate.from_template(reduce_template)"
      ],
      "metadata": {
        "id": "bv9-YRZqZpQG"
      },
      "execution_count": 8,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Map-Reduce chains"
      ],
      "metadata": {
        "id": "tV52dud-pvil"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# 1. 체인 축소\n",
        "reduce_chain = LLMChain(llm=llm, prompt=reduce_prompt)\n",
        "\n",
        "# 문서 리스트를 받아서 하나의 문자열로 결합하고, 이를 LLMChain에 전달\n",
        "combine_documents_chain = StuffDocumentsChain(\n",
        "    llm_chain=reduce_chain, document_variable_name=\"doc_summaries\"\n",
        ")\n",
        "\n",
        "# 매핑된 문서를 결합하고 반복적으로 축소\n",
        "reduce_documents_chain = ReduceDocumentsChain(\n",
        "    # 이것은 호출되는 최종 체인입니다.\n",
        "    combine_documents_chain=combine_documents_chain,\n",
        "    # 문서가 `StuffDocumentsChain`의 컨텍스트를 초과하면\n",
        "    collapse_documents_chain=combine_documents_chain,\n",
        "    # 문서를 그룹화할 최대 토큰 수.\n",
        "    token_max=4000,\n",
        ")\n",
        "\n",
        "# 2. 맵 체인\n",
        "map_chain = LLMChain(llm=llm, prompt=map_prompt)\n",
        "\n",
        "# 체인을 매핑하여 문서를 결합하고, 결과를 결합\n",
        "map_reduce_chain = MapReduceDocumentsChain(\n",
        "    # 맵 체인\n",
        "    llm_chain=map_chain,\n",
        "    # 리듀스 체인\n",
        "    reduce_documents_chain=reduce_documents_chain,\n",
        "    # llm_chain에 문서를 넣을 변수 이름\n",
        "    document_variable_name=\"docs\",\n",
        "    # 출력에서 맵 단계의 결과를 반환\n",
        "    return_intermediate_steps=False,\n",
        ")\n"
      ],
      "metadata": {
        "id": "Xn-H08CYb01s"
      },
      "execution_count": 9,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "![image.png](https://i.imgur.com/za0cKc2.png)"
      ],
      "metadata": {
        "id": "3uvvDqwDeCqN"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### Run"
      ],
      "metadata": {
        "id": "2W3KU9GfpySv"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "sum_result = map_reduce_chain.run(split_docs)\n",
        "\n",
        "print(sum_result)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "UugYRovwdXhG",
        "outputId": "02967f6f-e67f-4b44-bf67-0d0667270c7b"
      },
      "execution_count": 10,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "주어진 문서 목록을 기반으로 주요 테마를 요약하면 다음과 같습니다:\n",
            "\n",
            "1. 준비와 목표 설정: 첫 두 문서는 천천히 준비하고 좋은 결과를 얻기 위한 중요성에 대해 논의하고 있습니다. 이 주제는 세 번째 문서에서도 언급되며, 그곳에서는 아이돌이 되는 꿈을 품고 있지만 춤에 어려움을 겪고 있는 사람의 이야기가 나옵니다.\n",
            "\n",
            "2. 좌절과 조언 구하기: 네 번째 문서는 춤을 잘 출 수 없어서 좌절하고 어떻게 개선할 수 있는지 조언을 구하는 과정을 강조합니다. 그 사람은 받은 도움에 감사를 표하면서도 지친 기분을 표현합니다.\n",
            "\n",
            "3. 선생님에 대한 싫증: 다섯 번째 문서에서는 한 선생님에 대한 싫증과 그들의 행동 변화에 대해 언급합니다. 그 사람은 선생님의 태도에 대한 좌절을 표현합니다.\n",
            "\n",
            "4. 소개와 발표: 여섯 번째 문서는 작품을 만들고 발표하고자 하는 손님을 소개합니다. 그 손님은 현재 초등학교 선생님이며 YouTube 채널을 운영하고 있습니다.\n",
            "\n",
            "5. 프로젝트의 생성: 일곱 번째 문서는 \"첩보슬\"이라는 프로그램을 사용한 심리 상담 프로젝트의 생성에 대해 논의합니다. 그 사람은 프로젝트의 과정과 특징을 설명합니다.\n",
            "\n",
            "6. 지원과 안내: 여덟 번째 문서에서는 관계 상담, 학업 상담, 진로 상담, 가족 상담 등 다양한 분야에서 학생들에게 지원과 안내를 제공한다고 언급합니다.\n",
            "\n",
            "주어진 정보를 기반으로 문서의 주요 테마는 관계와 가족 문제, 학업과 진로에 대한 우려, 상담 기술, 특정 상담 데이터 등으로 나타납니다. 그러나 주어진 정보가 제한적이며 문서 내에 언급되지 않은 추가적인 테마나 세부 사항이 있을 수 있습니다.\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## UI using Gradio\n",
        "\n",
        "외국어 -> 한국어 가능\n",
        "\n",
        "https://www.youtube.com/watch?v=BAfOGBojiEU\n",
        "\n",
        "![](https://i.imgur.com/sm2W5jE.png)"
      ],
      "metadata": {
        "id": "YvmZxgnL9TXB"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "!pip install -q gradio"
      ],
      "metadata": {
        "id": "mMi0oendkNzk",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "095b1a05-15cf-4f04-d6f5-ed89e76d940a"
      },
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m20.3/20.3 MB\u001b[0m \u001b[31m79.3 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m66.3/66.3 kB\u001b[0m \u001b[31m7.9 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25h  Preparing metadata (setup.py) ... \u001b[?25l\u001b[?25hdone\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m299.2/299.2 kB\u001b[0m \u001b[31m32.7 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m75.7/75.7 kB\u001b[0m \u001b[31m8.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m302.0/302.0 kB\u001b[0m \u001b[31m32.6 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m138.7/138.7 kB\u001b[0m \u001b[31m16.7 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m45.7/45.7 kB\u001b[0m \u001b[31m6.2 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m59.5/59.5 kB\u001b[0m \u001b[31m4.5 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m129.9/129.9 kB\u001b[0m \u001b[31m16.4 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m58.3/58.3 kB\u001b[0m \u001b[31m7.7 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m67.0/67.0 kB\u001b[0m \u001b[31m8.3 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[2K     \u001b[90m━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━\u001b[0m \u001b[32m76.0/76.0 kB\u001b[0m \u001b[31m9.2 MB/s\u001b[0m eta \u001b[36m0:00:00\u001b[0m\n",
            "\u001b[?25h  Building wheel for ffmpy (setup.py) ... \u001b[?25l\u001b[?25hdone\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "import gradio as gr\n",
        "import re\n",
        "\n",
        "# 비디오 ID를 추출하는 함수 정의\n",
        "def extract_video_id(url):\n",
        "    # YouTube URL에서 비디오 ID를 추출하기 위한 정규 표현식\n",
        "    youtube_regex = (r'(https?://)?(www\\.)?'\n",
        "        '(youtube|youtu|youtube-nocookie)\\.(com|be)/'\n",
        "        '(watch\\?v=|embed/|v/|.+\\?v=)?([^&=%\\?]{11})')\n",
        "    youtube_pattern = re.compile(youtube_regex)\n",
        "    match = youtube_pattern.match(url)  # 정규 표현식과 URL이 매치되는지 확인\n",
        "    if not match:  # 매치되지 않으면 None 반환\n",
        "        return None\n",
        "    return match.group(6)  # 매치된 비디오 ID 반환\n",
        "\n",
        "# 요약 함수 정의\n",
        "def summarize(url):\n",
        "    yt = YouTube(url)  # YouTube 객체 생성\n",
        "\n",
        "    # 오디오 스트림만 필터링하고 첫 번째 오디오 스트림을 다운로드\n",
        "    yt.streams.filter(only_audio=True).first().download(\n",
        "        output_path='.', filename='input.mp3')\n",
        "\n",
        "    result = model.transcribe(\"input.mp3\")  # 오디오 파일을 텍스트로 변환\n",
        "\n",
        "    # 텍스트를 분할하고 각 부분을 Document 객체로 변환\n",
        "    docs = [Document(page_content=x) for x in text_splitter.split_text(result[\"text\"])]\n",
        "    split_docs = text_splitter.split_documents(docs)  # 분할된 문서들을 더 작은 부분으로 나눔\n",
        "\n",
        "    sum_result = map_reduce_chain.run(split_docs)  # 분할된 문서들을 처리하고 요약\n",
        "\n",
        "    video_id = extract_video_id(url)  # 비디오 ID 추출\n",
        "    # YouTube 비디오를 임베드하는 HTML 코드 생성\n",
        "    embed = f\"\"\"<iframe width='560' height='315' src='https://www.youtube.com/embed/{video_id}' frameborder='0' allowfullscreen></iframe>\"\"\"\n",
        "\n",
        "    return sum_result, embed  # 요약 결과와 임베드 코드 반환\n",
        "\n",
        "# Gradio 인터페이스 생성\n",
        "demo = gr.Interface(\n",
        "    fn=summarize,  # 요약 함수 설정\n",
        "    inputs=gr.Textbox(label=\"URL\"),  # URL 입력 텍스트 박스\n",
        "    outputs=[gr.TextArea(label=\"Summary\"), gr.HTML()],  # 요약과 HTML 출력 영역\n",
        ")\n",
        "\n",
        "# 대기열을 추가하고 인터페이스를 실행\n",
        "demo.queue().launch(debug=True, share=True)\n"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 631
        },
        "id": "v8qQK-xW9ZrS",
        "outputId": "7c2e170c-cd2e-4aae-b99a-253cd5faca25"
      },
      "execution_count": 12,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Colab notebook detected. This cell will run indefinitely so that you can see errors and logs. To turn off, set debug=False in launch().\n",
            "Running on public URL: https://7d534a36a6c8d3bcf2.gradio.live\n",
            "\n",
            "This share link expires in 72 hours. For free permanent hosting and GPU upgrades, run `gradio deploy` from Terminal to deploy to Spaces (https://huggingface.co/spaces)\n"
          ]
        },
        {
          "output_type": "display_data",
          "data": {
            "text/plain": [
              "<IPython.core.display.HTML object>"
            ],
            "text/html": [
              "<div><iframe src=\"https://7d534a36a6c8d3bcf2.gradio.live\" width=\"100%\" height=\"500\" allow=\"autoplay; camera; microphone; clipboard-read; clipboard-write;\" frameborder=\"0\" allowfullscreen></iframe></div>"
            ]
          },
          "metadata": {}
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "Keyboard interruption in main thread... closing server.\n",
            "Killing tunnel 127.0.0.1:7860 <> https://7d534a36a6c8d3bcf2.gradio.live\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": []
          },
          "metadata": {},
          "execution_count": 12
        }
      ]
    }
  ]
}