06.팟빵mp3동영상다운로드.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 팟빵 다운로드 1단계\n",
    "* 팟빵 id 와 제목을 함수의 인자로 받는다.\n",
    "* 첫번째의 8개의 에피소드만 다운로드 받고 있다.\n",
    "* 저장되는 mp3 파일명을 에피소드의 타이틀로 설정함"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "#문자열에 있는 특수문자를 제거하는 함수\n",
    "def clean_text(text):\n",
    "    import re\n",
    "    text = text.replace(\"\\n\", \"\")\n",
    "    cleaned_text = re.sub('[\\{\\}\\[\\]\\/?.,;:|\\)*~`!^\\-_+<>@\\#$%&\\\\\\=\\(\\'\\\"]','', text)\n",
    "    cleaned_text = cleaned_text.replace(' ','')\n",
    "    return cleaned_text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'김영철의파워FM진짜미국식영어810회타일러의진짜미국식영어Dontbesostubborn억지좀부리지마세요'"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "clean_text(\"김영철의 파워FM - 진짜 미국식 영어 810회 - 타일러의 진짜 미국식 영어 = Don't be so stubborn. = 억지 좀 부리지 마세요!!\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "200\n",
      "20\n",
      "------\n",
      "120회 억지로 기분 나아지게 하지 맙시다 https://file.ssenhosting.com/data1/pb_22419/watchthegrass.mp3?cmad=2f64617461312f70625f32323431392f776174636874686567726173735f6133312e6d7033\n",
      "------\n",
      "119회 한국 코로나 대응에 대한 외신 뉴스와 반응 https://file.ssenhosting.com/data1/pb_22419/74overseasnews.mp3?cmad=2f64617461312f70625f32323431392f37346f766572736561736e6577735f6133312e6d7033\n",
      "------\n",
      "118회 이런 콜라보 웃음 폭탄, 영어 아웃 오브 안중 주의 https://file.ssenhosting.com/data1/pb_22419/hand2020226.mp3?cmad=2f64617461312f70625f32323431392f68616e64323032303232365f6133312e6d7033\n",
      "------\n",
      "117회 넷플릭스 본다면 이거슨 꿀팁 '나 홀로 그대' 공동구매각 https://file.ssenhosting.com/data1/pb_22419/handholo1.mp3?cmad=2f64617461312f70625f32323431392f68616e64686f6c6f315f6133312e6d7033\n",
      "------\n",
      "116회 넌 라면먹을 계획이 다 있구나, 라끼남 맛 감탄을 영어로 https://file.ssenhosting.com/data1/pb_22419/hand2012.mp3?cmad=2f64617461312f70625f32323431392f68616e64323031325f6133312e6d7033\n",
      "------\n",
      "115회 일간 <소울 영어> 삶이 전쟁터 같을 때 https://file.ssenhosting.com/data1/pb_22419/souleng7.mp3?cmad=2f64617461312f70625f32323431392f736f756c656e67375f6133312e6d7033\n",
      "------\n",
      "114회 라떼 이즈 홀스, 꼰대 선배를 대하는 임진주 작가, 멜로가 체질 2탄 https://file.ssenhosting.com/data1/pb_22419/handmelo2.mp3?cmad=2f64617461312f70625f32323431392f68616e646d656c6f325f6133312e6d7033\n",
      "------\n",
      "113회 [고민사연] 어른이 되었지만 여전히 어설픈 나를 만날 때 https://file.ssenhosting.com/data1/pb_22419/mid7.mp3?cmad=2f64617461312f70625f32323431392f6d6964375f6133312e6d7033\n",
      "------\n",
      "112회 북한 사투리 억양으로 영어 연기! 가능한기가 이그이? <사랑의 불시착> https://file.ssenhosting.com/data1/pb_22419/65hand5.mp3?cmad=2f64617461312f70625f32323431392f363568616e64355f6133312e6d7033\n",
      "------\n",
      "111회 리정혁 동무, 기카자요! 드라마 '사랑의 불시착' https://file.ssenhosting.com/data1/pb_22419/64hand5.mp3?cmad=2f64617461312f70625f32323431392f363468616e64355f6133312e6d7033\n",
      "------\n",
      "110회 [고민사연] 자꾸 미루는 나, 게으른건가요? https://file.ssenhosting.com/data1/pb_22419/midwalter1.mp3?cmad=2f64617461312f70625f32323431392f6d696477616c746572315f6133312e6d7033\n"
     ]
    }
   ],
   "source": [
    "import requests\n",
    "from bs4 import BeautifulSoup\n",
    "from urllib.parse import urljoin\n",
    "import json\n",
    "import os\n",
    "\n",
    "#https://www.podbbang.com/channels/16524\n",
    "#url = 'http://www.podbbang.com/_m_api/podcasts/16524/episodes?offset=0&sort=pubdate:desc&episode_id=0&limit=8&with=summary&cache=0'\n",
    "url = 'https://app-api6.podbbang.com/channels/16524/episodes?offset=0&limit=20&sort=desc&episode_id=0&focus_center=0&with=image'\n",
    "res = requests.get(url)\n",
    "print(res.status_code)\n",
    "if res.ok:\n",
    "    json_data = res.json()    \n",
    "#     #{data:[{},{},{}]}\n",
    "    episode_list = json_data['data']\n",
    "    print(len(episode_list))\n",
    "    \n",
    "    for episode in episode_list:\n",
    "        print('------')\n",
    "        #에피소드의 제목\n",
    "        title = episode['title']\n",
    "        #에피소드 다운로드 url\n",
    "        mp3_url = episode['media']['url']\n",
    "        print(title, mp3_url)\n",
    "        \n",
    "        #url 값이 있으면 다운로드 받아야 함\n",
    "        if mp3_url:            \n",
    "            req_header = {\n",
    "                'referer':'https://www.podbbang.com/channels/16524',\n",
    "                'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'\n",
    "            }\n",
    "                        \n",
    "            if not os.path.isdir('mp3'):\n",
    "                os.mkdir('mp3')\n",
    "            \n",
    "            dir_name = os.path.join('mp3','미드처방전')\n",
    "            #print(dir_name) #mp3\\미드처방전\n",
    "\n",
    "            #해당 디렉토리가 없으면\n",
    "            if not os.path.isdir(dir_name):\n",
    "                #디렉토리를 생성\n",
    "                os.makedirs(dir_name)\n",
    "            \n",
    "            #해당 url에서 파일명만 추출\n",
    "            #file_name = os.path.basename(mp3_url)\n",
    "            file_name = f'{clean_text(title)}.mp3'\n",
    "            #생성된 디렉토리명과 파일명을 합쳐주기\n",
    "            file_name = dir_name+'/'+file_name            \n",
    "            #print(file_name)\n",
    "\n",
    "            res = requests.get(mp3_url, headers=req_header)\n",
    "            if res.ok:\n",
    "                #response 객체에서 binary 데이터 추출\n",
    "                mp3_bin = res.content                \n",
    "                #binary 데이터를 local 파일로 저장\n",
    "                with open(file_name, 'wb') as file:\n",
    "                    file.write(mp3_bin)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [],
   "source": [
    "def podbbang_download(channel_id, channel_title):\n",
    "    import requests\n",
    "    from bs4 import BeautifulSoup\n",
    "    from urllib.parse import urljoin\n",
    "    import json\n",
    "    import os\n",
    "\n",
    "    url = f'https://app-api6.podbbang.com/channels/{channel_id}/episodes'\n",
    "    #?offset=0&limit=20&sort=desc&episode_id=0&focus_center=0&with=image'\n",
    "    req_param = {\n",
    "        \"offset\":0,\n",
    "        \"limit\":20,\n",
    "        \"sort\":\"desc\",\n",
    "        \"episode_id\":0,\n",
    "        \"focus_center\":0,\n",
    "        \"with\":\"image\"        \n",
    "    }\n",
    "\n",
    "    res = requests.get(url, params=req_param)\n",
    "    print(res.status_code)\n",
    "    if res.ok:\n",
    "        json_data = res.json()    \n",
    "        #{data:[{},{},{}]}\n",
    "        episode_list = json_data['data']\n",
    "        print(len(episode_list))\n",
    "\n",
    "        for episode in episode_list:\n",
    "            print('------')\n",
    "            #에피소드의 제목\n",
    "            title = episode['title']\n",
    "            #에피소드 다운로드 url\n",
    "            mp3_url = episode['media']['url']\n",
    "            print(title, mp3_url)\n",
    "\n",
    "            #url 값이 있으면 다운로드 받아야 함\n",
    "            if mp3_url:            \n",
    "                req_header = {\n",
    "                    'referer':f'https://www.podbbang.com/channels/{channel_id}',\n",
    "                    'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'\n",
    "                }\n",
    "\n",
    "                if not os.path.isdir('mp3'):\n",
    "                    os.mkdir('mp3')\n",
    "\n",
    "                dir_name = os.path.join('mp3',channel_title)\n",
    "                #print(dir_name) #mp3\\미드처방전\n",
    "\n",
    "                #해당 디렉토리가 없으면\n",
    "                if not os.path.isdir(dir_name):\n",
    "                    #디렉토리를 생성\n",
    "                    os.makedirs(dir_name)\n",
    "\n",
    "                #해당 url에서 파일명만 추출\n",
    "                #file_name = os.path.basename(mp3_url)\n",
    "                clean_title = clean_text(title)\n",
    "                file_name = f'{clean_title}.mp3'\n",
    "                #생성된 디렉토리명과 파일명을 합쳐주기\n",
    "                file_name = dir_name+'/'+file_name            \n",
    "                #print(file_name)\n",
    "\n",
    "                res = requests.get(mp3_url, headers=req_header)\n",
    "                if res.ok:\n",
    "                    #response 객체에서 binary 데이터 추출\n",
    "                    mp3_bin = res.content                \n",
    "                    #binary 데이터를 local 파일로 저장\n",
    "                    with open(file_name, 'wb') as file:\n",
    "                        file.write(mp3_bin)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "podbbang_download(15357,'반란의영문법')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 팟빵 다운로드 2단계\n",
    "* 팟빵 id 와 제목을 함수의 인자로 받는다.\n",
    "* 저장되는 mp3 파일명을 에피소드의 타이틀로 설정함\n",
    "* 모든 에피소드를 다운로드 받는다.\n",
    " - 에피소드를 요청할때 offset 값의 최대값이 항상 변하므로 \n",
    " - itertools의 count() 함수를 사용해 무한루프를 수행하도록 한다.\n",
    " - 무한루프를 빠져 나올수 있는 조건식을 반드시 주어야 한다.\n",
    "   - json_data['data'] 길이가 0 이면 무한루프를 탈출한다.\n",
    " - 사람이 직접 다운로드 받는 것 처럼 보이게 하기 위해서 sleep time 설정한다.\n",
    "   - time 이라는 내부모듈의 sleep 함수를 사용한다."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {},
   "outputs": [],
   "source": [
    "def podbbang_all_download(channel_id, channel_title):\n",
    "    import requests\n",
    "    from bs4 import BeautifulSoup\n",
    "    from urllib.parse import urljoin\n",
    "    import json\n",
    "    import os\n",
    "    from itertools import count\n",
    "    from time import sleep\n",
    "    \n",
    "    url = f'https://app-api6.podbbang.com/channels/{channel_id}/episodes'\n",
    "    for offset in count(0):\n",
    "        req_param = {\n",
    "            \"offset\":offset,\n",
    "            \"limit\":20,\n",
    "            \"sort\":\"desc\",\n",
    "            \"episode_id\":0,\n",
    "            \"focus_center\":0,\n",
    "            \"with\":\"image\"        \n",
    "        }\n",
    "\n",
    "        res = requests.get(url, params=req_param)\n",
    "        print(res.status_code)\n",
    "        if res.ok:\n",
    "            json_data = res.json()    \n",
    "            #{data:[{},{},{}]}\n",
    "            episode_list = json_data['data']\n",
    "            print(len(episode_list))\n",
    "\n",
    "            for episode in episode_list:\n",
    "                print('------')\n",
    "                #에피소드의 제목\n",
    "                title = episode['title']\n",
    "                #에피소드 다운로드 url\n",
    "                mp3_url = episode['media']['url']\n",
    "                print(title, mp3_url)\n",
    "\n",
    "                #url 값이 있으면 다운로드 받아야 함\n",
    "                if mp3_url:            \n",
    "                    req_header = {\n",
    "                        'referer':f'https://www.podbbang.com/channels/{channel_id}',\n",
    "                        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'\n",
    "                    }\n",
    "\n",
    "                    if not os.path.isdir('mp3'):\n",
    "                        os.mkdir('mp3')\n",
    "\n",
    "                    dir_name = os.path.join('mp3',channel_title)\n",
    "                    #print(dir_name) #mp3\\미드처방전\n",
    "\n",
    "                    #해당 디렉토리가 없으면\n",
    "                    if not os.path.isdir(dir_name):\n",
    "                        #디렉토리를 생성\n",
    "                        os.makedirs(dir_name)\n",
    "\n",
    "                    clean_title = clean_text(title)\n",
    "                    file_name = f'{clean_title}.mp3'\n",
    "                    #생성된 디렉토리명과 파일명을 합쳐주기\n",
    "                    file_name = dir_name+'/'+file_name            \n",
    "                    #print(file_name)\n",
    "\n",
    "                    res = requests.get(mp3_url, headers=req_header)\n",
    "                    if res.ok:\n",
    "                        #response 객체에서 binary 데이터 추출\n",
    "                        mp3_bin = res.content                \n",
    "                        #binary 데이터를 local 파일로 저장\n",
    "                        with open(file_name, 'wb') as file:\n",
    "                            file.write(mp3_bin)\n",
    "                            \n",
    "                        #0.5초간 프로세스를 중지함, 기계가 아니라 사람처럼 보이게 하려고\n",
    "                        sleep(0.5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [],
   "source": [
    "podbbang_all_download('16255','여바라')"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.12.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}