AnaliseExpCeasp.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "ff05f5bd",
   "metadata": {},
   "source": [
    "## Análise Exploratória CEAPS\n",
    "\n",
    "Este projeto tem por objetivo analisar as variáveis dos dados públicos de Cota para Exercício da Atividade Parlamentar dos Senadores.\n",
    "\n",
    "O foco da análise é extrair informações sobre as despesase os valores reembolsados pelo Senadores em 2022 e gerar insight através de gráficos dinâmicos com a biblioteca plotly.\n",
    "\n",
    "- Download do dataset CEAPS: https://www12.senado.leg.br/dados-abertos/conjuntos?portal=Administrativo&grupo=senadores\n",
    "- Data Wragling;\n",
    "- Data Visualization;\n",
    "- Deploy Streamlit."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 354,
   "id": "a3c5bf94",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Importação das bibliotecas\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import plotly.express as px\n",
    "import matplotlib.pyplot as plt\n",
    "import streamlit as st"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 360,
   "id": "8e8f6877",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ULTIMA ATUALIZACAO</th>\n",
       "      <th>17/07/2023 02:01</th>\n",
       "      <th>Unnamed: 2</th>\n",
       "      <th>Unnamed: 3</th>\n",
       "      <th>Unnamed: 4</th>\n",
       "      <th>Unnamed: 5</th>\n",
       "      <th>Unnamed: 6</th>\n",
       "      <th>Unnamed: 7</th>\n",
       "      <th>Unnamed: 8</th>\n",
       "      <th>Unnamed: 9</th>\n",
       "      <th>Unnamed: 10</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>ANO</td>\n",
       "      <td>MES</td>\n",
       "      <td>SENADOR</td>\n",
       "      <td>TIPO_DESPESA</td>\n",
       "      <td>CNPJ_CPF</td>\n",
       "      <td>FORNECEDOR</td>\n",
       "      <td>DOCUMENTO</td>\n",
       "      <td>DATA</td>\n",
       "      <td>DETALHAMENTO</td>\n",
       "      <td>VALOR_REEMBOLSADO</td>\n",
       "      <td>COD_DOCUMENTO</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>ACIR GURGACZ</td>\n",
       "      <td>Aluguel de imóveis para escritório político, c...</td>\n",
       "      <td>004.948.028-63</td>\n",
       "      <td>GILBERTO PISELO DO NASCIMENTO</td>\n",
       "      <td>001/22</td>\n",
       "      <td>03/01/2022</td>\n",
       "      <td>Despesa com pagamento de aluguel de imóvel par...</td>\n",
       "      <td>6000</td>\n",
       "      <td>2173614</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>ACIR GURGACZ</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>26.320.603/0001-64</td>\n",
       "      <td>INFORMANAHORA</td>\n",
       "      <td>000000000000310/A</td>\n",
       "      <td>04/01/2022</td>\n",
       "      <td>Despesa com divulgação da atividade parlamenta...</td>\n",
       "      <td>1500</td>\n",
       "      <td>2173615</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>ACIR GURGACZ</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>13.659.201/0001-47</td>\n",
       "      <td>LINHA PURPURA FOTO E VIDEO LTDA</td>\n",
       "      <td>107</td>\n",
       "      <td>14/01/2022</td>\n",
       "      <td>Despesa com produção de texto e edição de víde...</td>\n",
       "      <td>6000</td>\n",
       "      <td>2173616</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>ACIR GURGACZ</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>23.652.846/0001-01</td>\n",
       "      <td>ROBERTO GUTIERREZ DA ROCHA M.E.I.</td>\n",
       "      <td>187</td>\n",
       "      <td>18/01/2022</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>1000</td>\n",
       "      <td>2173618</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "  ULTIMA ATUALIZACAO 17/07/2023 02:01    Unnamed: 2  \\\n",
       "0                ANO              MES       SENADOR   \n",
       "1               2022                1  ACIR GURGACZ   \n",
       "2               2022                1  ACIR GURGACZ   \n",
       "3               2022                1  ACIR GURGACZ   \n",
       "4               2022                1  ACIR GURGACZ   \n",
       "\n",
       "                                          Unnamed: 3          Unnamed: 4  \\\n",
       "0                                       TIPO_DESPESA            CNPJ_CPF   \n",
       "1  Aluguel de imóveis para escritório político, c...      004.948.028-63   \n",
       "2                Divulgação da atividade parlamentar  26.320.603/0001-64   \n",
       "3                Divulgação da atividade parlamentar  13.659.201/0001-47   \n",
       "4                Divulgação da atividade parlamentar  23.652.846/0001-01   \n",
       "\n",
       "                          Unnamed: 5         Unnamed: 6  Unnamed: 7  \\\n",
       "0                         FORNECEDOR          DOCUMENTO        DATA   \n",
       "1      GILBERTO PISELO DO NASCIMENTO             001/22  03/01/2022   \n",
       "2                      INFORMANAHORA  000000000000310/A  04/01/2022   \n",
       "3    LINHA PURPURA FOTO E VIDEO LTDA                107  14/01/2022   \n",
       "4  ROBERTO GUTIERREZ DA ROCHA M.E.I.                187  18/01/2022   \n",
       "\n",
       "                                          Unnamed: 8         Unnamed: 9  \\\n",
       "0                                       DETALHAMENTO  VALOR_REEMBOLSADO   \n",
       "1  Despesa com pagamento de aluguel de imóvel par...               6000   \n",
       "2  Despesa com divulgação da atividade parlamenta...               1500   \n",
       "3  Despesa com produção de texto e edição de víde...               6000   \n",
       "4                Divulgação da atividade parlamentar               1000   \n",
       "\n",
       "     Unnamed: 10  \n",
       "0  COD_DOCUMENTO  \n",
       "1        2173614  \n",
       "2        2173615  \n",
       "3        2173616  \n",
       "4        2173618  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Leitura do dataset CEAPS\n",
    "df = pd.read_csv('despesa_ceaps_2022 (1).csv', sep=';')\n",
    "display(df.head(5))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3a69d374",
   "metadata": {},
   "source": [
    "### Data Wrangling\n",
    "\n",
    "Nessa etapa realizamos a limpeza dos dados."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 361,
   "id": "06a079b3",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Definir a primeira linha como cabeçalho\n",
    "df.columns = df.iloc[0]\n",
    "\n",
    "# Excluir a primeira linha duplicada\n",
    "df = df[1:]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 362,
   "id": "33dadc8b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>ANO</th>\n",
       "      <th>MES</th>\n",
       "      <th>SENADOR</th>\n",
       "      <th>TIPO_DESPESA</th>\n",
       "      <th>CNPJ_CPF</th>\n",
       "      <th>FORNECEDOR</th>\n",
       "      <th>DOCUMENTO</th>\n",
       "      <th>DATA</th>\n",
       "      <th>DETALHAMENTO</th>\n",
       "      <th>VALOR_REEMBOLSADO</th>\n",
       "      <th>COD_DOCUMENTO</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>10801</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>MARCELO CASTRO</td>\n",
       "      <td>Locomoção, hospedagem, alimentação, combustíve...</td>\n",
       "      <td>07.321.071/0001-35</td>\n",
       "      <td>LUAUTO RENT A CAR LTDA</td>\n",
       "      <td>486</td>\n",
       "      <td>16/03/2022</td>\n",
       "      <td>Despesa de locação de veículo utilizado na ati...</td>\n",
       "      <td>7000</td>\n",
       "      <td>2176986</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11215</th>\n",
       "      <td>2022</td>\n",
       "      <td>11</td>\n",
       "      <td>MARCOS DO VAL</td>\n",
       "      <td>Locomoção, hospedagem, alimentação, combustíve...</td>\n",
       "      <td>27.419.142/0001-44</td>\n",
       "      <td>POSTO IATE LTDA- 42838- VENDA / COMBUST.LUBRIF.</td>\n",
       "      <td>19252</td>\n",
       "      <td>21/11/2022</td>\n",
       "      <td>NaN</td>\n",
       "      <td>216,92</td>\n",
       "      <td>2190560</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "0       ANO MES         SENADOR  \\\n",
       "10801  2022   1  MARCELO CASTRO   \n",
       "11215  2022  11   MARCOS DO VAL   \n",
       "\n",
       "0                                           TIPO_DESPESA            CNPJ_CPF  \\\n",
       "10801  Locomoção, hospedagem, alimentação, combustíve...  07.321.071/0001-35   \n",
       "11215  Locomoção, hospedagem, alimentação, combustíve...  27.419.142/0001-44   \n",
       "\n",
       "0                                           FORNECEDOR DOCUMENTO        DATA  \\\n",
       "10801                           LUAUTO RENT A CAR LTDA       486  16/03/2022   \n",
       "11215  POSTO IATE LTDA- 42838- VENDA / COMBUST.LUBRIF.     19252  21/11/2022   \n",
       "\n",
       "0                                           DETALHAMENTO VALOR_REEMBOLSADO  \\\n",
       "10801  Despesa de locação de veículo utilizado na ati...              7000   \n",
       "11215                                                NaN            216,92   \n",
       "\n",
       "0     COD_DOCUMENTO  \n",
       "10801       2176986  \n",
       "11215       2190560  "
      ]
     },
     "execution_count": 362,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.sample(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 363,
   "id": "6181b55a",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(16782, 11)"
      ]
     },
     "execution_count": 363,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Verificar a quantidade de linhas e colunas\n",
    "df.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 364,
   "id": "7436d519",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0\n",
       "ANO                  object\n",
       "MES                  object\n",
       "SENADOR              object\n",
       "TIPO_DESPESA         object\n",
       "CNPJ_CPF             object\n",
       "FORNECEDOR           object\n",
       "DOCUMENTO            object\n",
       "DATA                 object\n",
       "DETALHAMENTO         object\n",
       "VALOR_REEMBOLSADO    object\n",
       "COD_DOCUMENTO        object\n",
       "dtype: object"
      ]
     },
     "execution_count": 364,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Corrigir os tipos de dados das variáveis\n",
    "df.dtypes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 365,
   "id": "8a4f23e2",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Alteração do cabeçalho\n",
    "var_col = [nome.capitalize() for nome in df.columns]\n",
    "df.columns = var_col"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 366,
   "id": "4b293b89",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ano</th>\n",
       "      <th>Mes</th>\n",
       "      <th>Senador</th>\n",
       "      <th>Tipo_despesa</th>\n",
       "      <th>Cnpj_cpf</th>\n",
       "      <th>Fornecedor</th>\n",
       "      <th>Documento</th>\n",
       "      <th>Data</th>\n",
       "      <th>Detalhamento</th>\n",
       "      <th>Valor_reembolsado</th>\n",
       "      <th>Cod_documento</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Aluguel de imóveis para escritório político, c...</td>\n",
       "      <td>004.948.028-63</td>\n",
       "      <td>Gilberto piselo do nascimento</td>\n",
       "      <td>001/22</td>\n",
       "      <td>03/01/2022</td>\n",
       "      <td>Despesa com pagamento de aluguel de imóvel par...</td>\n",
       "      <td>6000</td>\n",
       "      <td>2173614</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>26.320.603/0001-64</td>\n",
       "      <td>Informanahora</td>\n",
       "      <td>000000000000310/A</td>\n",
       "      <td>04/01/2022</td>\n",
       "      <td>Despesa com divulgação da atividade parlamenta...</td>\n",
       "      <td>1500</td>\n",
       "      <td>2173615</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>13.659.201/0001-47</td>\n",
       "      <td>Linha purpura foto e video ltda</td>\n",
       "      <td>107</td>\n",
       "      <td>14/01/2022</td>\n",
       "      <td>Despesa com produção de texto e edição de víde...</td>\n",
       "      <td>6000</td>\n",
       "      <td>2173616</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>23.652.846/0001-01</td>\n",
       "      <td>Roberto gutierrez da rocha m.e.i.</td>\n",
       "      <td>187</td>\n",
       "      <td>18/01/2022</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>1000</td>\n",
       "      <td>2173618</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>08.941.827/0001-01</td>\n",
       "      <td>Rondonia dinâmica com. e serv. de informática ...</td>\n",
       "      <td>000000000001772/A</td>\n",
       "      <td>17/01/2022</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>2000</td>\n",
       "      <td>2173617</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    Ano Mes       Senador                                       Tipo_despesa  \\\n",
       "1  2022   1  Acir gurgacz  Aluguel de imóveis para escritório político, c...   \n",
       "2  2022   1  Acir gurgacz                Divulgação da atividade parlamentar   \n",
       "3  2022   1  Acir gurgacz                Divulgação da atividade parlamentar   \n",
       "4  2022   1  Acir gurgacz                Divulgação da atividade parlamentar   \n",
       "5  2022   1  Acir gurgacz                Divulgação da atividade parlamentar   \n",
       "\n",
       "             Cnpj_cpf                                         Fornecedor  \\\n",
       "1      004.948.028-63                      Gilberto piselo do nascimento   \n",
       "2  26.320.603/0001-64                                      Informanahora   \n",
       "3  13.659.201/0001-47                    Linha purpura foto e video ltda   \n",
       "4  23.652.846/0001-01                  Roberto gutierrez da rocha m.e.i.   \n",
       "5  08.941.827/0001-01  Rondonia dinâmica com. e serv. de informática ...   \n",
       "\n",
       "           Documento        Data  \\\n",
       "1             001/22  03/01/2022   \n",
       "2  000000000000310/A  04/01/2022   \n",
       "3                107  14/01/2022   \n",
       "4                187  18/01/2022   \n",
       "5  000000000001772/A  17/01/2022   \n",
       "\n",
       "                                        Detalhamento Valor_reembolsado  \\\n",
       "1  Despesa com pagamento de aluguel de imóvel par...              6000   \n",
       "2  Despesa com divulgação da atividade parlamenta...              1500   \n",
       "3  Despesa com produção de texto e edição de víde...              6000   \n",
       "4                Divulgação da atividade parlamentar              1000   \n",
       "5                Divulgação da atividade parlamentar              2000   \n",
       "\n",
       "  Cod_documento  \n",
       "1       2173614  \n",
       "2       2173615  \n",
       "3       2173616  \n",
       "4       2173618  \n",
       "5       2173617  "
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# Capitalizando as variáveis para padronização\n",
    "var_senador = [nome.capitalize() for nome in df['Senador']]\n",
    "df['Senador'] = var_senador\n",
    "\n",
    "var_fornecedor = [nome.capitalize() for nome in df['Fornecedor']]\n",
    "df['Fornecedor'] = var_fornecedor\n",
    "\n",
    "display(df.head(5))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 372,
   "id": "56668500",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Conversão da variável para data\n",
    "df['Data'] = pd.to_datetime(df['Data'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 368,
   "id": "d84b52ac",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Alteração do separador ',' para '.' e transformação para Float\n",
    "df['Valor_reembolsado'] = df['Valor_reembolsado'].str.replace(',','.')\n",
    "df['Valor_reembolsado'] = df['Valor_reembolsado'].astype(float)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 369,
   "id": "9a17fbb9",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Ano                          object\n",
       "Mes                          object\n",
       "Senador                      object\n",
       "Tipo_despesa                 object\n",
       "Cnpj_cpf                     object\n",
       "Fornecedor                   object\n",
       "Documento                    object\n",
       "Data                 datetime64[ns]\n",
       "Detalhamento                 object\n",
       "Valor_reembolsado           float64\n",
       "Cod_documento                object\n",
       "dtype: object"
      ]
     },
     "execution_count": 369,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Nova verificação dos tipos de dados\n",
    "df.dtypes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 370,
   "id": "2bac2d35",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Ano                     0\n",
       "Mes                     0\n",
       "Senador                 0\n",
       "Tipo_despesa            0\n",
       "Cnpj_cpf                0\n",
       "Fornecedor              0\n",
       "Documento             934\n",
       "Data                    0\n",
       "Detalhamento         7720\n",
       "Valor_reembolsado       0\n",
       "Cod_documento           0\n",
       "dtype: int64"
      ]
     },
     "execution_count": 370,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Verificação das células vazias\n",
    "df.isnull().sum()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 373,
   "id": "a1cda5b3",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ano</th>\n",
       "      <th>Mes</th>\n",
       "      <th>Senador</th>\n",
       "      <th>Tipo_despesa</th>\n",
       "      <th>Cnpj_cpf</th>\n",
       "      <th>Fornecedor</th>\n",
       "      <th>Documento</th>\n",
       "      <th>Data</th>\n",
       "      <th>Detalhamento</th>\n",
       "      <th>Valor_reembolsado</th>\n",
       "      <th>Cod_documento</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>121</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Alessandro vieira</td>\n",
       "      <td>Aluguel de imóveis para escritório político, c...</td>\n",
       "      <td>28.839.939/0001-63</td>\n",
       "      <td>Casa design servicos de apoio administrativo ltda</td>\n",
       "      <td>1253</td>\n",
       "      <td>2022-04-01</td>\n",
       "      <td>NaN</td>\n",
       "      <td>500.00</td>\n",
       "      <td>2175348</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>122</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Alessandro vieira</td>\n",
       "      <td>Aluguel de imóveis para escritório político, c...</td>\n",
       "      <td>06.028.059/0001-74</td>\n",
       "      <td>Casa shopping desing ltda - epp</td>\n",
       "      <td>1872</td>\n",
       "      <td>2022-10-02</td>\n",
       "      <td>NaN</td>\n",
       "      <td>3300.00</td>\n",
       "      <td>2175347</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>123</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Alessandro vieira</td>\n",
       "      <td>Aluguel de imóveis para escritório político, c...</td>\n",
       "      <td>40.432.544/0107-03</td>\n",
       "      <td>Claro s.a / net</td>\n",
       "      <td>2,20191E+12</td>\n",
       "      <td>2022-01-01</td>\n",
       "      <td>NaN</td>\n",
       "      <td>235.96</td>\n",
       "      <td>2174131</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>124</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Alessandro vieira</td>\n",
       "      <td>Aluguel de imóveis para escritório político, c...</td>\n",
       "      <td>13.017.462/0001-63</td>\n",
       "      <td>Energisa</td>\n",
       "      <td>42.551.180</td>\n",
       "      <td>2022-01-13</td>\n",
       "      <td>NaN</td>\n",
       "      <td>455.96</td>\n",
       "      <td>2174169</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>125</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Alessandro vieira</td>\n",
       "      <td>Aquisição de material de consumo para uso no e...</td>\n",
       "      <td>11.088.468/0001-04</td>\n",
       "      <td>Kaflex comercial ltda</td>\n",
       "      <td>1</td>\n",
       "      <td>2022-02-23</td>\n",
       "      <td>NaN</td>\n",
       "      <td>800.00</td>\n",
       "      <td>2175349</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      Ano Mes            Senador  \\\n",
       "121  2022   1  Alessandro vieira   \n",
       "122  2022   1  Alessandro vieira   \n",
       "123  2022   1  Alessandro vieira   \n",
       "124  2022   1  Alessandro vieira   \n",
       "125  2022   1  Alessandro vieira   \n",
       "\n",
       "                                          Tipo_despesa            Cnpj_cpf  \\\n",
       "121  Aluguel de imóveis para escritório político, c...  28.839.939/0001-63   \n",
       "122  Aluguel de imóveis para escritório político, c...  06.028.059/0001-74   \n",
       "123  Aluguel de imóveis para escritório político, c...  40.432.544/0107-03   \n",
       "124  Aluguel de imóveis para escritório político, c...  13.017.462/0001-63   \n",
       "125  Aquisição de material de consumo para uso no e...  11.088.468/0001-04   \n",
       "\n",
       "                                            Fornecedor    Documento  \\\n",
       "121  Casa design servicos de apoio administrativo ltda         1253   \n",
       "122                    Casa shopping desing ltda - epp         1872   \n",
       "123                                    Claro s.a / net  2,20191E+12   \n",
       "124                                           Energisa   42.551.180   \n",
       "125                              Kaflex comercial ltda            1   \n",
       "\n",
       "          Data Detalhamento  Valor_reembolsado Cod_documento  \n",
       "121 2022-04-01          NaN             500.00       2175348  \n",
       "122 2022-10-02          NaN            3300.00       2175347  \n",
       "123 2022-01-01          NaN             235.96       2174131  \n",
       "124 2022-01-13          NaN             455.96       2174169  \n",
       "125 2022-02-23          NaN             800.00       2175349  "
      ]
     },
     "execution_count": 373,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Verificação das observações vazias\n",
    "df[df['Detalhamento'].isna()].head(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 374,
   "id": "74f48f96",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Excluindo colunas não utilizáveis\n",
    "df = df.drop(columns=['Documento'], axis=1)\n",
    "df = df.drop(columns=['Detalhamento'], axis=1)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dc283acb",
   "metadata": {},
   "source": [
    "Não manteremos as variáveis 'Documento' e 'Detalhamento', ambas não serão influenciadas na análise-alvo."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 375,
   "id": "4b009717",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ano</th>\n",
       "      <th>Mes</th>\n",
       "      <th>Senador</th>\n",
       "      <th>Tipo_despesa</th>\n",
       "      <th>Cnpj_cpf</th>\n",
       "      <th>Fornecedor</th>\n",
       "      <th>Data</th>\n",
       "      <th>Valor_reembolsado</th>\n",
       "      <th>Cod_documento</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Aluguel de imóveis para escritório político, c...</td>\n",
       "      <td>004.948.028-63</td>\n",
       "      <td>Gilberto piselo do nascimento</td>\n",
       "      <td>2022-03-01</td>\n",
       "      <td>6000.0</td>\n",
       "      <td>2173614</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>26.320.603/0001-64</td>\n",
       "      <td>Informanahora</td>\n",
       "      <td>2022-04-01</td>\n",
       "      <td>1500.0</td>\n",
       "      <td>2173615</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>13.659.201/0001-47</td>\n",
       "      <td>Linha purpura foto e video ltda</td>\n",
       "      <td>2022-01-14</td>\n",
       "      <td>6000.0</td>\n",
       "      <td>2173616</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>23.652.846/0001-01</td>\n",
       "      <td>Roberto gutierrez da rocha m.e.i.</td>\n",
       "      <td>2022-01-18</td>\n",
       "      <td>1000.0</td>\n",
       "      <td>2173618</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>08.941.827/0001-01</td>\n",
       "      <td>Rondonia dinâmica com. e serv. de informática ...</td>\n",
       "      <td>2022-01-17</td>\n",
       "      <td>2000.0</td>\n",
       "      <td>2173617</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    Ano Mes       Senador                                       Tipo_despesa  \\\n",
       "1  2022   1  Acir gurgacz  Aluguel de imóveis para escritório político, c...   \n",
       "2  2022   1  Acir gurgacz                Divulgação da atividade parlamentar   \n",
       "3  2022   1  Acir gurgacz                Divulgação da atividade parlamentar   \n",
       "4  2022   1  Acir gurgacz                Divulgação da atividade parlamentar   \n",
       "5  2022   1  Acir gurgacz                Divulgação da atividade parlamentar   \n",
       "\n",
       "             Cnpj_cpf                                         Fornecedor  \\\n",
       "1      004.948.028-63                      Gilberto piselo do nascimento   \n",
       "2  26.320.603/0001-64                                      Informanahora   \n",
       "3  13.659.201/0001-47                    Linha purpura foto e video ltda   \n",
       "4  23.652.846/0001-01                  Roberto gutierrez da rocha m.e.i.   \n",
       "5  08.941.827/0001-01  Rondonia dinâmica com. e serv. de informática ...   \n",
       "\n",
       "        Data  Valor_reembolsado Cod_documento  \n",
       "1 2022-03-01             6000.0       2173614  \n",
       "2 2022-04-01             1500.0       2173615  \n",
       "3 2022-01-14             6000.0       2173616  \n",
       "4 2022-01-18             1000.0       2173618  \n",
       "5 2022-01-17             2000.0       2173617  "
      ]
     },
     "execution_count": 375,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Analisando a variável \"Tipo_despesa\"\n",
    "df.head(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 376,
   "id": "6a4f87d2",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array(['Aluguel de imóveis para escritório político, compreendendo despesas concernentes a eles.',\n",
       "       'Divulgação da atividade parlamentar',\n",
       "       'Passagens aéreas, aquáticas e terrestres nacionais',\n",
       "       'Contratação de consultorias, assessorias, pesquisas, trabalhos técnicos e outros serviços de apoio ao exercício do mandato parlamentar',\n",
       "       'Locomoção, hospedagem, alimentação, combustíveis e lubrificantes',\n",
       "       'Aquisição de material de consumo para uso no escritório político, inclusive aquisição ou locação de software, despesas postais, aquisição de publicações, locação de móveis e de equipamentos. ',\n",
       "       'Serviços de Segurança Privada'], dtype=object)"
      ]
     },
     "execution_count": 376,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Verificando se há valores únicos e categorizados\n",
    "df.Tipo_despesa.unique()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 377,
   "id": "99051ded",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Categorizando de forma resumida as informações\n",
    "cat_despesa = {'Aluguel de imóveis para escritório político, compreendendo despesas concernentes a eles.': 'Cat01',\n",
    "    'Divulgação da atividade parlamentar': 'Cat02',\n",
    "    'Passagens aéreas, aquáticas e terrestres nacionais': 'Cat03',\n",
    "    'Contratação de consultorias, assessorias, pesquisas, trabalhos técnicos e outros serviços de apoio ao exercício do mandato parlamentar': 'Cat04',\n",
    "    'Locomoção, hospedagem, alimentação, combustíveis e lubrificantes':'Cat05',\n",
    "    'Aquisição de material de consumo para uso no escritório político, inclusive aquisição ou locação de software, despesas postais, aquisição de publicações, locação de móveis e de equipamentos. ': 'Cat06',\n",
    "    'Serviços de Segurança Privada': 'Cat07'}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 378,
   "id": "49550e64",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Categorizando o tipo de despesa\n",
    "df['categ_despesa'] = df['Tipo_despesa'].map(cat_despesa)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 379,
   "id": "6d057ef8",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mes\n",
    "# Categoria de despesa\n",
    "# Gasto total\n",
    "# diaMes"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 380,
   "id": "030574b1",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ano</th>\n",
       "      <th>Mes</th>\n",
       "      <th>Senador</th>\n",
       "      <th>Tipo_despesa</th>\n",
       "      <th>Cnpj_cpf</th>\n",
       "      <th>Fornecedor</th>\n",
       "      <th>Data</th>\n",
       "      <th>Valor_reembolsado</th>\n",
       "      <th>Cod_documento</th>\n",
       "      <th>categ_despesa</th>\n",
       "      <th>dia_mes</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Aluguel de imóveis para escritório político, c...</td>\n",
       "      <td>004.948.028-63</td>\n",
       "      <td>Gilberto piselo do nascimento</td>\n",
       "      <td>2022-03-01</td>\n",
       "      <td>6000.0</td>\n",
       "      <td>2173614</td>\n",
       "      <td>Cat01</td>\n",
       "      <td>0103</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2022</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>26.320.603/0001-64</td>\n",
       "      <td>Informanahora</td>\n",
       "      <td>2022-04-01</td>\n",
       "      <td>1500.0</td>\n",
       "      <td>2173615</td>\n",
       "      <td>Cat02</td>\n",
       "      <td>0104</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    Ano Mes       Senador                                       Tipo_despesa  \\\n",
       "1  2022   1  Acir gurgacz  Aluguel de imóveis para escritório político, c...   \n",
       "2  2022   1  Acir gurgacz                Divulgação da atividade parlamentar   \n",
       "\n",
       "             Cnpj_cpf                     Fornecedor       Data  \\\n",
       "1      004.948.028-63  Gilberto piselo do nascimento 2022-03-01   \n",
       "2  26.320.603/0001-64                  Informanahora 2022-04-01   \n",
       "\n",
       "   Valor_reembolsado Cod_documento categ_despesa dia_mes  \n",
       "1             6000.0       2173614         Cat01    0103  \n",
       "2             1500.0       2173615         Cat02    0104  "
      ]
     },
     "execution_count": 380,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df['dia_mes'] = pd.to_datetime(df['Data']).dt.strftime('%d%m')\n",
    "df.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 381,
   "id": "461fc13f",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Criando colunas auxiliares de datas\n",
    "df['Mes'] = df['Data'].dt.month\n",
    "df['Dia'] = df['Data'].dt.day"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 382,
   "id": "550ab1ab",
   "metadata": {},
   "outputs": [],
   "source": [
    "# Alterando a posição\n",
    "df.insert(2, 'Dia', df.pop('Dia'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 383,
   "id": "2023a6aa",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Ano</th>\n",
       "      <th>Mes</th>\n",
       "      <th>Dia</th>\n",
       "      <th>Senador</th>\n",
       "      <th>Tipo_despesa</th>\n",
       "      <th>Cnpj_cpf</th>\n",
       "      <th>Fornecedor</th>\n",
       "      <th>Data</th>\n",
       "      <th>Valor_reembolsado</th>\n",
       "      <th>Cod_documento</th>\n",
       "      <th>categ_despesa</th>\n",
       "      <th>dia_mes</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2022</td>\n",
       "      <td>3</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Aluguel de imóveis para escritório político, c...</td>\n",
       "      <td>004.948.028-63</td>\n",
       "      <td>Gilberto piselo do nascimento</td>\n",
       "      <td>2022-03-01</td>\n",
       "      <td>6000.0</td>\n",
       "      <td>2173614</td>\n",
       "      <td>Cat01</td>\n",
       "      <td>0103</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>2022</td>\n",
       "      <td>4</td>\n",
       "      <td>1</td>\n",
       "      <td>Acir gurgacz</td>\n",
       "      <td>Divulgação da atividade parlamentar</td>\n",
       "      <td>26.320.603/0001-64</td>\n",
       "      <td>Informanahora</td>\n",
       "      <td>2022-04-01</td>\n",
       "      <td>1500.0</td>\n",
       "      <td>2173615</td>\n",
       "      <td>Cat02</td>\n",
       "      <td>0104</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    Ano  Mes  Dia       Senador  \\\n",
       "1  2022    3    1  Acir gurgacz   \n",
       "2  2022    4    1  Acir gurgacz   \n",
       "\n",
       "                                        Tipo_despesa            Cnpj_cpf  \\\n",
       "1  Aluguel de imóveis para escritório político, c...      004.948.028-63   \n",
       "2                Divulgação da atividade parlamentar  26.320.603/0001-64   \n",
       "\n",
       "                      Fornecedor       Data  Valor_reembolsado Cod_documento  \\\n",
       "1  Gilberto piselo do nascimento 2022-03-01             6000.0       2173614   \n",
       "2                  Informanahora 2022-04-01             1500.0       2173615   \n",
       "\n",
       "  categ_despesa dia_mes  \n",
       "1         Cat01    0103  \n",
       "2         Cat02    0104  "
      ]
     },
     "execution_count": 383,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.head(2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 408,
   "id": "45d4a35a",
   "metadata": {},
   "outputs": [],
   "source": [
    "df.to_csv('Clean_despesas_CEASP.csv', sep=';')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f3fe19f2",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.12"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}