additive_parser.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 95,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "vi_e_number_df = pd.read_csv('data/viet_e_number.csv', sep=\"\\t\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 96,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>STT</th>\n",
       "      <th>INS</th>\n",
       "      <th>Tiếng Việt</th>\n",
       "      <th>Tiếng Anh</th>\n",
       "      <th>Chức năng</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1.0</td>\n",
       "      <td>100(i)</td>\n",
       "      <td>Curcumin</td>\n",
       "      <td>Curcumin</td>\n",
       "      <td>Phẩm màu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2.0</td>\n",
       "      <td>100(ii)</td>\n",
       "      <td>Turmeric</td>\n",
       "      <td>Turmeric</td>\n",
       "      <td>Phẩm màu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3.0</td>\n",
       "      <td>101(i)</td>\n",
       "      <td>Riboflavin, tổng\\nhợp</td>\n",
       "      <td>Riboflavin,\\nsynthetic</td>\n",
       "      <td>Phẩm màu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4.0</td>\n",
       "      <td>101(ii)</td>\n",
       "      <td>Natri Riboflavin\\n5'-phosphat</td>\n",
       "      <td>Riboflavin 5'-\\nphosphate sodium</td>\n",
       "      <td>Phẩm màu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>5.0</td>\n",
       "      <td>101(iii)</td>\n",
       "      <td>Riboflavin từ\\nBacillus subtilis</td>\n",
       "      <td>Riboflavin from\\nBacillus subtilis</td>\n",
       "      <td>Phẩm màu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>470</th>\n",
       "      <td>399.0</td>\n",
       "      <td>1520</td>\n",
       "      <td>Propylen glycol</td>\n",
       "      <td>Propylene glycol</td>\n",
       "      <td>Chất  nhũ  hóa,  chất\\nmang, chất làm bóng,\\nc...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>471</th>\n",
       "      <td>400.0</td>\n",
       "      <td>1521</td>\n",
       "      <td>Polyethylen glycol</td>\n",
       "      <td>Polyethylene glycol</td>\n",
       "      <td>Chất chống tạo bọt,\\nchất mang, chất nhũ\\nhóa,...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>472</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>473</th>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>474</th>\n",
       "      <td>34.0</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>475 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       STT       INS                        Tiếng Việt  \\\n",
       "0      1.0    100(i)                          Curcumin   \n",
       "1      2.0   100(ii)                          Turmeric   \n",
       "2      3.0    101(i)             Riboflavin, tổng\\nhợp   \n",
       "3      4.0   101(ii)     Natri Riboflavin\\n5'-phosphat   \n",
       "4      5.0  101(iii)  Riboflavin từ\\nBacillus subtilis   \n",
       "..     ...       ...                               ...   \n",
       "470  399.0      1520                   Propylen glycol   \n",
       "471  400.0      1521                Polyethylen glycol   \n",
       "472    NaN       NaN                               NaN   \n",
       "473    NaN       NaN                               NaN   \n",
       "474   34.0       NaN                               NaN   \n",
       "\n",
       "                              Tiếng Anh  \\\n",
       "0                              Curcumin   \n",
       "1                              Turmeric   \n",
       "2                Riboflavin,\\nsynthetic   \n",
       "3      Riboflavin 5'-\\nphosphate sodium   \n",
       "4    Riboflavin from\\nBacillus subtilis   \n",
       "..                                  ...   \n",
       "470                    Propylene glycol   \n",
       "471                 Polyethylene glycol   \n",
       "472                                 NaN   \n",
       "473                                 NaN   \n",
       "474                                 NaN   \n",
       "\n",
       "                                             Chức năng  \n",
       "0                                             Phẩm màu  \n",
       "1                                             Phẩm màu  \n",
       "2                                             Phẩm màu  \n",
       "3                                             Phẩm màu  \n",
       "4                                             Phẩm màu  \n",
       "..                                                 ...  \n",
       "470  Chất  nhũ  hóa,  chất\\nmang, chất làm bóng,\\nc...  \n",
       "471  Chất chống tạo bọt,\\nchất mang, chất nhũ\\nhóa,...  \n",
       "472                                                NaN  \n",
       "473                                                NaN  \n",
       "474                                                NaN  \n",
       "\n",
       "[475 rows x 5 columns]"
      ]
     },
     "execution_count": 96,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vi_e_number_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 97,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "def process_ins(text):\n",
    "    text = 'e'+text.replace(\"(\", \"_\").replace(\")\", \"\")\n",
    "    text = re.sub('\\[.*\\]', ' ', text)\n",
    "    return text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 98,
   "metadata": {},
   "outputs": [],
   "source": [
    "# read e number data in folder\n",
    "# import os\n",
    "# list_file = ['data/e_number/' + i for i in os.listdir('data/e_number/')]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 99,
   "metadata": {},
   "outputs": [],
   "source": [
    "# pd.read_csv(list_file[1], sep=\",\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 100,
   "metadata": {},
   "outputs": [],
   "source": [
    "# read ins data in folder\n",
    "ins_df = pd.read_csv('data/ins/0.csv', sep=\",\")\n",
    "ins_df.rename(columns={ins_df.columns[0]: 'INS'}, inplace=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 101,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>INS</th>\n",
       "      <th>Unnamed: 1_level_1</th>\n",
       "      <th>Unnamed: 2_level_1</th>\n",
       "      <th>Unnamed: 3_level_1</th>\n",
       "      <th>Names</th>\n",
       "      <th>Type</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>100</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>U</td>\n",
       "      <td>curcumins</td>\n",
       "      <td>colour</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>100(i)</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>U</td>\n",
       "      <td>curcumin</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>100(ii)</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>U</td>\n",
       "      <td>turmeric</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>101</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>riboflavins</td>\n",
       "      <td>NaN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>101(i)</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>riboflavin, synthetic (vitamin B2)</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>431</th>\n",
       "      <td>1505</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>triethyl citrate</td>\n",
       "      <td>thickener, vegetable gum</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>432</th>\n",
       "      <td>1510</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ethanol (not classified as an additive)</td>\n",
       "      <td>alcohol</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>433</th>\n",
       "      <td>1518</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>triacetin</td>\n",
       "      <td>humectant</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>434</th>\n",
       "      <td>1520</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>propylene glycol</td>\n",
       "      <td>humectant</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>435</th>\n",
       "      <td>1521</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Polyethylene glycol[citation needed]</td>\n",
       "      <td>antifoaming agent</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>436 rows × 6 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "         INS Unnamed: 1_level_1 Unnamed: 2_level_1 Unnamed: 3_level_1  \\\n",
       "0        100                  A                  E                  U   \n",
       "1     100(i)                  A                  E                  U   \n",
       "2    100(ii)                  A                  E                  U   \n",
       "3        101                  A                  E                NaN   \n",
       "4     101(i)                  A                  E                NaN   \n",
       "..       ...                ...                ...                ...   \n",
       "431     1505                  A                  E                NaN   \n",
       "432     1510                NaN                NaN                NaN   \n",
       "433     1518                  A                  E                NaN   \n",
       "434     1520                  A                  E                NaN   \n",
       "435     1521                  A                  E                NaN   \n",
       "\n",
       "                                       Names                        Type  \n",
       "0                                  curcumins                      colour  \n",
       "1                                   curcumin  colour (yellow and orange)  \n",
       "2                                   turmeric  colour (yellow and orange)  \n",
       "3                                riboflavins                         NaN  \n",
       "4         riboflavin, synthetic (vitamin B2)  colour (yellow and orange)  \n",
       "..                                       ...                         ...  \n",
       "431                         triethyl citrate    thickener, vegetable gum  \n",
       "432  ethanol (not classified as an additive)                     alcohol  \n",
       "433                                triacetin                   humectant  \n",
       "434                         propylene glycol                   humectant  \n",
       "435     Polyethylene glycol[citation needed]           antifoaming agent  \n",
       "\n",
       "[436 rows x 6 columns]"
      ]
     },
     "execution_count": 101,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ins_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 102,
   "metadata": {},
   "outputs": [],
   "source": [
    "vi_e_number_df = vi_e_number_df[~vi_e_number_df['INS'].isnull()]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 103,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>STT</th>\n",
       "      <th>INS</th>\n",
       "      <th>Tiếng Việt</th>\n",
       "      <th>Tiếng Anh</th>\n",
       "      <th>Chức năng</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1.0</td>\n",
       "      <td>100(i)</td>\n",
       "      <td>Curcumin</td>\n",
       "      <td>Curcumin</td>\n",
       "      <td>Phẩm màu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2.0</td>\n",
       "      <td>100(ii)</td>\n",
       "      <td>Turmeric</td>\n",
       "      <td>Turmeric</td>\n",
       "      <td>Phẩm màu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3.0</td>\n",
       "      <td>101(i)</td>\n",
       "      <td>Riboflavin, tổng\\nhợp</td>\n",
       "      <td>Riboflavin,\\nsynthetic</td>\n",
       "      <td>Phẩm màu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4.0</td>\n",
       "      <td>101(ii)</td>\n",
       "      <td>Natri Riboflavin\\n5'-phosphat</td>\n",
       "      <td>Riboflavin 5'-\\nphosphate sodium</td>\n",
       "      <td>Phẩm màu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>5.0</td>\n",
       "      <td>101(iii)</td>\n",
       "      <td>Riboflavin từ\\nBacillus subtilis</td>\n",
       "      <td>Riboflavin from\\nBacillus subtilis</td>\n",
       "      <td>Phẩm màu</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>467</th>\n",
       "      <td>396.0</td>\n",
       "      <td>1504(ii)</td>\n",
       "      <td>Siro\\ncyclotetraglucose</td>\n",
       "      <td>Cyclotetraglucose\\nsyrup</td>\n",
       "      <td>Chất mang</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>468</th>\n",
       "      <td>397.0</td>\n",
       "      <td>1505</td>\n",
       "      <td>Triethyl citrat</td>\n",
       "      <td>Triethyl citrate</td>\n",
       "      <td>Chất mang, chất nhũ\\nhóa,   chất   ổn   định,\\...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>469</th>\n",
       "      <td>398.0</td>\n",
       "      <td>1518</td>\n",
       "      <td>Triacetin</td>\n",
       "      <td>Triacetin</td>\n",
       "      <td>Chất mang, chất nhũ\\nhóa, chất làm ẩm</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>470</th>\n",
       "      <td>399.0</td>\n",
       "      <td>1520</td>\n",
       "      <td>Propylen glycol</td>\n",
       "      <td>Propylene glycol</td>\n",
       "      <td>Chất  nhũ  hóa,  chất\\nmang, chất làm bóng,\\nc...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>471</th>\n",
       "      <td>400.0</td>\n",
       "      <td>1521</td>\n",
       "      <td>Polyethylen glycol</td>\n",
       "      <td>Polyethylene glycol</td>\n",
       "      <td>Chất chống tạo bọt,\\nchất mang, chất nhũ\\nhóa,...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>400 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       STT       INS                        Tiếng Việt  \\\n",
       "0      1.0    100(i)                          Curcumin   \n",
       "1      2.0   100(ii)                          Turmeric   \n",
       "2      3.0    101(i)             Riboflavin, tổng\\nhợp   \n",
       "3      4.0   101(ii)     Natri Riboflavin\\n5'-phosphat   \n",
       "4      5.0  101(iii)  Riboflavin từ\\nBacillus subtilis   \n",
       "..     ...       ...                               ...   \n",
       "467  396.0  1504(ii)           Siro\\ncyclotetraglucose   \n",
       "468  397.0      1505                   Triethyl citrat   \n",
       "469  398.0      1518                         Triacetin   \n",
       "470  399.0      1520                   Propylen glycol   \n",
       "471  400.0      1521                Polyethylen glycol   \n",
       "\n",
       "                              Tiếng Anh  \\\n",
       "0                              Curcumin   \n",
       "1                              Turmeric   \n",
       "2                Riboflavin,\\nsynthetic   \n",
       "3      Riboflavin 5'-\\nphosphate sodium   \n",
       "4    Riboflavin from\\nBacillus subtilis   \n",
       "..                                  ...   \n",
       "467            Cyclotetraglucose\\nsyrup   \n",
       "468                    Triethyl citrate   \n",
       "469                           Triacetin   \n",
       "470                    Propylene glycol   \n",
       "471                 Polyethylene glycol   \n",
       "\n",
       "                                             Chức năng  \n",
       "0                                             Phẩm màu  \n",
       "1                                             Phẩm màu  \n",
       "2                                             Phẩm màu  \n",
       "3                                             Phẩm màu  \n",
       "4                                             Phẩm màu  \n",
       "..                                                 ...  \n",
       "467                                          Chất mang  \n",
       "468  Chất mang, chất nhũ\\nhóa,   chất   ổn   định,\\...  \n",
       "469              Chất mang, chất nhũ\\nhóa, chất làm ẩm  \n",
       "470  Chất  nhũ  hóa,  chất\\nmang, chất làm bóng,\\nc...  \n",
       "471  Chất chống tạo bọt,\\nchất mang, chất nhũ\\nhóa,...  \n",
       "\n",
       "[400 rows x 5 columns]"
      ]
     },
     "execution_count": 103,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "vi_e_number_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 104,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/tmp/ipykernel_207091/2502952850.py:4: SettingWithCopyWarning: \n",
      "A value is trying to be set on a copy of a slice from a DataFrame.\n",
      "Try using .loc[row_indexer,col_indexer] = value instead\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n",
      "  vi_e_number_df['INS'] = vi_e_number_df['INS'].apply(ins_name_standardizer)\n"
     ]
    }
   ],
   "source": [
    "def ins_name_standardizer(ins_name):\n",
    "    return process_ins(ins_name.lower().replace(\" \", \"\"))\n",
    "\n",
    "vi_e_number_df['INS'] = vi_e_number_df['INS'].apply(ins_name_standardizer)\n",
    "ins_df['INS'] = ins_df['INS'].apply(ins_name_standardizer)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 105,
   "metadata": {},
   "outputs": [],
   "source": [
    "merged_df = pd.merge(vi_e_number_df, ins_df, on='INS', how='outer')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 106,
   "metadata": {},
   "outputs": [],
   "source": [
    "merged_df.drop_duplicates(subset=['INS'], inplace=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 107,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>STT</th>\n",
       "      <th>INS</th>\n",
       "      <th>Tiếng Việt</th>\n",
       "      <th>Tiếng Anh</th>\n",
       "      <th>Chức năng</th>\n",
       "      <th>Unnamed: 1_level_1</th>\n",
       "      <th>Unnamed: 2_level_1</th>\n",
       "      <th>Unnamed: 3_level_1</th>\n",
       "      <th>Names</th>\n",
       "      <th>Type</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>1.0</td>\n",
       "      <td>e100_i</td>\n",
       "      <td>Curcumin</td>\n",
       "      <td>Curcumin</td>\n",
       "      <td>Phẩm màu</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>U</td>\n",
       "      <td>curcumin</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>2.0</td>\n",
       "      <td>e100_ii</td>\n",
       "      <td>Turmeric</td>\n",
       "      <td>Turmeric</td>\n",
       "      <td>Phẩm màu</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>U</td>\n",
       "      <td>turmeric</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>3.0</td>\n",
       "      <td>e101_i</td>\n",
       "      <td>Riboflavin, tổng\\nhợp</td>\n",
       "      <td>Riboflavin,\\nsynthetic</td>\n",
       "      <td>Phẩm màu</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>riboflavin, synthetic (vitamin B2)</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>4.0</td>\n",
       "      <td>e101_ii</td>\n",
       "      <td>Natri Riboflavin\\n5'-phosphat</td>\n",
       "      <td>Riboflavin 5'-\\nphosphate sodium</td>\n",
       "      <td>Phẩm màu</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>Riboflavin-5'-phosphate</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>5.0</td>\n",
       "      <td>e101_iii</td>\n",
       "      <td>Riboflavin từ\\nBacillus subtilis</td>\n",
       "      <td>Riboflavin from\\nBacillus subtilis</td>\n",
       "      <td>Phẩm màu</td>\n",
       "      <td>A</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>riboflavin from Bacillus subtilis</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>566</th>\n",
       "      <td>NaN</td>\n",
       "      <td>e999</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>quillaia extract</td>\n",
       "      <td>humectant</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>567</th>\n",
       "      <td>NaN</td>\n",
       "      <td>e1001</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>A</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>choline salts and esters</td>\n",
       "      <td>emulsifier</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>568</th>\n",
       "      <td>NaN</td>\n",
       "      <td>e1100</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>A</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>amylases</td>\n",
       "      <td>flour treatment agent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>569</th>\n",
       "      <td>NaN</td>\n",
       "      <td>e1103</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>E</td>\n",
       "      <td>NaN</td>\n",
       "      <td>invertase</td>\n",
       "      <td>?</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>570</th>\n",
       "      <td>NaN</td>\n",
       "      <td>e1510</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ethanol (not classified as an additive)</td>\n",
       "      <td>alcohol</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>571 rows × 10 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "     STT       INS                        Tiếng Việt  \\\n",
       "0    1.0    e100_i                          Curcumin   \n",
       "1    2.0   e100_ii                          Turmeric   \n",
       "2    3.0    e101_i             Riboflavin, tổng\\nhợp   \n",
       "3    4.0   e101_ii     Natri Riboflavin\\n5'-phosphat   \n",
       "4    5.0  e101_iii  Riboflavin từ\\nBacillus subtilis   \n",
       "..   ...       ...                               ...   \n",
       "566  NaN      e999                               NaN   \n",
       "567  NaN     e1001                               NaN   \n",
       "568  NaN     e1100                               NaN   \n",
       "569  NaN     e1103                               NaN   \n",
       "570  NaN     e1510                               NaN   \n",
       "\n",
       "                              Tiếng Anh Chức năng Unnamed: 1_level_1  \\\n",
       "0                              Curcumin  Phẩm màu                  A   \n",
       "1                              Turmeric  Phẩm màu                  A   \n",
       "2                Riboflavin,\\nsynthetic  Phẩm màu                  A   \n",
       "3      Riboflavin 5'-\\nphosphate sodium  Phẩm màu                  A   \n",
       "4    Riboflavin from\\nBacillus subtilis  Phẩm màu                  A   \n",
       "..                                  ...       ...                ...   \n",
       "566                                 NaN       NaN                NaN   \n",
       "567                                 NaN       NaN                  A   \n",
       "568                                 NaN       NaN                  A   \n",
       "569                                 NaN       NaN                NaN   \n",
       "570                                 NaN       NaN                NaN   \n",
       "\n",
       "    Unnamed: 2_level_1 Unnamed: 3_level_1  \\\n",
       "0                    E                  U   \n",
       "1                    E                  U   \n",
       "2                    E                NaN   \n",
       "3                    E                NaN   \n",
       "4                    E                NaN   \n",
       "..                 ...                ...   \n",
       "566                  E                NaN   \n",
       "567                NaN                NaN   \n",
       "568                NaN                NaN   \n",
       "569                  E                NaN   \n",
       "570                NaN                NaN   \n",
       "\n",
       "                                       Names                        Type  \n",
       "0                                   curcumin  colour (yellow and orange)  \n",
       "1                                   turmeric  colour (yellow and orange)  \n",
       "2         riboflavin, synthetic (vitamin B2)  colour (yellow and orange)  \n",
       "3                    Riboflavin-5'-phosphate  colour (yellow and orange)  \n",
       "4          riboflavin from Bacillus subtilis  colour (yellow and orange)  \n",
       "..                                       ...                         ...  \n",
       "566                         quillaia extract                   humectant  \n",
       "567                 choline salts and esters                  emulsifier  \n",
       "568                                 amylases       flour treatment agent  \n",
       "569                                invertase                           ?  \n",
       "570  ethanol (not classified as an additive)                     alcohol  \n",
       "\n",
       "[571 rows x 10 columns]"
      ]
     },
     "execution_count": 107,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "merged_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "def clear_text(text):\n",
    "    # text = text.replace(\" \", \"\")\n",
    "    try:\n",
    "        text = text.replace(\"\\n\", \" \")\n",
    "        text = text.replace(\"\\t\", \" \")\n",
    "        text = text.replace(\"\\r\", \" \")\n",
    "        # remove multiple space\n",
    "        text = re.sub(' +', ' ', text)\n",
    "        return text\n",
    "    except:\n",
    "        return text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 109,
   "metadata": {},
   "outputs": [],
   "source": [
    "merged_df['Tiếng Việt'] = merged_df['Tiếng Việt'].apply(clear_text)\n",
    "merged_df['Tiếng Anh'] = merged_df['Tiếng Anh'].apply(clear_text)\n",
    "merged_df['Names'] = merged_df['Names'].apply(clear_text)\n",
    "merged_df['Chức năng'] = merged_df['Chức năng'].apply(clear_text)\n",
    "merged_df['Type'] = merged_df['Type'].apply(clear_text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 110,
   "metadata": {},
   "outputs": [],
   "source": [
    "# if column is null, fill with another column\n",
    "merged_df['Tiếng Anh'] = merged_df['Tiếng Anh'].fillna(merged_df['Names'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 111,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Index(['STT', 'INS', 'Tiếng Việt', 'Tiếng Anh', 'Chức năng',\n",
       "       'Unnamed: 1_level_1', 'Unnamed: 2_level_1', 'Unnamed: 3_level_1',\n",
       "       'Names', 'Type'],\n",
       "      dtype='object')"
      ]
     },
     "execution_count": 111,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "merged_df.columns"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 112,
   "metadata": {},
   "outputs": [],
   "source": [
    "merged_df = merged_df[['INS', 'Tiếng Việt', 'Tiếng Anh', 'Chức năng', 'Type']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 113,
   "metadata": {},
   "outputs": [],
   "source": [
    "merged_df.to_csv('data/merged_vi_ins.csv', index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 114,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>INS</th>\n",
       "      <th>Tiếng Việt</th>\n",
       "      <th>Tiếng Anh</th>\n",
       "      <th>Chức năng</th>\n",
       "      <th>Type</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>e100_i</td>\n",
       "      <td>Curcumin</td>\n",
       "      <td>Curcumin</td>\n",
       "      <td>Phẩm màu</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>e100_ii</td>\n",
       "      <td>Turmeric</td>\n",
       "      <td>Turmeric</td>\n",
       "      <td>Phẩm màu</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>e101_i</td>\n",
       "      <td>Riboflavin, tổng hợp</td>\n",
       "      <td>Riboflavin, synthetic</td>\n",
       "      <td>Phẩm màu</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>e101_ii</td>\n",
       "      <td>Natri Riboflavin 5'-phosphat</td>\n",
       "      <td>Riboflavin 5'- phosphate sodium</td>\n",
       "      <td>Phẩm màu</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>e101_iii</td>\n",
       "      <td>Riboflavin từ Bacillus subtilis</td>\n",
       "      <td>Riboflavin from Bacillus subtilis</td>\n",
       "      <td>Phẩm màu</td>\n",
       "      <td>colour (yellow and orange)</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>566</th>\n",
       "      <td>e999</td>\n",
       "      <td>NaN</td>\n",
       "      <td>quillaia extract</td>\n",
       "      <td>NaN</td>\n",
       "      <td>humectant</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>567</th>\n",
       "      <td>e1001</td>\n",
       "      <td>NaN</td>\n",
       "      <td>choline salts and esters</td>\n",
       "      <td>NaN</td>\n",
       "      <td>emulsifier</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>568</th>\n",
       "      <td>e1100</td>\n",
       "      <td>NaN</td>\n",
       "      <td>amylases</td>\n",
       "      <td>NaN</td>\n",
       "      <td>flour treatment agent</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>569</th>\n",
       "      <td>e1103</td>\n",
       "      <td>NaN</td>\n",
       "      <td>invertase</td>\n",
       "      <td>NaN</td>\n",
       "      <td>?</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>570</th>\n",
       "      <td>e1510</td>\n",
       "      <td>NaN</td>\n",
       "      <td>ethanol (not classified as an additive)</td>\n",
       "      <td>NaN</td>\n",
       "      <td>alcohol</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>571 rows × 5 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "          INS                       Tiếng Việt  \\\n",
       "0      e100_i                         Curcumin   \n",
       "1     e100_ii                         Turmeric   \n",
       "2      e101_i             Riboflavin, tổng hợp   \n",
       "3     e101_ii     Natri Riboflavin 5'-phosphat   \n",
       "4    e101_iii  Riboflavin từ Bacillus subtilis   \n",
       "..        ...                              ...   \n",
       "566      e999                              NaN   \n",
       "567     e1001                              NaN   \n",
       "568     e1100                              NaN   \n",
       "569     e1103                              NaN   \n",
       "570     e1510                              NaN   \n",
       "\n",
       "                                   Tiếng Anh Chức năng  \\\n",
       "0                                   Curcumin  Phẩm màu   \n",
       "1                                   Turmeric  Phẩm màu   \n",
       "2                      Riboflavin, synthetic  Phẩm màu   \n",
       "3            Riboflavin 5'- phosphate sodium  Phẩm màu   \n",
       "4          Riboflavin from Bacillus subtilis  Phẩm màu   \n",
       "..                                       ...       ...   \n",
       "566                         quillaia extract       NaN   \n",
       "567                 choline salts and esters       NaN   \n",
       "568                                 amylases       NaN   \n",
       "569                                invertase       NaN   \n",
       "570  ethanol (not classified as an additive)       NaN   \n",
       "\n",
       "                           Type  \n",
       "0    colour (yellow and orange)  \n",
       "1    colour (yellow and orange)  \n",
       "2    colour (yellow and orange)  \n",
       "3    colour (yellow and orange)  \n",
       "4    colour (yellow and orange)  \n",
       "..                          ...  \n",
       "566                   humectant  \n",
       "567                  emulsifier  \n",
       "568       flour treatment agent  \n",
       "569                           ?  \n",
       "570                     alcohol  \n",
       "\n",
       "[571 rows x 5 columns]"
      ]
     },
     "execution_count": 114,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "merged_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 115,
   "metadata": {},
   "outputs": [],
   "source": [
    "# merged_df['e_number'] = merged_df['INS'].apply(process_ins)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 116,
   "metadata": {},
   "outputs": [],
   "source": [
    "merged_df = merged_df.fillna('')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 117,
   "metadata": {},
   "outputs": [],
   "source": [
    "sep_string = ' dq32eqw4 '\n",
    "merged_df['text_query'] = merged_df['Tiếng Việt'] + sep_string + merged_df['Tiếng Anh']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 118,
   "metadata": {},
   "outputs": [],
   "source": [
    "# text_list = merged_df['text_query'].tolist()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 119,
   "metadata": {},
   "outputs": [],
   "source": [
    "# text_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 120,
   "metadata": {},
   "outputs": [],
   "source": [
    "# raw_dict_df = pd.read_csv('tmp/raw_dictionary.csv', sep=\",\", header=None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 121,
   "metadata": {},
   "outputs": [],
   "source": [
    "# raw_dict_terms = raw_dict_df[0].tolist()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 122,
   "metadata": {},
   "outputs": [],
   "source": [
    "# raw_dict_terms = list(set(raw_dict_terms + text_list))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 123,
   "metadata": {},
   "outputs": [],
   "source": [
    "# raw_dict_terms = [sep_string + i + sep_string for i in raw_dict_terms if i != '']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 124,
   "metadata": {},
   "outputs": [],
   "source": [
    "# raw_dict_terms"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 125,
   "metadata": {},
   "outputs": [],
   "source": [
    "# index elastic search\n",
    "\n",
    "from elasticsearch import Elasticsearch\n",
    "from elasticsearch import helpers\n",
    "\n",
    "password='FtxkVZYOjZBdsLqbryvc'\n",
    "ca_certs_dir='/home/vinhvan/elasticsearch-8.4.2/config/certs/http_ca.crt'\n",
    "\n",
    "\n",
    "        # Create the client instance\n",
    "es = Elasticsearch(\n",
    "            \"https://localhost:9200\",\n",
    "            ca_certs=ca_certs_dir,\n",
    "            basic_auth=(\"elastic\", password),\n",
    "            request_timeout=60\n",
    "        )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 126,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "ObjectApiResponse({'name': 'VINHVAN-ITC-AI', 'cluster_name': 'elasticsearch', 'cluster_uuid': 'nGpADS-xR_2jfOXdEXGYXw', 'version': {'number': '8.4.2', 'build_flavor': 'default', 'build_type': 'tar', 'build_hash': '89f8c6d8429db93b816403ee75e5c270b43a940a', 'build_date': '2022-09-14T16:26:04.382547801Z', 'build_snapshot': False, 'lucene_version': '9.3.0', 'minimum_wire_compatibility_version': '7.17.0', 'minimum_index_compatibility_version': '7.0.0'}, 'tagline': 'You Know, for Search'})"
      ]
     },
     "execution_count": 126,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "es.info()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 127,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "ObjectApiResponse({'acknowledged': True, 'shards_acknowledged': True, 'index': 'viet_ins_8'})"
      ]
     },
     "execution_count": 127,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# create index  \n",
    "index_name = 'viet_ins_8'\n",
    "# es.indices.create(index=index_name, ignore=400)\n",
    "\n",
    "# create mapping\n",
    "setting = {\n",
    "            \"similarity\": {\n",
    "                \"scripted_tfidf\": {\n",
    "                    \"type\": \"scripted\",\n",
    "                    \"script\": {\n",
    "                        # \"source\": \"double tf = Math.sqrt(doc.freq); double idf = Math.log((field.docCount+1.0)/(term.docFreq+1.0)) + 1.0; double norm = 1/Math.sqrt(doc.length); return query.boost * tf * idf * norm;\"\n",
    "                        # this tf idf score remove idf\n",
    "                        \"source\": \"double tf = Math.sqrt(doc.freq); double idf =  1.0; double norm = 1/Math.sqrt(doc.length + 1); return query.boost * tf * idf * norm;\"\n",
    "                    }\n",
    "                },\n",
    "                \"custom_bm25\": {\n",
    "                    \"type\": \"BM25\",\n",
    "                    \"b\": 0.65,\n",
    "                    \"k1\": 1.2\n",
    "                }\n",
    "\n",
    "            },\n",
    "            \"analysis\": {\n",
    "                \"analyzer\": {\n",
    "                    \"my_standard_shingle_no_unique\": {\n",
    "                        \"tokenizer\": \"standard\",\n",
    "                        \"filter\": [\"lowercase\", \"my_shingle_filter\"]\n",
    "                    }\n",
    "                },\n",
    "                \"filter\": {\n",
    "                    \"my_shingle_filter\": {\n",
    "                        \"type\": \"shingle\",\n",
    "                        \"min_shingle_size\": 2,\n",
    "                        \"max_shingle_size\": 3,\n",
    "                        \"output_unigrams\": False\n",
    "                    }\n",
    "                }\n",
    "            }\n",
    "        }\n",
    "\n",
    "mapping = {\n",
    "    \"properties\": {\n",
    "        \"vi_name\": {\n",
    "            \"type\": \"text\",\n",
    "            \"index_phrases\": True,\n",
    "            \"store\": True,\n",
    "            \"analyzer\": \"my_standard_shingle_no_unique\",\n",
    "            # \"similarity\": \"custom_bm25\"\n",
    "        },\n",
    "        \"en_name\": {\n",
    "            \"type\": \"text\",\n",
    "            \"index_phrases\": True,\n",
    "            \"store\": True,\n",
    "            \"analyzer\": \"my_standard_shingle_no_unique\",\n",
    "            # \"similarity\": \"custom_bm25\"\n",
    "        },\n",
    "        \"e_number\": {\n",
    "            \"type\": \"text\",\n",
    "            \"index_phrases\": True,\n",
    "            \"store\": True,\n",
    "            \"analyzer\": \"my_standard_shingle_no_unique\",\n",
    "            # \"similarity\": \"custom_bm25\"\n",
    "        }\n",
    "    }\n",
    "}\n",
    "\n",
    "es.indices.create(index=index_name, mappings=mapping, settings=setting)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 128,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'count': 0, '_shards': {'total': 1, 'successful': 1, 'skipped': 0, 'failed': 0}}\n"
     ]
    }
   ],
   "source": [
    "resp = es.count(index=index_name, query={\"match_all\": {}})\n",
    "print(resp)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 129,
   "metadata": {},
   "outputs": [],
   "source": [
    "def head_tail_padding(text):\n",
    "    return sep_string + text + sep_string"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 164,
   "metadata": {},
   "outputs": [],
   "source": [
    "merged_df['e_number'] = merged_df['INS']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 165,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/tmp/ipykernel_207091/2933572689.py:11: DeprecationWarning: The 'body' parameter is deprecated and will be removed in a future version. Instead use the 'document' parameter. See https://github.com/elastic/elasticsearch-py/issues/1698 for more information\n",
      "  es.index(index=index_name, id=idx, body=body)\n"
     ]
    }
   ],
   "source": [
    "# index into es db\n",
    "merged_df\n",
    "\n",
    "for idx, row in merged_df.iterrows():\n",
    "    body = {\n",
    "        # \"full_name_no_unique\": head_tail_padding(head_tail_padding(row['text_query'].lower())),\n",
    "        \"vi_name\": head_tail_padding(row['Tiếng Việt'].lower()),\n",
    "        \"en_name\": head_tail_padding(row['Tiếng Anh'].lower()),\n",
    "        \"e_number\": head_tail_padding(row['e_number'])\n",
    "    }\n",
    "    es.index(index=index_name, id=idx, body=body)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 166,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'count': 571, '_shards': {'total': 1, 'successful': 1, 'skipped': 0, 'failed': 0}}\n"
     ]
    }
   ],
   "source": [
    "resp = es.count(index=index_name, query={\"match_all\": {}})\n",
    "print(resp)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 167,
   "metadata": {},
   "outputs": [],
   "source": [
    "# search each term in raw_dict_terms\n",
    "\n",
    "def get_match_term_query(raw_term, rank_list_size=10):\n",
    "    j = {\n",
    "        # \"explain\": True,\n",
    "        \"query\": {\n",
    "            \"bool\": {\n",
    "                \"should\": [\n",
    "                    # {\"match\": {\"full_name_no_unique\": {\"query\": raw_term, \"boost\": 1}}},\n",
    "                    {\"match\": {\"vi_name\": {\"query\": raw_term, \"boost\": 1}}},\n",
    "                    {\"match\": {\"en_name\": {\"query\": raw_term, \"boost\": 1}}},\n",
    "                    {\"match\": {\"e_number\": {\"query\": raw_term, \"boost\": 3}}},\n",
    "                ],\n",
    "                \"minimum_should_match\": 1\n",
    "            }\n",
    "        },\n",
    "        \"_source\": {\"includes\": [\"vi_name\", \"en_name\",  \"e_number\"]},\n",
    "        'from': 0,\n",
    "        'size': rank_list_size\n",
    "    }\n",
    "\n",
    "    return j"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 168,
   "metadata": {},
   "outputs": [],
   "source": [
    "raw_df = pd.read_csv('tmp/ingredient_parsed.csv', sep=\",\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 169,
   "metadata": {},
   "outputs": [],
   "source": [
    "# raw_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 170,
   "metadata": {},
   "outputs": [],
   "source": [
    "raw_ingre_text = raw_df['parsed_ingredient'].tolist()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 171,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['gạo percentagetoken | muối tinh luyện percentagetoken | rượu etylic | ethy alcohol percentagetoken | chất điều chỉnh độ | acid citric percentagetoken',\n",
       " 'gạo percentagetoken | nước | cồn thực phẩm | muối',\n",
       " 'mồng tơi percentagetoken mướp percentagetoken']"
      ]
     },
     "execution_count": 171,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "raw_ingre_text[:3]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 172,
   "metadata": {},
   "outputs": [],
   "source": [
    "sep_string = ' dq32eqw4 '\n",
    "import re\n",
    "\n",
    "def preprocess_search_text(text):\n",
    "    # subtitude \\w+token with sep_string\n",
    "    text = re.sub(r'\\w+token', sep_string, text)\n",
    "    text = re.sub(r' \\| ', sep_string, text)\n",
    "    # remove multiple sep_string\n",
    "    text = re.sub(r'({})+'.format(sep_string), sep_string, text)\n",
    "    return sep_string + text + sep_string"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 173,
   "metadata": {},
   "outputs": [],
   "source": [
    "def check_string_issubset(s1, s2):\n",
    "    toks1 = re.findall(r'[\\w\\d]+', s1)\n",
    "    toks2 = re.findall(r'[\\w\\d]+', s2)\n",
    "    return set(toks1).issubset(set(toks2))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 174,
   "metadata": {},
   "outputs": [],
   "source": [
    "def search_term(raw_term, rank_list_size=20):\n",
    "    raw_term = preprocess_search_text(raw_term)\n",
    "    j = get_match_term_query(raw_term, rank_list_size)\n",
    "    res = es.search(index=index_name, body=j)\n",
    "\n",
    "    ret_list = []\n",
    "\n",
    "    for i in res['hits']['hits']:\n",
    "        i['_source']['vi_name'] = i['_source']['vi_name'].replace(sep_string, \" \")\n",
    "        i['_source']['en_name'] = i['_source']['en_name'].replace(sep_string, \" \")\n",
    "        i['_source']['e_number'] = i['_source']['e_number'].replace(sep_string, \" \")\n",
    "\n",
    "        d = {\n",
    "                'score': i['_score'],\n",
    "                'vi_name': i['_source']['vi_name'].replace(sep_string, \" \").strip(),\n",
    "                'en_name': i['_source']['en_name'].replace(sep_string, \" \").strip(),\n",
    "                'e_number': i['_source']['e_number'].replace(sep_string, \" \").strip(),\n",
    "        }\n",
    "\n",
    "        if d['score'] >= 10 and (check_string_issubset( d['vi_name'], raw_term) or\n",
    "                                  check_string_issubset( d['en_name'], raw_term) or\n",
    "                                    check_string_issubset( d['e_number'], raw_term)):\n",
    "            del d['score']\n",
    "            ret_list.append(d)\n",
    "    return ret_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 175,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "' dq32eqw4 gạo  dq32eqw4 muối tinh luyện  dq32eqw4 rượu etylic dq32eqw4 ethy alcohol  dq32eqw4 chất điều chỉnh độ dq32eqw4 acid citric  dq32eqw4  dq32eqw4 '"
      ]
     },
     "execution_count": 175,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "preprocess_search_text(raw_ingre_text[0])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 176,
   "metadata": {},
   "outputs": [],
   "source": [
    "# raw_ingre_text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 177,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/tmp/ipykernel_207091/1252570427.py:4: DeprecationWarning: The 'body' parameter is deprecated and will be removed in a future version. Instead use individual parameters.\n",
      "  res = es.search(index=index_name, body=j)\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "[{'vi_name': 'acid citric', 'en_name': 'citric acid', 'e_number': 'e330'}]"
      ]
     },
     "execution_count": 177,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "text = raw_ingre_text[0]\n",
    "a= search_term(text)\n",
    "a"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 178,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'gạo percentagetoken | muối tinh luyện percentagetoken | rượu etylic | ethy alcohol percentagetoken | chất điều chỉnh độ | acid citric percentagetoken'"
      ]
     },
     "execution_count": 178,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "raw_ingre_text[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 179,
   "metadata": {},
   "outputs": [],
   "source": [
    "# a['hits']['hits']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 180,
   "metadata": {},
   "outputs": [],
   "source": [
    "# ret_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 181,
   "metadata": {},
   "outputs": [],
   "source": [
    "from clean_ingr_text import tokenizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 182,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'gạo percentagetoken | muối tinh luyện percentagetoken | rượu etylic | ethy alcohol percentagetoken | chất điều chỉnh độ | acid citric percentagetoken'"
      ]
     },
     "execution_count": 182,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer('gạo (99%), muối tinh luyện (0.6%), rượu etylic (Ethy Alcohol (0.3%)), chất điều chỉnh độ (Acid Citric (0.1%)))')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 183,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'gạo (99%), muối tinh luyện (0.6%), rượu etylic (Ethy Alcohol (0.3%)), chất điều chỉnh độ (Acid Citric (0.1%)))'"
      ]
     },
     "execution_count": 183,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "raw_df['ingredient'].tolist()[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 184,
   "metadata": {},
   "outputs": [],
   "source": [
    "def find_all_additives(text):\n",
    "    text = tokenizer(text)\n",
    "    additives = search_term(text, rank_list_size=20)\n",
    "\n",
    "    for additive in additives:\n",
    "        text = text.replace(additive['vi_name'], '')\n",
    "        text = text.replace(additive['en_name'], '')\n",
    "        text = text.replace(additive['e_number'], '')\n",
    "\n",
    "    text = text.strip()\n",
    "    text = re.sub(r'\\w+token', ' | ', text)\n",
    "    # text = re.sub(r' \\| ', sep_string, text)\n",
    "    # remove multiple sep_string\n",
    "    toks = re.split(r'\\|', text)\n",
    "    toks = [i.strip() for i in toks if i.strip() != '']\n",
    "    d = {\n",
    "        'additives': additives,\n",
    "        'other_ingredients': toks\n",
    "    }\n",
    "    return d\n",
    "    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 185,
   "metadata": {},
   "outputs": [],
   "source": [
    "import json"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 186,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/tmp/ipykernel_207091/1252570427.py:4: DeprecationWarning: The 'body' parameter is deprecated and will be removed in a future version. Instead use individual parameters.\n",
      "  res = es.search(index=index_name, body=j)\n"
     ]
    }
   ],
   "source": [
    "text = 'gạo (99%), muối tinh luyện (0.6%), rượu etylic (Ethy Alcohol (0.3%)), chất điều chỉnh độ (Acid Citric (0.1%)))'\n",
    "# text = \n",
    "res = find_all_additives(text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 187,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{\n",
      "    \"additives\": [\n",
      "        {\n",
      "            \"vi_name\": \"acid citric\",\n",
      "            \"en_name\": \"citric acid\",\n",
      "            \"e_number\": \"e330\"\n",
      "        }\n",
      "    ],\n",
      "    \"other_ingredients\": [\n",
      "        \"gạo\",\n",
      "        \"muối tinh luyện\",\n",
      "        \"rượu etylic\",\n",
      "        \"ethy alcohol\",\n",
      "        \"chất điều chỉnh độ\"\n",
      "    ]\n",
      "}\n"
     ]
    }
   ],
   "source": [
    "print(json.dumps(res, indent=4, ensure_ascii=False))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 188,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/tmp/ipykernel_207091/1252570427.py:4: DeprecationWarning: The 'body' parameter is deprecated and will be removed in a future version. Instead use individual parameters.\n",
      "  res = es.search(index=index_name, body=j)\n"
     ]
    }
   ],
   "source": [
    "adds_list = list()\n",
    "other_ingre_list = list()\n",
    "\n",
    "def dump_json(j):\n",
    "    return json.dumps(j, indent=4, ensure_ascii=False)\n",
    "\n",
    "ret_list = list()\n",
    "count = 0\n",
    "for text in raw_df['ingredient'].tolist():\n",
    "    res = find_all_additives(text)\n",
    "    adds_list = adds_list + [i['e_number'] for i in res['additives']]\n",
    "    other_ingre_list = other_ingre_list + [i for i in res['other_ingredients']]\n",
    "\n",
    "    d = {\n",
    "        'raw_text': text,\n",
    "        'additives':  (\" , \".join([i['e_number'] for i in res['additives']]) + ' , ' + \" , \".join([i['vi_name'] for i in res['additives']])).strip(',').strip(),\n",
    "        'other_ingredients': \" , \".join(res['other_ingredients'])\n",
    "    }\n",
    "    ret_list.append(d)\n",
    "\n",
    "    # count += 1\n",
    "    # if count % 100 == 0:\n",
    "    #     print(count)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 189,
   "metadata": {},
   "outputs": [],
   "source": [
    "ret_df = pd.DataFrame(ret_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 190,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>raw_text</th>\n",
       "      <th>additives</th>\n",
       "      <th>other_ingredients</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>gạo (99%), muối tinh luyện (0.6%), rượu etylic...</td>\n",
       "      <td>e330 , acid citric</td>\n",
       "      <td>gạo , muối tinh luyện , rượu etylic , ethy alc...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Gạo (87.8%), nước, cồn thực phẩm, muối</td>\n",
       "      <td>,</td>\n",
       "      <td>gạo , nước , cồn thực phẩm , muối</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Mồng tơi 66% mướp 34%</td>\n",
       "      <td>,</td>\n",
       "      <td>mồng tơi , mướp</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Cà rốt 38%, bắp hạt 25%, đậu que 25%, đậu hà l...</td>\n",
       "      <td>,</td>\n",
       "      <td>cà rốt , bắp hạt , đậu que , đậu hà lan</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Khoai mì 100%</td>\n",
       "      <td>,</td>\n",
       "      <td>khoai mì</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8040</th>\n",
       "      <td>Tương ớt 83.4% (xirô bắp giàu fructose, bột mì...</td>\n",
       "      <td>e330 , acid citric</td>\n",
       "      <td>tương ớt , xirô bắp giàu fructose , bột mì , g...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8041</th>\n",
       "      <td>dầu đậu nành, đường, dầu mè (7%), giấm, hạt mè...</td>\n",
       "      <td>e1442 , e621 , e338 , e202 , e508 , e415 , e26...</td>\n",
       "      <td>dầu đậu nành , đường , dầu mè , giấm , hạt mè ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8042</th>\n",
       "      <td>Tinh bột ngô 100%</td>\n",
       "      <td>,</td>\n",
       "      <td>tinh bột ngô</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8043</th>\n",
       "      <td>Dầu nành, dầu chiết xuất từ ớt đỏ (34%)</td>\n",
       "      <td>,</td>\n",
       "      <td>dầu nành , dầu chiết xuất từ ớt đỏ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8044</th>\n",
       "      <td>Nước, Đường, Xirô glucô, Bột sữa (Đạm Whey cô ...</td>\n",
       "      <td>e133 , e471 , e407 , e110 , e102 , e410 , e122...</td>\n",
       "      <td>nước , đường , xirô glucô , bột sữa , đạm whey...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>8045 rows × 3 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               raw_text  \\\n",
       "0     gạo (99%), muối tinh luyện (0.6%), rượu etylic...   \n",
       "1                Gạo (87.8%), nước, cồn thực phẩm, muối   \n",
       "2                                 Mồng tơi 66% mướp 34%   \n",
       "3     Cà rốt 38%, bắp hạt 25%, đậu que 25%, đậu hà l...   \n",
       "4                                         Khoai mì 100%   \n",
       "...                                                 ...   \n",
       "8040  Tương ớt 83.4% (xirô bắp giàu fructose, bột mì...   \n",
       "8041  dầu đậu nành, đường, dầu mè (7%), giấm, hạt mè...   \n",
       "8042                                  Tinh bột ngô 100%   \n",
       "8043            Dầu nành, dầu chiết xuất từ ớt đỏ (34%)   \n",
       "8044  Nước, Đường, Xirô glucô, Bột sữa (Đạm Whey cô ...   \n",
       "\n",
       "                                              additives  \\\n",
       "0                                    e330 , acid citric   \n",
       "1                                                     ,   \n",
       "2                                                     ,   \n",
       "3                                                     ,   \n",
       "4                                                     ,   \n",
       "...                                                 ...   \n",
       "8040                                 e330 , acid citric   \n",
       "8041  e1442 , e621 , e338 , e202 , e508 , e415 , e26...   \n",
       "8042                                                  ,   \n",
       "8043                                                  ,   \n",
       "8044  e133 , e471 , e407 , e110 , e102 , e410 , e122...   \n",
       "\n",
       "                                      other_ingredients  \n",
       "0     gạo , muối tinh luyện , rượu etylic , ethy alc...  \n",
       "1                     gạo , nước , cồn thực phẩm , muối  \n",
       "2                                       mồng tơi , mướp  \n",
       "3               cà rốt , bắp hạt , đậu que , đậu hà lan  \n",
       "4                                              khoai mì  \n",
       "...                                                 ...  \n",
       "8040  tương ớt , xirô bắp giàu fructose , bột mì , g...  \n",
       "8041  dầu đậu nành , đường , dầu mè , giấm , hạt mè ...  \n",
       "8042                                       tinh bột ngô  \n",
       "8043                 dầu nành , dầu chiết xuất từ ớt đỏ  \n",
       "8044  nước , đường , xirô glucô , bột sữa , đạm whey...  \n",
       "\n",
       "[8045 rows x 3 columns]"
      ]
     },
     "execution_count": 190,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ret_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 191,
   "metadata": {},
   "outputs": [],
   "source": [
    "done_df = pd.merge(raw_df, ret_df, left_on='ingredient', right_on='raw_text', how='left')    "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 192,
   "metadata": {},
   "outputs": [],
   "source": [
    "done_df = done_df[['SKU', 'Product name', 'Source', 'ingredient', 'additives', 'other_ingredients']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 193,
   "metadata": {},
   "outputs": [],
   "source": [
    "done_df = done_df.drop_duplicates()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 194,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>SKU</th>\n",
       "      <th>Product name</th>\n",
       "      <th>Source</th>\n",
       "      <th>ingredient</th>\n",
       "      <th>additives</th>\n",
       "      <th>other_ingredients</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>8809646510131</td>\n",
       "      <td>Bánh Gạo Người Tuyết Khởi Thịnh 500G</td>\n",
       "      <td>topsmarket,bachhoaxanh</td>\n",
       "      <td>gạo (99%), muối tinh luyện (0.6%), rượu etylic...</td>\n",
       "      <td>e330 , acid citric</td>\n",
       "      <td>gạo , muối tinh luyện , rượu etylic , ethy alc...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>8936080160711</td>\n",
       "      <td>Bánh Gạo Hàn Quốc Jofood 500G</td>\n",
       "      <td>topsmarket,bachhoaxanh</td>\n",
       "      <td>Gạo (87.8%), nước, cồn thực phẩm, muối</td>\n",
       "      <td>,</td>\n",
       "      <td>gạo , nước , cồn thực phẩm , muối</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>8936204030623</td>\n",
       "      <td>Nguyên Liệu Nấu Canh Mướp Mồng Tơi An Lạc 450G</td>\n",
       "      <td>topsmarket,bachhoaxanh</td>\n",
       "      <td>Mồng tơi 66% mướp 34%</td>\n",
       "      <td>,</td>\n",
       "      <td>mồng tơi , mướp</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>8936204030647</td>\n",
       "      <td>Nguyên Liệu Cơm Chiên Dương Châu An Lạc 150G</td>\n",
       "      <td>topsmarket,bachhoaxanh</td>\n",
       "      <td>Cà rốt 38%, bắp hạt 25%, đậu que 25%, đậu hà l...</td>\n",
       "      <td>,</td>\n",
       "      <td>cà rốt , bắp hạt , đậu que , đậu hà lan</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>8936204030135</td>\n",
       "      <td>Khoai Mì Làm Sạch An Lạc 300G</td>\n",
       "      <td>topsmarket,bachhoaxanh</td>\n",
       "      <td>Khoai mì 100%</td>\n",
       "      <td>,</td>\n",
       "      <td>khoai mì</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46775</th>\n",
       "      <td>8801007143491</td>\n",
       "      <td>Tương Ớt Chua Ngọt Haechandle Chai 300G</td>\n",
       "      <td>openfoodfacts</td>\n",
       "      <td>Tương ớt 83.4% (xirô bắp giàu fructose, bột mì...</td>\n",
       "      <td>e330 , acid citric</td>\n",
       "      <td>tương ớt , xirô bắp giàu fructose , bột mì , g...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46777</th>\n",
       "      <td>4800888209795</td>\n",
       "      <td>Sốt Mè Rang Hellmann's 210Ml</td>\n",
       "      <td>openfoodfacts</td>\n",
       "      <td>dầu đậu nành, đường, dầu mè (7%), giấm, hạt mè...</td>\n",
       "      <td>e1442 , e621 , e338 , e202 , e508 , e415 , e26...</td>\n",
       "      <td>dầu đậu nành , đường , dầu mè , giấm , hạt mè ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46778</th>\n",
       "      <td>8801052451015</td>\n",
       "      <td>Mạch Nha Thượng Hạng Miwon 700G</td>\n",
       "      <td>openfoodfacts</td>\n",
       "      <td>Tinh bột ngô 100%</td>\n",
       "      <td>,</td>\n",
       "      <td>tinh bột ngô</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46779</th>\n",
       "      <td>8801045447001</td>\n",
       "      <td>Dầu Ớt Ottogi 80ML</td>\n",
       "      <td>openfoodfacts</td>\n",
       "      <td>Dầu nành, dầu chiết xuất từ ớt đỏ (34%)</td>\n",
       "      <td>,</td>\n",
       "      <td>dầu nành , dầu chiết xuất từ ớt đỏ</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>46780</th>\n",
       "      <td>8851932348218</td>\n",
       "      <td>Kem Hộp WALL'S Hương Socola Vani 390G</td>\n",
       "      <td>topsmarket,bachhoaxanh</td>\n",
       "      <td>Nước, Đường, Xirô glucô, Bột sữa (Đạm Whey cô ...</td>\n",
       "      <td>e133 , e471 , e407 , e110 , e102 , e410 , e122...</td>\n",
       "      <td>nước , đường , xirô glucô , bột sữa , đạm whey...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>8045 rows × 6 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                 SKU                                    Product name  \\\n",
       "0      8809646510131            Bánh Gạo Người Tuyết Khởi Thịnh 500G   \n",
       "1      8936080160711                   Bánh Gạo Hàn Quốc Jofood 500G   \n",
       "2      8936204030623  Nguyên Liệu Nấu Canh Mướp Mồng Tơi An Lạc 450G   \n",
       "3      8936204030647    Nguyên Liệu Cơm Chiên Dương Châu An Lạc 150G   \n",
       "4      8936204030135                   Khoai Mì Làm Sạch An Lạc 300G   \n",
       "...              ...                                             ...   \n",
       "46775  8801007143491         Tương Ớt Chua Ngọt Haechandle Chai 300G   \n",
       "46777  4800888209795                    Sốt Mè Rang Hellmann's 210Ml   \n",
       "46778  8801052451015                 Mạch Nha Thượng Hạng Miwon 700G   \n",
       "46779  8801045447001                              Dầu Ớt Ottogi 80ML   \n",
       "46780  8851932348218           Kem Hộp WALL'S Hương Socola Vani 390G   \n",
       "\n",
       "                       Source  \\\n",
       "0      topsmarket,bachhoaxanh   \n",
       "1      topsmarket,bachhoaxanh   \n",
       "2      topsmarket,bachhoaxanh   \n",
       "3      topsmarket,bachhoaxanh   \n",
       "4      topsmarket,bachhoaxanh   \n",
       "...                       ...   \n",
       "46775           openfoodfacts   \n",
       "46777           openfoodfacts   \n",
       "46778           openfoodfacts   \n",
       "46779           openfoodfacts   \n",
       "46780  topsmarket,bachhoaxanh   \n",
       "\n",
       "                                              ingredient  \\\n",
       "0      gạo (99%), muối tinh luyện (0.6%), rượu etylic...   \n",
       "1                 Gạo (87.8%), nước, cồn thực phẩm, muối   \n",
       "2                                  Mồng tơi 66% mướp 34%   \n",
       "3      Cà rốt 38%, bắp hạt 25%, đậu que 25%, đậu hà l...   \n",
       "4                                          Khoai mì 100%   \n",
       "...                                                  ...   \n",
       "46775  Tương ớt 83.4% (xirô bắp giàu fructose, bột mì...   \n",
       "46777  dầu đậu nành, đường, dầu mè (7%), giấm, hạt mè...   \n",
       "46778                                  Tinh bột ngô 100%   \n",
       "46779            Dầu nành, dầu chiết xuất từ ớt đỏ (34%)   \n",
       "46780  Nước, Đường, Xirô glucô, Bột sữa (Đạm Whey cô ...   \n",
       "\n",
       "                                               additives  \\\n",
       "0                                     e330 , acid citric   \n",
       "1                                                      ,   \n",
       "2                                                      ,   \n",
       "3                                                      ,   \n",
       "4                                                      ,   \n",
       "...                                                  ...   \n",
       "46775                                 e330 , acid citric   \n",
       "46777  e1442 , e621 , e338 , e202 , e508 , e415 , e26...   \n",
       "46778                                                  ,   \n",
       "46779                                                  ,   \n",
       "46780  e133 , e471 , e407 , e110 , e102 , e410 , e122...   \n",
       "\n",
       "                                       other_ingredients  \n",
       "0      gạo , muối tinh luyện , rượu etylic , ethy alc...  \n",
       "1                      gạo , nước , cồn thực phẩm , muối  \n",
       "2                                        mồng tơi , mướp  \n",
       "3                cà rốt , bắp hạt , đậu que , đậu hà lan  \n",
       "4                                               khoai mì  \n",
       "...                                                  ...  \n",
       "46775  tương ớt , xirô bắp giàu fructose , bột mì , g...  \n",
       "46777  dầu đậu nành , đường , dầu mè , giấm , hạt mè ...  \n",
       "46778                                       tinh bột ngô  \n",
       "46779                 dầu nành , dầu chiết xuất từ ớt đỏ  \n",
       "46780  nước , đường , xirô glucô , bột sữa , đạm whey...  \n",
       "\n",
       "[8045 rows x 6 columns]"
      ]
     },
     "execution_count": 194,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "done_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 195,
   "metadata": {},
   "outputs": [],
   "source": [
    "done_df.to_csv('tmp/ingredient_parsed_with_additives.csv', index=False)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 196,
   "metadata": {},
   "outputs": [],
   "source": [
    "from collections import Counter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 197,
   "metadata": {},
   "outputs": [],
   "source": [
    "stat_adds = Counter(adds_list)\n",
    "stat_other_ingre = Counter(other_ingre_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 198,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['gạo',\n",
       " 'muối tinh luyện',\n",
       " 'rượu etylic',\n",
       " 'ethy alcohol',\n",
       " 'chất điều chỉnh độ',\n",
       " 'gạo',\n",
       " 'nước',\n",
       " 'cồn thực phẩm',\n",
       " 'muối',\n",
       " 'mồng tơi',\n",
       " 'mướp',\n",
       " 'cà rốt',\n",
       " 'bắp hạt',\n",
       " 'đậu que',\n",
       " 'đậu hà lan',\n",
       " 'khoai mì',\n",
       " 'sả bào',\n",
       " 'nghệ',\n",
       " 'củ tỏi',\n",
       " 'ớt trái',\n",
       " 'khoai mì',\n",
       " 'củ hủ dùa',\n",
       " 'bí đỏ',\n",
       " 'ngò ôm',\n",
       " 'ngò gai',\n",
       " 'tiêu xanh',\n",
       " 'củ tỏi',\n",
       " 'củ hành tím',\n",
       " 'ớt trái',\n",
       " 'đậu trắng',\n",
       " 'đậu đỏ',\n",
       " 'đậu ngự',\n",
       " 'đậu hà lan',\n",
       " 'đường',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hương đào tổng hợp',\n",
       " 'tinh chất trà đen',\n",
       " 'màu tổng hợp',\n",
       " 'caramen nhóm iv',\n",
       " 'muối i ốt',\n",
       " 'vitamin c',\n",
       " 'acid l ascorbic',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sucralose',\n",
       " 'sản phẩm có chứa sulphite',\n",
       " 'nước',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'lúa mì',\n",
       " 'đường',\n",
       " 'nước ép táo cô đặc',\n",
       " 'nước ép quả mâm xôi cô đặc',\n",
       " 'nước ép cà rốt cô đặc',\n",
       " 'hương thực phẩm tự nhiên',\n",
       " 'hoa houblon',\n",
       " 'hạt rau mùi',\n",
       " 'vỏ cam',\n",
       " 'men bia',\n",
       " 'nước',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'gạo',\n",
       " 'hoa bia',\n",
       " 'water',\n",
       " 'barley malt',\n",
       " 'rice',\n",
       " 'corn',\n",
       " 'hops',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'gạo',\n",
       " 'bắp',\n",
       " 'hoa bia',\n",
       " 'nước bão hòa co2',\n",
       " 'đường',\n",
       " 'hỗn hợp hương soda kem',\n",
       " 'hương việt quất giống tự nhiên',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'chất ổn định',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sucralose',\n",
       " 'triclorogalacto sucrose',\n",
       " 'chất bảo quản',\n",
       " 'chất chống oxy hóa',\n",
       " 'màu tổng hợp',\n",
       " 'nước bão hòa co2',\n",
       " 'đường',\n",
       " 'hỗn hợp hương soda kem',\n",
       " 'hương việt quất giống tự nhiên',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'chất ổn định',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sucralose',\n",
       " 'triclorogalacto sucrose',\n",
       " 'chất bảo quản',\n",
       " 'chất chống oxy hóa',\n",
       " 'màu tổng hợp',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'hoa bia',\n",
       " 'nước bão hòa co',\n",
       " 'đường hfcs',\n",
       " 'đường',\n",
       " 'chất điều chính độ axit',\n",
       " 'l',\n",
       " 'hương đầu giống tự nhiên',\n",
       " 'hỗn hợp premix',\n",
       " 'taurine',\n",
       " 'caffeine',\n",
       " 'e145',\n",
       " 'inositol',\n",
       " 'các vitamin',\n",
       " 'b3',\n",
       " 'b6',\n",
       " 'b12',\n",
       " 'chất chống oxy hóa',\n",
       " 'chất bảo quản',\n",
       " 'màu tổng hợp',\n",
       " 'alura red ac',\n",
       " 'bột chiết xuất hồng sâm',\n",
       " 'sản phẩm có thể không phù hợp với người nhạy cảm với caffeine',\n",
       " 'trẻ em',\n",
       " 'phụ nữ đang mang thai',\n",
       " 'nước bão hòa co2',\n",
       " 'chất xơ hòa tan',\n",
       " 'chất điều chỉnh đọ axit',\n",
       " 'ii',\n",
       " 'hương chanh tự nhiên',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sucrlose',\n",
       " 'triclorofalacto sucose',\n",
       " 'chất bảo quản',\n",
       " 'nước lọc tinh khiết',\n",
       " 'nước bão hòa co',\n",
       " 'đường hfcs',\n",
       " 'đường',\n",
       " 'hưởng giống tự nhiên',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'sodium chloride',\n",
       " 'chất bảo quản',\n",
       " 'màu tổng hợp',\n",
       " 'e',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đường',\n",
       " 'trà ô long',\n",
       " 'otpp được trích ly tối thiểu',\n",
       " 'hương giống tự nhiên',\n",
       " 'chất chống oxy hóa',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'nước',\n",
       " 'đường',\n",
       " 'trà ô long',\n",
       " 'otpp được trích ly tối thiểu',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'vitamin c',\n",
       " 'hỗn hợp hương chanh giống tự nhiên',\n",
       " 'hương citrus tự nhiên sản phẩm được làm từ trà ô long tự nhiên',\n",
       " 'hiện tượng lắng cặn có thể xảy ra nhưng không ảnh hưởng tới chất lượng sản phẩm',\n",
       " 'nước',\n",
       " 'lúa mạch',\n",
       " 'lúa mì',\n",
       " 'ngò rí',\n",
       " 'vỏ cam',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'lúa mì',\n",
       " 'đường',\n",
       " 'nước ép táo cô đặc',\n",
       " 'nước ép quả mâm xôi cô đặc',\n",
       " 'nước ép cà rốt cô đặc',\n",
       " 'hương thực phẩm tự nhiên',\n",
       " 'hoa houblon',\n",
       " 'hạt rau mùi',\n",
       " 'vỏ cam',\n",
       " 'men bia',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'lúa mì',\n",
       " 'đường',\n",
       " 'nước ép táo cô đặc',\n",
       " 'nước ép quả mâm xôi cô đặc',\n",
       " 'nước ép cà rốt cô đặc',\n",
       " 'hương thực phẩm tự nhiên',\n",
       " 'hoa houblon',\n",
       " 'hạt rau mùi',\n",
       " 'vỏ cam',\n",
       " 'men bia',\n",
       " 'nước bão hòa co2',\n",
       " 'đường hfcs',\n",
       " 'đường',\n",
       " 'màu tổng hợp',\n",
       " 'caramen nhóm iv',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'caffeine',\n",
       " 'chất ổn định',\n",
       " 'hỗn hợp hương tự nhiên',\n",
       " 'nước bão hòa co2',\n",
       " 'màu tự nhiên',\n",
       " 'caramen nhóm má chất điều chỉnh độ acid',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sucralose',\n",
       " 'hương cola tự nhiên',\n",
       " 'chất bảo quản',\n",
       " 'caffeine',\n",
       " 'nước',\n",
       " 'ngũ cốc',\n",
       " 'đại mạch',\n",
       " 'hoa bia',\n",
       " 'nước bão hòa co2',\n",
       " 'đường mía',\n",
       " 'đường hfcs',\n",
       " 'màu tự nhiên',\n",
       " 'caramen nhóm iv',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hương cola tự nhiên',\n",
       " 'caffeine',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'lúa mì',\n",
       " 'hoa houblon',\n",
       " 'hạt rau mùi',\n",
       " 'vỏ cam',\n",
       " 'nấm men',\n",
       " 'nước bão hòa co2',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'màu tổng hợp',\n",
       " 'caramen nhóm iv',\n",
       " 'hỗn hợp hương chanh tự nhiên',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'e',\n",
       " 'acesulfame kali',\n",
       " 'sucralose',\n",
       " 'chất bảo quản',\n",
       " 'caffeine',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'hương tự nhiên',\n",
       " 'hoa houblon',\n",
       " 'nước',\n",
       " 'đường mía',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'hương liệu giống tự nhiên',\n",
       " 'hương chanh tự nhiên',\n",
       " 'natri clorid',\n",
       " 'canxi lactat',\n",
       " 'chất chống oxi hóa',\n",
       " 'nước',\n",
       " 'malt đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'lúa mỳ',\n",
       " 'xi rô đường',\n",
       " 'hoa bia',\n",
       " 'hương caramen tự nhiên',\n",
       " 'hương vỏ cam tự nhiên',\n",
       " 'hương mũi tây tự nhiên',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'gạo',\n",
       " 'hoa bia',\n",
       " 'chiết xuất lúa mạch',\n",
       " 'mạch nha',\n",
       " 'đường',\n",
       " 'glucose',\n",
       " 'bột ca cao',\n",
       " 'dầu cọ',\n",
       " 'vitamin',\n",
       " 'khoáng chất',\n",
       " 'di canxi photphat',\n",
       " 'vitamin c',\n",
       " 'sắt pyrophotphat',\n",
       " 'vitamin e',\n",
       " 'niacin',\n",
       " 'mangan sunphat',\n",
       " 'vitamin a',\n",
       " 'axit pantothenic',\n",
       " 'vitamin b6',\n",
       " 'vitamin b1',\n",
       " 'vitamin b2',\n",
       " 'vitamin d3',\n",
       " 'vitamin b12',\n",
       " 'bột sữa bơ',\n",
       " 'bột whey',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'hương giống tự nhiên',\n",
       " 'natri caseinat',\n",
       " 'chất nhũ hóa',\n",
       " 'chất ổn định',\n",
       " 'muối',\n",
       " 'maltodextrin',\n",
       " 'chiết xuất lúa mạch',\n",
       " 'mạch nha',\n",
       " 'đường',\n",
       " 'glucose',\n",
       " 'bột ca cao',\n",
       " 'dầu cọ',\n",
       " 'vitamin',\n",
       " 'khoáng chất',\n",
       " 'di canxi photphat',\n",
       " 'vitamin c',\n",
       " 'sắt pyrophotphat',\n",
       " 'vitamin e',\n",
       " 'niacin',\n",
       " 'mangan sunphat',\n",
       " 'vitamin a',\n",
       " 'axit pantothenic',\n",
       " 'vitamin b6',\n",
       " 'vitamin b1',\n",
       " 'vitamin b2',\n",
       " 'vitamin d3',\n",
       " 'vitamin b12',\n",
       " 'bột sữa bơ',\n",
       " 'bột whey',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'hương giống tự nhiên',\n",
       " 'natri caseinat',\n",
       " 'chất nhũ hóa',\n",
       " 'chất ổn định',\n",
       " 'muối',\n",
       " 'maltodextrin',\n",
       " 'nước',\n",
       " 'nươc',\n",
       " 'malt đại mạch',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'hoa bia',\n",
       " 'nước lọc tinh khiết',\n",
       " 'nước',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'lúa mỳ',\n",
       " 'xi rô đường',\n",
       " 'hoa bia',\n",
       " 'hương caramen tự nhiên',\n",
       " 'hương vỏ cam tự nhiên',\n",
       " 'hương mũi tây tự nhiên',\n",
       " 'nước',\n",
       " 'nước táo lên men với sucrose cider',\n",
       " 'sl rd',\n",
       " 'chất tạo khi carbonic',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hương táo tự nhiên',\n",
       " 'màu caramel',\n",
       " 'chất bảo quản',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'malt đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'lúa mì',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'vỏ cam',\n",
       " 'hạt rau mùi',\n",
       " 'chất ổn định',\n",
       " 'pectin táo',\n",
       " 'hương cam giống tự nhiên',\n",
       " 'men',\n",
       " 'đường',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'muối i ốt',\n",
       " 'tinh chất trà đen',\n",
       " 'màu tổng hợp',\n",
       " 'caramen nhóm iv',\n",
       " 'hương chanh tự nhiên',\n",
       " 'vitamin c',\n",
       " 'acid l ascorbic',\n",
       " 'chất tạo ngot tong hop',\n",
       " 'sucralose',\n",
       " 'bột mật ong',\n",
       " 'hương mật ong tổng hợp',\n",
       " 'sản phẩm có chứa gluten',\n",
       " 'sulphite',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'hoa bia',\n",
       " 'nước bão hòa co2',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'gạo',\n",
       " 'hoa bia',\n",
       " 'nước bão hòa co2',\n",
       " 'đường mía',\n",
       " 'đường hfcs',\n",
       " 'màu tự nhiên',\n",
       " 'caramen nhóm iv',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hương cola tự nhiên',\n",
       " 'caffeine',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'malt đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'malt đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'gạo',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'malt đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước khoáng núi lửa jeju',\n",
       " 'do tính chất của nước khoáng',\n",
       " 'tinh thể khoảng trăng có thể xuất hiện khi nhiệt độ thay đổi',\n",
       " 'chẳng hạn như đun nóng hoặc đóng băng',\n",
       " 'nhưng nó là thành phần khoáng chất tự nhiên',\n",
       " 'nước',\n",
       " 'ngũ cốc',\n",
       " 'đại mạch',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'ngũ cốc',\n",
       " 'đại mạch',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đường mía',\n",
       " 'bột bí đao',\n",
       " 'màu tự nhiên',\n",
       " 'caramen nhóm iv',\n",
       " 'hỗn hợp hương tổng hợp',\n",
       " 'chất chống oxy hóa',\n",
       " 'e5301',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sucralose',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'e5338',\n",
       " 'chiết xuất la hán quả',\n",
       " 'nước bão hoà co2',\n",
       " 'đường',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'acid tartaric',\n",
       " 'hỗn hợp hương trái cây tự nhiên',\n",
       " 'nhân tạo',\n",
       " 'taurine',\n",
       " 'chất bảo quản',\n",
       " 'caffeine',\n",
       " 'vitamin',\n",
       " 'b3',\n",
       " 'b6',\n",
       " 'phẩm màu tổng hợp',\n",
       " 'alluara red ac',\n",
       " 'inositol',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sucralose',\n",
       " 'gáp đôi lượng caffeine khi so sánh với nước tăng lực samurai hương dấu',\n",
       " 'không khuyên dùng cho người dứoi e18 tuổi',\n",
       " 'phụ nữ mang thai',\n",
       " 'cho con bú hoặc nhạy cảm với caffeine',\n",
       " 'nước',\n",
       " 'nước cốt dừa',\n",
       " 'đường',\n",
       " 'chất nhũ hóa',\n",
       " 'polyoxyethylen',\n",
       " '20',\n",
       " 'momo',\n",
       " 'diglycerid của các acid béo',\n",
       " 'hương vanilla giống tự nhiên',\n",
       " 'trà đen',\n",
       " 'bột ca cao',\n",
       " 'hương tổng hợp',\n",
       " 'hương sô cô la',\n",
       " 'hương vani',\n",
       " 'nước',\n",
       " 'nước táo lên men với sucrose',\n",
       " 'cider',\n",
       " 'si rô',\n",
       " 'nước ép lý chua đen',\n",
       " 'blackcurrant',\n",
       " 'màu cà rốt đen',\n",
       " 'black carrot',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'chất tạo khí carbonic',\n",
       " 'chất bảo quản',\n",
       " 'hương lý chua đen',\n",
       " 'blackcurrant',\n",
       " 'tự nhiên',\n",
       " 'nước',\n",
       " 'đường mía',\n",
       " 'đường hfcs',\n",
       " 'nước trái cây',\n",
       " 'hạt chia',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'bột trà',\n",
       " 'ascorbic acid',\n",
       " 'hương chanh dây tổng hợp',\n",
       " 'bột kem sữa',\n",
       " 'dầu thực vật',\n",
       " 'glucose syrup',\n",
       " 'đường',\n",
       " 'chất khô từ sữa',\n",
       " 'chất ổn định',\n",
       " 'i',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'chất nhũ hóa',\n",
       " 'chất chống đông vón',\n",
       " 'natri clorua',\n",
       " 'hương nhân tạo dùng trong thực phẩm',\n",
       " 'đường dextrose',\n",
       " 'đường',\n",
       " 'cà phê hòa tan',\n",
       " 'bột kem',\n",
       " 'glucose syrup',\n",
       " 'dầu thực vật',\n",
       " 'chất ổn định',\n",
       " 'natri caseinate',\n",
       " 'đạm lúa mì thủy phân',\n",
       " 'chất nhũ hóa',\n",
       " 'e472',\n",
       " 'e',\n",
       " 'chất chống đông vón',\n",
       " 'muối ăn',\n",
       " 'màu tổng hợp dùng cho thực phẩm',\n",
       " 'bột cà phê rang xay',\n",
       " 'chất tạo màu thực phẩm tự nhiên',\n",
       " 'muối ăn',\n",
       " 'chất làm dày',\n",
       " 'chất tạo hương cà phê tổng hợp',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sản phẩm có chứa gluten',\n",
       " 'sữa',\n",
       " 'content milk',\n",
       " 'tinh chất gạo',\n",
       " 'tinh chất gạo đen',\n",
       " 'nước tinh khiết',\n",
       " 'đường trắng',\n",
       " 'sữa không kem',\n",
       " 'chất chống oxy hóa',\n",
       " 'acid ascorbic',\n",
       " 'l',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'lúa mỳ',\n",
       " 'xi rô đường',\n",
       " 'hoa bia',\n",
       " 'hương caramen tự nhiên',\n",
       " 'hương vỏ cam tự nhiên',\n",
       " 'hương mũi tây tự nhiên',\n",
       " 'nguyên liệu chè búp sao khô sơ chế',\n",
       " 'nước bão hòa co2',\n",
       " 'đường sucrose',\n",
       " 'dextrose',\n",
       " 'chất điều chỉnh độ axít',\n",
       " 'chất điện giải nacl',\n",
       " 'chất nhũ hóa',\n",
       " 'chất bảo quản',\n",
       " 'chất tạo ngọt',\n",
       " 'hưởng chanh muối giống tự nhiên',\n",
       " 'vitamin b3',\n",
       " 'màu tổng hợp',\n",
       " 'vitamin b6',\n",
       " 'vitamin b12',\n",
       " '1',\n",
       " '8 µg',\n",
       " 'nước',\n",
       " 'malt đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'gạo',\n",
       " 'đường',\n",
       " 'nước',\n",
       " 'men được lọc qua lớp than tre hoạt tính',\n",
       " 'hương mận tự nhiên',\n",
       " 'nước',\n",
       " 'đường mía',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'hương liệu giống tự nhiên',\n",
       " 'hương cam bưởi tự nhiên natri clorid',\n",
       " 'chất chống oxi hóa',\n",
       " 'nước cam ép',\n",
       " 'nước',\n",
       " 'nước cam ép cô đặc',\n",
       " 'hương cam giống tự nhiên dùng cho thực phẩm',\n",
       " 'nước khoáng thiên nhiên',\n",
       " 'đường mía',\n",
       " 'đường fructose',\n",
       " 'nước cốt chanh dây',\n",
       " 'co2',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'hương chanh dây giống tự nhiên',\n",
       " 'chất ổn định',\n",
       " 'chất làm dày',\n",
       " 'chất bảo quản',\n",
       " 'chất tạo ngọt',\n",
       " 'sunset yellow',\n",
       " 'nước',\n",
       " 'nước táo lên men với sucrose cider',\n",
       " 'si rô',\n",
       " 'chất tạo khi carbonic',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hương táo tự nhiên',\n",
       " 'màu caramel',\n",
       " 'chất bảo quản',\n",
       " 'nước',\n",
       " 'sữa bò tươi',\n",
       " 'đường',\n",
       " 'nước táo ép từ nước táo cô đặc',\n",
       " 'chuối',\n",
       " 'chất ổn định',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hương liệu tự nhiên',\n",
       " 'đường',\n",
       " 'hỗn hợp cà phê hòa tan',\n",
       " 'hương tổng hợp',\n",
       " 'chất điều chỉnh độ chua',\n",
       " 'muối',\n",
       " 'chất làm dày',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sản phẩm có chùa đầu nành',\n",
       " 'nước',\n",
       " 'nước táo lên men với sucrose',\n",
       " 'cider',\n",
       " 'si rô',\n",
       " 'nước ép',\n",
       " 'với',\n",
       " 'dâu tây',\n",
       " 'chất tạo khí carbonic',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hương dấu đỏ tự nhiên',\n",
       " 'chat bao quan',\n",
       " 'nước',\n",
       " 'gạo',\n",
       " 'nước',\n",
       " 'đường',\n",
       " 'men được lọc qua lớp than tre hoạt tính',\n",
       " 'hương bưởi tự nhiên',\n",
       " 'nước',\n",
       " 'đường mía',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'bột trà',\n",
       " 'hương chanh sả tự nhiên',\n",
       " 'vitamin c',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sucralose',\n",
       " 'bột sả',\n",
       " 'nước cốt chanh dạng bột',\n",
       " 'nước',\n",
       " 'nước táo lên men với sucrose',\n",
       " 'cider',\n",
       " 'si rô',\n",
       " 'nước ép đào',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'màu tự nhiên',\n",
       " 'chất bảo quản kali mentabisulfit',\n",
       " 'nước',\n",
       " 'đường',\n",
       " 'bột sữa gầy',\n",
       " 'bột kem thực vật',\n",
       " 'bột cà phê hòa tan',\n",
       " 'hương giống hương tự nhiên',\n",
       " 'cà phê',\n",
       " 'sữa',\n",
       " 'chất điều chỉnh độ chua',\n",
       " 'chất nhũ hóa',\n",
       " 'sản phẩm chứa nguyên liệu có nguồn gốc từ sữa',\n",
       " 'contain milk',\n",
       " 'hàm lượng caffeine tối thiểu',\n",
       " 'trái nho',\n",
       " 'chất chống oxi hóa',\n",
       " 'nước',\n",
       " 'đường tinh luyện',\n",
       " 'đường fructose',\n",
       " 'lá trà lên men',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'acid malic',\n",
       " 'dl',\n",
       " 'hương liệu tổng hợp',\n",
       " 'dâu',\n",
       " 'nho',\n",
       " 'bạc hà mát lạnh',\n",
       " 'hương liệu giống tự nhiên anh đào',\n",
       " 'chất chống oxy hóa',\n",
       " 'acid ascorbic',\n",
       " 'l',\n",
       " 'màu thực phẩm tổng hợp icaramen nhóm iv',\n",
       " 'đường kính',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'màu thực phẩm',\n",
       " 'caramel color powder e603',\n",
       " 'hương liệu tổng hợp',\n",
       " 'hương đào',\n",
       " 'chất chống đông vón',\n",
       " 'tokusil fc',\n",
       " 'silicon dioxide',\n",
       " 'chất tạo ngọt',\n",
       " 'chiết xuất chè đen',\n",
       " 'nước khoáng thiên nhiên',\n",
       " 'đường sucrose',\n",
       " 'đường fructose',\n",
       " 'nước cốt chanh muối',\n",
       " 'co2',\n",
       " 'muối',\n",
       " 'hương chanh',\n",
       " 'muối giống tự nhiên',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'chất bảo quản',\n",
       " 'chất tạo ngọt',\n",
       " 'acid ascorbic',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'lúa mì',\n",
       " 'đường',\n",
       " 'nước ép trái cây hỗn hợp cô đặc',\n",
       " 'nước ép đào',\n",
       " 'nước ép cà rốt',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hoa houblon',\n",
       " 'hạt râu mùi',\n",
       " 'vỏ cam',\n",
       " 'chất tạo ngọt nhân tạo',\n",
       " 'nước',\n",
       " 'đường',\n",
       " 'sữa bột nguyên kem',\n",
       " 'bột cà phê',\n",
       " 'chất nhũ hóa',\n",
       " 'hương cà phê tổng hợp',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'nước bão hòa co2',\n",
       " 'đường high fructose corn syrup',\n",
       " 'hfcs',\n",
       " 'đường mía',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hương dâu tổng hợp',\n",
       " 'taurine',\n",
       " 'chất bảo quản',\n",
       " 'caffeine',\n",
       " 'inositol',\n",
       " 'màu thực phẩm ailura red ac tổng hợp',\n",
       " 'vitamin b3',\n",
       " 'vitamin b5',\n",
       " 'vitamin b6',\n",
       " 'vitamin b2',\n",
       " 'vitamin b9',\n",
       " 'vitamin b12',\n",
       " 'nước',\n",
       " 'đường',\n",
       " 'sữa gầy',\n",
       " 'bột kem thực vật',\n",
       " 'cà phê cô đặc',\n",
       " 'hương cà phê tổng hợp',\n",
       " 'chỉ điều chỉnh axit',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'chất nhũ hóa',\n",
       " 'phẩm màu',\n",
       " 'nước',\n",
       " 'malt đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'chiết xuất cà phê',\n",
       " 'hương cà phê tổng hợp',\n",
       " 'nước',\n",
       " 'sữa bò tươi',\n",
       " 'đường',\n",
       " 'nước táo ép từ nước táo cô đặc',\n",
       " 'nước việt quất',\n",
       " 'chất ổn định',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hương liệu tự nhiên thành phần thịt quả lắng đọng tự nhiên sản phẩm có chứa sữa',\n",
       " 'nước khoáng thiên nhiên',\n",
       " 'đường sucrose',\n",
       " 'đường fructose',\n",
       " 'nước cốt chanh tươi',\n",
       " 'co2',\n",
       " 'hỗn hợp hương',\n",
       " 'chanh tươi',\n",
       " 'bạc hà',\n",
       " 'giống tự nhiên',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'chất bảo quản',\n",
       " 'chất tạo ngọt',\n",
       " 'acid ascorbic',\n",
       " 'nước',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'gạo',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'nước',\n",
       " 'đường mía',\n",
       " 'đường hfcs',\n",
       " 'nước trái cây',\n",
       " 'hạt chia',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'bột trà',\n",
       " 'ascorbic acid',\n",
       " 'hương chanh dây tổng hợp',\n",
       " 'nước',\n",
       " 'malt đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước bão hòa co2',\n",
       " 'đường hfcs',\n",
       " 'đường',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'tinh bột biến tính',\n",
       " 'chất bảo quản',\n",
       " 'chất nhũ hóa',\n",
       " 'hương cam tự nhiên',\n",
       " 'màu tổng hợp',\n",
       " 'nước bão hòa co2',\n",
       " 'đường mía',\n",
       " 'đường hfcs',\n",
       " 'màu tự nhiên',\n",
       " 'caramen nhóm m',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'hương cola tự nhiên',\n",
       " 'cafeine',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'gạo',\n",
       " 'hoa bia',\n",
       " 'ngô',\n",
       " 'nước bão hòa co2',\n",
       " 'đường hfcs',\n",
       " 'đường',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'tinh bột biến tính',\n",
       " 'chất bảo quản',\n",
       " 'chất nhũ hóa',\n",
       " 'hương cam tự nhiên',\n",
       " 'màu tổng hợp',\n",
       " 'nước',\n",
       " 'mạch nha',\n",
       " 'gạo',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'lúa mì',\n",
       " 'đại mạch',\n",
       " 'chiết xuất táo',\n",
       " 'hương thảo mộc tự nhiên',\n",
       " 'hoa bia',\n",
       " 'men',\n",
       " 'nước bão hòa co2',\n",
       " 'đường hfcs',\n",
       " 'đường mía',\n",
       " 'hương soda kem trái cây tự nhiên',\n",
       " 'giống tự nhiên',\n",
       " 'chất điều chỉnh độ acid',\n",
       " 'chất tạo ngọt tổng hợp',\n",
       " 'sucralose',\n",
       " 'chất bảo quản',\n",
       " 'màu tổng hợp',\n",
       " 'e',\n",
       " 'nước bão hòa co2',\n",
       " 'đường',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'hương dâu giống tự nhiên',\n",
       " 'hỗn hợp premix',\n",
       " 'taurine',\n",
       " 'caffeine',\n",
       " 'e145',\n",
       " 'inositol',\n",
       " 'các vitamin',\n",
       " 'b3',\n",
       " 'b6',\n",
       " 'b12',\n",
       " 'chất chống oxy hóa',\n",
       " 'chất bảo quản',\n",
       " 'màu tổng hợp',\n",
       " 'bột chiết xuất hồng sâm',\n",
       " 'sản phẩm có thể không phù hợp với người nhạy cảm với caffeine',\n",
       " 'trẻ em',\n",
       " 'phụ nữ đang mang thai',\n",
       " 'hàm lượng hồng sâm cho',\n",
       " 'o khi sản xuất',\n",
       " 'hàm lượng này có thể giảm đi trong quá trình lưu thông',\n",
       " 'nước khoảng thiên nhiên có bổ sung nước ngầm tinh lọc qua hệ thống ro',\n",
       " 'tiệt trùng bằng tia cực tím',\n",
       " 'ozone',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'malt đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đường mía',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'hương liệu giống tự nhiên',\n",
       " 'natri clorid',\n",
       " 'chất chống oxi hóa',\n",
       " 'hương chanh tự nhiên',\n",
       " 'nước',\n",
       " 'đường',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'axit xitric',\n",
       " 'taurin',\n",
       " 'chất ổn định',\n",
       " 'natri hydro cacbonat',\n",
       " 'hương liệu tổng hợp',\n",
       " 'trái cây hỗn hợp',\n",
       " 'cafein',\n",
       " 'inositol',\n",
       " 'lysin',\n",
       " 'cholin',\n",
       " 'chất bảo quản',\n",
       " 'vitamin b3',\n",
       " 'vitamin b5',\n",
       " 'vitamin b6',\n",
       " 'phẩm màu tổng hợp',\n",
       " 'ng',\n",
       " 'đỏ ponceau e4r',\n",
       " 'vitamin b12',\n",
       " '4µg',\n",
       " 'nước',\n",
       " 'đại mạch',\n",
       " 'ngũ cốc',\n",
       " 'hoa bia',\n",
       " 'nước',\n",
       " 'đường',\n",
       " 'trà ô long',\n",
       " 'otpp được trích ly tối thiểu',\n",
       " 'hương giống tự nhiên',\n",
       " 'chất chống oxy hóa',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'bột kem',\n",
       " 'glucose syrup',\n",
       " 'dầu thực vật',\n",
       " 'chất ổn định',\n",
       " 'protein từ sữa',\n",
       " 'chất nhũ hóa',\n",
       " 'đường',\n",
       " 'chất khô từ sữa',\n",
       " 'chất chống đông vón',\n",
       " 'muối',\n",
       " 'chất điều chỉnh độ axit',\n",
       " 'chất tạo màu beta carotene tổng hợp',\n",
       " 'hương liệu tổng hợp',\n",
       " 'đường',\n",
       " 'maltodextrin',\n",
       " 'cà phê hòa tan',\n",
       " 'chất tạo màu caramel',\n",
       " 'hương cà phê chồn giống tự nhiên',\n",
       " 'hương liệu tổng hợp',\n",
       " 'giống tự nhiên',\n",
       " 'muối',\n",
       " 'sản phẩm chứa nguyên liệu có nguồn gốc từ sữa',\n",
       " 'nước',\n",
       " ...]"
      ]
     },
     "execution_count": 198,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "other_ingre_list"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 199,
   "metadata": {},
   "outputs": [],
   "source": [
    "# write to file csv using pandas\n",
    "\n",
    "stat_adds_df = pd.DataFrame.from_dict(stat_adds, orient='index').reset_index()\n",
    "stat_adds_df.rename(columns={'index': 'e_number', 0: 'count'}, inplace=True)\n",
    "stat_adds_df.sort_values(by=['count'], ascending=False, inplace=True)\n",
    "stat_adds_df.to_csv('tmp/stat_adds.csv', index=False)\n",
    "\n",
    "stat_other_ingre_df = pd.DataFrame.from_dict(stat_other_ingre, orient='index').reset_index()\n",
    "stat_other_ingre_df.rename(columns={'index': 'other_ingredients', 0: 'count'}, inplace=True)\n",
    "stat_other_ingre_df.sort_values(by=['count'], ascending=False, inplace=True)\n",
    "stat_other_ingre_df.to_csv('tmp/stat_other_ingre.csv', index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "data_mining",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.15"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}