대봉감일까, 단감일까?

Author

Heeyoung KIm

Published

December 9, 2022

대봉감과 단감을 구분하는 AI를 구축하겠습니다.

탄닌은 떫은 맛을 나게 하는 성분으로, 와인에도 함유되어 있습니다.

대봉감은 홍시를 만들어 먹는 감으로, 탄닌 수용성이 커 딱딱한 상태에서 먹을 때 굉장히 떫은 맛이 납니다. 그에 비해 단감은 탄닌 수용성이 낮아 딱딱한 상태에서도 단맛이 주를 이룹니다.

이를 구분할 수 있는 AI를 만든다면 떫은 감은 홍시로, 단감은 단단한 상태에서 맛있게 먹을 수 있지 않을까요?

우선 한글 사용을 위해 나눔폰트를 다운로드하고 기본 폰트로 설정합니다. (참고 링크)

from sys import platform

if platform == 'linux':

    !sudo apt-get update
    !sudo apt-get install -y fonts-nanum
    !sudo fc-cache -fv
    !rm ~/.cache/matplotlib -rf

    import matplotlib.pyplot as plt

    plt.rc('font', family='NanumBarunGothic')

::: {#cell-4 .cell _kg_hide-input=‘true’ _kg_hide-output=‘true’ tags=‘[]’ execution_count=2}

!pip install -Uqq fastai duckduckgo_search

:::

Step 1: 대봉감과 단감의 사진 다운로드하기

::: {#cell-6 .cell _kg_hide-input=‘true’ tags=‘[]’ execution_count=3}

from duckduckgo_search import ddg_images
from fastcore.all import *

def search_images(term, max_images=30):
    print(f"Searching for '{term}'")
    return L(ddg_images(term, max_results=max_images)).itemgot('image')

:::

search_images는 duckduckgo에서 이미지를 찾는 함수입니다.

#NB: `search_images` depends on duckduckgo.com, which doesn't always return correct responses.
#    If you get a JSON error, just try running it again (it may take a couple of tries).
urls = search_images('대봉감', max_images=1)
urls[0]
Searching for '대봉감'
'http://www.food123.kr/gamimg/aa6.jpg'
  • download_url로 url의 이미지를 dest에 다운로드합니다.
  • Image.open으로 경로에 위치한 데이터를 열 수 있습니다.
from fastdownload import download_url
dest = '대봉감.jpg'
download_url(urls[0], dest, show_progress=False)

from fastai.vision.all import *
im = Image.open(dest)
im.to_thumb(256,256)

단감에도 동일하게 진행하겠습니다.

download_url(search_images('단감', max_images=1)[0], '단감.jpg', show_progress=False)
Image.open('단감.jpg').to_thumb(256,256)
Searching for '단감'

정확한 사진을 불러온 것 같습니다. 이제는 여러 대봉감, 단감 이미지를 다운로드 받고 각각의 폴더에 저장하겠습니다.

searches = '대봉감', '단감'
from pathlib import Path
path = Path('daebong_or_dangam')
from fastai.vision.all import *
from time import sleep

아래 for문은 다음과 같이 수행됩니다. - dest에 키워드 Path를 지정합니다. - dest.mkdir로 폴더를 만듭니다. - download_images로 이미지를 다운로드 합니다. urls의 개수는 위에서 만든 search_images의 기본 max_images인 30입니다. - resize_images는 해당 폴더에 존재하는 사진에 대해 반복적으로 수행됩니다.

for o in searches:
    dest = (path/o)
    dest.mkdir(exist_ok=True, parents=True)
    download_images(dest, urls=search_images(f'{o}'))
    sleep(10)
    resize_images(path/o, max_size=400, dest=path/o)
Searching for '대봉감'
Searching for '단감'

Step 2: 모델 훈련시키기

verify_images는 열리지 않는 이미지를 확인합니다.

failed = verify_images(get_image_files(path))

failed에 존재하는 경로, 즉 열리지 않는 이미지들에 대해 map을 통해 Path.unlink를 각각 적용합니다.

Path.unlink는 삭제와 동일합니다.

failed.map(Path.unlink)
len(failed)
1

모델을 훈련시키기 위해서는 Dataloaders가 필요합니다. 이를 위해서는 Fast.ai의 중수준 API인 DataBlock을 사용하거나 데이터 타입별로 미리 구축된 고수준 API를 사용할 수 있습니다.

아래 DataBlock에 사용하는 인자는 blocks, get_items, splitter, get_y, item_tfms 입니다.

dls = DataBlock(
    blocks=(ImageBlock, CategoryBlock),
    get_items=get_image_files,
    splitter=RandomSplitter(valid_pct=0.2, seed=42),
    get_y=parent_label,
    item_tfms=[Resize(192, method='squish')]
).dataloaders(path, bs=32)

blocks는 어떤 input과 output을 가지고 있는지 명시해주는 것입니다. 예제에서는 input을 Image, output을 Category로 가지고 있기 때문에 ImageBlock과 CategoryBlock을 사용합니다.

get_items는 아이템을 불러오는 함수를 지정합니다.

splitter는 훈련용, 검증용 데이터셋을 나눌 기준을 설정합니다. RandomSplitter 외에도 다양한 Splitter들이 존재합니다.

get_y는 목적변수의 값을 어디에서 가져올지 지정하는 것입니다. 위에서 사용된 parent_label은 상위 폴더의 이름으로 가져오는 것을 의미합니다.

item_tfms는 아이템 변환의 내용을 지정합니다. 각각 이미지를 동일하게 192 사이즈로 리사이징하고, 방법은 ’squish’를 사용했습니다. 아래는 사용 가능한 method입니다.

ResizeMethod()
fastcore.basics.ResizeMethod(Squish='squish', Crop='crop', Pad='pad')
dls.show_batch(max_n=6)

데이터의 준비는 모두 끝났습니다. 이제 learner를 정의하고, 훈련시키면 됩니다.

learner에는 dataloaders와 architecture 지정이 필수적입니다.

데이터 특성별 learner가 존재하는데, 이미지를 위한 것은 vision_learner입니다.

learner = vision_learner(dls, resnet18, metrics=error_rate)
/usr/local/lib/python3.9/dist-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and will be removed in 0.15, please use 'weights' instead.
  warnings.warn(
/usr/local/lib/python3.9/dist-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and will be removed in 0.15. The current behavior is equivalent to passing `weights=ResNet18_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet18_Weights.DEFAULT` to get the most up-to-date weights.
  warnings.warn(msg)

정확도를 측정하기 위한 메트릭으로 error_rate를 사용하겠습니다. error_rate는 라벨을 맞추는 정확도로 생각해주시면 되겠습니다.

learner.fine_tune(epochs=10)
epoch train_loss valid_loss error_rate time
0 1.326514 1.511976 0.589744 00:03
epoch train_loss valid_loss error_rate time
0 0.375253 0.329849 0.153846 00:01
1 0.335464 0.031661 0.000000 00:01
2 0.240976 0.003346 0.000000 00:01
3 0.185915 0.000432 0.000000 00:01
4 0.143643 0.000189 0.000000 00:01
5 0.115001 0.000153 0.000000 00:01
6 0.095365 0.000119 0.000000 00:01
7 0.079920 0.000103 0.000000 00:01
8 0.068021 0.000119 0.000000 00:01
9 0.058917 0.000138 0.000000 00:01

fine_tune은 사전 학습된 architecture를 학습시키기 위한 함수입니다. 이 함수는 사전 학습된 부분은 많이 학습하지 않고, 새로 추가된 출력 계층은 많이 학습합니다. 자세한 내용은 추후에 배웁니다.

Step 3: 모델을 사용해봅니다

img = PILImage.create('단감.jpg')
img.to_thumb(400)

predict는 세 가지 값을 tuple로 산출합니다. 각각 예측되는 레이블, Loss function의 값(정확히 이해하지 못했습니다), 예측 확신도입니다.

is_dangam, _, probs = learner.predict(img)
print(f'이 사진은 {is_dangam} 입니다.')
print(f'{probs[0]:.4f}의 확률로 그렇습니다.')
이 사진은 단감 입니다.
1.0000의 확률로 그렇습니다.