โ›บ DAY 34. Segmentation๊ณผ Conditional Generative Model

thumbnail

๐Ÿ™Œ์€ QnA์— ์žˆ๋Š” ์งˆ๋ฌธ-๋‹ต๋ณ€์„ ํ†ตํ•ด ์–ป์€ ์ง€์‹์„ ํ‘œ์‹œํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ‘‰ ํ”ผ์–ด ์„ธ์…˜

๊ธฐ๋ก

  • ์–ด์ œ ํ•ต๋ถˆ๋‹ญ๋ณถ์Œ์˜ ๋‚œ์ด๋„๋ผ๊ณ  ํ–ˆ๋Š”๋ฐ ๊ทธ๋ณด๋‹ค ๋”ํ•œ ํ•ตํ•ต๋ถˆ๋‹ญ๋ณถ์Œ๐Ÿ”ฅ์˜ ๋‚œ์ด๋„๋ฅผ ์ž๋ž‘ํ–ˆ๋‹ค! ์ผ๋‹จ ์—ฌ๋Ÿฌ Segmentation Task๊ฐ€ ์–ด๋–ค ์ฐจ์ด๊ฐ€ ์žˆ๋Š”์ง€๊ฐ€ ์กฐ๊ธˆ ํ—ท๊ฐˆ๋ ธ๊ณ  ํŠนํžˆ UPSNet๋ฅผ ์ดํ•ดํ•˜๊ธฐ ์–ด๋ ค์› ๋‹ค.

    • UPSNet์€ Panoptic Segmentation์„ ํ•˜๊ธฐ ์œ„ํ•œ ๋ชจ๋ธ์ธ๋ฐ ํ”ฝ์…€ ๋‹จ์œ„์˜ ๋ถ„๋ฅ˜์ธ Semantic Segmenation๊ณผ ๊ฐ์ฒด ๋‹จ์œ„์˜ ๋ถˆ๋ฅ˜์ธ Instance Segmentation์„ ๋™์‹œ์— ์ˆ˜ํ–‰ํ•˜๋Š” ๋ชจ๋ธ์ด๋‹ค.
    • Semantic๊ณผ Instance Segmentation์˜ ์ฐจ์ด๋ฅผ ์ดํ•ดํ•˜์ง€ ๋ชปํ•˜๋‹ˆ ์—ฌ๊ธฐ์„œ ์ •์˜ํ•œ stuff์™€ thing์˜ ์ฐจ์ด๋ฅผ ์ดํ•ดํ•˜์ง€ ๋ชปํ–ˆ๊ณ  ์–ด๋–ค ๊ณผ์ •์œผ๋กœ Panoptic Segmentation์ด ๋˜๋Š”์ง€ ์•Œ ์ˆ˜ ์—†์—ˆ๋‹ค.
    • ๊ทธ๋ž˜๋„ ํŒ€์›๋“ค๊ณผ 30๋ถ„ ๋„˜๊ฒŒ ์ด์•ผ๊ธฐ๋ฅผ ํ•˜๋ฉด์„œ ์–ด๋Š ์ •๋„ ์ดํ•ด๋Š” ํ•  ์ˆ˜ ์žˆ๊ฒŒ ๋˜์—ˆ๋‹ค. ์ด๊ฒŒ ํ”ผ์–ด์„ธ์…˜์˜ ๋ฌ˜๋ฏธ์ธ ๊ฒƒ ๊ฐ™๋‹ค๐Ÿ’š
  • ์–ด์ œ ํ•ด๊ฒฐํ•˜์ง€ ๋ชปํ•œ Grad-CAM ๊ณผ์ œ๋ฅผ ๋“œ๋””์–ด ํ•ด๊ฒฐํ–ˆ๋‹ค! ๊ฐ„๋‹จํžˆ ์ด์•ผ๊ธฐํ•˜๋ฉด ๊ณผ์ œ๋Š” ์ด 6๊ฐœ์˜ TODO๋กœ ์ด๋ฃจ์–ด์ ธ ์žˆ๋Š”๋ฐ ๋นˆ์นธ์— ํ•ด๋‹นํ•˜๋Š” ์ฝ”๋“œ๋ฅผ ์ฑ„์šฐ๋ฉด ๋œ๋‹ค. ๊ทธ ์ค‘ ๋งˆ์ง€๋ง‰ ๋‘ ๊ฐœ์˜ TODO๊ฐ€ ์–ด๋ ค์šด ๋‚œ์ด๋„๋ฅผ ์ž๋ž‘ํ–ˆ๊ณ  ์–ด์ œ 2์‹œ๊ฐ„ ๋™์•ˆ ํŒ€์›๊ณผ ํ† ์˜๋ฅผ ํ–ˆ์ง€๋งŒ ๊ฒฐ๊ตญ ํ•ด๊ฒฐํ•˜์ง€ ๋ชปํ–ˆ๋‹ค.

    • TODO 5๋ฒˆ๊ณผ 6๋ฒˆ์˜ ํŒ์€ ๋ฐ”๋กœ Grad-CAM์„ ์ดํ•ดํ•˜๋Š” ๊ฒƒ์ด๋‹ค. ๊ณผ์ œ์˜ TODO๋Š” ๋…ผ๋ฌธ์˜ ์ˆ˜์‹์„ ์ฝ”๋“œ๋กœ ์˜ฎ๊ธฐ๋Š” ๊ฒƒ์ธ๋ฐ ๊ทธ ์ˆ˜์‹์„ ์ดํ•ดํ•˜์ง€ ๋ชปํ•˜๋ฉด ์ฝ”๋“œ๋กœ ๋‚˜ํƒ€๋‚ผ ์ˆ˜ ์—†๋‹ค.
    • ๊ณผ์ œํ•˜๋Š” ๋ฐ ์‹œ๊ฐ„์ด ์˜ค๋ž˜ ๊ฑธ๋ ค ์ž์ฃผ ๋ณด๋Š” ์˜ํ™”๋ฅผ BGM ์‚ผ์•„ ํ‹€์–ด๋†“๊ณ  ํ–ˆ๋Š”๋ฐ ์˜ํ™”๊ฐ€ ๋๋‚  ๋•Œ ์ฏค ๊ณผ์ œ๋ฅผ ๋งˆ๋ฌด๋ฆฌํ–ˆ๋‹ค. 2์‹œ๊ฐ„ ์งœ๋ฆฌ ์˜ํ™”์˜€๋Š”๋ฐ 2์‹œ๊ฐ„ ๋™์•ˆ ์ง  ์ฝ”๋“œ๋Š” 10์ค„ ๋ฐ–์— ๋˜์ง€ ์•Š์•˜๋‹คใ… ใ… 
    • ํŒ€์—์„œ ๊ฐ€์žฅ ๋จผ์ € ๊ณผ์ œ๋ฅผ ํ•ด๊ฒฐํ•ด์„œ 2์‹œ๊ฐ„ ๋™์•ˆ ์‚ฝ์งˆํ•˜๋ฉด์„œ ์–ป์€ ํŒ๐Ÿ’ก๋“ค์„ ํŒ€์›๋“ค๊ณผ ๊ณต์œ ํ–ˆ๋‹ค! ์ด ํŒ์œผ๋กœ ๋‹ค๋ฅธ ํŒ€์›๋ถ„๋“ค๋„ ํฐ ์‚ฝ์งˆํ•˜์ง€ ์•Š๊ณ  ๊ณผ์ œ๋ฅผ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ์—ˆ๋‹ค. ์ •๋ง ๋ฟŒ๋“ฏํ–ˆ๋‹ค๐Ÿ˜†

Table of Contents


๐Ÿ‘‹@์ฝ”๋”ฉํ•˜๋Š”ํŽญ๊ท„
ํŒŒ์ด์ฌ๊ณผ ์›น์— ๊ด€์‹ฌ ๋งŽ์€ ์ปด๊ณต ์ „๊ณต์ž

GitHubInstagram