๐ค AI & DATA (4) ์ธ๋ค์ผํ ๋ฆฌ์คํธํ [web crawling] python requests & Beautiful Soup๋ฅผ ํ์ฉํ์ฌ ์ํ๋ ์ ๋ณด ์ถ์ถํ๊ธฐ 1. ์น ํฌ๋กค๋ง(web crawling)์ ๋ฐฐ์ฐ๋ ์ด์ ์น ํฌ๋กค๋ง์ด๋ ์นํ์ด์ง(๋๋ ์น ์ฌ์ดํธ, static document) ๋ด์ ์๋ ์ ๋ณด๋ฅผ ์ถ์ถํ๋ ํ์, ์ฆ ์ธํฐ๋ท ์ฝํ ์ธ ๋ฅผ ์์ธํํ๋ ๊ณผ์ ์ ์๋ฏธํจ ๋ฐ์ดํฐ ๋ถ์์ ํ์ฉํ๊ณ ์ถ์ ๋ฐ์ดํฐ๋ฅผ ์น ํ์ด์ง์์ ์ถ์ถํ ์ ์๊ธฐ๋๋ฌธ์ ์ค์ํจ Beautiful Soup ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ html๊ณผ xml ๋ฌธ์๋ฅผ parsing ํ ์ ์๊ณ , Selenium์ ๋์ ํฌ๋กค๋ง์ ํจ๊ณผ์ ์ผ๋ก ์ํํ ์ ์๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ด๋ค. ๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ์ฐจ์ด๊ฐ ๊ถ๊ธํ๋ค๋ฉด ๋ค์ ๋งํฌ๋ฅผ ํด๋ฆญํ์ฌ ์ฐธ๊ณ HTML์ ๊ธฐ๋ณธ์ ์ธ ์ดํด๊ฐ ์์ด์ผํจ 2. requests & Beautiful Soup ํ์ฉ requests : ์ํ๋ ์น ํ์ด์ง์ html ๋ฌธ์๋ฅผ ์น ๊ธ์ด์จ๋ค. Beautiful Soup : htm.. [ML]๋จธ์ ๋ฌ๋(machine learning)์ด๋? 5๋ถ์์ ์ดํด๊ฐ๋ฅ๐ | ๋น ๋ฐ์ดํฐ, ๋ฅ๋ฌ๋, ์ธ๊ณต์ง๋ฅ ๐Hello World! I'm Dona! ๋จธ์ ๋ฌ๋ ์ ๋ฆฌ๋ ์์ํ์์ต๋๋ค!โ๏ธ ์ฐ์ ์ 1์ฐจ์ ์ผ๋ก ๊ณต๊ฐ์ฉ ๋ ธ์ ์ ์ ๋ฆฌํ๊ณ ์์ง๋ง, ๊ณต๋ถ๋ฅผ ํ๋ฉด์ ๊ณ์ ์ถ๊ฐ ๋๋ ๋ด์ฉ์ด ๋ง์ ๊ฒ ๊ฐ์์ ๋ธ๋ก๊ทธ ์ ๋ก๋๋ ์ถํ์ ํ๋ ค๊ณ ํฉ๋๋ค. ์ด๊ณตํฉ์๋ค Go for it!๐ฅ๐ฅ ๋ ธ์ URL : https://imdona.notion.site/imdona/imdona-s-Notion-4c374b9978cf4bb08d7b71ee594fb44b imdona's Notion ๐ Hi there! I'm Dona! imdona.notion.site ๐ intro 1. ์ธ๊ณต์ง๋ฅ - ๋จธ์ ๋ฌ๋ - ๋ฅ๋ฌ๋ - ๋น ๋ฐ์ดํฐ์ ๊ด๊ณ ‘๋จธ์ ๋ฌ๋’ํ๋ฉด ๋น ๋ฐ์ดํฐ, ๋ฅ๋ฌ๋, ์ธ๊ณต์ง๋ฅ์ด๋ผ๋ ๋ง๋ค์ด ๋ฐ๋ผ์ค๊ณค ํ์ฃ ? ๊ฐ๊ฐ์ ๋ป๊ณผ ๊ด๊ณ์ฑ์ ๋ํด ์์๋ด ์๋ค! ์๋ .. [DL] Training Neural Network(์ ๊ฒฝ๋ง ํ์ต) | Iteration(์ดํฐ๋ ์ด์ ) | ๊ฒฝ์ฌํ๊ฐ๋ฒ(Gradient Descent, GD) | ์ตํฐ๋ง์ด์ (Optimizer) ์์๋ณด๊ธฐ ๐Hello, World! I'm Dona! ์ค๋๋ถํฐ ๋ฅ๋ฌ๋ ๊ณต๋ถ์ ๋ํ ๊ธฐ๋ก๋ ์์ํ๋ ค๊ณ ํฉ๋๋ค.โ๏ธ ์ด์ ์์์ด๋ผ ์์ ํ ๋ถ๋ถ์ด ๋ง์ด ์๊ธธ ๊ฒ ๊ฐ์์ ์ฐ์ ์ ๋ ธ์ ์ ์ ๋ฆฌํด์ ๊ณต์ ํ๋ ๋ฐฉ์์ผ๋ก ์งํํ๋ ค๊ณ ํด์! ๊ณต๋ถํ๋ฉด์ ์๋กญ๊ฒ ์๊ฒ ๋ ์ฌํญ๋ค์ ์ค๊ฐ์ค๊ฐ ์ถ๊ฐํ๋ ค๊ตฌ์! ๋๊ธ ๊ธฐ๋ฅ๋ ํ์ฉํด๋์์ผ๋, ๊ถ๊ธํ ์ฌํญ์ ์๋ก ์ํตํ๋ฉด์ ๋ฐ์ ํ๋ฉด ์ข์ ๊ฒ ๊ฐ์ต๋๋ค :) ๊ฐ์ด ๋ฅ๋ฌ๋ ๊ณต๋ถํ์๋ ๋ถ๋ค๊ป ๋์์ด ๋๋ฉด ์ข๊ฒ ๋ ๋ฐ๋์ ๋๋ค โบ๏ธ ๐ index 1. ์ฝ๋์ ์์๋ณด๋ ์ ๊ฒฝ๋ง ๊ตฌ์กฐ 2. Training Neural Network(์ ๊ฒฝ๋ง ํ์ต) ๊ณผ์ 3. Iteration(์ดํฐ๋ ์ด์ ) 4. ๊ฒฝ์ฌํ๊ฐ๋ฒ(Gradient Descent, GD) 5. ์ตํฐ๋ง์ด์ (Optimizer) ์์๋ณด๊ธฐ ๋ ธ์ ๋ฐ๋ก๊ฐ๊ธฐ๐ [ํ๊ธฐ ๊ณต์ ] ์ ํ๋์ํ์ ๋ณธ์ง(1,2๊ฐ) : 3Blue1Brown ํ๋ถ ๋, ๊ฐ์ฅ ์กด๊ฒฝํ๊ณ ์ข์ํ๋ ๊ต์๋ ์์ ์ด ์ ํ๋์ํ์ด์๋๋ฐ๋ ๋ถ๊ตฌํ๊ณ ์ค๋๋ง์ ๋ณด๋๊น ๊ธฐ์ต์ด ์ ์๋์, ๋ค์ ๊ณต๋ถ ์ค์ ๋๋ค. ๊ณต๋ถํ๋ฉด์ ์ ๋ฆฌํ ๋ด์ฉ ์ฒ์ฒํ ๊ณต์ ํ๊ฒ ์ต๋๋ค. '3Blue1Brown' ์ฑ๋์์ ๊ฐ์ ๋ค์ผ์๋ ๋ถ๋ค๊ป ๋์์ด ๋์์ผ๋ฉด ์ข๊ฒ ์ต๋๋ค. ๊ฐ์๋ ์ ๋ง๋ก ์ข์๋ฐ, ์์ด ๊ฐ์๋ค ๋ณด๋ ์ฐธ๊ณ ๊ฐ ๋ ๊ฒ ๊ฐ์ต๋๋ค. ๊ฐ์ฌํฉ๋๋ค:) ์ ํ๋ธ url 1๊ฐ : https://youtu.be/fNk_zzaMoSs 2๊ฐ : https://youtu.be/k7RM-ot2NWY ํ๊ธฐ ์ด์ 1 ๋ค์