๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

๐Ÿค– AI & DATA

(4)
[web crawling] python requests & Beautiful Soup๋ฅผ ํ™œ์šฉํ•˜์—ฌ ์›ํ•˜๋Š” ์ •๋ณด ์ถ”์ถœํ•˜๊ธฐ 1. ์›น ํฌ๋กค๋ง(web crawling)์„ ๋ฐฐ์šฐ๋Š” ์ด์œ  ์›น ํฌ๋กค๋ง์ด๋ž€ ์›นํŽ˜์ด์ง€(๋˜๋Š” ์›น ์‚ฌ์ดํŠธ, static document) ๋‚ด์— ์žˆ๋Š” ์ •๋ณด๋ฅผ ์ถ”์ถœํ•˜๋Š” ํ–‰์œ„, ์ฆ‰ ์ธํ„ฐ๋„ท ์ฝ˜ํ…์ธ ๋ฅผ ์ƒ‰์ธํ™”ํ•˜๋Š” ๊ณผ์ •์„ ์˜๋ฏธํ•จ ๋ฐ์ดํ„ฐ ๋ถ„์„์— ํ™œ์šฉํ•˜๊ณ ์‹ถ์€ ๋ฐ์ดํ„ฐ๋ฅผ ์›น ํŽ˜์ด์ง€์—์„œ ์ถ”์ถœํ•  ์ˆ˜ ์žˆ๊ธฐ๋•Œ๋ฌธ์— ์ค‘์š”ํ•จ Beautiful Soup ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ๋Š” html๊ณผ xml ๋ฌธ์„œ๋ฅผ parsing ํ•  ์ˆ˜ ์žˆ๊ณ , Selenium์€ ๋™์  ํฌ๋กค๋ง์„ ํšจ๊ณผ์ ์œผ๋กœ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋Š” ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์ด๋‹ค. ๋‘ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ์˜ ์ฐจ์ด๊ฐ€ ๊ถ๊ธˆํ•˜๋‹ค๋ฉด ๋‹ค์Œ ๋งํฌ๋ฅผ ํด๋ฆญํ•˜์—ฌ ์ฐธ๊ณ  HTML์˜ ๊ธฐ๋ณธ์ ์ธ ์ดํ•ด๊ฐ€ ์žˆ์–ด์•ผํ•จ 2. requests & Beautiful Soup ํ™œ์šฉ requests : ์›ํ•˜๋Š” ์›น ํŽ˜์ด์ง€์˜ html ๋ฌธ์„œ๋ฅผ ์‹น ๊ธ์–ด์˜จ๋‹ค. Beautiful Soup : htm..
[ML]๋จธ์‹ ๋Ÿฌ๋‹(machine learning)์ด๋ž€? 5๋ถ„์•ˆ์— ์ดํ•ด๊ฐ€๋Šฅ๐Ÿ‘Œ | ๋น…๋ฐ์ดํ„ฐ, ๋”ฅ๋Ÿฌ๋‹, ์ธ๊ณต์ง€๋Šฅ ๐Ÿ‘‹Hello World! I'm Dona! ๋จธ์‹ ๋Ÿฌ๋‹ ์ •๋ฆฌ๋„ ์‹œ์ž‘ํ•˜์˜€์Šต๋‹ˆ๋‹ค!โœ๏ธ ์šฐ์„ ์€ 1์ฐจ์ ์œผ๋กœ ๊ณต๊ฐœ์šฉ ๋…ธ์…˜์— ์ •๋ฆฌํ•˜๊ณ  ์žˆ์ง€๋งŒ, ๊ณต๋ถ€๋ฅผ ํ•˜๋ฉด์„œ ๊ณ„์† ์ถ”๊ฐ€ ๋˜๋Š” ๋‚ด์šฉ์ด ๋งŽ์„ ๊ฒƒ ๊ฐ™์•„์„œ ๋ธ”๋กœ๊ทธ ์—…๋กœ๋“œ๋Š” ์ถ”ํ›„์— ํ•˜๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค. ์—ด๊ณตํ•ฉ์‹œ๋‹ค Go for it!๐Ÿ”ฅ๐Ÿ”ฅ ๋…ธ์…˜ URL : https://imdona.notion.site/imdona/imdona-s-Notion-4c374b9978cf4bb08d7b71ee594fb44b imdona's Notion ๐Ÿ‘‹ Hi there! I'm Dona! imdona.notion.site ๐ŸŽ intro 1. ์ธ๊ณต์ง€๋Šฅ - ๋จธ์‹ ๋Ÿฌ๋‹ - ๋”ฅ๋Ÿฌ๋‹ - ๋น…๋ฐ์ดํ„ฐ์˜ ๊ด€๊ณ„ ‘๋จธ์‹ ๋Ÿฌ๋‹’ํ•˜๋ฉด ๋น…๋ฐ์ดํ„ฐ, ๋”ฅ๋Ÿฌ๋‹, ์ธ๊ณต์ง€๋Šฅ์ด๋ผ๋Š” ๋ง๋“ค์ด ๋”ฐ๋ผ์˜ค๊ณค ํ•˜์ฃ ? ๊ฐ๊ฐ์˜ ๋œป๊ณผ ๊ด€๊ณ„์„ฑ์— ๋Œ€ํ•ด ์•Œ์•„๋ด…์‹œ๋‹ค! ์•„๋ž˜ ..
[DL] Training Neural Network(์‹ ๊ฒฝ๋ง ํ•™์Šต) | Iteration(์ดํ„ฐ๋ ˆ์ด์…˜) | ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•(Gradient Descent, GD) | ์˜ตํ‹ฐ๋งˆ์ด์ €(Optimizer) ์•Œ์•„๋ณด๊ธฐ ๐Ÿ‘‹Hello, World! I'm Dona! ์˜ค๋Š˜๋ถ€ํ„ฐ ๋”ฅ๋Ÿฌ๋‹ ๊ณต๋ถ€์— ๋Œ€ํ•œ ๊ธฐ๋ก๋„ ์‹œ์ž‘ํ•˜๋ ค๊ณ ํ•ฉ๋‹ˆ๋‹ค.โœ๏ธ ์ด์ œ ์‹œ์ž‘์ด๋ผ ์ˆ˜์ •ํ•  ๋ถ€๋ถ„์ด ๋งŽ์ด ์ƒ๊ธธ ๊ฒƒ ๊ฐ™์•„์„œ ์šฐ์„ ์€ ๋…ธ์…˜์— ์ •๋ฆฌํ•ด์„œ ๊ณต์œ ํ•˜๋Š” ๋ฐฉ์‹์œผ๋กœ ์ง„ํ–‰ํ•˜๋ ค๊ณ  ํ•ด์š”! ๊ณต๋ถ€ํ•˜๋ฉด์„œ ์ƒˆ๋กญ๊ฒŒ ์•Œ๊ฒŒ ๋œ ์‚ฌํ•ญ๋“ค์€ ์ค‘๊ฐ„์ค‘๊ฐ„ ์ถ”๊ฐ€ํ•˜๋ ค๊ตฌ์š”! ๋Œ“๊ธ€ ๊ธฐ๋Šฅ๋„ ํ—ˆ์šฉํ•ด๋‘์—ˆ์œผ๋‹ˆ, ๊ถ๊ธˆํ•œ ์‚ฌํ•ญ์€ ์„œ๋กœ ์†Œํ†ตํ•˜๋ฉด์„œ ๋ฐœ์ „ํ•˜๋ฉด ์ข‹์„ ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค :) ๊ฐ™์ด ๋”ฅ๋Ÿฌ๋‹ ๊ณต๋ถ€ํ•˜์‹œ๋Š” ๋ถ„๋“ค๊ป˜ ๋„์›€์ด ๋˜๋ฉด ์ข‹๊ฒ ๋Š” ๋ฐ”๋žŒ์ž…๋‹ˆ๋‹ค โ˜บ๏ธ ๐Ÿ—ƒ index 1. ์ฝ”๋“œ์™€ ์•Œ์•„๋ณด๋Š” ์‹ ๊ฒฝ๋ง ๊ตฌ์กฐ 2. Training Neural Network(์‹ ๊ฒฝ๋ง ํ•™์Šต) ๊ณผ์ • 3. Iteration(์ดํ„ฐ๋ ˆ์ด์…˜) 4. ๊ฒฝ์‚ฌํ•˜๊ฐ•๋ฒ•(Gradient Descent, GD) 5. ์˜ตํ‹ฐ๋งˆ์ด์ €(Optimizer) ์•Œ์•„๋ณด๊ธฐ ๋…ธ์…˜ ๋ฐ”๋กœ๊ฐ€๊ธฐ๐Ÿ”
[ํ•„๊ธฐ ๊ณต์œ ] ์„ ํ˜•๋Œ€์ˆ˜ํ•™์˜ ๋ณธ์งˆ(1,2๊ฐ•) : 3Blue1Brown ํ•™๋ถ€ ๋•Œ, ๊ฐ€์žฅ ์กด๊ฒฝํ•˜๊ณ  ์ข‹์•„ํ•˜๋Š” ๊ต์ˆ˜๋‹˜ ์ˆ˜์—…์ด ์„ ํ˜•๋Œ€์ˆ˜ํ•™์ด์—ˆ๋Š”๋ฐ๋„ ๋ถˆ๊ตฌํ•˜๊ณ  ์˜ค๋žœ๋งŒ์— ๋ณด๋‹ˆ๊นŒ ๊ธฐ์–ต์ด ์ž˜ ์•ˆ๋‚˜์„œ, ๋‹ค์‹œ ๊ณต๋ถ€ ์ค‘์ž…๋‹ˆ๋‹ค. ๊ณต๋ถ€ํ•˜๋ฉด์„œ ์ •๋ฆฌํ•œ ๋‚ด์šฉ ์ฒœ์ฒœํžˆ ๊ณต์œ ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค. '3Blue1Brown' ์ฑ„๋„์—์„œ ๊ฐ•์˜ ๋“ค์œผ์‹œ๋Š” ๋ถ„๋“ค๊ป˜ ๋„์›€์ด ๋˜์—ˆ์œผ๋ฉด ์ข‹๊ฒ ์Šต๋‹ˆ๋‹ค. ๊ฐ•์˜๋Š” ์ •๋ง๋กœ ์ข‹์€๋ฐ, ์˜์–ด ๊ฐ•์˜๋‹ค ๋ณด๋‹ˆ ์ฐธ๊ณ ๊ฐ€ ๋  ๊ฒƒ ๊ฐ™์Šต๋‹ˆ๋‹ค. ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค:) ์œ ํŠœ๋ธŒ url 1๊ฐ• : https://youtu.be/fNk_zzaMoSs 2๊ฐ• : https://youtu.be/k7RM-ot2NWY ํ•„๊ธฐ