페르소나

INTRO web data를 수집, 가공하는 용어로 Parsing이라 정의하고 python 기초 마지막 편을 마치고자 한다. web crawling, web scraping 등 목적에 따라 정의가 상의하지만 parsing을 기초로 한다.(링크 : 용어설명) 대표적인 국내 Open API 제공 사이트 : 공공데이터포털 --> 로그인/key 생성 필요 프로그램언어나 플랫폼에 독립적인 .json 다루어 본다. 용어 parsing web page 내용에서 원하는 정보를 원하는 형태로 가공하여 표현 위키에서 'parsing'이나 'parser'을 검색하면 구문 분석으로 번역되어 표기 컴퓨터 과학에서 파싱((syntactic) parsing)은 일련의 문자열을 의미있는 토큰(token)으로 분해하고 이들로 이루어진..

crawling 공개적인 자료 반복적인 수집 및 분리 web crawling의 준말로 위키에는 web crawler 용어로 정리 ko.wikipedia.org/wiki/Crawling 웹 크롤러(web crawler)는 조직적, 자동화된 방법으로 월드 와이드 웹을 탐색하는 컴퓨터 프로그램이다. 웹 크롤러가 하는 작업을 '웹 크롤링'(web crawling) 혹은 '스파이더링'(spidering)이라 부른다. 검색 엔진과 같은 여러 사이트에서는 데이터의 최신 상태 유지를 위해 웹 크롤링한다. 웹 크롤러는 대체로 방문한 사이트의 모든 페이지의 복사본을 생성하는 데 사용되며, 검색 엔진은 이렇게 생성된 페이지를 보다 빠른 검색을 위해 인덱싱한다. 또한 크롤러는 링크 체크나 HTML 코드 검증과 같은 웹 사이트..