페르소나

INTRO web data를 수집, 가공하는 용어로 Parsing이라 정의하고 python 기초 마지막 편을 마치고자 한다. web crawling, web scraping 등 목적에 따라 정의가 상의하지만 parsing을 기초로 한다.(링크 : 용어설명) 대표적인 국내 Open API 제공 사이트 : 공공데이터포털 --> 로그인/key 생성 필요 프로그램언어나 플랫폼에 독립적인 .json 다루어 본다. 용어 parsing web page 내용에서 원하는 정보를 원하는 형태로 가공하여 표현 위키에서 'parsing'이나 'parser'을 검색하면 구문 분석으로 번역되어 표기 컴퓨터 과학에서 파싱((syntactic) parsing)은 일련의 문자열을 의미있는 토큰(token)으로 분해하고 이들로 이루어진..

INTRO 데이터 분석 과정에서 시각화는 중요한 부분이다. 변수 값의 분포나 변수 사이의 상관관계를 분석하고 대상 모델링을 위한 가설 도출에 효율 적이다. 여기서는 공공데이터 포탈에서 학생 건강검사 macro data에서 키, 몸무게를 indexing하여 추출하고 간단한 Histogram과 Scatter plot을 그리는 방법을 소개한다. python 활용 편에서 3rd party module을 응용하여 통계분석 까지 확장하여 다루도록 하겠다. python code : pyTest/test15.py # -*- coding: utf-8 -*- import os from urllib.request import urlretrieve import csv import matplotlib.pyplot as plt ..

INTRO DB Browser for SQLite 설치 DB Handling : CRUD(Create, Read, Update, Delete), Table 생성과 index, record INSERT DB data는 직접 SQL(Structured Query Language)을 다루어야 하나 여기서는 python을 이용한다. python의 pandas를 이용할 때 더욱 수월하며, 여기서는 맛보기만 배운다. 용어 SQLite MySQL나 PostgreSQL와 같은 데이터베이스 관리 시스템(DBMS)이지만, 서버가 아니라 응용 프로그램에 넣어 사용하는 비교적 가벼운 데이터베이스이다. 일반적인 RDBMS에 비해 대규모 작업에는 적합하지 않지만, 중소 규모라면 속도에 손색이 없다. 또 API는 단순히 라이브러리..