찬란하게

인공지능 대량의 데이터로 패턴을 찾는 것 규칙을 찾는 방법 = 학습 방법 = fitting 1. 지도 학습 : 정답 有 1) 수치 예측 2) 범주 예측 2. 비지도 학습 : 정답 無 지도 학습 지도 학습 1) 회귀(regression) : 수치형 2) 분류(classification) : 범주형 - 범주형 : 질적 데이터 ==> ABO형 혈액형 - 수치형 : 양적 데이터 ==> 신장, 몸무게 지도 학습 과정 : 1) 훈련 데이터와 테스트 데이터로 분류, x값과 y값으로 분류 2) 패턴, 규칙을 찾는다. 3) y값 - y예측값이 최소가 되는 값을 찾는다. 회귀분석 - 회귀분석 = 회귀식 찾기 회귀분석을 통해 회귀식을 도출한다. 원인과 결과의 인과관계를 표현한다. --> 수치형 관계에서 가능 영향을 주는 변..

데이터 분석 패러다임의 이동 : 자료구조론 -> 데이터베이스 -> 빅데이터 데이터 분석 패러다임의 이동 : 자료구조론 -> 데이터베이스 -> 빅데이터 데이터 분석과정 0) 컬럼 단위로 연산한기 위해 ndarray구조로 변환한다. 1) 컬럼 분석 - 지도 학습 : 답(=label)이 존재. 답과 칼럼 간의 영향력을 비교한다. - 비지도 학습 : 답이 없다. 행과 행 사이의 연관관계를 비교한다. 2) 상관관계 분석 - 통계학으로 비교 - 대수식으로 비교 인공지능 - AI : 지능을 갖고 있는 기능을 갖춘 컴퓨터 시스템이며, 인간의 지능을 기계 등에 인공적으로 시연(구현)한 것이다. - AI의 목적 : 자동화 - AI 과정 : 대량의 데이터로 패턴을 찾는것 1) 대량의 데이터를 처리한다. 2) 규칙(=패턴)을..

웹의 이해 Html vs Xml 1) Html = 기능 + style - 데이터를 보기 좋게 출력 -------------------------------------------------- 2) Xml = html - style = data - only 데이터 전송 기술 - 데이터의 계층 구조를 표현하는 데에 집중 xml은 오직 데이터를 표현하기 위한 기술이다. 하나의 트리 구조를 가지고 계층구조가 특징이다. - 자료구조 : 데이터를 효율적으로 관리하는 방법 1) 선형 구조 : 리스트, 배열 2) 비선형 구조 : 트리 --> 빠른 탐색 속도를 갖는다. (ex. 마크업 언어) - 메타데이터 : 데이터에 대한 데이터 xml vs json 1) xml : 계층 구조에서의 데이터 표현 방식 - 트리 구조 - 속..

데이터 분석 - 1) 데이터 수집 : 웹 크롤링 데이터 수집 단계에서는 다양한 방법이 있다. 그중에서 웹 크롤링 기술이 활용된다. - IDE인 jupyter을 활용한다. 웹 네트워크의 이해 웹 크롤링 기술을 사용하기 전에, 웹에 대한 기본 지식을 다룬다. - 네트워크 : 원격으로 떨어져 있는 데이터를 서로 주고받는 기술 -> 많은 네트워크 모델 중에 웹 네트워크 모델은 server / client 모델이다. -> 웹 네트워크 : 네트워크 모델 + 프로토콜 (데이터를 주고 받을 때의 통신 규약) -> 과거의 네트워크는 로컬로 유선으로 연결된 범주안에서 정보를 교환했다. -> 현재는 장비에 대해 모르더라도 통신규약을 만들고 통신한다. 프로토콜 - 웹 네트워크 : I/O(데이터) + http(교환 프로토콜 -..

영/프/인/타 언어 판별기 {0} {1}

wepapp.py #!/usr/bin/env python3 import cgi, os.path import joblib # 학습된 모형 정보 읽어 들이기 pklfile = os.path.dirname(__file__) + "/freq2.pkl" clf = joblib.load(pklfile) # 텍스트 입력 양식 출력하기 def show_form(text, msg=""): with open("C:/pydata/cgi-bin/style2.py", "r", encoding="utf-8") as lp: html = lp.read() print(html.format(text, msg)) # 판정하기 def detect_lang(text): # 알파벳 출현 빈도 구하기 text = text.lower() code..

언어 판별 서비스 소개 알파벳으로 구성된 문장을 입력하면 그 문장이 영어인지, 프랑스어인지, 인도네시아어인지, 타갈로그어인지를 판별해준다. STEP1. 언어 판별하는 모형 학습시키기 모형 만드는 과정 파일로 저장 # # 1. 라이브러리 준비 # In[1]: from sklearn import svm, metrics # glob - 문자열을 파일 경로로 인식 -> 디렉터리 형태로 import glob, os.path, re, json # # 2. 함수 준비 # # check_freq() : 알파벳 출현 빈도 조사 # In[ ]: # 텍스트를 읽어 들이고 출현 빈도 조사하기 --- (※1) def check_freq(fname): name = os.path.basename(fname) lang = re.ma..

part1. 사전 과정¶ 1) import 라이브러리¶ In [2]: # 학습용 데이터 import mglearn.datasets import pandas as pd import numpy as np import sklearn # 차트 시각화 import matplotlib.pyplot as plt # 폰트 한글 설정 plt.rcParams['font.family'] = 'Gulim' 2) 데이터 준비¶ In [28]: X,y = mglearn.datasets.make_blobs(centers=4, random_state=8) len(X) Out[28]: 100 In [29]: # y값 범주형 데이터 준비 y = y%2 y Out[29]: array([1, 0, 1, 1, 1, 0, 0, 1, 1, 1,..

DB 구조 Html (Data +style) + 커스터 마이징 서비스(데이터를 바꾸는 기술) = Html + programming 웹 통신의 과정 1) request 2) DB 접속한다. 3) 이쁘게 꾸민다. 4) response - DB : 데이터를 관리하는 시스템 - RDBMS : 관계형 시스템 (정형화된 data) - Column : 완벽한 vector = ndarray1차원 - DB시스템에서 테이블을 여러 개 두는 이유? 1) 데이터의 변경(수정, 삭제) 이상현상 2) 데이터 불일치 = 데이터 무결성 침해 -정규화 : 테이블 나누기 : TABLE = OBJECT -역할을 나누기 -중복X DB원칙은 한 테이블에서 다른 테이블을 참조한다는 것이다. 같은 메모리 공간에서합쳐져 있어야 탐색이 가능하다.