빅데이터 ai 알고리즘 수업자료 1일차 필기

 

AWS 보안 레시피

보안 담당자들이 인프라를 보호할 때 직면할 수 있는 일반적인 어려움에 대한 실용적인 솔루션을 설명한다. CIA 3 요소(기밀성, 무결성, 가용성), AAA 3 요소(인증, 권한 부여, 가용성), 부인 방지 등의 보안 모델 실현에 도움을 줄 수 있는 AWS의 서비스와 기능을 설명한다. 많은 사람에게 친숙한 IAM과 S3의 정책을 먼저 소개하고, 그 후에 데이터 보안, 애플리케이션 보안, 모니터링, 컴플라이언스를 자세히 설명한다. Config, GuardDuty, Macie, Glacier Vault Lock, Inspector, Security Hub 등의 AWS 보안 서비스도 전반적으로 다룬다. 마지막으로 장마다 중요한 보안 영역을 다루고 클라우드 보안 모범 사례와 추가 보안 서비스를 소개한다.

저자

하르틴 카니카토투

출판

에이콘출판

출판일

2021.05.27

미니프로젝트 7일 정도 소요 4월 14일~4월 21일까지

데이터 빅데이터 


머신러닝 프로그래밍

빅데이터 분석플로우 구성(체계적으로 만드는 방법)

딥러닝 프로그래밍 (직접 제작을 한다)

자연어 처리(데이터를 처리하거나 문장을 판단한다, 단어를 선정해 준다)

마인드를 바꾼다  

 

코렙 사용

데이터 전처리 
불필요한 columns 삭제 

주어진 데이터에 따라서 중요할 수도 있다 
불필요한 데이터를

null값 변환 
상위값으로 변환

중위수 안 변하는 숫자

더 좋은 모델 더 잘 정리된 데이터
개선하고 이유를 명확하게 

시각화를 통해서 회귀분석 가능하다

프로젝트는 배운 걸 바탕으로 아예 다른 프로젝트를 만드는 것

오라클을 많이 사용할 예정 

공공데이터 포털 (중요)
데이터 수집용 포털
https://www.data.go.kr/

UCI
머신러닝 데이터 포털 (중요)
https://archive.ics.uci.edu/ml/index.php

데이콘(한국판)(대회에서 했다는 경험이 중요함)
데이터 대회(순위를 제출해야 됨)
https://dacon.io/competitions

캐글(외국) (데이터 대회) (코드공유) (코드정리가 필요함)
(포트폴리오에 정리해서 만들 수 있다)
(이 사이트를 통해서 코드공유를 해서 공부를 할 수 있다)
https://www.kaggle.com/

캠프 (스마트팩토리 관심 잇는 사람) (실제 데이터)
https://www.kamp-ai.kr/

조선내화 (크랙 제품 생산) (엑스레이 검사부품)
http://www.chosunref.co.kr/home/main/kor/main.do

항상 데이터 수집하고 개시할 때 출처를 적어야 한다.

전이학습 (기존에 잇는 알고리즘을 재 학습시킨다.)

코드, 이미지, 프로젝트

딥러닝개발(PyTorch(많이 쓴다), Tensor Flow(2가지다 할 줄 알아야 한다.)(플랫폼화된 언어)
(남이 만든 소스를 제대로 이해해야 한다.)

(ImageDataGenerator (미지데이터) 활용할 수 있다)

(StratifiedKFold 불균형한 분포도를 나눌 수 있다)

인공지능으로 다양한 스타일로 변경

구글트렌드(구글데이터) 
 https://trends.google.co.kr/home?geo=KR 

줌수업(학원에 문의 학원 클라우드에 저장되어 있음)

시간데이터->일자데이터 (변경 처리 )

데이터 전처리->데이터 분석 및 시각화 (곡선이 보이도록 시각화(극대)

노트북구매할 경우(GPU메모리 12GB 이상)

2022년 빅데이터 활용 사례 10가지

 

1. 제조업

제조업에서는 데이터가 ERP나 MES, CMMS 등의 수많은 시스템에 산재해, 데이터를 단일적으로 이용할 수 없기 때문에, 공장의 가동 상황을 전반적으로 파악하는 것이 어렵습니다.  기업에서 빅데이터 분석의 첫걸음은 바로 데이터를 통합하여 관리해야 하는 것입니다. 빅데이터의 잘 활용으로 제조 프로세스를 개선할 수 있을 뿐만 아니라 생산성 향상 및 품질 안정 등에 도움이 됩니다.

 

2. 의료업

매일 대량 복잡한 비구조화 데이터를 생성하는 의료업은 빅데이터 기술을 통해 의료정보 활용의 폭과 가능성이 넓어진다.

 

3. 금융업

은행업에서는, 빅데이터가 오랜 세월 활용되어 이미 경쟁 전략상 빠뜨릴 수 없는 것이 되었습니다. 현금 회수부터 재무 관리까지 빅 데이터는 은행 모든 업무의 효율을 높입니다. 은행업의 빅데이터 애플리케이션은 고객의 수고를 덜어주고 수익을 창출합니다.

 

4.EC업계

EC사이트는 인터넷상에서 고객에게 상품이나 서비스를 판매함으로써 이익을 획득하므로, 고객과 상품이 EC사이트 운영에 있어서의 가장 중요한 요소라고 생각할 수 있습니다. EC 업계에서 빅데이터는 데이터 분석 및 마이닝을 통해 법칙을 도출하여 기업에 지속적인 경쟁 우위를 가져옵니다.

 

5. 교육업

교육업계에서는 학습이나 교육현장에 대한 다양한 데이터가 축적되고 있습니다. 학습 이력이나 행동 이력 등의 빅데이터 수집, 시각화 분석을 통해 학습 평가 및 각종 예측, 성적과 학습 행위 사이의 관계를 명확하게 할 수 있습니다. 많은 나라에서 학교와 대학에서 빅데이터를 사용합니다.

 

6. 여행업

여행 업계는 주로 고객의 관광지에 대한 흥미와 그 행동 특징을 바탕으로 비즈니스를 전개합니다. 현재, 대리점보다 Web 서비스를 사용하는 경향이 있습니다. 빅데이터는 인터넷을 통해 전 세계 관광지와 관광객의 정보를 수집하여 여행 수요를 예측하는데 큰 도움을 줍니다.

 

7. 국가기관(정부)

어느 나라 정부든 매일 국민, 경제성장, 에너지 자원, 교통 등에 관한 다양한 기록과 데이터베이스를 추적해야 합니다. 이러한 데이터의 적절한 조사와 분석은, 정부의 나날의 업무를 지원합니다.

 

8. 농업

농업은 경험과 직감에 의지하는 부분이 많았습니다만, 농사일에 빅데이터를 구사해, 디지털 기술을 도입하면, 예측이나 생산성 향상, 생산 현장의 가시화를 가능하게 합니다.

 

9. 요식업

경쟁이 치열해지는 음식업계에서는 시장 지위를 유지하기 위해 데이터 드리븐의 경영 전략을 설정하는 기업이 늘고 있습니다. 과거 레스토랑은 고객의 내점을 기다리기만 한 상태였지만, 음식점 정보를 빅데이터 화하면 방문객 수를 예상할 수 있어 재방문 고객을 늘리기 위한 서비스와 판촉활동을 조정할 수 있습니다.

 

1일 차후기

AI가 어떻게 만들어지는지 AI를 사용하여 어디까지 활용할 수 있는지

빅데이터를 활용한 머신러닝과 GPU와 CPU에 차이점 

딥러닝을 활용하여 모나리자 그림을 그리면서 시각화하는 기계를 보았다.

이런 과정을 통해 빅데이터 분석가, 인공지능 분야에 취업을 할 수 있다

 

목표

머신러닝과 블록체인을 활용하여 기존에 잇는 보안 프로그램을 수정하여 한층 더 강화된 보안프로그램을 만들고 싶다.