분류 전체보기

[AI] 자연어 처리 - 기본지식(2)

🤔 자연어에 대하여 저번 글에 이어 자연어에 대한 기본지식을 공부해보도록 하겠습니다. 작성하기에 앞서 [ICT COG Academy] 인공지능 고급(언어)과정을 수강하며 복습을 위해 작성한 글임을 명시합니다. 🔎 텍스트 생성(자연어 생성) 자연어 생성은 뉴스기사 생성, 대화 생성, 챗봇 등 다양한 영역에서 활용되고 있습니다. 인간과 컴퓨터(AI) 사이의 의사소통을 위한 가장 자연스러운 방식이라고 할 수 있습니다. 언어 모델 기반, 패턴 기반의 자연어 생성 등의 형태로 나누어 생각할 수 있습니다. • 언어 모델을 이용한 방식 최근 이슈가 되는 초거대 AI는 사전학습된 거대한 언어모델을 말합니다. 수많은 데이터의 학습을 통하여 어떤 표현이 가장 적절한가를 예측하여 문장을 생성합니다. OpenAI의 GPT3,..

[AI] 자연어 처리 - 기본지식(1)

🤔 새로운 공부의 시작 AI의 분야 중 하나인 자연어 처리에 대해 공부하고 이론과 실습을 진행하며 정리해보려고 합니다. 가장 먼저 자연어 처리의 개요를 알아보겠습니다. 작성하기에 앞서 [ICT COG Academy] 인공지능 고급(언어)과정을 수강하며 복습을 위해 작성한 글임을 명시합니다. 🔎 자연어(Natural Language) 자연어란 프로그래밍 언어와 같이 사람이 인공적으로 만든 언어가 아닌, 사람이 일상생활과 의사소통에 사용해 온, 한국어, 영어와 같이 오랜 세월에 걸처 자연적으로 만들어진 언어라는 의미입니다. 자연어라고 부르는 까닭은 컴퓨터 공학 등에서 언어라고 하면 우선적으로 C 등의 프로그래밍 언어를 떠올리기 때문입니다. 🔎 자연어 처리(NLP) 자연어 처리는 컴퓨터가 인간의 언어를 알아들..

모각코 3차(2022-07-23)

👉 TODAY'S GOAL → AutoML 알아보기 → AutoML을 이용하여 타이타닉 데이터 예측하기 → 파이썬 머신러닝 완벽 가이드 공부 시작하기 🎵 WHAT I LEARNED → AutoML 알아보기 Auto Machine Learning 즉 AutoML은 시간 소모적이고 반복적인 기계 학습 모델 개발 작업을 자동화하는 프로세스입니다. 데이터 과학자, 분석가 및 개발자는 모델 품질을 유지하면서 확장성, 효율성 및 생산성이 높은 ML 모델을 빌드할 수 있습니다. 여러 AI경진대회에서 baseline이 주어지기도 합니다. 하지만 baseline이 주어지지 않는 경우에는 모델을 생성하기 위해 상당한 지식과 시간이 필요합니다. 필자의 생각으로는 AutoML을 사용하면 이러한 과정을 획기적으로 줄일 수 있습..

모각코 2차 추가 공부(2022-07-21)

👉 TODAY'S GOAL → 타이타닉 전처리 복습 🎵 WHAT I LEARNED → 타이타닉 전처리 복습 1. 결측치 전처리(제거) 딥러닝에 있어 결측치에 대한 전처리는 필수적입니다. 가장 쉬운 방법 중 하나인 결측지를 제거하는 방법을 알아보겠습니다. 결측치 제거는 2가지 방법으로 정리할 수 있습니다. drop을 사용하는 방법과 differnece를 사용하는 방법입니다. 먼저 drop()을 사용하는 방법은 아래와 같습니다. 삭제하고 싶은 열의 항목을 입력하여 해당 열을 삭제하는 방법입니다. 다음은 difference()를 이용하는 방법입니다. 삭제하고 싶은 열의 항목을 제외한 항목의 리스트를 train_data로 다시 만들어 주는 방법입니다. 2. 상관관계 분석 상관관계 분석을 위해서 seaborn 라..

모각코 2차(2022-07-15)

👉 TODAY'S GOAL → 로컬 상의 이미지 데이터 불러오기 → MATPLOTLIB을 이용한 데이터 분석 → 데이터 전처리(타이타닉 생존 예측 경진대회) → 단순한 딥러닝 모델 개발 → 전사학습에 대해 공부하고 정리하기 🎵 WHAT I LEARNED → 로컬 상의 이미지 데이터 불러오기 1. matplotlib 과 cv2라이브러리 설치 matplotlib과 cv2라이브러리를 Anaconda prompt에서 pip install을 통해 설치해줍니다. 이미지 데이터를 불러오는 것에는 matplotlib라이브러리가 꼭 필요하지는 않지만 저는 matplotlib을 통해 이미지 데이터를 불러오도록 하겠습니다. 2. Visual Studio Code 에서 import 하기 필요한 라이브러리를 Visual Stu..