Ai
[AI] 자연어 처리 - 전처리와 토큰화(1)
🤔 전처리 과정 자연어 처리에서 가장 중요한 것은 전처리 과정이라고 할 수 있습니다. 외부로 드러나지 않는 과정이다 보니 상대적으로 주목도가 낮으며, 다루고자 하는 언어, 문제에 따라 전처리 과정이 다릅니다. 기술의 내용이 기반이 되어야 하지만 경험의 누적이 더욱 중요한 분야라고 할 수 있습니다. 일반적인 전처리 과정은 아래와 같습니다. 코퍼스(Corpus) 수집 → 정제(정규화)(Normalization) → 문장 단위 분절(Tokenizing) → 분절(Tokenizing) → 병렬 코퍼스 정렬 → 서브워드 분절 자연어 처리를 위한 전처리 과정에 대해 알아보도록 하겠습니다. 작성하기에 앞서 [ICT COG Academy] 인공지능 고급(언어)과정을 수강하며 복습을 위해 작성한 글임을 명시합니다. 🔎 ..
[AI] Kaggle - Space Titanic (1) 정보 확인
🤔 대회 설명 Kaggle에서 개최한 대회중 하나인 SPACE TITANIC입니다. 유명한 데이터 분석, 머신러닝 입문의 예제 중 하나인 TITANIC예제와 매우 유사하지만 조금 더 높은 난이도를 가지고 있습니다. 공부를 진행하며 대회에 직접 참가하는 것이 도움이 될 것이라고 생각하여 참가하게 되었습니다. 해당 대회의 Overview는 아래와 같습니다. Welcome to the year 2912, where your data science skills are needed to solve a cosmic mystery. We've received a transmission from four lightyears away and things aren't looking good. The Spaceship Ti..
[AI] 자연어 처리 - PyTorch 실습
🤔 PyTorch 실습 자연어 처리를 하기 전에 PyTorch의 기본 지식에 대해 알아보도록 하겠습니다. 작성하기에 앞서 [ICT COG Academy] 인공지능 고급(언어)과정을 수강하며 복습을 위해 작성한 글임을 명시합니다. 🔎 파이토치(PyTorch) 아래는 파이토치의 공식 문서 링크입니다. 기본 파이토치의 사용에 대해서는 아래의 링크를 참조하는것을 추천합니다. https://tutorials.pytorch.kr/beginner/blitz/tensor_tutorial.html 텐서(Tensor) 텐서(tensor)는 배열(array)이나 행렬(matrix)과 매우 유사한 특수한 자료구조입니다. PyTorch에서는 텐서를 사용하여 모델의 입력과 출력뿐만 아니라 모델의 매개변수를 부호화(encode)합..
[AI] 자연어 처리 - 기본지식(1)
🤔 새로운 공부의 시작 AI의 분야 중 하나인 자연어 처리에 대해 공부하고 이론과 실습을 진행하며 정리해보려고 합니다. 가장 먼저 자연어 처리의 개요를 알아보겠습니다. 작성하기에 앞서 [ICT COG Academy] 인공지능 고급(언어)과정을 수강하며 복습을 위해 작성한 글임을 명시합니다. 🔎 자연어(Natural Language) 자연어란 프로그래밍 언어와 같이 사람이 인공적으로 만든 언어가 아닌, 사람이 일상생활과 의사소통에 사용해 온, 한국어, 영어와 같이 오랜 세월에 걸처 자연적으로 만들어진 언어라는 의미입니다. 자연어라고 부르는 까닭은 컴퓨터 공학 등에서 언어라고 하면 우선적으로 C 등의 프로그래밍 언어를 떠올리기 때문입니다. 🔎 자연어 처리(NLP) 자연어 처리는 컴퓨터가 인간의 언어를 알아들..
모각코 1차(2022-07-02)
👉 TODAY'S GOAL → Anaconda3 설치 → Visual Studio 연동 → 이미지 파일 불러오기 → MNIST 실습 진행 🎵 WHAT I LEARNED → Anaconda3 설치 및 실행 1. Anaconda3 설치 아나콘다 설치 페이지는 https://www.anaconda.com/products/distribution 해당 주소를 통해 들어가서 자신의 OS에 맞는 Install 파일을 다운로드 하면 됩니다. Anaconda | Anaconda Distribution Anaconda's open-source Distribution is the easiest way to perform Python/R data science and machine learning on a single mac..