본문 바로가기

AI & Python

파이썬(python) 설치 및 파이참(pycharm) 설치 with 윈도우10 2021년 가장 Hot한 언어는 뭘까요?파이썬은 프로그래머인 귀도 반 로섬이 발표한 고급 프로그래밍 언어로, 플랫폼에 독립적이며 인터프리터식, 객체지향적, 동적 타이핑 (dynamically typed) 대화형 언어입니다. 제 생각에는 타입을 지정하지 않아 간결한 문장을 쓸수 있지만 그에따른 Type Error를 경험할 수 있는트렌디 하면서 장점과 단점이 공존하는 언어라고 생각합니다.오늘은 프로그래밍 입문자들이 가장 많이 사용하는 파이썬을 window기반에서설치하고 개발환경 파이참을 통해 파이썬을 실행하는 방법을 공유하겠습니다. python 설치하기 - 파이썬 공식 홈페이지로 접속하여 파이썬을 다운 받겠습니다.https://www.python.org/downloads/ Welcome to Python.o.. 더보기
정규표현식(Regular Expression) with 파이썬 . ? + *기호 re.compile(), re.findall(), re.sub() (2) 이전 글에서는 정규표현식에서 사용하는 기호에 대해 설명했었는데요.이번 글에서는 re모듈의 함수 활용법에 대해 알아보도록 하겠습니다. re.match() 와 re.search()의 차이search()가 정규 표현식 전체에 대해서 문자열이 매치하는지를 본다면, match()는 문자열의 첫 부분부터 정규 표현식과 매치하는지를 확인합니다. 문자열 중간에 찾을 패턴이 있다고 하더라도, match 함수는 문자열의 시작에서 패턴이 일치하지 않으면 찾지 않습니다.import rer=re.compile("ab.")r.search("kkkabc")r.match("kkkabc") #아무런 결과도 출력되지 않는다.r.match("abckkk")r.search("abckkk") re.split()split() 함수는 입력된 .. 더보기
정규표현식(Regular Expression) with 파이썬 . ? + *기호 re.compile(), re.findall(), re.sub() (1) 정규표현식정규식(正規式)은 특정한 규칙을 가진 문자열의 집합을 표현하는 데 사용하는 형식 언어 입니다.특히 문자열을 처리할 때 정규표현식을 쉽게 활용할 수 있습니다.정규표현식은 모든 프로그래밍 언어의 공통으로 사용할 수 있기 때문에 한번 익혀놓으면어디든지 활용하기 용이합니다.정규표현식에 알아보고 파이썬에서 활용하는 방법을 확인해보겠습니다.파이썬에서는 정규표현식 모듈 re를 지원합니다.이를 이용하여 특정 규칙이 있는 텍스트 데이터를 빠르게 정제할 수 있겠죠? 복잡해 보이지만 한번 익혀놓으면 편합니다.실습을 통해 하나씩 알아보겠습니다. . 기호. 은 __한 개의 임의의 문자__를 나타냅니다.예를 들어서 정규 표현식이 a.c라고 합시다. a와 c 사이에는 어떤 1개의 문자라도 올 수 있습니다. 즉, akc, .. 더보기
자연어처리, 워드임베딩 (Word2Vec, FastText , GloVe 예제)(2) 개념은 1부의 내용과 같습니다. 이제는 언어(자연어)를 수치화 해서 나열하는 방법은 여러가지인데요, 대표적인 3가지로 실습해보겠습니다. Word2Vec, FastText , GloVe 순서입니다. * Word2Vec (https://code.google.com/archive/p/word2vec/) * FastText (https://github.com/facebookresearch/fastText) 빠르고 효율적입니다. 형태학적인 세부 사항도 끝납니다. FastText는 알 수 없는 단어에 대한 단어 벡터를 유도하거나 어휘에서 단어를 추출할 수 있기 때문에 고유합니다. Word2vec과 GloVe 둘 다 모델 사전에 없는 단어에 대한 벡터 표현을 제공하지 못합니다. * GloVe (https://gith.. 더보기
자연어처리, 워드임베딩 (Word2Vec, FastText , GloVe 예제)(1) Word Embedding이란? 워드 임베딩은 단어를 컴퓨터가 이해하고, 효율적으로 처리할 수 있도록 단어를 벡터화하는 기술 워드 임베딩은 단어의 의미를 잘 표현해야만 하며, 현재까지도 많은 표현 방법이 연구 워드 임베딩을 거쳐 잘 표현된 단어 벡터들은 계산이 가능하며, 모델 투입도 가능 워드임베딩은 Deep Learning 분야에서 자연어처리에서 필수적으로 알아야할 개념입니다. 머신러닝, 딥러닝으로 학습을 시킬 데이터는 숫자로 나타낼 필요가 있습니다. 영어나 한국어나 모든 언어(자연어)들은 abcd, ㄱㄴㄷㄹ 이런식으로 수치화되어있지 않기때문에 특징들을 뽑아내서 수치화하게 되는게 이 과정을 워드임베딩 이라고 합니다. 즉 단어를 밀집 벡터(dense vector)의 형태로 표현하는 방법을 워드 임베딩(w.. 더보기
딥러닝에서 가중치(W), 편향(Bias)의 역할 층이 여러겹으로 쌓이는것을 딥러닝이라고 합니다.인간의 신경망처럼 얽히고 섥히니 정확도가 올라가는 구조 입니다. 인공지능을 처음 공부하게 되면 W를 찾는과정, Bias의 역할등에 대한 단어가 계속 해서 나올것 입니다.가중치 (W), 편향 (Bias)의 설명과 역할 그리고 이 복잡한 구조에서 어떻게 정확한 예측값이 나오고어떤 원리로 동작하는지 알아보겠습니다. 가중치 (Weight)처음 들어오는 데이터(입력층)에서 다음 노드로 넘어갈때 모두 같은값이면 계속 같은 값이 나올것 입니다. 각기 다르게 곱해야 한다는것이 바로 가중치(weight)입니다. 데이터를 각기 다른 비중으로 다음 은닉층(hidden layers)으로 전달시키기 위해 웨이트(weight), 중요도를 다르게 한다고 이해하시면 됩니다. 예를들어 보.. 더보기
인공지능, 머신러닝, 딥러닝(AI, ML, DL)이 무슨 말? 요즘 자율주행이다 뭐다 인공지능이란 말이 누구에게나 친숙한 말이 되어버렸어요. 인공지능이 안들어가는 곳이 없고, 가끔 보면 어떠한 문제의 해결하기 위한 수단으로 인공지능이란 단어만 들어가면 뭔가 될 것 처럼 이야기 하는사람들이 많은거 같아요. 공학도들은 ML 이다 DL이다 전문적으로 보이는 말도 쓰는데, 그러면 인공지능이 대체 뭐길래? 어려운 문제의 만병통치약의 해결책으로 떠오르는지 알아보죠 ㅎㅎ 인공지능(AI) 인공지능은 말그대로? 인간이 가진 생각하는 능력을 컴퓨터를 통해 구현하는 기술이라고 말합니다. 사람처럼 생각하는 기계가 인공지능기술로 만들어졌다. 머신러닝이나 딥러닝을 모두 포함하는 큰 범위의 개념이라고 보시면 될것 같습니다. 인공지능의 종류는 3가지로 분류합니다. 약한 인공지능(ANI, Art.. 더보기