코드 깎는 PM

RNN(Recurrent Neural Network, 순환 신경망)은 자연어 처리(NLP), 시계열 분석, 음성 인식 등 다양한 시퀀스 데이터 처리 작업에 널리 사용되는 신경망 모델입니다. RNN의 핵심 아이디어는 데이터의 순서와 컨텍스트를 기억하는 것이며, 이를 통해 시퀀스 내 각 요소 간의 장기적인 의존성을 모델링할 수 있습니다. 이 글에서는 RNN의 기본 원리, 구조, 작동 방식, 그리고 실제 응용 사례에 대해 살펴보겠습니다. RNN 기술 발전 패러다임 RNN은 시퀀스 데이터의 정보를 시간에 따라 전달할 수 있는 순환 구조를 가집니다. 이 순환 구조 덕분에, 과거의 입력이 현재와 미래의 출력에 영향을 미칠 수 있습니다. 초기 RNN 모델은 간단한 시퀀스 데이터 처리에는 유용했지만, 장기 의존성 문제..

RAG(Retrieval-Augmented Generation) 모델은 자연어 처리(NLP)의 한 영역에서 중요한 역할을 하는, 정보 검색 기반의 생성 모델입니다. 이 모델은 기존의 생성 모델에 정보 검색 단계를 추가함으로써, 특정 질문에 대한 답변을 생성할 때 관련된 문서나 데이터를 참조할 수 있도록 설계되었습니다. RAG 모델의 핵심 아이디어는 텍스트 생성 과정에 외부 지식을 통합하는 것입니다. 이를 통해 모델은 더 정확하고 관련성 높은 답변을 생성할 수 있습니다. RAG 모델의 구조 RAG 모델은 크게 두 부분으로 구성됩니다: **검색기(retriever)**와 생성기(generator). 검색기(retriever): 질문에 가장 관련이 깊은 문서나 데이터를 검색하는 역할을 합니다. 이 검색 과정은..

N-gram 모델: 자연어 처리의 기초 이해하기 자연어 처리(Natural Language Processing, NLP)는 기계가 인간의 언어를 이해하고 해석하는 능력을 개발하는 인공지능(AI) 분야의 한 영역입니다. 이 글에서는 NLP의 기초적인 도구 중 하나인 N-gram 모델에 대해 소개하고자 합니다. N-gram은 텍스트 데이터를 처리하고, 언어의 패턴을 학습하는 데 있어 강력한 도구입니다. 본문을 통해 N-gram 모델의 정의부터 실제 구현 예제까지, 단계별로 살펴보겠습니다. 1. N-gram 모델이란? 1-1. N-gram 모델의 정의 N-gram 모델은 주어진 단어(또는 문자) 시퀀스에서 다음 단어(또는 문자)의 등장 확률을 예측하는 통계적 언어 모델입니다. "N"은 특정 단어 앞에 고려하는..

0. N-gram 정의: N-gram은 텍스트 데이터에서 N개의 연속적인 아이템(단어, 문자 등)의 시퀀스를 의미함. 주어진 시퀀스에서 다음 아이템을 예측하기 위해 이전 N-1개의 아이템을 사용함. 개발 목적: 언어 모델링과 텍스트의 확률적 속성을 분석하기 위해 사용됨. 주로 텍스트 데이터에서 패턴을 인식하고, 주어진 시퀀스에 이어질 가능성이 높은 아이템을 예측하는 데 활용됨. 장점: 구현이 간단하고 계산 비용이 낮으며, 작은 데이터셋으로도 효과적인 모델을 구축할 수 있음. 단점: 문맥의 장거리 의존성을 잡아내기 어려움. N의 크기가 커질수록 모델이 처리해야 할 가능한 시퀀스의 수가 기하급수적으로 증가하여, 데이터의 희소성(sparsity) 문제가 발생할 수 있음. 1. RNN (Recurrent Neu..

본 글은 저자의 경험과 학습을 기반으로 만든 자체적인 모형에 대한 설명임을 밝힙니다. 또한, 이 글은 온라인 Product를 중심으로 쓰여졌습니다. 0. 마케팅 World Intro 마케팅과 기획은 떼어놓을 수 없는 관계이다. 굳이 차이를 나누자면 기획이라는 개념 자체는 광의적으로 모든 [기획-디자인-개발] 과정의 각 단계에서 플래닝과 실행을 포괄하는 용어이지만, 협의적으로는 1) 시장(Market - Front)에서 프로덕트에 대한 의견을 받고 프로덕트에 대해 알리는 직군이 '마케터', 2) 제품(Product - Back)의 개발/개선 과정에 보다 초점을 맞춘 업무라 말할 수 있다. 그러나 위의 설명은 굉장히 해당 직군의 경계와 업무 범위를 인위적으로 구분한 것이기 때문에 참고하는 정도로만 받아들이면..

본 블로그는 데이터 에듀 출판사의 'ADP 필기 데이터 분석 전문가'를 요약한 글임을 밝힙니다. "이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다." 출처: https://link.coupang.com/a/bqdOtL ADP 필기 데이터 분석 전문가 COUPANG www.coupang.com 4. 확률 및 확률분포 가. 확률 표본공간 S에 부분집합인 각 사상에 대해 실수값을 가지는 함수의 확률값이 0과 1사이에 있고,전체 확률의 합이 1인 것을 의미한다. 표본공간 Ω의 부분집합인 사건 E의 확률은 표본공간의 원소의 개수에 대한 사건 E의 개수의 비율로 확률을 P(E)라고 할 때, 다음과 같이 정의한다 P(E) = n(E)/n(Ω) 1) 표본공간 (Sample Spac..