1. 서론: 강화 학습의 가능성 최근 기계 학습 모델의 성과를 향상시키기 위해 대량의 감독 데이터를 이용하는 것이 일반적이었습니다. 그러나 DeepSeek-R1-Zero의 연구 결과는 이러한 전통적인 접근 방식을 넘어서, 감독 데이터 없이도 강화 학습( RL )을 통해 모델의 추론 능력을 크게 향상시킬 수 있음을 보여줍니다. 이 글에서는 DeepSeek-R1-Zero의 훈련 과정에서의 Aha Moment과 성과를 자세히 살펴보겠습니다. 2. Aha … Read more
H2: 모델 증류란 무엇인가? AI 기술의 발전과 함께 모델 증류(Knowledge Distillation)가 주목받고 있습니다. 모델 증류는 큰 AI 모델, 즉 “교사 모델”이 작은 AI 모델, 즉 “학생 모델”에게 지식을 전수하는 과정입니다. 이는 머신러닝에서 중요한 방법으로, 특히 고성능의 대형 모델을 효과적으로 활용하려는 기업들에게 유용합니다. H3: 왜 모델 증류가 필요한가? 기존의 대형 AI 모델은 운영 비용이 많이 듭니다. … Read more
최근 Deep Seek가 자사의 오픈 소스 추론 모델인 R1을 발표하였습니다. R1은 최신 훈련 전략을 기반으로 하여, 기존의 LLM(대형 언어 모델)과는 다른 새로운 확장 패러다임을 제시하고 있습니다. 이번 블로그 포스트에서는 이러한 추론 모델의 훈련 과정과 그 의미에 대해 깊이 있게 살펴보겠습니다. 1. R1 모델의 훈련 전략 Deep Seek는 R1을 훈련하기 위해 두 가지 주요 단계를 도입했습니다. … Read more
AI 분야에서의 혁신적인 연구 결과들은 종종 전체적인 방향성을 결정짓곤 합니다. 최근에 중국의 AI 기업 Deep Seek가 발표한 연구 논문과 그 모델은 이러한 변화를 이끌 새로운 기준이 되고 있습니다. 본 포스트에서는 Deep Seek R1이 AI 분야에 미치는 영향을 살펴보겠습니다. 1. Deep Seek R1: 무료로 제공되는 세계 최고 수준의 AI 모델 Deep Seek R1은 이제 누구나 다운로드하여 … Read more
최근 비디오에서 신경망의 기본 구조에 대한 설명을 했습니다. 이번 글에서는 **경량화된 기계 학습의 핵심인 경사 하강법(gradient descent)**의 개념을 심도 깊게 탐구하고, 우리가 다루고 있는 신경망의 동작 원리를 자세히 알아보겠습니다. 우리의 주요 목표는 손으로 쓴 숫자를 인식하는 전통적인 사례인 MNIST 데이터셋을 통해 신경망의 학습 과정을 이해하는 것입니다. 1. 신경망의 기본 구조 이해하기 손으로 쓴 숫자는 28×28 픽셀로 … Read more
비트코인(Bitcoin)은 현대 경제에서 혁신적인 디지털 화폐로 자리매김하였습니다. 금전적 거래를 위한 대체 수단으로 시작된 비트코인은 현재 많은 사람들에게 투자 및 거래의 수단으로 이목을 끌고 있습니다. 이번 포스팅에서는 비트코인의 기초 개념을 넘어, 원리와 구조를 깊이 있게 분석해보겠습니다. 비트코인의 근본: 분산 원장과 신뢰 비트코인 및 다른 크립토커런시의 가장 중요한 특징은 중앙 관리자가 없는 분산 원장 시스템입니다. 이는 거래를 … Read more
Transformer의 기본 개념 최근 AI 기술이 빠르게 발전하면서, 많은 사람들이 GPT(Generative Pretrained Transformer)에 대해 궁금해하고 있습니다. 이러한 모델은 텍스트를 생성하는 능력으로 주목받고 있으며, 어떻게 작동하는지 이해하는 것은 이 기술의 발전을 이해하는 데 도움이 됩니다. 이번 블로그에서는 transformer의 기본 개념, 작동 원리 및 다음 단어 예측 과정에 대해 자세히 알아보겠습니다. GPT는 텍스트, 이미지, 오디오 등 다양한 … Read more
서론 여러분은 어떻게 손글씨 숫자 ‘3’을 알아볼 수 있을까요? 픽셀이 흐릿하게 표현된 28×28 이미지도, 다양한 필체의 ‘3’도 순식간에 인식합니다. 이는 인간 뇌의 놀라운 능력이지만, 컴퓨터가 같은 작업을 하려면 신경망(Neural Network)이라는 복잡한 구조가 필요합니다. 이 글에서는 손글씨 인식 신경망의 구조를 단계별로 해부하고, 머신러닝의 핵심 원리를 쉽게 설명합니다. 1. 신경망의 기본 구조: 계층(Layer) 신경망은 입력층(Input Layer), 은닉층(Hidden … Read more
로컬에서 AI 모델을 실행하는 방법과 보안 꿀팁 최근 AI 기술의 발전으로 인해 DeepSeek R1과 같은 대형 AI 모델을 로컬(내 컴퓨터)에서 실행할 수 있게 되었습니다. 이는 클라우드 기반 AI 서비스와 달리 데이터 보안과 개인정보 보호 측면에서 큰 장점을 제공합니다. 하지만, 로컬에서 AI 모델을 실행할 때 보안과 안전성에 대한 의문이 생길 수 있습니다. 이 글에서는 로컬에서 AI … Read more