본문 바로가기

분류 전체보기

 (51)
SALAD와 LTN의 만남: 좌충우돌 Neuro-Symbolic AI 모델 디버깅 탐험기 1. 서론: 왜 Neuro-Symbolic AI인가? 그리고 왜 이 여정은 험난했는가?이 프로젝트의 최종 목표는 단순히 이상 탐지 모델의 성능을 조금 더 끌어올리는 것이 아니었습니다. SOTA 이상 탐지 모델인 SALAD에 기호 논리 추론이 가능한 Logic Tensor Networks(LTN)를 결합하여, 성능과 설명력을 모두 갖춘 Neuro-Symbolic AI를 구현하고자 했습니다. 기존의 Grounding DINO 모델을 50 에포크 동안 Full Fine-tuning하는 방식으로는 67%의 성능에 머물렀지만, 이 새로운 접근법을 통해 90% 이상의 SOTA급 성능을 달성하고, 나아가 '왜 이 이미지가 이상(anomaly)으로 탐지되었는가?'를 논리적으로 설명할 수 있는 시스템을 만드는 것이 핵..
메모리 터질 때 쓰는 치트키? DeepSpeed로 GroundingDINO 돌려봄 GroundingDINO 미세조정 분투기: 끈질긴 OOM과 타입 에러 해결의 전 과정서문: 거대 모델 미세조정, 이상과 현실의 간극GroundingDINO와 같이 강력한 비전-언어 모델을 특정 도메인에 맞게 최적화하는 가장 확실한 방법은 전체 파라미터를 미세조정(Full Fine-tuning)하는 것입니다. 이 접근법은 모델이 가진 잠재력을 최대한 끌어내어 LoRA와 같은 경량화 튜닝 기법을 뛰어넘는 성능을 기대하게 합니다.하지만 이론적인 이상과 현실의 간극은 컸습니다. 이 과정은 단순히 준비된 스크립트를 실행하는 것으로 끝나지 않았습니다. 오히려 제한된 하드웨어 환경에서 발생하는 메모리 부족(OOM), 데이터 타입 충돌 등 예상치 못한 기술적 난관과의 끈질긴 싸움이었습니다.이 블로그 게시물은 수많은 실..
점수 높은 AI가 더 쓸모없다? 한 공학자의 기묘한 깨달음 https://youtu.be/jp7uJvfm-gc 소개: AI 성능의 함정우리는 흔히 "AI 모델의 성능이 높을수록 좋다"고 믿습니다. 90%보다는 95%가, 95%보다는 99%가 더 뛰어난 모델이라고 생각하는 것은 당연해 보입니다. 그런데 만약 80%라는 높은 성능 점수를 가진 AI가 실제 현장에서는 전혀 쓸모없다면 어떨까요?이것은 단순한 가정이 아닙니다. 제가 이번주에 겪었던 이 여정은 AI 성능이라는 지표를 어떻게 바라봐야 하는지에 대한 중요한 깨달음을 던져줍니다. 통계적 성공에 취해있던 제가 마주한 다섯 번의 충격적인 진실을 통해, 숫자에 가려진 진짜 의미를 파헤쳐 봅니다.1. 80%는 0%였다: 통계적 성공 뒤에 숨겨진 '실용성의 함정'IEEE ACCESS라는 SCI 급 학계에 논문 제출을 위..
멸종 전야의 낙관 "모든 것을 지배하는 단 하나의 AI를 만들지 못했다면, 두려워하지 마라. 그들의 파도를 탈 기회가 아직 있다—기본소득이 당신을 구하러 오기 전까지는."어느 뉴스레터에서 읽은 문장이다. 톨킨의 '절대 반지'를 패러디한 농담 같았지만, 웃기지 않았다. 너무 정확했기 때문이다.요즘 AI 업계 소식을 보면 묘한 기분이 든다. OpenAI, Google, Anthropic—이들이 쏟아내는 발표는 마치 다른 행성에서 오는 뉴스 같다. 수십조 원의 투자, 수천 명의 박사급 연구진, 인류의 미래를 논하는 거창한 선언들. 그 옆에서 나는 작은 회사의 POC 일정을 맞추느라 새벽까지 코드를 고치고 있다.같은 산업에 있다고 말하기 민망한 격차다.창업가로서 '멸종'이라는 단어가 과장이 아니라고 느껴질 때가 있다. 우리가 몇..
빈 사무실에서 마주한 질문: 스타트업 실패 데이터가 말해주는 ‘속도’의 역설 한 장면으로 시작하기“저는 남들보다 더 빨리 달렸고 더 과감하게 투자했습니다. 도대체 무엇이 잘못된 걸까요?”폐업 신고를 마친 24세 창업가 K가 텅 빈 사무실에서 혼잣말처럼 던진 이 질문이, 오랫동안 머릿속을 떠나지 않았습니다. 저 역시 AI 프로젝트의 기획과 실행을 오가며 ‘빠르게’라는 단어가 주는 압박을 매일 체감하기 때문입니다. 경쟁사가 먼저 결과물을 내놓으면 어쩌나, POC 일정이 밀리면 어쩌나—이런 불안은 스타트업뿐 아니라 기업 내 신규 사업 담당자에게도 익숙한 감정입니다.그런데 270만 명의 창업가 데이터와 630만 건의 채용 공고를 분석한 두 편의 학술 연구는, 우리가 맹신해온 ‘속도 = 생존’이라는 등식에 균열을 냅니다. 오늘은 그 균열 사이로 비치는 빛을 따라, 제가 느낀 작은 깨달음을..
클로드 오퍼스(Opus) 4.5 소개 클로드 오퍼스 4.5 소개2025년 11월 25일최신 모델인 클로드 오퍼스 4.5가 오늘 출시되었습니다. 이 모델은 지능적이고 효율적이며, 코딩, 에이전트, 컴퓨터 활용 분야에서 세계 최고의 성능을 자랑합니다. 심층 연구, 슬라이드 및 스프레드시트 작업과 같은 일상 업무에서도 의미 있게 향상되었습니다. Opus 4.5는 AI 시스템의 역량을 한 단계 끌어올렸으며, 업무 수행 방식에 대한 더 큰 변화의 예고편입니다.Claude Opus 4.5는 실제 소프트웨어 엔지니어링 테스트에서 최첨단 성능을 입증했습니다:오푸스 4.5는 오늘부터 당사 앱, API, 그리고 세 주요 클라우드 플랫폼 모두에서 이용 가능합니다. 개발자라면 클로드 API를 통해 claude-opus-4-5-20251101을 사용하기만 하면 됩..
생성형 AI 개발자가 되는 4단계 생성형 AI 개발자가 되는 4단계이 글에서는 생성형 AI 개발자의 역할, 숙달해야 할 도구, 그리고 시작하는 방법을 다룹니다.소개 2023년 10월 열린 OpenAI 개발자 데이에서 OpenAI CEO 샘 알트먼이 제품 사용 현황 수치를 발표했습니다. OpenAI는 개발자, 기업, 일반 사용자 세 가지 고객 세그먼트를 고려합니다. 링크: https://www.youtube.com/watch?v=U9mJuUkhUzk&t=120s2023년 10월 열린 OpenAI 개발자 데이에서 샘 알트먼 OpenAI CEO는 슬라이드를 통해 개발자, 기업, 일반 사용자 세 고객 세그먼트별 제품 사용 현황을 소개했습니다. 본 글에서는 개발자 세그먼트에 집중합니다. 생성형 AI 개발자의 업무 내용, 이 직무에 필요한 도구 숙..
드롭아웃과 인생의 불확실성: 알고리즘 속에서 발견한 실존적 통찰 서론: 기계학습 메커니즘에서 발견한 인간 조건의 은유드롭아웃 정규화 기법이 신경망 학습 과정에서 보여주는 무작위성과 불확실성이, 인간 삶의 근본적인 불공정성 및 예측 불가능성과 구조적으로 유사하다는 관찰은 단순한 표면적 비유를 넘어서는 깊이를 지닌다.드롭아웃 알고리즘은 Geoffrey Hinton 등이 2012년에 제안한 이후 딥러닝 분야에서 과적합을 방지하는 가장 효과적인 정규화 기법 중 하나로 자리매김했다. 이 기법의 핵심은 학습 과정에서 각 뉴런을 확률 p(일반적으로 0.5)에 따라 무작위로 비활성화시키는 것이다. 중요한 점은 이 선택이 해당 뉴런의 가중치 값, 활성화 함수의 출력, 또는 네트워크 내에서의 위치와 무관하게 순전히 확률적으로 이루어진다는 것이다.https://www.cs.toronto..

티스토리툴바