AI Frontier 리뷰 - EP 119. 코드로 재생하는 AI - Video as Code와 생성형 오독

영상 설명#

Opus 5.5 이후로 시작된 "Video as Code" 와 "생성형 오독"에 대한 내용입니다.

• LLM 가지고 Video 를 Code를 통해 생성해본 경험
• LLM 가지고 편집해본 경험
• 몇가지 수식을 가지고 소리를 생성해보고 이를 의미와 연결해보는 탐색 과정 https://www.youtube.com/watch?v=ezyjIdJO72Y

생각#

영상 편집#

Fine-tuning 을 통해서만 해결할 수 있는 문제들이 확실이 있었다고 하는 부분이 눈에 밟혔고, LLM 이 RLVR 로 접근하기 힘들면 잘 안되는 점을 느낄 수 있었어요

수식과 소리 (생성형 오독)#

저는 이쪽이 좀더 인상 깊었는데, 수식과 소리의 연결 탐색 과정을 통해서 미지의 요소를 LLM(도구)를 이용해 생각과 심상을 확장해보는 과정 자체에 의미가 있다는 느낌을 받았어요.

Agentic System 이전에 휴리스틱을 통해 LLM 을 활용(Prompt Enginnering 등)했던 과거가 생각났습니다. 이때도 LLM 이 잘 판단하지 못하는 작업을 쪼개고 의미를 붙이면서 작업이 진행되게 하는 Auto GPT 같은 느낌과 비슷하다는 느낌을 받았습니다.

Low-hanging frutes 로 채워 나갈 수 있을 것 같다는 느낌이라고 승준님이 말씀하셨습니다만 저는 어디에 열매가 맺혀있는지 조차 잘 모른다는 생각이 드네요.. https://aifrontier.kr/en/episodes/ep94/

Dall-E 예시 설명에서 "Interpolation" 과 "Out of distribution 에서의 Noise" 는 지리는 예시라 생각합니다.