ysk1m 님의 블로그

저번에 공부한 SPEN의 한계점을 보완한 뉴립스 2022 paper SEAL에 대해 공부해 보겠다.BackgroundSPEN의 추론 과정은 test-time optimization을 하는데, 추론할 때도 backprop연산을 하며 각 \(y\)를 update 하였다.이런 식으로 추론하는 것을 Gradient based inference라 하며 이 방법은 상당히 느리고 불안정하다. 그래서 SEAL은 task-net과 loss-net으로 나눠 task-net에서는 GBI 없이 정답에 가까운 \(y\)를 바로 출력한다.대신 loss는 energy network를 통해 구조적 의존성을 반영한다.Introduction\(y\)들의 dependency를 모델링하기 위해 많은 방법이 있었다.implicit 하게 de..

Protein structure 예측과 관련된 연구에 관심이 생겨 structured prediction에 대해 공부해 봐야겠다고 생각했다.2016년 ICML에 publish 된 논문이다. Paper를 review하기 보단 강의 slide가 있어 이 내용을 순차적으로 공부해보려 한다.Background한 입력에 대해 복수의 label을 예측하는 문제인 Multi-label Classification 시 label 간의 관계를 어떻게 잘 파악할지에서 시작한다.다음과 같이 다양하게 label을 예측할 수 있는 것이다.multi-label을 예측하는 방법 중 가장 흔히 쓰이고 편한 것이 Independent Prediction이다.이 prediction은 각 label을 독립적으로 예측하고 라벨 간의 상호작용..

Motivation기존에는 Vision modal과 language modal을 같이 한 번에 학습하는 single stream 구조가 많았습니다.이 경우 각 modal뿐 아니라 두 modal에 대한 관계도 잘 학습하기 어려웠고 visual grounding이 필요한 task에 대해서 성능이 좋지 않았습니다. 그래서 이 paper에서는 각각의 modal를 잘 학습하고 두 modal의 관계 또한 잘 학습하여 visual grounding이 필요한 task를 잘하는 모델을 만드는 것이 목표입니다. 또한 이러한 visual grounding이 pretrain이 가능하고 transfer learning도 가능하다는 점을 보여줍니다.Approach첫 번째로 보면 visual stream과 language stre..

뉴립스 2024 workshop 중 관심 있던 Paper에 대해 리뷰해보려고 하는데요. 정말 다양한 주제가 있지만, 그중에서도 AI가 수학적인 추론 부분에서 얼마나 잘하는지에 대해 궁금증을 가져 이 내용에 대해 알아보려고 합니다. 제가 MATH-AI에서 리뷰할 논문은 How Far Can Transformers Reason? The Globality Barrier and Inductive Scratchpad입니다. 다음과 같은 순서로 리뷰할 예정입니다.AgendaSummaryProblemSyllogisms compositionHardness of long compositionsHardness of global reasoningSolutionDefinition: Globality degreeScratchp..