contrastive learning 2

[Machine learning]Energy-based Models(part1)

이번 글은 Energy based model에 대해 yann lecun의 강의를 듣고 정리한 내용입니다.https://www.youtube.com/watch?v=xIn-Czj1g2Q&list=PLLHTzKZzVU9e6xUfG10TkTWApKSZCzuBI&index=10기존 Machine Learning과 Multiple Output기존 machine learning은 입력값에 대해 단일 출력값만을 가졌습니다.저해상도에서 고해상도로 이미지를 변경할 때 다양한 출력값(multiple output)을 원할 수도 있고, NLP에서 blank 안에 문맥상 의미가 맞는 여러 단어가 오길 원하는 작업을 할 때 기존 machine learning은 문제가 있습니다.Energy Based Model (EBM) 개요Ene..

[Deep learning] Metric learning 개념 정리

이번 metric learning에 대한 내용 정리는 서울대학교 이준석 교수님 강의를 바탕으로 제작되었습니다.Metric learning기존 supervised learning과는 다르게 data 간의 distance(=similarity)를 배우는 방법입니다.데이터 간 서로 얼마나 비슷한 정도를 배우는 상대적인 개념으로 주관적인 개념입니다.따라서 전통적인 Supervised learning으로는 이러한 관계를 파악하기 어렵습니다. 얼핏 보면 상대적인 관계를 학습하기 힘들겠다고 생각이 들 겁니다.그러나 학습 시 label이 필요 없기 때문에 대규모의 데이터에 대해 쉽게 학습을 할 수 있다는 장점이 있습니다. Metric learning 중 information retrieval에서 쓰이는 Learning..