simpling

  • 홈
  • 태그
  • 방명록

Weight perturbation 1

논문 리뷰: Sharpness-Aware Minimization for Efficiently Improving Generalization

"Sharpness-Aware Minimization for Efficiently Improving Generalization" (2020, google research) Introduction 이번 논문은 flat minima를 찾아 Generalization 성능을 이끌어내는 알고리즘을 제안한 논문이다. Flat minimum의 loss는 주위 loss와 차이가 별로 나지 않을 것임을 안다. 이런 조건을 만족하도록 optimize 하는게 핵심이다. 기존부터 loss landscape은 generalization 논문에서 자주 등장한다. 보통의 경우 landscape이 flat 할수록 general 한 성능을 보이고 sharp 할수록 그렇지 않다고 주장한다 (보통의 경우라 한 이유는 그 반대의 주장을 ..

머신러닝&딥러닝/논문리뷰 2021.08.08
이전
1
다음
더보기
프로필사진

인공지능 및 파이썬 공부를 하며 정리하는 공간입니다.

  • 분류 전체보기
    • 퀀트투자
    • Story
      • 여행
    • python
    • 머신러닝&딥러닝
      • Tensorflow&keras
      • 강화학습
      • 자연어처리
      • 논문리뷰
      • 기초정리
      • 베이지안
      • Torch
    • django
    • 컴퓨터 과학
      • 컴퓨터 구조
      • 운영체제
      • 네트워크

Tag

interpretable, uncertainty, CNN, 마르코프, epistemic, swa, Generalization, aleatoric, 경사하강, self attention, TRANSFORMER, multi-task-learning, 일본여행, 자연어처리, bayesian, LSTM, 트랜스포머, bayesian deep learning, 딥러닝, 베이지안 딥러닝,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

Archives

Copyright © Kakao Corp. All rights reserved.

티스토리툴바