simpling

  • 홈
  • 태그
  • 방명록

class-imbalance 1

논문 리뷰: Learning towards Minimum Hyperspherical Energy

"Learning towards Minimum Hyperspherical Energy" (2018, NIPS) - Liu et al. 이 논문은 효율적인 neural network 학습을 위해 서로 다른 neuron이 나타내는 feature 사이의 distance가 증가하게 하고 그로 하여금 generalization 성능을 이끌어 내려고 한다. Introduction 최근 Neural Network 관련 paper들을 보면 크면 클수록(over parameterization) 잘 된다라고 한다. 그런데 한편으로는 클수록 correlation이 높은 neurons가 많아서 redundant 하다고도 한다. 그래서 큰 모델을 학습시키고 Pruning을 시켜 compression 하는 방법이나 efficie..

머신러닝&딥러닝/논문리뷰 2021.08.15
이전
1
다음
더보기
프로필사진

인공지능 및 파이썬 공부를 하며 정리하는 공간입니다.

  • 분류 전체보기
    • 퀀트투자
    • Story
      • 여행
    • python
    • 머신러닝&딥러닝
      • Tensorflow&keras
      • 강화학습
      • 자연어처리
      • 논문리뷰
      • 기초정리
      • 베이지안
      • Torch
    • django
    • 컴퓨터 과학
      • 컴퓨터 구조
      • 운영체제
      • 네트워크

Tag

multi-task-learning, self attention, 자연어처리, swa, Generalization, 베이지안 딥러닝, bayesian deep learning, CNN, epistemic, 트랜스포머, bayesian, interpretable, 일본여행, 마르코프, TRANSFORMER, 경사하강, 딥러닝, aleatoric, uncertainty, LSTM,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

Archives

Copyright © Kakao Corp. All rights reserved.

티스토리툴바