LG_CBM paper summary
motivation: VLG_CBM paper summary 1. Introduction CBM(Concept Bottleneck Model)은 중간에 Concept Bottleneck Layer(CBL)을 삽입해서, 사람이 이해할 수 있는 개념 단위로 예측 근거를 제공한다. ...
최근 포스트
sumarize paper called ‘A Bayesian Approach To Analysing Training Data Attribution In Deep Learning’
motivation: sumarize paper ‘A Bayesian Approach To Analysing Training Data Attribution In Deep Learning’ Blog Post: Rethinking TDA – A Bayesian Approach to ...
ewc 코드 분석
motivation: ewc 코드를 분석해보자. elastic weight consolidation. fisher information이란 무엇인가. 이거를 알아야 할 필요가 있어 보여서, 분석을 해보겠다. 두개만 이해하면 된다. 1. EWC class, 2. ewc...
information theory
motivation: 정보량에 대해서 알아보자. entropy의 정의 entropy의 정의는, 정보를 표현할 수 있는 평균 최소 자원량을 의미한다. 정의는 sigma_i(p_i)(log(1/p_i))로 쓰는데, 최소 자원량이라는 말에 log(1/pi)가 들어가있고, 평균...
warming in neural networks
motivation: neural network에서 warming을 쓰는 이유를 알아보자 출처: https://stackoverflow.com/a/55942518 결국 warming은, learning rate이 처음부터 크면, 초기 학습 데이터에 의해서 영향을 받게 ...