Home

KL-divergence와 Cross-Entropy에 대한 이해(정보이론)

시작하며 KL-divergence와 entropy 간의 관계를 살펴보자~ 여러 소스를 통해 정리한 사항을 글로 옮기지 않고 공부했었던 그대로 올리려고 한다! 글씨를 요즘 안써서 그런지 악필이 되어버렸다. 결국 직접 정리해보자면 다음과 같이 이해할 수 있다. 출처 https://reniew.github.io/17/ https://icim.nims.re.kr/post/easyMath/550 http://sanghyukchun.github.io/62/

Read more

💡지식재산권(IP)의 중요성

시작하며 이번 포스트는 해당 수업을 들으며 필요한 내용들을 정리해두려고 한다. 지식재산 관련 빅 데이터를 다루려고 하는 만큼 해당 도메인에 대한 이해가 필요하다. KOEF제공 한국청년기업가정신재단 BCB System 1. 지식재산권💡이란? 지적재산권, Intellectual Property, IP 지식이 곧 재산이 될 수 있는 권리 중복을 허용하지 않아야 가능하며 따라서 모든 지식재산권은 독점권임! 카피를 차단함으로써 선 순환구조를 유지시키기 위해 필요한 것 사업의 지속적 성공을 담보하기 위해 필요한 것 2. 왜 지식재산권(IP)을 가져야 하는가? 사업의 ...

Read more

😎딥러닝 관련 공부📝

들어가기에 앞서 딥러닝을 공부하면서 정말 많은 도움을 받은 material(유튜브 채널, 블로그, 웹사이트 등)들을 정리해둔다. 자연어처리 관련 ★★★딥러닝을 이용한 자연어 처리 입문 BERT 톺아보기 Dissecting BERT Part 1: The Encoder LaRva 데뷰 2019 - 엄~청 큰 언어 모델 공장 가동기! ChrisMcCormickAI 유튜브 채널 Huggingface/transformers 라이브러리 ★★★핑퐁 팀 기술 블로그 시각화의 귀재 Jay Alammar 의 블로그 Minsuk Heo 허민석 많은 도움을 받은 여러 사이트들이 존재하지만 그 중...

Read more

[논문리뷰📄] Learning to Classify Images Without Labels

들어가기에 앞서 논문: Learning to Classify Images Without Labels URL: https://arxiv.org/abs/2005.12320 저번에 74페이지인가 하는 GPT-3논문을 처음부터 한 섹션씩 정리하려니까 2장까지 하는 데에도 너무 많은 시간이 걸렸다. 이제부터는 논문의 핵심 아이디어만 빠르게 skim하면서 블로그에 정리하고, 좋은 논문임이 판단되면 자세하게 살펴보려고 한다. 물론 이제까지 그래왔지만 이렇게 블로그에 정리를 하면서 논문을 읽으니 더 오래 걸린다 ㅋㅋ 이번에는 해당 유튜브 채널에서 먼저 짚어주는 포인트들을 살펴보고, 그...

Read more

[논문리뷰📄] Language Models are Few-Shot Learners (GPT-3)

들어가기에 앞서 논문: Language Models are Few-Shot Learners URL: https://arxiv.org/abs/2005.14165 해당 포스트는 논문과 다음의 2개의 유튜브 영상을 보며 정리하였습니다. 논문의 내용을 기본으로 했지만, 필요에 따라 공부한 것들을 추가하였습니다. 그 중에서도 Yannic Kilcher의 채널은 최근 엄청난 속도로 최신 논문들을 리뷰해주는 유튜브 채널이다.(정말 멋있는 연구자 및 유튜버) 다른 무엇보다 최대 강점은 논문이 나온지 1~2일만에 리뷰를 해주며, 실제로 논문을 high level에서 핵심 아이디어만 짚어...

Read more