쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. Part 2. 프로토타입부터 점진적으로 개선하기 2.4 Cloud 1. Cloud Cloud 서비스를 사용하는 이유 웹, 앱 서비스를 만드는 경우 자신의 컴퓨터(localhost)로 서비스를 만들 수도 있음 IP로 누구나 접근할 수 있게 수정하고, IP를 공유하기 등 그러나 이런 경우 자신의 컴퓨터가 종료되면 웹, 앱 서비스도 종료됨 이런 경우 전통적인 접근 방법 물리적 공간, 확장성을 고려한 서버실을 만들고 운영 IDC(Internet Data Center) 서버 컴퓨터를 넣을 공간 + 추후 서버를 추가할 때 즉각적으로 확장할 수 있는지 전기, 에어컨 등 서버가 급작스럽게 종료되지 않도록 준비가 필요함 갑자기 트래픽이 몰릴 경우, 컴퓨터 10대를 설치하기 어려움(..

이 색깔은 주석이라 무시하셔도 됩니다. 내가 만든 AI 모델은 합법일까, 불법일까 저작권법, 우리가 왜 알아야 할까? 좋은 AI 모델은 좋은 데이터로부터 나온다. 새롭게 데이터를 제작할 때, 저작권을 고려하지 않으면 합법적으로 사용할 수 없게 된다. 합법적이지 않은 데이터로 학습한 모델 또한 완전한 합법의 영역에 있다고 보기 어렵다. 학계에서도 점점 저작권과 라이센스에 대해 주목하고 있다. 아직 저작권법은 AI 모델 개발을 고려하지 않은 부분이 많다. 현재의 저작권법은 아직 “AI 산업”을 고려하지 않고 있다. AI 분야 저작권 면책조항이 신설된 저작권법 개정안이 추진되고 있는 상황 AI와 창작자 모두를 고려한 좋은 방향의 법 개정을 위해 관심을 가질 필요가 있다 용어 정의 저작권 사람의 생각이나 감정을..

이 색깔은 주석이라 무시하셔도 됩니다. QA with Phrase Retrieval Phrase Retrieval in Open-Domain Question Answering Current limitation of Retriever-Reader approach Error Propagation : 5~10개의 문서만 reader에게 전달됨 Query-dependent encoding : query에 따라 정답이 되는 answer span에 대한 encoding이 달라짐 How does Document Search work? One solution : Phrase Indexing Query-Agnostic Decomposition F가 G와 H로 나뉠 수 있다는 가정이 필요함 따라서 실질적으로 정확히 dec..

이 색깔은 주석이라 무시하셔도 됩니다. Closed-book QA with T5 Closed-book Question Answering Current approaches of builiding QA system Idea of Closed-book Question Answering 모델이 이미 사전학습으로 대량의 지식을 학습했다면, 사전학습 언어모델 자체가 이미 하나의 knowledge storage라고 볼 수 있지 않을까? ⇒ 굳이 다른 곳에서 지식을 가져와야할 필요가 없지 않을까? 모델 안에 모든 정보가 포함되어 있어야 함 대량의 지식을 사전학습한 언어 모델이 하나의 knowledge storage인 것 Zero-shot QA performance of GPT-2 사전학습 시 전혀 본적 없는 Natur..

이 색깔은 주석이라 무시하셔도 됩니다. Reducing Training Bias Definition of Bias Bias의 종류 Bias in learning 학습할 때 과적합을 막거나 사전 지식을 주입하기 위해 특정 형태의 함수를 선호하는 것(inductive bias) A Biased World 현실 세계가 편향되어 있기 때문에 모델에 원치 않는 속성이 학습되는 것 (historical bias) 성별과 직업 간 관계 등 표면적인 상관관계 때문에 원치 않는 속성이 학습되는 것 (co-occurrence bias) Bias in Data Generation 입력과 출력을 정의한 방식 때문에 생기는 편향 (specification bias) 데이터를 샘플링한 방식 때문에 생기는 편향 (sampling ..

이 색깔은 주석이라 무시하셔도 됩니다. Linking MRC and Retrieval Introduction to ODQA Linking MRC and Retrieval : Open-domain Question Answering (ODQA) MRC : 지문이 주어진 상황에서 질의응답 ODQA : 지문이 따로 주어지지 않음. 방대한 World Knowledge에 기반해서 질의응답 Ex) Modern search engines : 연관 문서 뿐만 아니라 질문의 답을 같이 제공 History of ODQA Text retrieval conference(TREC) - QA Tracks (1999-2007) : 연관문서만 반환하는 information retrieval(IR)에서 더 나아가서, short answ..