Dataset Information

• Dataset Name:
• Prefered code name(e.g. korean_chatbot_qa_data): sae4k
• Dataset description:
• Homepage: https://github.com/warnikchow/sae4k
• Citation:

Additional Context

Dataset Information

• Dataset Name: namuwiki corpus
• Prefered code name(e.g. korean_chatbot_qa_data):
• Dataset description:
• Homepage: https://github.com/jeongukjae/namuwiki-corpus
• Citation:
• License:

Additional Context

문장 단위 분절해놓은 나무위키 코퍼스

Dataset Information

• Dataset Name: 한국어 위키피디아 코퍼스
• Prefered code name(e.g. korean_chatbot_qa_data): korean_wikipedia_corpus
• Dataset description:
• Homepage: https://github.com/jeongukjae/korean-wikipedia-corpus
• Citation:
• License:

Additional Context

kowikitext도 충분히 좋지만, 문장단위로 사용할 때 불편한 점이 있다. 그래서 문장단위로 이미 나누어진 말뭉치를 한국어 위키피디아 덤프에서 하나 생성. (kss로 분절)

FeaturesDict({
    'content': Sequence(Text(shape=(), dtype=tf.string)),
    'title': Text(shape=(), dtype=tf.string),
})

요런식으로 content가 TensorSpec(shape=[None], dtype=tf.string)인 텐서값을 가지도록 만들어주면 distillation이나 문장 단위 unsupervised learning이나 할 때 편할 것 같아요.

Dataset Information

• Dataset Name: KLUE
• Prefered code name(e.g. korean_chatbot_qa_data): klue_dp, klue_mrc, ...
• Dataset description:
• Homepage:
• Citation:
• License:

Additional Context

https://github.com/KLUE-benchmark/KLUE https://arxiv.org/pdf/2105.09680v1.pdf

• [x] dp @jeongukjae
• [x] mrc @harrydrippin
• [x] ner @jeongukjae
• [x] nli @jeongukjae
• [x] re @jeongukjae
• [x] sts @jeongukjae
• [x] wos @jeongukjae
• [x] ynat @jeongukjae

Dataset Information

• Dataset Name: Wikitext format dataset of Namuwiki
• Prefered code name(e.g. korean_chatbot_qa_data): namuwikitext
• Dataset description: 나무위키의 덤프 데이터를 바탕을 제작한 wikitext 형식의 텍스트 파일입니다. 학습 및 평가를 위하여 위키페이지 별로 train (99%), dev (0.5%), test (0.5%) 로 나뉘어져있습니다.
• Homepage: https://github.com/lovit/namuwikitext
• Citation:

Additional Context

https://github.com/lovit/namuwikitext/issues/10

README에 있는 데이터셋 개수와 맞지 않아 이렇게 이슈 작성을 해놓았는데, 답변은 없는 상황임. 일단 Korpora에 있는 대로 추가해놓고 나중에 다시 수정하는 것이 좋지 않을까

Dataset Information

• Dataset Name: KorQuAD 1.0
• Prefered code name(e.g. korean_chatbot_qa_data): korquad_10
• Dataset description: KorQuAD 1.0은 한국어 Machine Reading Comprehension을 위해 만든 데이터셋입니다. 모든 질의에 대한 답변은 해당 Wikipedia article 문단의 일부 하위 영역으로 이루어집니다. Stanford Question Answering Dataset(SQuAD) v1.0과 동일한 방식으로 구성되었습니다.
• Homepage: https://korquad.github.io/KorQuad%201.0/
• Citation:

Dataset Information

• Dataset Name: KorQuAD 2.0
• Prefered code name(e.g. korean_chatbot_qa_data): korquad_20
• Dataset description: KorQuAD 2.0은 KorQuAD 1.0에서 질문답변 20,000+ 쌍을 포함하여 총 100,000+ 쌍으로 구성된 한국어 Machine Reading Comprehension 데이터셋 입니다. KorQuAD 1.0과는 다르게 1~2 문단이 아닌 Wikipedia article 전체에서 답을 찾아야 합니다. 매우 긴 문서들이 있기 때문에 탐색 시간에 대한 고려가 필요할 것 입니다. 또한 표와 리스트도 포함되어 있기 때문에 HTML tag를 통한 문서의 구조 이해도 필요합니다. 이 데이터셋을 통해서 다양한 형태와 길이의 문서들에서도 기계독해가 가능해질 것 입니다.
• Homepage: https://korquad.github.io
• Citation:

Additional Context

일단은 KorQuAD 1.0만 추가해놓고 2.0은 추후에 추가해도 무방할 듯

Dataset Information

• Dataset Name: 한국해양대학교 자연언어처리 연구실 NER 데이터셋
• Prefered code name(e.g. korean_chatbot_qa_data): kmounlp_ner
• Dataset description: 한국어 개체명 정의 및 표지 표준화 기술보고서와 이를 기반으로 제작된 개체명 형태소 말뭉치
• Homepage: https://github.com/kmounlp/NER
• Citation:

Additional Context

보고서: https://github.com/kmounlp/NER/blob/master/NER%20Guideline%20(ver%201.0).pdf

• [ ] 프로젝트에서 사용하는 언어에 대한 설명. 사용법/데이터셋 설명은 가능하면 영어로 적되, 이슈/PR 소통은 한국어로 하는게 좋지 않을까?
• [ ] 데이터셋 추가하는 법
• [ ] 이슈/PR/Discussion 간단한 설명
• [ ] 추가로 같이 관리하고 싶은 분들에 대한 설명
• [ ] 데이터셋 라이선스에 대한 문제에 대한 설명

https://github.com/jeongukjae/tfds-korean/issues/12#issuecomment-826358469

위와 같은 이유로 "필터를 해서 사용해라" 혹은 "중간에 빈 example이 있다" 정도는 적어두는 편이 좋은 듯

Dataset Information

• Dataset Name:
• Prefered code name(e.g. korean_chatbot_qa_data): sci_news_sum_kr_50
• Dataset description:
• Homepage: https://github.com/theeluwin/sci-news-sum-kr-50
• Citation:

Additional Context

Dataset Information

• Dataset Name: 한국어 wikitext
• Prefered code name(e.g. korean_chatbot_qa_data): kowikitext
• Dataset description: Wikitext format Korean corpus
• Homepage: https://github.com/lovit/kowikitext
• Citation:

Additional Context

이것도 #12 와 같은 문제점이 존재하는 것으로 보이는데, 일단은 Korpora 방식을 따라감. 이 데이터셋도 heading을 기준으로 split할 경우 = 분류~~~ =같은 행들이 존재하여 정확히 문서 단위로 복구가 불가능함.

Dataset Information

• Dataset Name:
• Prefered code name(e.g. korean_chatbot_qa_data):
• Dataset description:
• Homepage: https://github.com/smilegate-ai/korean_unsmile_dataset
• Citation:
• License:

Additional Context

현재 모든 데이터셋이 로컬에 존재해야 카탈로그를 빌드할 수 있는데, 이게 너무 부담이 된다. 현재 develop 기준만 해도 대략 30GB를 로컬에 들고 있어야 한다.

데이터셋 버전이 바뀌지 않는다면 카탈로그를 다시 빌드해야하는 때는 build_catalog.py 스크립트가 변경될 때 뿐이라서 특정 데이터셋 페이지 & index 페이지만 빌드해도 되도록 수정해두자. 물론 전체 데이터셋에 대한 카탈로그 빌드도 가능하게 유지.

Dataset Information

• Dataset Name: Korean Single Speaker Speech Dataset
• Prefered code name(e.g. korean_chatbot_qa_data):
• Dataset description:
• Homepage: https://www.kaggle.com/bryanpark/korean-single-speaker-speech-dataset
• Citation:
• License:

Additional Context

Dataset Information

• Dataset Name:
• Prefered code name(e.g. korean_chatbot_qa_data): sejong_corpus
• Dataset description:
• Homepage: https://ithub.korean.go.kr/user/total/database/corpusManager.do
• Citation:
• License:

Additional Context

세종 코퍼스: https://ithub.korean.go.kr/user/total/database/corpusManager.do 세종 코퍼스 - 병렬: https://ithub.korean.go.kr/user/total/database/etcManager.do

라이선스가 상업적 이용이 어렵더라도 이용하기에 좋은 말뭉치라 생각해서 일단은 추가하는 게 좋을 것 같아요.

Dataset Information

• Dataset Name:
• Prefered code name(e.g. korean_chatbot_qa_data): kcbert
• Dataset description:
• Homepage: https://github.com/Beomi/KcBERT
• Citation:

Additional Context

이거 추가해두면 엄청 유용하게 쓸 수 있을 것 같다!!

Dataset Information

• Dataset Name: kaist corpus
• Prefered code name(e.g. korean_chatbot_qa_data): kaist_corpus
• Dataset description:
• Homepage: http://semanticweb.kaist.ac.kr/home/index.php/KAIST_Corpus
• Citation:

Additional Context