[NUGU CONFERENCE 2019] 트랙 A-1 : Knowledge Graph 기반의 Complex QA 기술

[NUGU CONFERENCE 2019] 트랙 A-1 : Knowledge Graph 기반의 Complex QA 기술

• 1.
  Knowledge Graph기반의 Complex QA기술 SK텔레콤 지식기술 Cell 박경랑
• 2.
  Complex QA? 백두산의 높이는? 백두산에대해 알려줘 세상에서 가장 높은 산은? 미국에서 백두산 보다 높은 산은? • 사용자의 복잡한 질문을 이해하고 이에 대한 답을 제공하는 것 3000m가 넘는 산은? 백두산이 높아 한라산이 높아? 세상에서 세번째로 높은 산은? ….
• 3.
  ComplexQA Architecture Graph Search Complex Question Understanding Natural Language Generation Knowledge Graph Data Source CQUResult“트와이스 막내 생일은?” “트와이스의 막내는 쯔위이고, 쯔위의 생일은 1996년 6 월 14일 입니다” Sub Graph
• 4.
  주요 목차 • Overview:Complex QA • Knowledge Graph Construction • Complex Question Understanding & Graph Search • Natural Language Generation for Complex QA • Conclusion
• 5.
  Knowledge Graph Construction
• 6.
  • AI가 사용하는지식: Graph형태로 구조화된 데이터 • 특징 • Entity화 → 연결성 • 정규화된 수치를 통한 연산 • Domain간 Entity 통합 • 구조화된 정보 활용: Reasoning & Ranking • 많이 알려진 Knowledge Graph • Google Knowledge Graph • WikiData • DBPedia Knowledge Graph? 1972-01-13 1995-09-22 1999-06-14 1995-10-20 리더 보컬 센터 2015-10-20 트와이스 쯔위 JYP 박진영 나연 우아하게 THE STORY BEGIN
• 7.
  KG Design forCommercials • 정보에 대한 신뢰성 및 완결성 • 실시간 업데이트 / 운영 가능성 • 데이터 모델의 확장성, 검색 용이성
• 8.
  NUGU Knowledge GraphSchema • 총 436개의 카테고리와 4400개의 Property/Relation로 KG 데이터 정의 • ComplexQA 1차 대상: 인물/방송/음악/지리 분야 129개 카테고리 294개 속성 ENTERTAINER PERSON Artist <<Category>> •ACTOR-NOTABLE_WORK •PERSON-HEIGHT •PERSON-WIFE … •VALUE: FILM, TV_PROGRAM •NAME: 키 •ALIAS: 신장 •GRAPH_TYPE: PROPERTY_SINGLE •VALUE: Float •UNIT: cm •NAME: 대표작 •ALIAS: 대표작, 주요작품 … <<Property/Relation>> Actor SPORTSMAN •GRAPH_TYPE: EDGE_SIMPLE •ACTOR-DEBUT_DATE
• 9.
  2018 청룡영화제 감독상 윤종빈 Event Modeling 정보의 표현력을높이기 위해 중요 이벤트들도 하나의 개체로 표현 PERSON-AWRD AWARD-EVENT 2018. 11. 23 청룡영화제 윤종빈 PERSON-DIRECTOR_AWARD (2018) AWARD-DATE 2018. 11. 23 EVENT-DATE 장준환 PERSON-NOMINATE VS. < 2018년 청룡영화제에서 감독상을 받은 사람 >
• 10.
  NUGU KG Model(방송/영화) ACTOR FILM TV_PROG RAM CAST CAST CHARACT ER STARRING_ACTOR APPEAR APPEAR DIRECTOR WRITER ALBUM OST OST PRODUCER EPISODE CHANNEL DIRECTOR WRITER DIRECTOR AWARD COMPANY PRODUCTION AWARD EVENT PERSON CULTURE_P ERSON ENTER- TAINER ACTOR COMEDIAN DIRECTOR ACTOR-DEBUT_DATE COMEDIAN-DEBUT_DATE PERSON-AGE PERSON-HEIGHT PERSON-WEIGHT,,, FILM_ SERIES
• 11.
  Data Sourcing • 누구백과는위키피디아 + 백과사전 40여종으로 서비스 • ComplexQA는 특정 도메인에 대해 완결성 있는 데이터가 필요 방송/영화 음악 지리/인물 + Data Curation
• 12.
  (참고)UCI: Universal ContentIdentifier • 식별 가능한 콘텐츠의 효율적인 관리, 유통 및 활용을 위하여 개발 콘텐츠에 유일한 코드를 부여하여 관리하는 표준 (한국저작권위원회) • 음반산업협회에서 음원 UCI 및 관련 메타 관리 논문 E-러닝 음반 영화 사진 도서
• 13.
  BiBim: Knowledge Graph생성 Framework • 정규화, 통합, 추론의 3단계로 구성 • Pipeline화 되어 데이터 변경시 상용 KG에 즉시 반영 정규화 (SigKal) 엔터티간 연결 (E-Linker) 통합 (MixBowl) Schema 추론 (Topping) Sub Graph Sub Graph 통합 ID Rules Data Data …
• 14.
  Path-based Reasoning 이민정 이병헌 원더걸스 Irony 2007.2.1 한국 한라산 <<REVERSE>> <<ABSTRACT>><<CASCADE>> 아시아 WIFE HUSBAND LocatedIn LocatedIn SubClass DEBUT_DATE DEBUT_WORK RELEASE_DATE • Schema에 정의된 Relation간의 관계 정보를 이용한 데이터 확장
• 15.
  Popularity • 데이터 고유의속성과 NUGU에서의 활용도를 결합, 하나의 유명도 수치를 산정 • Graph상에서의 구조적 특성을 이용하여 값을 보정 정보 컨텐츠 CP NUGU C 박찬욱 (B)이병헌 (A) C = C + e * (w1 *A + w2 * B) CAST (w=0.1) DIRECTOR (w=0.3) NUGU PLAY CNT NUGU 백과 CNT WIKI PageView CP CNT Features
• 16.
  Importing Data intoGraph DB • JanusGraph • 정보를 Node와 Edge로 표현 • Scalable, Open Source, 상용 Reference, Vendor 독립적 • 표현력이 풍부한 Graph Query Language 지원 (Gremlin) • Gremlin 쿼리 • 관계 탐색: g.V().has(‘ID’, ‘actor_1’).out(‘FILM-CAST’).in(‘FILM-CAST’) • 값 비교: g.V().has(‘CATEGORY’, ‘ACTOR’).has(‘PERSON-AGE’, gt(30)) • 텍스트 검색: g.V().has(‘MOVIE-TITLE’, textContains(‘기생충’)) • 탐색 & 비교 & 검색을 조합하여 복잡한 쿼리 가능 • 효율적인 수행을 위해 스키마와 데이터에 맞는 쿼리 최적화 필요 Storage BackendIndex Backend Gremlin Server Application Knowledge Graph • 관계형 쿼리를 효율적으로 수행하기 위해 Graph DB (JanusGraph) 를 활용
• 17.
  Knowledge Graph 현황(for ComplexQA) 분류 ENTITY수 Property수 Relation수 비고 CREATIVE_WORK (창작물) 2,977,118 11,822,166 11,956,019 음악, 영화, 책, 게임 등 PERSON (인물) 264,637 903,472 667,492 가수, 배우, 정치인 등 GEOGRAPHY (지리) 56,750 210,437 119,548 국가, 행정구역, 자연물 ORGANIZATION (조직) 36,915 150,775 60,762 회사, 학교, 기관 LIVINING_THINGS (생물) 17,673 64,371 93,934 동물, 식물, 공룡 ARCHITECTURE (건축) 34,373 156,454 70,161 빌딩, 시설물 EVENT (이벤트) 19,742 66,434 30,361 축제, 영화제 등 PRODUCT (인공물) 11,034 50,980 12,828 자동차등 TERM (용어) 72,825 116,940 18,819 음식, 질병, 언어 등 MISC (기타) 59,601 242,175 90,948 TOTAL 3,559,911 13,799,351 13,139,042 • 총 3.5M Entity, 26M Triple의 Knowledge Graph를 구축중이며, 영화/ 음악등 창작 컨텐츠 정보 중심
• 18.
  Complex Question Understanding &Graph Search
• 19.
  ComplexQA Architecture Graph Search Complex Question Understanding Natural Language Generation Knowledge Graph Data Source CQUResult“트와이스 막내 생일은?” “트와이스의 막내는 쯔위이고, 쯔위의 생일은 1996년 6 월 14일 입니다” Sub Graph
• 20.
  Complex Question이란? 구분 질의유형예제 Simple QA DEFINITION 백두산에 대해 알려줘 SINGLE 백두산 높이가 얼마야 Complex QA SINGLE (REVERSE) 1953년에 태어난 가수는 SUPERLATIVE 우리나라에서 제일 높은 산은 / 우리나라에서 세번째로 높은 산은 COMPARATIVE 백두산 보다 높은 산은 / 이효리와 동갑인 가수는 COUNT 1인당 GDP가 1만달러 이상인 나라의 수는 CONJUNCTION 조인성과 정우성이 함께 나온 영화 CASCADING 도깨비 작가의 다른 드라마는 / 기생충에서 기정 역할 맡은 배우는 MIX 박찬욱 감독 영화 중 100만 이하 관객 영화는 Others MULTIPLE/Narrative/… 아이유의 나이와 소속사 알려줘 / 김치찌개 만드는 방법 알려줘
• 21.
  백두산의 높이는? 우리나라에서세번째로 높은 산은? Question Understanding {우리나라} 에서 {세번째}로 {높은} {산}{백두산}의 {높이}는? Entity = “백두산”, Property = “높이＂ (argmax (number 3 ordinal 세번째) (number 1) (GEOGRAPHY:산.GEOGRAPHY.REL-LOC (name x1 우리나라 (list (name GEOGRAPHY)))) GEOGRAPHY:산.NUMBER.PRO-HEIGHT)
• 22.
  CQU Design Compositional SemanticsTemplate Matching Candidate Generator Ranker Parsing Rules Top Ranked formula Template Classification Entity Alignment Feature Extraction Vs. Formula Input Text Query Template Input Text
• 23.
  CQU Design Pre processing Entity Recognition High Precision Entity Alignment POS Tagging Template MatchingModels Template Matching Models Template Classification Models Final Formal Query Decision Compositional Semantics High Recall • 상호 보완적인 Hybrid Architecture 지향
• 24.
  CQU 동작 흐름 100만이하 관객이 관람한 박찬욱 감독 영화는? (number 1000000) (PERSON “박찬욱”) (TARGET “영화”) (less_data (!REL-DIRECTOR (PERSON “박찬욱”)) PRO-ATTENDANCE (number 1000000)) (less_data (!REL-DIRECTOR (var x0)) PRO-ATTENDANCE (var x1)) NUMBER+이하+관객+JKS+관람+XSV+PERSON+감독+TARGET+JX 100만/SN 이하/NNG 관객/NNG 이/JKS 관람/NNG 한/XSV 박찬욱/NNP 감독/NNG 영화/NNG 는/JX 형태소 분석 정규화 개체명 인식 질의 대상 인식 사용자 의도 분류 개체 연결 및 랭킹
• 25.
  상용 Template 선정 0 200 400 600 800 1000 1200 1400 10.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 700 (50%) 1024 (73%) 460 (33%) • Open Survey → Voting → Close Beta Test과정을 통한 Template 선정 # of Template Positive Ratio
• 26.
  Knowledge Graph 탐색 •CQU결과를 Graph Query로 변환하여 검색 수행 후 Sub Graph 반환 (argmax (number 3 ordinal 세번째) (number 1) (GEOGRAPHY: 산.GEOGRAPHY.REL-LOC (name x1 우리나라 (list (name GEOGRAPHY)))) GEOGRAPHY:산.NUMBER.PRO-HEIGHT) Parsing& Grounding Query 최적화 Gremlin Query KG SEARCH 지리산 한국 한라산 백두산 GEO-LOCATION Rule g.V().has("KB_ID", "bibim_LOC_117").union(__.inE("GEOGRAPHY- COUNTRY"),otherV().has("KB_PATH", textContains("MOUNTAIN")) .has("MOUNTAIN-HEIGHT", gte(0.0)).order().by("MOUNTAIN-HEIGHT", decr).has("KB_PATH", textContains("GEOGRAPHY")).range(2, 3).
• 27.
  Query Optimization • Query순서 재배치 • 사전에 정의된 검색 TAG로 매핑 예) 한국 영화, 댄스 곡 • Score 기반 필터링 (유명도, 최신) Q: 1967년 1월 17일에 태어난 남자 배우는? 쿼리: ‘남자’이면서 ‘배우’이면서 ‘생일이 ~’ 변환된 쿼리: ‘생일이 ~’ 이면서 ‘배우‘ 이면서 ‘남자’ '송강호‘ '리처드 하울리‘ '린다 캐쉬 '송강호‘ '린다 캐쉬 '송강호‘ Search Space • Query Rewriting
• 28.
  Knowledge Graph Search:탐색 성능 S-Prop S-Prop(R) S-Edge CONJ COMP COMP-1 SUPER SUPER-1 CASC COUNT MIX AVG 89.3 276.6 220.78 374.77 425.25 611 81.9 502.18 373.5 132.7 393 MIN 69.6 70.9 59.7 94.5 93.7 93.9 60.8 90.03 78 95 69.6 MAX 118.7 781.2 5140.5 5201.5 2208 5239 167.28 5053 5178 197 5239 0 1000 2000 3000 4000 5000 6000 0 200 400 600 800 1000 1200 1400 1600 Response Time (ms) 0 1000 2000 3000 4000 5000 6000 1 173 345 517 689 861 1033 1205 1377 1549 1721 1893 2065 2237 2409 2581 2753 2925 3097 3269 3441 3613 3785 3957 4129 4301 4473 4645 4817 4989 5161 5333 5505 5677 5849 6021 6193 6365 6537 6709 6881 7053 7225 7397 7569 7741 7913 8085 8257 8429 8601 8773 8945 9117 9289 9461 9633 9805 9977 10149 10321 10493 10665 10837 11009 11181 11353 Response Time (ms) 91.7% < 1000ms AVG: 393ms
• 29.
  자연어 생성 (NLG,Natural Language Generation) • KG 탐색 결과를 자연어 문장으로 변환하여 정보를 제공 그룹 트와이스 멤버 채영, 지효, 정연, 다현은 대한민국 출신이고, 모모, 사나, 미나는 '일본' 출신입니다. 그리고 쯔위는 중국 출신입니다. Q: 소녀시대 멤버의 국적은?
• 30.
  자연어 생성 (NLG,Natural Language Generation) • CQU 결과 및 KG 탐색 결과를 템플릿에 매칭하여 자연스러운 문장을 생성 Q: 소녀시대 멤버의 국적은? NLU 분석 결과 Graph 탐색 결과 QuestionType AnswerType Formulas Reverse 소녀시대 유리: 대한민국 태연: 대한민국 티파니: 미국 Flatten 소녀시대 유리, 태연, 윤아.. : 대한민국 티파니, 써니: 미국 Grouping 템플릿 매칭 조건 템플릿 채울 값 A: [소녀시대]의 멤버 [유리, 태연, 수영, 효연, 윤아, 서연]의 국적은 [대한민국]이고, [써니, 티파니]는 [미국]입니다. 템플릿 매칭 Template선정
• 31.
  NLG Challenges • 자연스러움을올리기 위한 다양한 정책 적용 • Template의 수를 최소화 + Template이 없어도 자연스럽게 - 답변 개수, 정렬, 필터링
• 32.
  Examples 예제 정책 응답 Detph1 Depth2 정렬가공 이효리와 동갑인 연예인 TOP1, 4 유명도순 가수 이효리와 나이가 만 40세로 동갑인 연예인은 하하, 가수 성시경, MC몽, 나얼 등입 니다. 역대 아카데미 작품상 받은 영화 알려줘 TOP4 1 연도순 2019 아카데미 작품상은 그린 북이고, 2018년은 쉐이프 오브 워터, 2017년은 문라이트 입니다. 그리고 2016년에 수상한 영화는 스포트라이트 입니다. 트와이스 멤버의 국적은 TOP1 모두 그룹핑 그룹 트와이스 멤버 채영, 지효, 정연, 다현은 대한민국 출신이고, 모모, 사나, 미나는 '일본' 출신입니다. 그리고 쯔위는 중국 출신입니다 관객수가 천만명 이상인 영화 N/A Pivot이상 오름차순 만단위 반올림 국내 기준 관객수 1000만명 이상인 영화는 관객수 1008만명의 기생충, 관객수 2017만 명의 인터스텔라, 관객 수 1030만명의 겨울왕국, 관객수 1049만명의 어벤져스: 에이지 오브 울트론 입니다. 동국대학교 연영과를 졸업한 연예인 TOP1 6 유명도순 동국대학교 연영과를 졸업한 연예인은 윤아, 최민식, 강타, 토니안, 장광, 전지현 등이 있 습니다.
• 33.
  CBT… CBT… CBT…
• 34.
  CBT… CBT… CBT… <<COVERAGE>> <<TOPQueries>> -Rank Type Meaning 1 Single Reverse 특정 사람이 캐스팅된 작품 2 Single Reverse 특정 학교 출신 사람 3 1-Superative 특정 지역에서 N번째로 긴 자연 지형 4 1-Superlative 특정 사람이 N번째로 출연한 작품 5 Single Reverse 특정 캐릭터를 연기한 사람 6 Superlative N번째로 관객수가 많은 작품 7 1-Superative 특정 사람이 부른 가장 최근에 발매한 노래 8 Conjunction 특정 날짜의 특정 행사에서 특정 상을 받은 사람 9 Cascading 특정 감독의 작품으로 데뷔한 사람 10 Supelative N번째로 큰 면적을 갖는 지형 • 발화의 약 72%가 서비스 범위이며 상위 15%의 Template이 50% 비중을 차지함 CQA 72% OOS 12% OOD 8% Simple 5% Other 3%
• 35.
  Next Steps • Vision:무엇이든 물어보세요. • Next Steps : CQA 상용 Launch & Query 확장 : QA Coverage 확장 기술 Coverage Priority 위키백과 백과사전 테마별 DB Complex QA IRQA, MRC User Query
• 36.
  감사합니다.