2022/10/18 TIL

루씬 인 액션

루씬 인 액션 2부를 읽기 시작했다. 티카를 사용하는 방법과 필수 확장기능에 대해서 배웠다.

필수 확장 기능에서 기억에 남는 것은 N그램필터와 스태머링(단어의 기본형찾아주기),싱글(Shingle)이 있었다.

N그램이란 단어를 문자 단위로 토큰을 만드는것인데, 문자의 길이가 최대 단어의 길이만큼 길어질 수 있다.

예를 들어, lettuce 의 N그램은 l,e,t,t,u,c,e,le,et,tt,tu,uc,ce,let,ett,ttu,tuc,uce,lett,ettu,ttuc,tuce,lettu,ettuc,ttuce,lettuc,ettuce,lettuce가 있다.

이렇게 단어의  N그램을 토큰으로 만들어두면 검색어의 일부 혹은 부분문자열만으로도 문서를 찾을 수 있다는 장점이 있다.(물론 검색어의 중요도가 낮아져서 검색결과에서 원하는 것을 찾아내기는 어려울 것

스태머링이란 단어의 기본형을 찾아주는 것인데, 이런 것들을 해주는 분석기중 하나가 스노우볼 분석기이다.

예를 들어 lettuces(복수형)이 있다면, lettuce 같은 형식으로 토큰을 저장해줄 수 있다.

싱글은 여러 단어를 하나의 토큰으로 만드는 것이다. 전에 한번 여러단어가 하나의 의미를 가지는 경우에 대해서 제대로 동작을 못할 것이라는 우려를 TIL에 적었는데, 그 부분에 대해서 루씬 프로젝트에서 대응되어있었다. 그리고 이 싱글의 경우 여러 단어로 하나의 토큰을 만들기 때문에 더 강력한 검색중요도를 가질 것이다. 대표적인 예시로 to be or not to be 이렇게 검색을 해버리면 죄다 불용어라서 우리가 원하는 검색 결과를 찾기 어려운데, "to be or not to be"로 싱글을 이용하여 검색한다면 셰익스피어의 인용구를 찾아낼 확률이 확 올라가는 것이다.

허클베리 핀의 모험

오늘은 120 페이지까지 읽었다.

처음에 아버지한테 학대당하는 부분 보면서 마음이 안좋고 고구마 먹은 것 같았는데, 도망치고나서 짐이랑 같이 떠나니까 아주 흥미진진하다 ㅋㅋㅋㅋ. 그리고 노예제도를 당연하게 여기던 시대상을 보고 마음이 좋지 않았다. 이거 보고나서 트웨인이 어떤 사람이었는지 검색해보니 노예제도 비판자였던데, 나중에 어떻게 다루게 될지 좀 기대된다.