예제로 배우는 크롤링:닛신 라멘 뮤지엄 견학 캔슬 알람 보내기 (3)

지금까지의 과정을 통해 Make.com의 시나리오에 넣기 위한 모든 정보가 모였습니다.
이제 Make의 시나리오 설정을 완료하여 크롤링을 캐시하는 단계까지 진행해 보도록 하겠습니다.

우선, 이전에 제작한 시나리오의 HTTP 모듈에는 아래와 같이 ScrapingBee에서 얻은 URL을 입력합니다.

이를 통해 시나리오가 실행되면 HTTP 모듈이 자동으로 작동하고, 해당 URL에 접속하게 되어 ScrapingBee를 경유하여 원하는 장소의 정보를 얻을 수 있습니다.

정상적으로 작동한다면 아래와 같은 결과값이 출력됩니다.

이제 이렇게 취득한 문자열 정보에서 원하는 정보를 Make의 필터 기능을 이용해 추출합니다. 아래는 제가 설정한 필터 조건입니다.

얻어진 데이터에서 ' 1 ', ' 2 ', ' 3 '이라는 문자가 포함되면 필터를 통과하게 됩니다.
중요한 점은, 각 숫자의 앞뒤에 공백을 포함시켜 얻어진 데이터에 함께 들어 있는 시간 정보가 아닌, 잔여 티켓에 대한 정보만을 추출할 수 있도록 설정하는 것입니다.

사실 이 부분은 실제로 여러분이 얻고자 하는 데이터의 종류나 위치에 따라 센스가 필요한 부분이기 때문에, 이 포스팅에서 모두 설명하기에는 무리가 있습니다.
각자 원하시는 정보를 취득하시되, 필터 기능만으로 원하는 정보를 얻기 어렵다면 아래와 같이 Text Parser 모듈을 활용하여 정규식을 통해 데이터를 추출하는 것도 가능합니다.

이 부분에서 어려움을 겪는 분들은 정규식을 공부해 보시거나, ScrapingBee의 추출 조건을 좀 더 정밀하게 설정해 보시는 것을 추천드립니다.

다음은 드디어 Telegram Bot을 직접 작성하고 알림을 받는 마지막 과정입니다.