외부 데이터를 수집하는 가장 간편한 방법

 
주가, 날씨, 코인 시세, 유가, 물가지수 등 다양한 외부 데이터가 있습니다. 그리고 분석 업무에는 내부 운영 데이터뿐만 아니라 외부 데이터가 필요할 때도 있습니다.
 
이번 템플릿에서는 관심있는 뉴스 데이터를 아웃코드 자동화를 활용하여 수집해 보겠습니다. 아웃코드에서는 10분 만에 필요한 데이터 수집을 자동화할 수 있습니다.
 
Notes: 아웃코드 Webhook 트리거와 Http request 테스크를 활용하면, 다양한 이벤트 데이터를 수집할 수 있습니다.
 

API 참조

 
원하는 검색어와 관련있는 뉴스기사를 가지고 올 Open API는 네이버에서 무료로 이용가능합니다. 먼저 비로그인 방식의 네이버 뉴스 API를 신청하세요. (https://developers.naver.com/docs/search/news/ )

• 애플리케이션의 이름 : 자신의 원하는 이름으로 입력

• 사용 API : "검색" (선택되어 있지 않은 경우는 "검색"을 선택)

• 비로그인 오픈 API 서비스 환경 : "WEB 설정"을 선택. 웹서비스 URL은 https://naver.com을 입력하세요.
   

등록절차를 마치면 클라이언트 ID와 클라이언드 시크릿을 받을 수 있습니다.

준비작업은 끝났습니다. 아웃코드 자동화를 추가하여 아래와 같이 설계합니다.

• 트리거: 일 단위로 설정

• 검색어: 뉴스 검색을 원하는 검색어 (이번 예제에서는 '넷플릭스'로 하겠습니다.)
  *주의: 네이버 open api에서 UTF-8인코딩만 허용하므로 검색어를 변환 사이트(https://dencode.com/)에서 검색어를 입력한 후, URL encoding된 값(넷플릭스 =>%EB%84%B7%ED%94%8C%EB%A6%AD%EC%8A%A4 )을 사용해야합니다. **

• Request URL(GET): https://openapi.naver.com/v1/search/news.json?query=넷플릭스&display=5&sort=date

• 구글 시트: 뉴스 데이터를 기록할 워크시트
   

트리거 설정

 
자동화의 실행 주기를 설정합니다. 1일로 설정합니다.

HTTP Request 테스크 설정

 
Request URL 창에 아래와 같이 주소를 입력하시고, Request Method는 GET을 선택하세요. Header JSON에 자신의 클라이언트 ID 와 시크릿을 넣어주세요.

더욱 다양하게 데이터를 가지고 오고 싶으시면 Naver Open API 문서를 확인해 주세요. 혹시 구글에서 가지고 오는 방법을 알고 계시나요? 아래 Reply 버튼을 누르고 아웃코드 커뮤니티와 공유해 주세요!
 
TEST를 실행하여 데이터를 잘 가지고 오는지 확인합니다. 가지고 온 정보를 구글 시트에 입력해 보겠습니다.
 

당일기사 추출 Javascript 설정

네이버 API를 통해서는 일자별로 기사를 보내주기 때문에 당일 기사만 분류해야 합니다. 이 경우 Javascript task를 추가하여 아래와 같이 한줄 삽입합니다.

return a.items.filter((item) => new Date(item.pubDate).toISOString().substr(0,10) == new Date().toISOString().substr(0,10));

구글시트 설정

기사를 수집할 구글시트를 순서대로 선택하고 아래과 같이 참조하는 결과값을 입력해주세요.

구글시트에 제목필드 설정을 잊지 마세요!

이제 뉴스 기사 수집 자동화가 완성되었습니다. 구글시트에 매일 9시에 일자별로 뉴스가 기록됩니다.

아웃코드 커뮤니티도 둘러보세요.