[자동화] API를 통한 관심 뉴스 수집(1/2)

Profile

외부 데이터를 수집하는 가장 간편한 방법

주가, 날씨, 코인 시세, 유가, 물가지수 등 다양한 외부 데이터가 있습니다. 그리고 분석 업무에는 내부 운영 데이터뿐만 아니라 외부 데이터가 필요할 때도 있습니다.

이번 템플릿에서는 관심있는 뉴스 데이터를 아웃코드 자동화를 활용하여 수집해 보겠습니다. 아웃코드에서는 10분 만에 필요한 데이터 수집을 자동화할 수 있습니다.

Notes: 아웃코드 Webhook 트리거와 Http request 테스크를 활용하면, 다양한 이벤트 데이터를 수집할 수 있습니다.

API 참조

원하는 검색어와 관련있는 뉴스기사를 가지고 올 Open API는 네이버에서 무료로 이용가능합니다. 먼저 비로그인 방식의 네이버 뉴스 API를 신청하세요. (https://developers.naver.com/docs/search/news/ )

애플리케이션의 이름 : 자신의 원하는 이름으로 입력
사용 API : "검색" (선택되어 있지 않은 경우는 "검색"을 선택)
비로그인 오픈 API 서비스 환경 : "WEB 설정"을 선택. 웹서비스 URL은 https://naver.com을 입력하세요.

등록절차를 마치면 클라이언트 ID와 클라이언드 시크릿을 받을 수 있습니다.

스크린샷 2022-05-24 11.59.58.png

준비작업은 끝났습니다. 아웃코드 자동화를 추가하여 아래와 같이 설계합니다.

트리거: 일 단위로 설정

검색어: 뉴스 검색을 원하는 검색어 (이번 예제에서는 '넷플릭스'로 하겠습니다.)
*주의: 네이버 open api에서 UTF-8인코딩만 허용하므로 검색어를 변환 사이트(https://dencode.com/)에서 검색어를 입력한 후, URL encoding된 값(넷플릭스 =>%EB%84%B7%ED%94%8C%EB%A6%AD%EC%8A%A4 )을 사용해야합니다. **

Request URL(GET): https://openapi.naver.com/v1/search/news.json?query=넷플릭스&display=5&sort=date
구글 시트: 뉴스 데이터를 기록할 워크시트

트리거 설정

자동화의 실행 주기를 설정합니다. 1일로 설정합니다.

스크린샷 2022-05-24 12.01.08.png

HTTP Request 테스크 설정

Request URL 창에 아래와 같이 주소를 입력하시고, Request Method는 GET을 선택하세요. Header JSON에 자신의 클라이언트 ID 와 시크릿을 넣어주세요.

스크린샷 2022-05-24 12.26.22.png

더욱 다양하게 데이터를 가지고 오고 싶으시면 Naver Open API 문서를 확인해 주세요. 혹시 구글에서 가지고 오는 방법을 알고 계시나요? 아래 Reply 버튼을 누르고 아웃코드 커뮤니티와 공유해 주세요!

TEST를 실행하여 데이터를 잘 가지고 오는지 확인합니다. 가지고 온 정보를 구글 시트에 입력해 보겠습니다.

당일기사 추출 Javascript 설정

네이버 API를 통해서는 일자별로 기사를 보내주기 때문에 당일 기사만 분류해야 합니다. 이 경우 Javascript task를 추가하여 아래와 같이 한줄 삽입합니다.

return a.items.filter((item) => new Date(item.pubDate).toISOString().substr(0,10) == new Date().toISOString().substr(0,10));

스크린샷 2022-05-24 16.45.03.png

구글시트 설정

기사를 수집할 구글시트를 순서대로 선택하고 아래과 같이 참조하는 결과값을 입력해주세요.

스크린샷 2022-05-24 16.47.22.png

구글시트에 제목필드 설정을 잊지 마세요!
스크린샷 2022-05-25 12.14.40.png

이제 뉴스 기사 수집 자동화가 완성되었습니다. 구글시트에 매일 9시에 일자별로 뉴스가 기록됩니다.

데이터를 더 활용하고 싶으신가요?

구글시트는 가끔씩 오류가 발행할 수 있습니다. MySQL과 같은 데이터베이스로 데이터를 받아보세요.
슬랙이나 이메일 테스크를 추가하면 매일 알람을 받아보실 수 있습니다.
다른 API를 활용하면, 사용자 이벤트 등 다양한 정보를 수집할 수 있습니다.
데이터를 어떻게 더 효율적으로 활용할 수 있는지, 여기서 템플릿을 확인해 보세요.

팀원과 공유하고 자동화하기

아웃코드의 자동화 페이지를 통해 실시간으로 필요한 데이터를 자동으로 처리합니다.

수집된 데이터는 데이터보드에서 조회할 수 있습니다. 더욱 다양하게 활용해보세요.
자동화를 팀원 들과 공유해 보세요.
아웃코드의 간편한 자동화 기능을 통해 실시간 비트코인과 이더리움의 가격정보를 협업툴이나 이메일로 받아보세요.