AI 카드 뉴스 자동화
AI 뉴스 웹크롤링 → 기사 요약·번역 → 카드 뉴스 자동 생성, 2시간 업무를 20분으로 단축
AI 뉴스 기사 크롤링/요약/번역 (2023)
일반인은 매일 AI 뉴스를 찾아볼 여유가 없으니, 그날 발행된 흥미로운 AI 기사를 요약하여 카드 뉴스 형식으로 만들어 Instagram에 업로드하는 프로젝트.
처음엔 기사 탐독 후 직접 요약하여 하루 3개의 카드 뉴스를 만드는 데 2시간 이상 소요. AI가 글을 요약하고 번역하는 시대에 인공지능 강의를 하는 강사가 업무 효율이 최저화되어 있는 상황이었음.
파이썬 웹크롤링 + OpenAI API를 이용하여 특정 사이트의 AI 기사를 날짜별로 자동 수집하고, 기사 요약·영어 번역까지 자동화함.
업무자동화 시스템 프로세스
- 1"AITIME" 웹사이트에서 특정 일자에 업로드된 기사를 모두 찾아 기사 제목, 내용, 저자, URL 등을 수집하고 엑셀 파일로 저장
- 2엑셀 파일을 열어서 가장 흥미로운 기사 3개의 인덱스를 선정하고 파이썬 input 창에 입력 (Human-in-the-Loop)
- 3시스템이 선택된 3개 기사에 대해 새 타이틀을 생성하고 기사 내용을 자동 요약
- 4사용자가 타이틀·요약 내용을 검토 후 완성된 타이틀을 영어로 번역
- 5Instagram 카드 뉴스 템플릿(Canva)에 한글·영어 타이틀과 요약 본문 입력
- 6요약본 스타일을 재학습시킨 Fine-Tuning GPT를 시스템에 적용하여 특화된 AI로 고도화
자동화 버전 2종
aitimes_scraping_by_chatGPT.py
원하는 날짜(mm-dd 형식)를 입력하면 해당 날짜의 AI타임스 뉴스를 최대 5페이지까지 스크래핑
auto_aitimes_scraping_by_chatGPT.py
매일 오후 7시에 crontab으로 자동 실행되어 당일 AI 기사를 스크래핑하고 로그·CSV 파일로 저장
개발 과정 및 결과물
AI 기사 자동 웹 크롤링 — 매일 특정 시간에 자동으로 실행하여 AI 기사 웹 크롤링
AI 기사 자동 웹 크롤링 — 기사가 많으면 여러 페이지에 걸쳐 웹크롤링 (최대 5페이지)
AI 기사 선택/요약/번역 — 3개의 AI 기사 선택을 위한 인덱스 입력 (Human-in-the-Loop)
AI 기사 선택/요약/번역 — 본 시스템에 특화된 Fine-Tuned AI를 사용하여 기사를 요약함
AI 기사 선택/요약/번역 — Canva 템플릿에 맞춤화된 텍스트 추출
AI 기사 선택/요약/번역 — AI를 이용하여 원본으로부터 기사 한/영 타이틀을 새로 생성
결과물 — 한글 뉴스. 본 시스템으로 2시간 업무를 20분으로 단축
결과물 — 영어 뉴스. 본 시스템으로 2시간 업무를 20분으로 단축