728x90
320x100
이전에 프론트엔드 강의하면서 만들었던 스파르타피디아를 클라이언트-서버가 통신하는 페이지로 다시 만들어보기!
서버-클라이언트 통신하는 GET, POST는 이전 화성땅 공동구매랑 동일한 방법이고
웹 스크래핑도 이전에 해봤으니 부담 없다!
따라서 오늘 TIL에는 처음 다뤄보는 meta 태그 부분만 자세히 하고 나머지는 간단하게 쓸 예정!
준비하기
이건 벌써 익숙해져버렸다... app.py 만들고 venv 가상환경 활성화하고, templates폴더 만들어서 index.html 파일 만들기
근데 깔아야 할 라이브러리가 너무 많다..
flask깔고, DB 써야하니까 pymongo, dnspython
크롤링도 할 거라서 requests랑 beautifulsoup4까지...
그래서 한번에 깔기!
pip install flask pymongo dnspython requests bs4meta 태그 활용해서 스크래핑 하기
이번엔 저번처럼 제목, 내용 등 글자만 따오는 게 아니라, 영화 url을 입력하면 사진, 제목, 설명이 자동으로 뜨는 스크래핑을 할 거다 ▶ meta태그 활용
meta 태그 ?
카카오톡에서 링크만 보내면 자동으로 썸네일, 제목, 설명이 나온다. 이 블로그 포스팅만 해도 링크를 삽입하면 자동으로 썸네일이 나오는 걸 볼 수 있다.
이때
1. 썸네일 사진 - og:image
2. 썸네일 제목 - og:title
3. 썸네일 설명 - og:description
이라고 하고, 이 정보들이 meta 태그의 예시이자 역할 중 하나이다.
예를 들어 https://movie.naver.com/movie/bi/mi/basic.naver?code=191597# 라는 사이트를 크롤링 할 때,
보스 베이비 2
베이비 주식회사의 레전드 보스 베이비에서 인생 만렙 CEO가 된 ‘테드’.베이비인 줄 알았던 조카 ‘티...
movie.naver.com
F12로 검사 > <head> 부분을 보면
이렇게 엄청 많은 meta 태그가 있다. 위에서 설명한og:image, og:title, og:description이 보이는 것을 확인할 수 있고,
og:image 부분 url을 열어보면 썸네일에 나온 바로 그 사진이 나온다.
그렇다면,
meta 태그를 찾고, property가 og: 인 것을 찾고, 그 content를 가져와라 라고 한다면 이 포스팅이나 카카오톡처럼 썸네일 사진, 제목, 설명을 사용할 수 있겠네!
meta 태그로 크롤링하기
ogtitle = soup.select_one('meta[property="og:title"]')[content]새로운 bs4 구문!
이 구문이 아까 위에서 말한 "meta 태그를 찾고, property가 og:title 인 것을 찾고, 그 content를 가져와라"를 BeautifulSoup구문으로 그대로 적은 것이다.
ogtitle = soup.select_one('meta[property="og:title"]')['content']
ogdesc = soup.select_one('meta[property="og:description"]')['content']
ogimage = soup.select_one('meta[property="og:image"]')['content']POST
준비하기
본격적으로 또 시작해보자. 이번에도 마찬가지로 서버의 뼈대부터 준비해보면
# ./venv/app.py
from flask import Flask, render_template, request, jsonify
app = Flask(__name__)
# index.html 가져오기
@app.route('/')
def home():
return render_template('index.html')
#================= POST =================
@app.route("/movie", methods=["POST"])
def movie_post():
sample_receive = request.form['sample_give']
print(sample_receive)
return jsonify({'msg':'POST 연결 완료!'})조기 POST 부분에 API 만들면 되겠징
그다음 클라이언트! HTML은 일단 스크립트(JS) 뼈대 먼저
$(document).ready(function () {
listing();
});
function listing() { //페이지 로딩이 완료되면
fetch('/movie')
.then((res) => res.json())
.then((data) => { // /movie에 요청
console.log(data)
alert(data['msg'])
})
}
function posting() { // 기록하기 botton => onclick="posting()"
let formData = new FormData();
formData.append("sample_give", "샘플데이터");
fetch('/movie', {
method: "POST",
body: formData
})
.then((res) => res.json())
.then((data) => {
console.log(data)
alert(data['msg'])
})
}sample_give 와 /movie 로 데이터를 주고받는 형태만 만들어 놓은 후 우리 데이터에 맞게 수정한다.
우리가 할 일
1) 영화의 url과 코멘트를 받아서
2) url을 기반으로 썸네일 제목, 설명, 이미지를 가져오고
3) url, 코멘트, 썸네일 제목, 설명, 이미지를 DB에 저장하기
서버 만들기
▶url, 코멘트를 받을 수 있게 app.py 작성하기
# ./venv/app.py
@app.route("/movie", methods=["POST"])
def movie_post():
url_receive = request.form['url_give'] # url 받기
comment_receive = request.form['comment_give'] #comment 받기POST로 url, comment를 받아오는 함수를 먼저 만들고
크롤링을 한다. requests와 BeautifulSoup 불러오고, 아까 작성한 meta 태그 크롤링 구문을 참고해서 작성한다.
# ./venv/app.py
import requests
from bs4 import BeautifulSoup
# ==== crolling ====
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get(url_receive, headers=headers)
soup = BeautifulSoup(data.text, 'html.parser')
ogimage = soup.select_one('meta[property="og:image"]')['content']
ogtitle = soup.select_one('meta[property="og:title"]')['content']
ogdesc = soup.select_one('meta[property="og:description"]')['content']
# movie_post 함수 내부 구문이기 때문에 실제 코드에선 들여쓰기 맞춰줘야 함받아 온 모든 데이터 (url, comment, ogimage, ogtitle, ogdesc)를 모두 DB에 저장해주는 구문도 이어서 작성해준다.
# ./venv/app.py
# DB연결
from pymongo import MongoClient
client = MongoClient('mongodb+srv://sparta:test@cluster0.q4j284y.mongodb.net/?retryWrites=true&w=majority')
db = client.dbsparta
# 모든 데이터 DB에 저장
doc = {
'image':ogimage,
'title':ogtitle,
'desc':ogdesc,
#url은 화면에 나올 필요 없으니 저장할 필요도 없다.
'comment':comment_receive
}
db.movies.insert_one(doc)
# 역시 함수 내부에 넣을 땐 들여쓰기클라이언트 만들기
웹페이지에서 사용자에게 받는 정보는 url, comment 이므로 이 정보를 보내면 된다.
▶formData
// ./templates/index.html
function posting() { // 기록하기 botton => onclick="posting()"
// 데이터 가져오기
let url = $('#url').val() // input id="url"
let comment = $('#comment').val() // textarea id="comment"
let formData = new FormData();
// 데이터 formData에 넣어서 보내버리기
formData.append("url_give", url);
formData.append("comment_give", comment);
fetch('/movie', {
method: "POST",
body: formData
})
.then((res) => res.json())
.then((data) => {
alert(data['msg'])
window.location.reload() // refresh
})
}alert가 요청하는 app.py의 return jsonify 메시지도 저장완료! 로 바꿔주면 끝
확인하기
영화 사이트에서 원하는 영화 url을 가져와서 입력하고 기록하기를 누르면,
alert도 잘 작동하고, 입력한 정보 역시 DB에 잘 저장된 것을 확인할 수 있다.
GET
역시나 GET 은 READ!
DB에 저장된 데이터를 가져와서 페이지에 띄울 거다.
준비하기
▼ 서버,클라이언트 통신 형태 만들기 ▼
# ./venv/app.py
@app.route("/movie", methods=["GET"])
def movie_get():
return jsonify({'msg':'GET 연결 완료!'})// ./templates/index.html
$(document).ready(function(){
listing();
});
function listing() { //페이지 로딩이 완료되면
fetch('/movie').then((res) => res.json()).then((data) => { // /movie에 요청
console.log(data)
alert(data['msg'])
})
}
서버 만들기
# app.py
#================= GET =================
@app.route("/movie", methods=["GET"])
def movie_get():
all_movies = list(db.movies.find({},{'_id':False})) # DB에서 파일 전부 가져오기
return jsonify({'result':all_movies})// index.html
function listing() { //페이지 로딩이 완료되면
fetch('/movie').then((res) => res.json()).then((data) => { // /movie에 요청
let rows = data['result'] // app.py > return jsonify({'result':all_movies})
// 역시나 list를 하나씩 꺼내주기
$('#cards-box').empty()
rows.forEach((a) => {
let title = a['title']
let image = a['image']
let desc = a['desc']
let comment = a['comment']
// html에 담아주기
let temp_html = `
<div class="col">
<div class="card h-100">
<img src="${image}"
class="card-img-top">
<div class="card-body">
<h5 class="card-title">${title}</h5>
<p class="card-text">${desc}</p>
<p class="mycomment">${comment}</p>
</div>
</div>
</div>
`
$('#cards-box').append(temp_html)
})
})
}확인하기
새로고침 해 보면, 직접 입력한 url의 썸네일 , 제목, 코멘트가 페이지에 업데이트 된 것을 확인할 수 있다.
전체 코드
▶ 별점 항목 추가 (5점으로 고정, 입력받아서 업데이트하기 - 4주차 숙제)
# ./venv/app.py
from flask import Flask, render_template, request, jsonify
app = Flask(__name__)
import requests
from bs4 import BeautifulSoup
# DB연결
from pymongo import MongoClient
client = MongoClient('mongodb+srv://sparta:test@cluster0.q4j284y.mongodb.net/?retryWrites=true&w=majority')
db = client.dbsparta
# index.html 가져오기
@app.route('/')
def home():
return render_template('index.html')
#================= POST =================
@app.route("/movie", methods=["POST"])
def movie_post():
url_receive = request.form['url_give'] # url 받기
comment_receive = request.form['comment_give'] #comment 받기
# ==== crolling ====
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get(url_receive, headers=headers)
soup = BeautifulSoup(data.text, 'html.parser')
ogimage = soup.select_one('meta[property="og:image"]')['content']
ogtitle = soup.select_one('meta[property="og:title"]')['content']
ogdesc = soup.select_one('meta[property="og:description"]')['content']
# 모든 데이터 DB에 저장
doc = {
'image':ogimage,
'title':ogtitle,
'desc':ogdesc,
'comment':comment_receive,
'star' : 5
}
db.movies.insert_one(doc)
return jsonify({'msg':'저장 완료!'})
#================= GET =================
@app.route("/movie", methods=["GET"])
def movie_get():
all_movies = list(db.movies.find({},{'_id':False})) # DB에서 파일 전부 가져오기
return jsonify({'result':all_movies})
if __name__ == '__main__':
app.run('0.0.0.0', port=5000, debug=True)<!-- ./templates/index.html -->
<!doctype html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta name="viewport" content="width=device-width, initial-scale=1, shrink-to-fit=no">
<link href="https://cdn.jsdelivr.net/npm/bootstrap@5.0.2/dist/css/bootstrap.min.css" rel="stylesheet"
integrity="sha384-EVSTQN3/azprG1Anm3QDgpJLIm9Nao0Yz1ztcQTwFspd3yD65VohhpuuCOmLASjC" crossorigin="anonymous">
<script src="https://ajax.googleapis.com/ajax/libs/jquery/3.5.1/jquery.min.js"></script>
<script src="https://cdn.jsdelivr.net/npm/bootstrap@5.0.2/dist/js/bootstrap.bundle.min.js"
integrity="sha384-MrcW6ZMFYlzcLA8Nl+NtUVF0sA7MsXsP1UyJoMp4YLEuNSfAP+JcXn/tWtIaxVXM"
crossorigin="anonymous"></script>
<title>스파르타 피디아</title>
<link href="https://fonts.googleapis.com/css2?family=Gowun+Dodum&display=swap" rel="stylesheet">
<style>
* {
font-family: 'Gowun Dodum', sans-serif;
}
.mytitle {
width: 100%;
height: 250px;
background-image: linear-gradient(0deg, rgba(0, 0, 0, 0.5), rgba(0, 0, 0, 0.5)), url('https://movie-phinf.pstatic.net/20210715_95/1626338192428gTnJl_JPEG/movie_image.jpg');
background-position: center;
background-size: cover;
color: white;
display: flex;
flex-direction: column;
align-items: center;
justify-content: center;
}
.mytitle>button {
width: 200px;
height: 50px;
background-color: transparent;
color: white;
border-radius: 50px;
border: 1px solid white;
margin-top: 10px;
}
.mytitle>button:hover {
border: 2px solid white;
}
.mycomment {
color: gray;
}
.mycards {
margin: 20px auto 0px auto;
width: 95%;
max-width: 1200px;
}
.mypost {
width: 95%;
max-width: 500px;
margin: 20px auto 0px auto;
padding: 20px;
box-shadow: 0px 0px 3px 0px gray;
display: none;
}
.mybtns {
display: flex;
flex-direction: row;
align-items: center;
justify-content: center;
margin-top: 20px;
}
.mybtns>button {
margin-right: 10px;
}
</style>
<script>
$(document).ready(function () {
listing();
});
function listing() { //페이지 로딩이 완료되면
fetch('/movie').then((res) => res.json()).then((data) => { // /movie에 요청
let rows = data['result'] // app.py > return jsonify({'result':all_movies})
// 역시나 list를 하나씩 꺼내주기
$('#cards-box').empty()
rows.forEach((a) => {
let title = a['title']
let image = a['image']
let desc = a['desc']
let comment = a['comment']
let star = a['star']
let star_repeat = '⭐'.repeat(star)
// html에 담아주기
let temp_html = `
<div class="col">
<div class="card h-100">
<img src="${image}"
class="card-img-top">
<div class="card-body">
<h5 class="card-title">${title}</h5>
<p class="card-text">${desc}</p>
<p>${star_repeat}</p>
<p class="mycomment">${comment}</p>
</div>
</div>
</div>
`
$('#cards-box').append(temp_html)
})
})
}
function posting() { // 기록하기 botton => onclick="posting()"
// 데이터 가져오기
let url = $('#url').val() // input id="url"
let comment = $('#comment').val() // textarea id="comment"
let formData = new FormData();
// 데이터 formData에 넣어서 보내버리기
formData.append("url_give", url);
formData.append("comment_give", comment);
fetch('/movie', { method: "POST", body: formData }).then((res) => res.json()).then((data) => {
alert(data['msg'])
window.location.reload() // refresh
})
}
function open_box() {
$('#post-box').show()
}
function close_box() {
$('#post-box').hide()
}
</script>
</head>
<body>
<div class="mytitle">
<h1>내 생애 최고의 영화들</h1>
<button onclick="open_box()">영화 기록하기</button>
</div>
<div class="mypost" id="post-box">
<div class="form-floating mb-3">
<input id="url" type="email" class="form-control" placeholder="name@example.com">
<label>영화URL</label>
</div>
<div class="input-group mb-3">
<label class="input-group-text" for="inputGroupSelect01">별점</label>
<select class="form-select" id="star">
<option selected>-- 선택하기 --</option>
<option value="1">⭐</option>
<option value="2">⭐⭐</option>
<option value="3">⭐⭐⭐</option>
<option value="4">⭐⭐⭐⭐</option>
<option value="5">⭐⭐⭐⭐⭐</option>
</select>
</div>
<div class="form-floating">
<textarea id="comment" class="form-control" placeholder="Leave a comment here"></textarea>
<label for="floatingTextarea2">코멘트</label>
</div>
<div class="mybtns">
<button onclick="posting()" type="button" class="btn btn-dark">기록하기</button>
<button onclick="close_box()" type="button" class="btn btn-outline-dark">닫기</button>
</div>
</div>
<div class="mycards">
<div class="row row-cols-1 row-cols-md-4 g-4" id="cards-box">
<div class="col">
<div class="card h-100">
<img src="https://movie-phinf.pstatic.net/20210728_221/1627440327667GyoYj_JPEG/movie_image.jpg"
class="card-img-top">
<div class="card-body">
<h5 class="card-title">영화 제목이 들어갑니다</h5>
<p class="card-text">여기에 영화에 대한 설명이 들어갑니다.</p>
<p>⭐⭐⭐</p>
<p class="mycomment">나의 한줄 평을 씁니다</p>
</div>
</div>
</div>
<div class="col">
<div class="card h-100">
<img src="https://movie-phinf.pstatic.net/20210728_221/1627440327667GyoYj_JPEG/movie_image.jpg"
class="card-img-top">
<div class="card-body">
<h5 class="card-title">영화 제목이 들어갑니다</h5>
<p class="card-text">여기에 영화에 대한 설명이 들어갑니다.</p>
<p>⭐⭐⭐</p>
<p class="mycomment">나의 한줄 평을 씁니다</p>
</div>
</div>
</div>
<div class="col">
<div class="card h-100">
<img src="https://movie-phinf.pstatic.net/20210728_221/1627440327667GyoYj_JPEG/movie_image.jpg"
class="card-img-top">
<div class="card-body">
<h5 class="card-title">영화 제목이 들어갑니다</h5>
<p class="card-text">여기에 영화에 대한 설명이 들어갑니다.</p>
<p>⭐⭐⭐</p>
<p class="mycomment">나의 한줄 평을 씁니다</p>
</div>
</div>
</div>
<div class="col">
<div class="card h-100">
<img src="https://movie-phinf.pstatic.net/20210728_221/1627440327667GyoYj_JPEG/movie_image.jpg"
class="card-img-top">
<div class="card-body">
<h5 class="card-title">영화 제목이 들어갑니다</h5>
<p class="card-text">여기에 영화에 대한 설명이 들어갑니다.</p>
<p>⭐⭐⭐</p>
<p class="mycomment">나의 한줄 평을 씁니다</p>
</div>
</div>
</div>
</div>
</div>
</body>
</html>300x250
반응형
GitHub 댓글