[Monitoring System] 5. Fast API 로 이틀만에 백엔드 구축하기(feat. SQLAlchemy, PostgreSQL) (1)

from sqlalchemy import Boolean, Column, ForeignKey, Integer, String, TIMESTAMP, Float
from .base import Base

제목은 거창하게 써놨지만 아주 간단한 백엔드를 구축해서 그리 오래걸리지 않았을 뿐이다^^.

우선 백엔드를 해보는 것 자체가 이번이 처음이고, 필요에 의해서 필요한 부분만 공부해서 후닥닥 만들어서 다소 조잡할 수 있으나 어쨌든 모니터링 시스템 자체는 잘 동작하고 있으니 호스팅만 따로 해주면 당장 쓸 수 있다. Python으로 작성되어 있어서 Python의 노예인 나에게는 아주 편한 프로그래밍이었던 것도 한 몫했다.

0. Fast API 자습서

Fast API 공식문서로 공부하는 시간을 하루 가지고 이틀동안 개발을 했다. 아래 두 글 참고. 튜토리얼이 영어로 되어있어서 한국어로 어설프게나마 번역하고 정리해두었다.

https://dnai-deny.tistory.com/59

[FastAPI] Tutorial(1)

https://dnai-deny.tistory.com/60

[FastAPI] Tutorial(2)

1. 구조 구상하기

겉으로 드러나는 구조는 아래와 같다. 실제로 구현해야하는 부분은 Data 의 경우 CRUD(Create, Read, Update, Delete)를 구현해야하기 때문에 좀 더 많다.

A. Data Table

Monitoring System은 비교적 간단한 구조를 가지고 있다. 이 모니터링 시스템은 임의로 발생시켜서 MQTT를 통해 받아오는 온도 데이터를 실시간으로 갱신하여 시각화하는 것을 목표로 하고 있으므로, 총 세 가지의 데이터 테이블이 필요하다. 이 데이터 종류에 따라 프로젝트 구조를 변경할 것이다.

이전까지의 진동 데이터 모니터링 시스템은 특수한 경우로, 웹 서버를 통하는 경우 그 정도로 고속의 데이터 통신은 불가능하다. 따라서 데이터를 온도 데이터로 변경하였다는 점을 참고 바란다.

1. User
   • 로그인 / 가입
   • 사용자의 권한에 따라 모니터링 페이지 접근 권한 제어
2. Sensor
   • 현재 데이터를 받아오고 있는 센서의 종류
   • 센서 정보
   • 센서 관리자
3. Degree
   • 온도 데이터
   • 데이터를 취득하고 있는 센서 정보

B. Pages

이후에 더 많은 페이지가 필요할 수는 있으나, 현재 필요한 페이지는 총 세 가지이다.

1. 회원가입 페이지
2. 로그인 페이지
3. 모니터링 페이지

이 중 회원가입 및 모니터링 페이지는 bootstrap 템플릿을 사용하기로 했다. 필자가 CSS랑 사이가 안 좋다. 모니터링 페이지는 지금은 간단한 그래프 하나 그리는 정도가 목표이므로, 구글 그래프 api를 사용해서 그리기로 했다. 아무튼 이건 좀 더 나중 얘기다.

로그인 페이지에서는 아이디와 비밀번호를 입력받고, DB의 User Table에서 일치하는 정보가 있는지 확인해서 로그인을 허용하거나 차단한다. 만일 정보가 없다면 회원가입을 하여 DB에 정보를 추가한다.

모니터링 페이지에서는 현재 수집되고 있는 온도 데이터를 plot하는 것이 목표이다.

 

2. 개발환경 구성

vscode 등 코드 편집기와 postgreSQL이 필요하다. postgreSQL과 vscode는 아래 링크에서 설치 가능하다. python이 없다면 이것도 설치하자. python 3.11...이 언제 릴리즈됐지? 필자는 파이썬 업데이트를 하지 않았기 때문에 여전히 3.8이다. 적절히 너무 오래되지 않은 버전으로 하면 되겠다.

Visual Studio Code - Code Editing. Redefined

 

PostgreSQL

 

Download Python

vscode의 터미널에서 fastapi를 설치한다.

!pip install fastapi

 

 

준비는 끝났다.

아 안끝났다.

!pip install sqlalchemy pydantic typing_extension uvicorn

DB 연결을 위해 SQLAlchemy라는 라이브러리를, fastapi 활용을 위해 pydantic과 typing_extension도 없으면 설치해주고, 서버를 라이브로 띄워보기 위해서 uvicorn도 설치했다. 진짜 끝났다. 필요한 게 생각나면 그때 깔아주도록 하겠다.

 

3. api 페이지 만들기

라우트 주소에 접근해서 데이터를 읽고, 게시하고, 삭제하고 수정할 수 있으므로 쓰임새에 따라서 라우트를 나눠주는 것이 좋다. 코드적으로 분리는 분량이 늘어났을 때 하고, 우선은 메인에 api 들을 읽고 쓰고 하는 부분을 먼저 만들어보자. 

- main.py

from fastapi import FastAPI

app = FastAPI()

# api section
@app.get('/api/')
def root():
    return {"message": "This is backend side API section."}

uvicorn main:app --reload

이렇게 실행하면 http://127.0.0.1/8000/api 주소에서 message json을 만나볼 수 있다.

그럼 곧장 위에서 이야기했던 세 가지 데이터, User, Sensor, Degree 데이터를 만들어보도록 하자. 가장 먼저 해야할 것은 PostgreSQL과 연결하는 것이다. PostgreSQL 클라이언트(pg Admin 이라는 이름이다)에 들어가서 기본정보를 등록했다면, 새 서버를 만들어서 새 데이터베이스를 생성한다. databases에서 우클릭하고 create하면 아래와 같은 창이 뜬다. 이름을 적당히 등록한다. 

그리고 나서 다시 vscode로 돌아와서, SQLAlchemy engine을 선언해주자. core 폴더 하위에 base.py 파일을 새로 만들어 서 넣어주었다.

 

a. 데이터테이블 기본 구조 만들기

from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

SQLALCHEMY_DATABASE_URL = "postgresql://{server_username}:{server_password}@localhost:5432/{database_name}"

engine = create_engine(SQLALCHEMY_DATABASE_URL)

SessionLocal = sessionmaker(autocommit=False, autoflush=False, bind=engine)

Base = declarative_base()

당장 이해할 필요는 없다. 그럼 바로 세 가지 데이터에 대한 테이블 구조를 만들어보자

PostgreSQL은 관계형 데이터베이스이므로 테이블을 신중하게 구성해야하지만(어떤 DB든 안 그러겠냐만은) 이번에는 다룰 데이터가 적고 서로 관계도 명확하므로 빠르게 작성해보겠다. 

1. User

from sqlalchemy import Boolean, Column, ForeignKey,  Integer, String, TIMESTAMP, Float
from sqlalchemy.orm import relationship
from .base import Base

class User(Base):
    __tablename__ = "users"

    id = Column(Integer, primary_key=True, index=True)
    username = Column(String, index=True)
    email = Column(String, unique=True, index=True)
    password = Column(String, index=True)
    disabled = Column(Boolean, index=True, default=False)
    sensors = relationship("Sensor", back_populates="owner")

• id가 대표 키로 설정되어 있다.
• email은 중복될 수 없다
• disabled(비활성화)의 기본 값은 False이다.

2. Sensor & Degree

class Sensor(Base):
    __tablename__ = "sensors"

    id = Column(Integer, primary_key=True, index=True)
    administer_id = Column(Integer, ForeignKey("users.id"))
    owner = relationship("User", back_populates="sensors")
    degrees = relationship("Degree", back_populates="sensor")

class Degree(Base):
    __tablename__ = "degrees"

    id = Column(Integer, primary_key=True, index=True)
    time = Column(TIMESTAMP, index=True)
    degree = Column(Float, index=True)
    sensor_id = Column(Integer, ForeignKey("sensors.id"))
    sensor = relationship("Sensor", back_populates="degrees")

• Sensor의 administer_id와 Degree의 sensor_id는 각각 다른 테이블의 한 column을 참조하고 있다. 이를 외부키(Foreign key)라고 하는데, FastAPI와 SQLAlchemy에서는 위와 같이 표현해준다. 
• User의 sensors, Sensor의 degrees와 Degree의 sensor은 relationship이라는 항목이 있다. 이는 데이터 테이블간의 관계를 표시하는 것이다.

 

b. 스키마 만들기

같은 뜻 같지만, 좀 더 분리해서 우리가 fastapi 안에서 사용할 수 있는 형태를 만들어줄 것이다. 위는 데이터베이스에 테이블을 형성하는 단계에 가깝고, 지금부터는 FastAPI에서 호출해서 생성하고 불러오고 삭제할 구조를 생성하는 것이다.

1. User

from typing import List, Union
from pandas import Timestamp
from pydantic import BaseModel

# user
class UserBase(BaseModel):
    username: str
    email: str = None

class UserCreate(UserBase):
    password: str

class User(UserBase):
    id: int
    sensors: List[Sensor] = []
    disable: bool = False

    class Config:
        orm_mode = True

• 하나의 테이블 당 세 개의 스키마로 나누었다. 첫번째, Base는 pydantic의 BaseModel을 상속받아 username, email의 기본 정보를 선언해주었다. 
• 두 번째 Create에서는 기본 정보에 테이블 생성을 위해 반드시 필요한 요소를 추가해주었다.
• 세 번째 완성된 클레스에서는 앞서 구조를 만들 때 필요했던 모든 요소들을 추가해주었다. 
  • 마지막에 password를 드러내지 않도록 설정했다. 나중에 해쉬 방식으로 보안을 조금이나마! 추가한 뒤에 수정하도록 하겠다.

class Config:
    orm_mode = True

이 pydantic의 orm_mode를 True로 만들어주면, User라는 객체를 불렀을 때 반환형을 만들어서 정보를 보여준다. 

2. Sensor

# sensor
class SensorBase(BaseModel):
    administer_id : int

class SensorCreate(SensorBase):
    pass

class Sensor(SensorBase):
    id : int
    degrees : List[Degree] = []
    class Config:
        orm_mode = True

• 센서는 생성할 때 기본 정보에서 추가해야할 것이 별도로 있지 않다.

3. Degree

class DegreeBase(BaseModel):
    time: Timestamp
    degree: float
    sensor_id: int

class DegreeCreate(DegreeBase):
	pass 
    
class Degree(DegreeBase):
    id: int
    class Config:
        orm_mode = True

• 온도 데이터는 생성할 때 기본 정보에서 추가해야할 것이 별도로 있지 않다.

 

4. 잘 만들어졌는가 테스트하기

테스트를 위해서는 우선 main 파일에 두가지를 추가해야한다.

from core import models

models.Base.metadata.create_all(bind=engine)

def get_db():
    db = SessionLocal()
    try:
        yield db
    finally:
        db.close()

models.Base.metadata.create_all(bind=engine)은 우리가 models에 만들어놓은 테이블 구조를 그대로 생성한다는 뜻이다. uvicorn으로 실행하고 나면 table들이 생긴 것을 확인할 수 있다.

get_db 함수는 db session 을 호출한다. 일종의 db 접근 권한이라고 생각하면 될 것 같다. 

그리고 테스트를 위해서 유저를 추가하고 읽어오는 함수를 두 개 넣었다.

@app.get('/api/users')
def get_users(skip: int = 0, limit: int = 100, db = Depends(get_db)):
    # db의 User table에서 [skip : limit] 까지의 리스트
    return db.query(models.User).offset(skip).limit(limit).all()

@app.get('/api/createuser')
def creat_user(username: str, password: str, email: str, db = Depends(get_db)): # 나중에 User Create 객체로 받아오도록 수정
    # User 객체 생성
    db_user = models.User(username=username, password=password, email=email)
    # db에 추가
    db.add(db_user)
    # 반영
    db.commit()
    # 새로고침
    db.refresh(db_user)
    return db_user

이제 주소창을 통해서 유저를 만들어볼 수 있다.

http://localhost:8000/api/createuser/?username=dnai&password=1234&email=dmelli0505@gmail.com

원래는 get이 아닌 post로 전달하지만, 우리는 form 형태가 아니라 일반 쿼리 매개변수로 일단 넣어서 테스트 해보는 것이 목표이므로 위와 같이 get을 사용해서 임시 함수를 구성했다.

이제 postgreSQL에서 쿼리문으로 users 테이블을 보면 잘 추가된 것을 확인할 수 있다!

http://localhost:8000/api/users 로 접속하면 방금 추가한 유저를 확인할 수 있다.

 

내용이 제법 길어졌으므로 다음 번에는 sensor 데이터를 하나 추가하고, 이전에 구현해둔 mqtt를 활용해 온도 데이터를 수집해 넣고 데이터가 꼬이지는 않는지 확인해보는 시간을 갖도록 하겠다. 

https://dnai-deny.tistory.com/62

[Monitoring System] 2. MQTT 통신

틀렸거나 이상한 점이 있으면 댓글로 알려주시길 바랍니다! 

+) 다음 포스팅이 나왔습니다.

2023.08.07 - [Project/Monitoring System] - [Monitoring System] 6. Fast API 로 이틀만에 백엔드 구축하기(feat. SQLAlchemy, PostgreSQL) (2) - MQTT 데이터 적재 / 로그인 기능 구현

[Monitoring System] 6. Fast API 로 이틀만에 백엔드 구축하기(feat. SQLAlchemy, PostgreSQL) (2) - MQTT 데이터 적