[Monitoring System] 5. Fast API 로 이틀만에 백엔드 구축하기(feat. SQLAlchemy, PostgreSQL) (1) from sqlalchemy import Boolean, Column, ForeignKey, Integer, String, TIMESTAMP, Float from .base import Base 제목은 거창하게 써놨지만 아주 간단한 백엔드를 구축해서 그리 오래걸리지 않았을 뿐이다^^. 우선 백엔드를 dnai-deny.tistory.com [Monitoring System] 6. Fast API 로 이틀만에 백엔드 구축하기(feat. SQLAlchemy, PostgreSQL) (2) - MQTT 데이터 적 2023.06.13 - [Project/Monitorin..

2023.06.13 - [Project/Monitoring System] - [Monitoring System] 5. Fast API 로 이틀만에 백엔드 구축하기(feat. SQLAlchemy, PostgreSQL) (1) [Monitoring System] 5. Fast API 로 이틀만에 백엔드 구축하기(feat. SQLAlchemy, PostgreSQL) (1) from sqlalchemy import Boolean, Column, ForeignKey, Integer, String, TIMESTAMP, Float from .base import Base 제목은 거창하게 써놨지만 아주 간단한 백엔드를 구축해서 그리 오래걸리지 않았을 뿐이다^^. 우선 백엔드를 dnai-deny.tistory.com 전..

from sqlalchemy import Boolean, Column, ForeignKey, Integer, String, TIMESTAMP, Float from .base import Base 제목은 거창하게 써놨지만 아주 간단한 백엔드를 구축해서 그리 오래걸리지 않았을 뿐이다^^. 우선 백엔드를 해보는 것 자체가 이번이 처음이고, 필요에 의해서 필요한 부분만 공부해서 후닥닥 만들어서 다소 조잡할 수 있으나 어쨌든 모니터링 시스템 자체는 잘 동작하고 있으니 호스팅만 따로 해주면 당장 쓸 수 있다. Python으로 작성되어 있어서 Python의 노예인 나에게는 아주 편한 프로그래밍이었던 것도 한 몫했다. 0. Fast API 자습서 Fast API 공식문서로 공부하는 시간을 하루 가지고 이틀동안 개발을 ..

[Monitoring System] 3. UDP 통신으로 실시간 진동 데이터 Plotting(feat. matplotlib) 이번 포스팅에서는 이전 mqtt에서 사용한 예제 데이터보다 2만 배 정도 많은 데이터를 DAQ에서 받아오는 UDP 예제를 만들 것이다. 구현하려는 웹 서비스에 온도 데이터 말고 진동 데이터도 넣어보 dnai-deny.tistory.com [Monitoring System] 4. UDP 통신으로 실시간 진동 데이터 FFT / STFT시각화(numpy, tensorflow, pytorch) 결론부터 말하면 stft는 부하가 너무 심해서 실시간으로 시각화하는 것은 무리무리무리이다. 일단 matplotlib 자체에서 단순 시각화를 하기에도 데이터 양이 너무 많기 때문에 일종의 녹화기능을 ..

결론부터 말하면 stft는 부하가 너무 심해서 실시간으로 시각화하는 것은 무리무리무리이다. 일단 matplotlib 자체에서 단순 시각화를 하기에도 데이터 양이 너무 많기 때문에 일종의 녹화기능을 넣어서 원하는 만큼의 데이터를 fft / stft 처리해서 따로 시각화하기로 결정하였다. 그래도 FFT 정도는 실시간으로 가능할 것 같아서 gpu accelerator를 사용해서 구현하였다. 그러나 CUDA 환경이 아닌 곳에서도 쓸 수 있도록 numpy로도 코드를 추가했다. 이전까지 코드는 요기에 있다. https://dnai-deny.tistory.com/65 [Monitoring System] 3. UDP 통신으로 실시간 진동 데이터 Plotting(feat. matplotlib) 이번 포스팅에서는 이전 m..

이번 포스팅에서는 이전 mqtt에서 사용한 예제 데이터보다 2만 배 정도 많은 데이터를 DAQ에서 받아오는 UDP 예제를 만들 것이다. 구현하려는 웹 서비스에 온도 데이터 말고 진동 데이터도 넣어보고 싶은데, 그것을 위해서 우선 대용량 데이터이기 때문에 복잡해지는 데이터베이스나 서버를 제외하고 소켓 통신한 결과를 matplotlib로 로컬에 간단하게 띄워보도록 하겠다. 1. UDP 통신 UDP는 소켓 통신의 일종으로, 다른 소켓 통신방법인 TCP와는 다르게 연결을 보장해주지 않는다. 나쁘게 들릴 수도 있겠으나 client와 server의 연결을 요청하고, 승인하고 연결한 후 통신을 시작하는 TCP와 달리 데이터를 매번 보낼 때마다 데이터의 목적지(ip, port번호)를 함께 실어서 일단 냅다 보내는 방식..

: Message Queuing Telemetry Transport 가장 먼저 데이터 수집을 위해 MQTT 통신이 무엇인지부터 알아보도록 하겠다. 원리 Publish - Subscribe 모델 메세지 발신자와 수신자를 구분함 브로커 라는 제 3의 구성요소가 둘 사이의 통신 처리 브로커의 publisher - subcriber 분리 공간 분리 발신자 / 수신자가 서로의 IP / 포트번호 / 네트워크 위치 모름 시간 분리 동시에 일생되거나 네트워크 통해 연결되지 않음 동기화 분리 서로를 중단시키지 않고 메세지 송수신 가능. 구독자가 데이터 올 때까지 기다릴 필요 없다. 요약하면, 메세지 발신자가 주제 + 데이터를 브로커에게 보내면, 브로커는 그 주제를 구독하고 있는 수신자를 찾아서 받은 데이터를 전송해준다...

앞으로 딥러닝을 활용한 과제를 수행할 때, 직접 데이터를 센서나 카메라 등을 활용해서 수집하고 모니터링하는 기능까지 구현할 일이 꽤 있으리라는 이야기와 함께 간단한 모니터링 시스템을 로컬에서 구축해보는 숙제(?)를 받았다. 이전에 한 번도 백엔드를 해본 적이 없어서 조금 막막했지만, 역시 파이썬... FastAPI를 활용해서 5일 정도만에 아주 기본적인 틀을 짜는데 성공했다. 이 챕터에서 지속적인 시스템 업데이트와 개발 과정을 기록해보려고 한다. 공개할 수 있는 코드는 아래 깃헙 repository에 올려두었다. https://github.com/melli0505/monitoring_system [GitHub - melli0505/monitoring_system: FastAPI/PostgreSQL/MQT..