나만의 개발 블로그

🙆‍♂️ 환경설정 0. 구름 IDE https://ide.goorm.io/my/dashboard goorm 구름은 클라우드 기술을 이용하여 누구나 코딩을 배우고, 실력을 평가하고, 소프트웨어를 개발할 수 있는 클라우드 소프트웨어 생태계입니다. goorm.co 깃허브 아이디로 구름 IDE에 로그인 하시면 하나의 컨테이너를 항상 켜둘 수 있습니다. 별다른 설명 할 것 없이 그냥 플러스 버튼을 클릭하며 새 컨테이너를 만들어주고 1. FastAPI를 위한 패키지 설치 Fast API를 위한 패키지를 설치해줍니다. 그리고 추가로 API에서 필요한 라이브러리들을 설치해줍니다. 저 같은 경우에는 크롤링 API이기 때문에 BeuatifulSoup4를 설치해줬습니다. 2. Fast API 코드 작성 from typing..

🙆‍♂️ 프로젝트 생성 1. VS Code 가상환경 설정 먼저 VS Code에서 폴더를 선택해주고 VS Code의 터미널에서 python -m venv {가상환경이름} 위의 코드를 통해서 가상환경을 만들어주면 위의 이미지처럼 나오게됩니다. 저는 가상환경 이름을 venvAPI로 했습니다. 2. 가상환경 진입 우선 만든 가상환경 폴더 안에 있는 Scripts라는 폴더로 이동하고 activate를 실행해주면 가상환경에 진입하게 됩니다. 3. 파이썬 가상환경 인식 파이썬 가상환경 인식을 위해 아무 파이썬 파일을 생성하고 우측 하단에 보면 Python 어쩌구 버전이 나오는데 숫자를 클릭해보면 저기에서 추천하는 venv의 파이썬을 쓰겠다는 부분으로 인터프리터를 바꿔주면 가상환경에서 파이썬 인식이 됩니다. 4. 파일..

🙆‍♂️ 방법 1. 사이트 들어가기 및 계정 생성 https://aws.amazon.com/ko/ 클라우드 서비스 | 클라우드 컴퓨팅 솔루션| Amazon Web Services 개발자, 데이터 사이언티스트, 솔루션스 아키텍트 또는 AWS에서 구축하는 방법을 배우는 데 관심이 있는 모든 사용자용 무료 온라인 교육 AWS 전문가가 구축한 500개 이상의 무료 디지털 교육 과정 aws.amazon.com 2. 가입 완료 후 콘솔로 들어옴 여기서 Tokyo를 서울로 바꿔줘야 합니다. 3. EC2 생성을 위해 Services(모든 서비스) > Compute(컴퓨팅) > EC2를 클릭 4. 주황색 버튼인 Launch instance(인스턴스 시작)을 클릭 5. 사용할 OS 선택 저는 Amazon Linux 6. ..

🙆‍♂️ FastAPI Flast나 Django보다 빠르다고 해서 사용해봅니다. https://fastapi.tiangolo.com/ko/ FastAPI FastAPI FastAPI 프레임워크, 고성능, 간편한 학습, 빠른 코드 작성, 준비된 프로덕션 문서: https://fastapi.tiangolo.com 소스 코드: https://github.com/tiangolo/fastapi FastAPI는 현대적이고, 빠르며(고성능), 파이썬 fastapi.tiangolo.com 위 문서를 참고했습니다! pip install fastapi pip instal "uvicorn[standard]" 위의 두 패키지를 install 했습니다. from fastapi import FastAPI app = FastAPI..

🙆‍♂️ Node express npm init npm 프로젝트 폴더를 만들고 그곳에서 npm init 명령어를 사용해서 package.json을 작성해줍니다. 그냥 엔터 계속 누르면 작성됩니다. npm install express --save express를 설치해줍니다. app.js라는 파일을 만들어서 const express = require('express') const app = express() const port = 3000 app.get('/', (req, res) => { res.send('Hello World!') }) app.listen(port, () => { console.log(`Server start in http://localhost:${port}`) }) 위 코드를 작성하고..

🙆‍♂️ DB와 연동 파이썬은 만능입니다. pymongo 라이브러리를 활용하면 됩니다. 저는 Anaconda의 Jupyter Notebook을 사용하기 때문에 간단하게 설치했습니다. #requests import import requests #bs4 import from bs4 import BeautifulSoup def notices(targetUrl,page_index): #targetURL base_url=targetUrl #post param post_params = {'page':page_index} #응답 값은 response에 res = requests.post(base_url,data=post_params) #응답에 실패하면 if res.status_code != 200: #그냥 print..

🙆‍♂️개념 #requests import import requests #bs4 import from bs4 import BeautifulSoup def notices(targetUrl,page_index): #targetURL base_url=targetUrl #post param post_params = {'page':page_index} #응답 값은 response에 res = requests.post(base_url,data=post_params) #응답에 실패하면 if res.status_code != 200: #그냥 print print("Can't") #응답에 성공하면 else: #결과 저장 리스트 results=[] #BeautifulSoup 생성해서 soup으로 사용 soup=Beauti..

🙆‍♂️ Mongo DB 기존 데이터 베이스는 정형 데이터만 저장할 수 있지만 Mongo DB는 No-SQL이라고 해서 데이터베이스 형식으로 데이터를 저장하는 것이 아닌 딕셔너리 형태로 데이터를 저장하는 DB입니다. 그래서 정형 데이터, 비정형 데이터 모두 자유롭게 저장할 수 있습니다. 🙆‍♂️ 시작하기 - Project 만들기 Atals를 사용해서 DB를 cloud형태로 사용할 수 있습니다. https://account.mongodb.com/account/register Cloud: MongoDB Cloud account.mongodb.com 위의 링크에서 구글 계정으로 Atlas에 가입을 하고 https://cloud.mongodb.com/ Cloud: MongoDB Cloud account.mong..

🙆‍♂️ 코드 리뷰 from requests import get from bs4 import BeautifulSoup base_url="https://community.bu.ac.kr/info/1787/subview.do" response = get(f"{base_url}") if response.status_code != 200: print("Can't") else: soup=BeautifulSoup(response.text,"html.parser") print(soup.find_all('td',class_="_artclTdTitle")) 현재 이코드로 돌리면 정제되지 않은 불필요한 정보도 얻을 수 있습니다. 출력값이 list 형태인 것을 생각해보고 다시 코드를 작성하면 from requests imp..

🙆‍♂️개념 웹 스크래핑을 위해서 beutifulsoup4를 설치해서 사용해야 합니다. https://pypi.org/project/beautifulsoup4/ beautifulsoup4 Screen-scraping library pypi.org 해당 라이브러리는 위에서 설명해줍니다. 저는 Anaconda의 Jupyter-notebook을 사용하기 때문에 설치되어 있답니다. 이 때 주의할 점이 웹 스크래핑을 할 때 상업적으로 이용할 목적이라면 아주아주 조심해야 합니다. 이용약관과 법을 잘 찾아서 해보시구 저는 비 상업적 목적으로 진행할 예정입니다. 🙋‍♂️ 학사 공지사항 가져오기 from requests import get base_url="https://community.bu.ac.kr/info/178..