사붐이개발일기

GeoJSON 객체 공간 정보 쿼리의 유형: 교차(intersect), 포함(within), 근접(nearness) GeoJSON: JSON 형태로 지형 데이터를 정의하는 포맷 : { type: , coordinates: } type: Point, LineString, Polygon, MultiPoint, MultiLineString, MultiPolygon, GeometryCollection이 있음 coordinates: 좌표 공간 정보 쿼리 공간정보 쿼리를 효율적으로 실행 공간정보 쿼리의 유형 $geoIntersects: 주어진 영역과 문서들의 영역에 교집합을 찾아서 반환 입력값으로 GeoJSON 객체 허용 $geoWithin: 영역 안에 포함된 document들 반환 입력값으로 폴리곤 계열의 Geo..

목표: 국민민건강보험공단_건강검진정보 데이터(json)를 인덱싱하여 before, after 속도체크 데이터_URL: https://www.data.go.kr/data/15007122/fileData.do 공공데이터 포털 국가에서 보유하고 있는 다양한 데이터를『공공데이터의 제공 및 이용 활성화에 관한 법률(제11956호)』에 따라 개방하여 국민들이 보다 쉽고 용이하게 공유•활용할 수 있도록 공공데이터(Datase www.data.go.kr python에서 json데이터를 mongoDB로 저장하기: import requests import json import pymongo conn = pymongo.MongoClient() db = conn.bitDB min_page = 1 max_page = 5000 ..

커서 (cursor) 테이블에서 여러 개의 행을 쿼리한 후에, 쿼리의 결과인 행 집합을 한 행씩 처리하기 위한 방식 커서의 초기값은 첫 번째 행 이전을 가리킴 next()를 이용하여 다음 행으로 이동하여 해당 행의 값을 반환 for(i=0; i index는 read 작업 위주의 애플레케이션에서 유용하고 읽기보다 쓰기 작업이 많으면 index를 생성하는것은 비효율적임 _id 인덱스 컬렉션을 생성하는 동안 _id필드에 고유한 인덱스를 생성 _id 필드에 같은 값을 가진 2개의 도큐먼트를 삽입할수 없도록 함 _id필드의 인덱스를 제거할 수 없음 인덱스 생성하기 db.collection.createIndex(, ) 인덱스의 기본 이름 인덱스의 키와 방향(오름차순, 내림차순)의 조합 예: {item: 1, qua..

용어 정리 SQL 용어 mongoDB 용어 Database Database table collection row 도큐먼트 or BSON document (필드: 값의 쌍으로 이루어짐) column field index index table joins embedded document (내장 도큐먼트) primary key primary key 하나의 열 또는 여러 열의 조합으로 기본 키를 생성 기본키를 지정할 필요 없이 _id 필드를 자동으로 기본키로 설정 예제 Select SQL SELECT Statement MongoDB find() Statement SELECT * FROM samples db.samples.find() SELECT id, user_id, status FROM samples db.sa..

Database 생성 use database_name 으로 생성 Database 조회 show dbs: database 리스트 확인 db: 현재 사용 중인 database 확인 Collection 생성 db.createCollection(name, [option]) 으로 collection 생성 name은 collection 이름이고, option은 document 타입으로 구성된 해당 collection의 설정 값 option 객체의 속성들 capped: Boolean타입, 이 값을 true로 설정하면 capped collection을 활성화, Capped collection이란 고정된 크기를 가진 collection으로, size가 초과되면 가장 오래된 데이터를 덮어씀, 이 값을 true로 설정하면 ..

동적 웹페이지 크롤링 관련 모듈 임포트 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from bs4 import BeautifulSoup import time import re #정규표현식 크롤링할 부분 설정 dining_url = "https://m.diningcode.com/list.dc" chrome_options = webdriver.ChromeOptions() # 크롬 WebDriver 객체생성 wd = webdriver.Chrome(service=Service(ChromeDriverMan..

DB연동 예제 !pip install pymongo import pymongo conn = pymongo.MongoClient() db = conn.bitDB users = db.users users = users.find({}).limit(3) for user in users: print(user) inventory = db.inventory.find({}, {'_id':0}) for inv in inventory: print(inv) 크롤링 예제 from bs4 import BeautifulSoup import urllib.request stores= []; # 결과를 저장할 리스트 encText = urllib.parse.quote('서울') for page in range(1,17): Hollys..

Create Operations(Insert) Create는 새로운 documents를 collection에 생성하거나 추가하는 동작이다. MongoDB의 create는 insert를 통해서 이루어지는데, 만약 collection이 존재하지 않는다면, 'insert' 명령어는 collection을 새로 생성한다. 따라서 MongoDB는 docments를 collection에 넣기 위한 insert 메소드를 다음과 같이 제공한다. db.collection.insertOne() db.collection.insertMany() 먼저 db.collection.insertOne()은 하나의 document를 collection에 넣는 명령어이다. return은 db.inventory.insertOne( { ite..