본문 바로가기

2017/04

how to insert dataframe data into mysql database using pymysql(pure python3 library) import pandas as pdimport mysql.connector from sqlalchemy import create_engine python을 이용해서 만든 데이터를 데이터베이스(DB)에 저장을 하기위한 모듈들이다. python3 에서는 Python에서 잘 작동하던 mysqldb 가 작동하지 않는다. 그래서 예전에 만들어둔 코드들이 더 이상 작동을 하지 않아 한 동안 애를 먹었던적이 있었다. 이번 기회에 이전 데이터를 python3를 이용해서 다시금 DB에 저장해두고 활용을 해 보고자 관련글을 작성해 둔다. 아래는 python3에서 pandas dataframe 으로 만들어진 데이터를 mysql or mariadb 에 삽입하는 코드이다. 이 단순한 몇을을 찾기 위해 얼마나 헤매였단가~ 먼산 .. 더보기
install mariadb on ubuntu | mariadb 설치하기 on ubuntu Installing MariaDB using APTFor Debian and Ubuntu, it is highly recommended to install from the repositories, using apt-get, aptitude, synaptic or another package manager.The easiest way to get things set up is to use our online repository configuration tool and follow the instructions it generates.Import the GnuPG signing keyFirst import the GPG key we use to sign the repositories. This step on.. 더보기
구글독스(google docs)를 이용해 주식 실시간 데이터를 가져오기. 이번에는 국내 포털에서 제공하는 실시간 주식 시세 정보를 구글독스(Google Docs)를 이용해서 가져오는 방법을 알아보려고 합니다. 구글 파이낸스나 야후 파이낸스는 자체적으로 정보를 제공하는 API를 제공하지만, 한국 정보는 미흡한 점이 많은게 사실입니다. 그리고 프로그래밍으로 관련 데이터를 긁어 올 때 자주 활용할 수 있어 유용하지만, 데이터 자체가 지연 제공되기에 아쉬운 점이 있다고 할 수 있습니다. 마이크로 소프트의 엑셀이나 구글의 스프레드 시트에서는 웹상의 데이터를 가지고 올 수 있는 함수를 제공하고 있습니다. IMPORTHTML 을 사용하기도 하고 때로는 IMPORTDATA라는 함수를 사용하기도 합니다. 백문이 불여일견이죠 아래와 같이 이미지를 통해서 보시면 무슨 얘기인지 금방 체감하실 수 .. 더보기
List of SQL Commands BACKGROUNDSQL, 'Structured Query Language', is a programming language designed to manage data stored in relational databases. SQL operates through simple, declarative statements. This keeps data accurate and secure, and helps maintain the integrity of databases, regardless of size.Here's an appendix of commonly used commands.COMMANDSALTER TABLEALTER TABLE table_name ADD column datatype; ALTER TA.. 더보기
How to install mariadb on ubuntu | 우분투에 마리아디비 설치하기 Install MariaDB on Ubuntu 16.04Step 1. First make sure that all your system packages are up-to-date by running these following apt-get commands in the terminal.12apt-get updateapt-get upgrade Step 2. Installing MariaDB. Installing MariaDB is as simple as running just one command below:1apt-get install mariadb-serverIf you want to install MariaDB 10.x Which is not included in distribution reposit.. 더보기
Mariadb Sovle : Plugin 'unix_socket' is not loaded The "unix_socket" has been called by mysql authentication process (maybe related to a partial migration of database to mariadb, now removed). To get all stuff back working go su:sudo su then follow:/etc/init.d/mysql stop mysqld_safe --skip-grant-tables & mysql -uroot This will completely stop mysql, bypass user authentication (no password needed) and connect to mysql with user "root".Now, in mys.. 더보기
텐서플로우에서 데이터 읽기 | Read data from files on TensorFlow test.csv :73,80,75,15293,88,93,18589,91,90,18096,98,100,19673,66,70,142 53,46,55,101 import tensorflow as tf filename_queue = tf.train.string_input_producer(\ ['/Users/sh/Documents/_iPython/TensorFlow/test.csv'], shuffle=False, name='filename_queue') reader = tf.TextLineReader() key, value = reader.read(filename_queue) # Default values, in case of empty columns. Also specifies the type of the de.. 더보기
칼 빈슨 항모 전단은 어디에? 트럼프의 농단인가? 언론의 설레발인가? 그 동안 한반도로 향했다고 알려진 항모전단 칼 빈슨호가 한반도가 아닌 인도양으로 향했다는 기사들이 쏟아져 나오고 있다. 이는 당초 4월 15일 김일성 생일을 맞아 북한 김정은 정권이 새로운 핵실험을 강행할 것에 대한 경고 차원으로 항모전단을 전개해 압박하기 위한 수단으로 알려졌었다. 이에 미국 당국자가 확인하고 한국 국방부도 사실을 확인해주어, 4월에 한반도에서 전쟁이 일어날지도 모른다는 유언비어가 난무하게 한 단초를 제공한게 사실이다. 그러나 4월 19일 현재 한반도로 향했다는 칼 빈슨호는 어디에 있을까? 한반도와는 동떨어진 인도양의 순타해협을 지나는게 찍힌 사진이 한장 공개되면서, 미국 트럼프 대통령의 말은 거짓인게 들통나고 말았다. 이를 시간순으로 간략히 정리하면, 다음과 같다.1. 4월 8일 칼 .. 더보기
파이썬을 이용한 구글 이미지 다운로더 만들기 | Making Image Downloader from google image by using Python 글을 쓰거나, 이미지 작업을 필요로 할 때, 인터넷 상에서 많은 이미지들을 검색 및 다운, 활용하는 사례가 많을 수 있다. 그럴 때마다 인터넷에 접속해서 관련 이미지를 찾아서 다운받고 활용하는게 상당히 번잡스럽게 느껴지곤 한다. 이를 위해 누군가 관련 이미지들을 폴더에 다운받아 놓아주었으면 할 때가 있는데, 걱정마시라(?) 우리에게는 프로그래밍 언어가 있다. 이번에는 파이썬으로 내가 필요로 하는 이미지를 하나의 폴더에 좌~악 받아주게 해 보려고 한다. 언제나 그렇듯, 이걸 왜 만들어 할 때가 있는데, 같은 작업을 계속 반복적으로 하는 것 보다, 단순 반복작업은 그냥 컴퓨터가 알아서 하게 만들어두면 얼마나 편하겠는가. 우리는 호모 사피엔스이다. 구석기 시대의 유물인 노가다 작업(?)은 그만 두시라. 처음부.. 더보기
2017년 4월. 고조되는 한반도 위기/전쟁설. 미 트럼프 대통령 손에 달린 것인가? 2017년 4월, 중국의 시진핑 주석과 미국의 도널드 트럼프 대통령이 1:1 단독 회담을 가졌다. 그 이후 한반도 주변 정세는 빠르게 변화하고 있는 중이다. 한미 연합 훈련을 마치고 싱가포르에서 호주로 향하던 USS 칼 빈슨 항공 모함이 예정된 이동을 취소하고 다시 한반도로 향하고 있다. 그리고 일본에서는 로널드 레이건 항공 모함도 대기중인 것으로 알려지고 있다. 서태평양 주변의 미 전략 자산들이 속속 한반도 주변으로 재배치되고 있는 상황이 이어지자 여기저기에서 4월 위기설, 4월 한반도 전쟁설등이 흘러나오고 있는 실정이다.과연 이번 사태가 전쟁으로 이어질까? 아니면 단순한 해프닝으로 끝날까? 당연히 전쟁은 어떠한 일이 있어도 발생해서는 안 될 것이다. 전쟁이 발발하게 된다면, 한반도는 돌이킬 수 없는 .. 더보기
2017년 4월 한반도로 이동중인 항공모함 칼빈슨(USS Carl Vinson) 미군 당국은 북한의 핵무기 개발 계획에 대한 우려가 커지면서 한반도 근해인 서태평양쪽으로 미 항공모함 USS Carl Vinson 호를 이동하겠다고 하였다. 이달 초 북한은 액체 연료가 공급되는 스커드 미사일을 일정 거리만 시험 비행하는 테스트를 진행하였다. 칼 빈슨 (Carl Vinson) 항모 전단은 원래 싱가포르 근해에 정박중이었다고 하는데, 이번 북한의 핵실험 징후 포착 직후에 한반도로 이동할 것이라고 미국의 한 당국자가 익명을 요구하며 한 언론사에 확인해 준것이 전세계에 속보로 퍼져나가게 된 것이다. 이 관계자는 북한의 우려스러운 행동을 언급하면서 "우리는 더 많은 입지가 필요하다고 생각한다." 라고 전했다고 한다. 이를 미국의 언론사를 시작으로 한국의 언론사들이 받아 보도하자, 여기저기서 우려.. 더보기
세계에서 가장 큰 항공 모함 10선 바다위를 떠다니는 공군 기지로서의 항공 모함의 우수성은 2차 세계 대전 이후 입증되어 왔다. 세계에서 가장 큰 항공 모함인 Nimitz Class는 미국 해군이 운용하는 반면, 세계 10 대 항공 모함 중 3 대가 아시아 해군에 의해 운영되고 있다. Nimitz Class, US Nimitz Class는 97,000t의 최대 적재량으로 세계 최대 항공 모함이다. 이 클래스의 첫 번째 항공모함은 1975 년 5 월에 배치되었으며, 10 번째이자 마지막 배인 USS George H.W. BUSH (CVN 77)는 2009 년 1 월에 시운전을 마쳤다. Nimitz Class는 약 50년 동안 작동하도록 설계되어 중급 수리를 한 번만하면 될 정도로 디자인 되었다. 332.8m 길이의 항모는 60 대 이상의 항.. 더보기
Multi Variables Linear Regression을 Tensor Flow 에서 구현하기 Multi Variables 을 이용한 Linear Regression 을 학습하고자 한다.이전에 알아본 Single Variable Linear Regression 에서 여러개의 변수가 추가되었을 때 보다 실용적인 결과값을 구현할 수 있을 것이다.x1, x2, x3 이렇게 3개의 instances의 값을 가지고 보다 더 cost function 값을 줄인 결과값을 얻고자 할 때의 코딩이다. 위의 코드를 실행하면 아래와 같은 결과 값을 얻을 수 있다. 처음 부분과 마지막 부분만을 캡쳐하여 올려둔다. 그러나, 여기서 문제점은, 위와 같은 형태에서는 instance와 data 값이 늘어나면 코드가 지저분해 진다는 데 있다. 이를 수학적(?)으로 보다 깔끔하게 하기 위해서는 아래와 같은 Matrix(행렬 or.. 더보기
스타크래프트 1.18 테스트버전 다운 및 실행 for win & mac | STARCRAFT 1.18 down & launch for Windows & Mac 다운로드테스트버전 설치 방법이 변경되었습니다. 새로운 테스트버전에서는 드디어 MacOS를 지원합니다.MAC OS 용 Starcraft 1.18 다운받기 기존 스타크래프트 or 브루드워 설치 유무와 상관없이 무료로 이용가능합니다. Windows 용 스타크래프트 1.18 다운받기 설치 및 실행 위 다운로드 링크로 Launcher 파일을 다운받고 실행합니다.언어에서는 한글이 아직 없기에 ENGLISH 를 선택합니다. 물론 여타 언어를 선택해도 무방합니다.설치 화면이 나오면 '동의'를 체크합니다.Continue를 누릅니다.설치가 완료되기를 기다립니다.설치가 완료되었다면 실행을 합니다. 실행하기실행을 하고 나면 아주 앤틱(?)하고 친숙한 오프닝 화면이 등장합니다. 테스트 서버에 피쉬서버(한국지역서버)가 추가되었습.. 더보기
TensorFlow Linear Regression with place holder As we studied before, we can use 'placeholder' as a source of input value. So, I changed the source code uploaded on this blog with placeholder. You might know the differences if you check on here.import tensorflow as tf # X and Y data #x_train = [1,2,3] #y_train = [1,2,3] W = tf.Variable(tf.random_normal([1]), name = 'weight') b = tf.Variable(tf.random_normal([1]), name = 'bias') X = tf.placeho.. 더보기
tvn 드라미 <시카고 타자기> 등장 인물 관계 및 줄거리 tvN 금, 토 드라마 가 실시간 검색어에 등장하고 있다. 흥행 보증(?) 수표인 배우 유아인, 동안 미모를 뽐내는 배우 임수정이 함께 하기 때문이란다. 판타지 휴먼 로맨스 코미디로 4월 7일 첫 방송을 시작하였다. 매주 금,토 저녁 8시에 방송. 요즘은 장르에 왜 이렇게 복합적인 요소가 많은지....ㅎㅎㅎ 옛날 개그 프로그램에서 온갖 장르를 다 가져다 쓰는 유머가 있었는데, 불현듯 그게 떠오른다. 제작 발표회부터 유아인, 임수정, 고경표 배우들이 참여한다고 하여 개인적으로 많은 관심을 가졌던 터라 첫 방송부터 기대를 하고 시청하였다.( 요즘 시간이 많나 ㅡㅡ;;) 주요 인물로는 한류 스타 못지 않은 큰 인기를 누리고 있는 워커홀릭 베스트셀러 작가 한세주 역의 유아인 동물들에게 한류 스타 못지 않은 인기.. 더보기

티스토리툴바