opens.kr

https://github.com/expressjs/body-parser

A new body object containing the parsed data is populated on the request object after the middleware (i.e. req.body). This object will contain key-value pairs, where the value can be a string or array (when extended is false), or any type (when extended is true).

POST FORM (Content-Type:application/x-www-form-urlencoded)

$ curl --noproxy '*' -i -XPOST 'http://localhost/post_test' -d 'array[key1][key2]=233'
app.use(bodyParser.urlencoded({ extended: false }));
 // req.body : { 'array[key1][key2]': '233' }
app.use(bodyParser.urlencoded({ extended: true })); 
// req.body : { array: { key1: { key2: '233' } } }

Node.js 

const crypto = require("crypto");
const algo = 'aes-128-cbc';
const key = "security_key";
const iv = "iv_key";
const value = 'HelloWorld';
const keyBuffer = new Buffer(crypto.createHash('md5').update(key).digest('hex'),"hex");
const ivBuffer = new Buffer(crypto.createHash('md5').update(iv).digest('hex'),"hex");
const textBuffer = new Buffer(value);

let cipher = crypto.createCipheriv(algo, keyBuffer,ivBuffer);
let encrypted = cipher.update(textBuffer);
let encryptedFinal = cipher.final();
let encryptedText = encrypted.toString('base64') + encryptedFinal.toString('base64');
console.log(encryptedText); //xr046x2iGy4IDUHUm+p7lA==

let decipher = crypto.createDecipheriv(algo, keyBuffer,ivBuffer);
decipher.setAutoPadding(true);//padding 처리가 언어별 달라서 확인필요
let decipheredContent = decipher.update(encryptedText,'base64','utf8');
decipheredContent += decipher.final('utf8');
console.log(decipheredContent); //HelloWorld

C# (Unity3D)

출처 : http://wyseburn.tistory.com/entry/AES-CBC-128BIT-PKCS5-%EC%95%94%EB%B3%B5%ED%98%B8%ED%99%94-1

using UnityEngine;
using System;
using System.Text;
using System.IO;
using System.Security.Cryptography;
using System.Runtime.Remoting.Metadata.W3cXsd2001;

public class Crypto
{
    public static readonly string key = MD5Hash("security_key");
    public static readonly string iv = MD5Hash("iv_key");

    public static string MD5Hash(string str)
    {
        MD5 md5 = new MD5CryptoServiceProvider();
        byte[] hash = md5.ComputeHash(Encoding.ASCII.GetBytes(str));
        StringBuilder stringBuilder = new StringBuilder();
        foreach (byte b in hash)
        {
            stringBuilder.AppendFormat("{0:x2}", b);
        }
        return stringBuilder.ToString();
    }

    private static byte[] GetBytesFromHexString(string strInput)
    {
        byte[] bytArOutput = new byte[] { };
        if ((!string.IsNullOrEmpty(strInput)) && strInput.Length % 2 == 0)
        {
            SoapHexBinary hexBinary = null;
            hexBinary = SoapHexBinary.Parse(strInput);
            bytArOutput = hexBinary.Value;
        }
        return bytArOutput;
    }

    //AES 암호화
    public static string AES128Encrypt(string Input)
    {
        try
        {
            RijndaelManaged aes = new RijndaelManaged();
            //aes.KeySize = 256; //AES256으로 사용시
            aes.KeySize = 128; //AES128로 사용시
            aes.BlockSize = 128;
            aes.Mode = CipherMode.CBC;
            aes.Padding = PaddingMode.PKCS7;
            aes.Key = GetBytesFromHexString(key);
            aes.IV = GetBytesFromHexString(iv);

            var encrypt = aes.CreateEncryptor(aes.Key, aes.IV);
            byte[] xBuff = null;
            using (var ms = new MemoryStream())
            {
                using (var cs = new CryptoStream(ms, encrypt, CryptoStreamMode.Write))
                {
                    byte[] xXml = Encoding.UTF8.GetBytes(Input);
                    cs.Write(xXml, 0, xXml.Length);
                }

                xBuff = ms.ToArray();
            }

            string Output = Convert.ToBase64String(xBuff);
            return Output;
        }
        catch (Exception ex)
        {
            Debug.LogError(ex.Message);
            return ex.Message;
        }
    }


    //AES 복호화
    public static string AES128Decrypt(string Input)
    {
        try
        {
            RijndaelManaged aes = new RijndaelManaged();
            //aes.KeySize = 256; //AES256으로 사용시
            aes.KeySize = 128; //AES128로 사용시
            aes.BlockSize = 128;
            aes.Mode = CipherMode.CBC;
            aes.Padding = PaddingMode.PKCS7;
            aes.Key = GetBytesFromHexString(key);
            aes.IV = GetBytesFromHexString(iv);

            var decrypt = aes.CreateDecryptor();
            byte[] xBuff = null;
            using (var ms = new MemoryStream())
            {
                using (var cs = new CryptoStream(ms, decrypt, CryptoStreamMode.Write))
                {
                    byte[] xXml = Convert.FromBase64String(Input);
                    cs.Write(xXml, 0, xXml.Length);
                }

                xBuff = ms.ToArray();
            }

            string Output = Encoding.UTF8.GetString(xBuff);
            return Output;
        }
        catch (Exception ex)
        {
            Debug.LogError(ex.Message);
            return string.Empty;
        }
    }
}

https://github.com/felixge/node-mysql

Mysql 모듈 보면 CreatePool 후 Query 방식이 두가지가 있다.

Pooling connections

1번안

var mysql = require('mysql');
var pool  = mysql.createPool({
  connectionLimit : 10,
  host            : 'example.org',
  user            : 'bob',
  password        : 'secret'
});

pool.query('SELECT 1 + 1 AS solution', function(err, rows, fields) {
  if (err) throw err;

  console.log('The solution is: ', rows[0].solution);
});

2번안

var mysql = require('mysql');
var pool  = mysql.createPool(...);

pool.getConnection(function(err, connection) {
  // Use the connection
  connection.query( 'SELECT something FROM sometable', function(err, rows) {
    // And done with the connection.
    connection.release();

    // Don't use the connection here, it has been returned to the pool.
  });
});

차이점을 2번의 경우에는 커넥션을 하나 지정해서 해당 커넥션으로해서 쿼리를 처리하고 마지막에 해당 커넥션을 다사용했다고

반환해주는 방식이다.

단순히 일반 SELECT 쿼리 위주의 API 개발일 경우 1번안이 편할 수 있지만 트랜젹센처리나 INSERT 후 Last Insert Id 값을 가져오거나 Found_rows 같은 처리된 Row의 정보를 가져와야 할때는 2번안으로해서 같은 커넥션으로 처리 되어야지만 제대로 된 값을 가져 올 수 있다.

그리고 2번안의 경우 사용 후에 connection.release 해주지 않을 경우 반환하지 않아서 connection limit가 걸릴 수 있다. 

node.js에서 간략하게 IP기반으로 사용자 (위치) 지역 정보 데이터 분석용으로 GeoIP 라이브러리 있나 찾아봤음

역시 라이브러리 geoip-lite 라고 있음!!

Github : https://github.com/bluesmoon/node-geoip

1. 설치방법

$ npm install geoip-lite

2. 코드작성 및 사용법

$ vi geoip.js
=====================================
var geoip = require('geoip-lite');
var ip = "207.97.227.239";
var geo = geoip.lookup(ip);
console.log(geo);
====================================
$ node geoip.js 
{ range: [ 3479297920, 3479301339 ],
  country: 'US',
  region: 'TX',
  city: 'San Antonio',
  ll: [ 29.4889, -98.3987 ],
  metro: 641 }

※ ll 배열값에서 ll: [<latitude(위도)>, <longitude(경도)>] 순서임!!

3. GeoIP 정보 업데이트방법

※ github보면 geoip.startWatchingDataUpdate(); 함수로도 가능한데 아래 script로 하는게 더 낫은듯함

$ cd /usr/lib/node_modules/geoip-lite
$ npm run-script updatedb

> geoip-lite@1.1.5 updatedb /usr/lib/node_modules/geoip-lite
> node scripts/updatedb.js
Retrieving GeoIPCountryCSV.zip ... DONE
Extracting GeoIPCountryCSV.zip ... DONE
Processing Data (may take a moment) ...
Still working (96813) ... DONE
Retrieving GeoIPv6.csv ... DONE
Processing Data (may take a moment) ... DONE
Retrieving GeoLiteCity-latest.zip ... DONE
Extracting GeoLiteCity-latest.zip ... DONE
Processing Data (may take a moment) ...
Still working (122762) ...
Still working (246870) ...
Still working (368626) ...
Still working (490380) ...
Still working (612413) ...
Still working (734688) ...
Still working (855126) ...
Still working (977268) ...
Still working (1096307) ...
Still working (1217573) ...
Still working (1339167) ...
Still working (1459608) ...
Still working (1580033) ...
Still working (1700173) ...
Still working (1822030) ...
Still working (1943449) ... DONE
Retrieving GeoLiteCityv6.csv ... DONE
Processing Data (may take a moment) ... DONE
Successfully Updated Databases from MaxMind.

※ https://github.com/PaddeK/node-maxmind-db 추가 라이브러리(동일하게 MaxMind DB 기반이긴함) 

Elasticsearch  node.js를 이용해서 데이터 입력(PUT) 하기

logstash이 잘되어있어서 패턴 잘구성해서 logstash을 이용해도 되지만 logstash패턴 사용하는 법을 좀 봐야되고...

잘 사용법도 모르는 환경에서 계속 서비스 RDBMS에 커넥션 유지하는 것도 부담스러워서 따로 node.js로 짜기로함 

기본적으로 콘솔에서 curl 날리는 예시는 아래와 같음

$ curl -XPUT 'http://localhost:9200/logstash-2015.03.06/access_log/1' -d '{ 
>   "host": "web01",
>   "http_host": "192.168.1.123",
>   "clientip": "192.2.3.55",
>   "timestamp": "Fri Feb 06 2015 14:04:22 GMT+0900 (KST)",
>   "verb": "GET",
>   "request": "/css/comm.css",
>   "httpversion": "1.1",
>   "response": "304",
>   "bytes": "0",
>   "referrer": "http://192.168.1.124/",
>   "agent": "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
>   "request_time": 0
> }'

등록 결과  아래와 같이 나온걸 볼 수 있다

{"_index":"logstash-2015.03.06","_type":"access_log","_id":"1","_version":1,"created":true}

브라우져에서 head 들어가보면 확인 가능하다.

http://localhost:9200/_plugin/head/

이걸 node.js http라이브러리이용하면 간단하다.

var http = require('http');
function elasticsearchPut(index,type,id,put_data){
    var option = {
            hostname: 'localhost',
            port: 9200,
            path: '/'+index+'/'+type+'/'+id,
            method: 'PUT'
        };
    var req = http.request(option, function(res) {
        console.log('STATUS: ' + res.statusCode);
        console.log('HEADERS: ' + JSON.stringify(res.headers));
        res.setEncoding('utf8');
        res.on('data', function (chunk) {
            console.log(chunk);
        });
    });
    req.on('error', function(e) {
        console.log('problem with request: ' + e.message);
    });
    // DATA PUT
    req.write(JSON.stringify(put_data));
    req.end();
}
var index = 'logstash-2015.03.06';
var type  = 'access_log';
var id    = 2;
var data = {
  "host": "web01",
  "http_host": "192.168.1.123",
  "clientip": "192.2.3.55",
  "timestamp": "Fri Feb 06 2015 14:04:22 GMT+0900 (KST)",
  "verb": "GET",
  "request": "/css/comm.css",
  "httpversion": "1.1",
  "response": "304",
  "bytes": "0",
  "referrer": "http://192.168.1.124/",
  "agent": "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
  "request_time": 0
};
elasticsearchPut(index,type,id,data);

콘솔에서 실행하면 아래와 같이 결과 메세지를 동일하게 볼 수 있다.

$ node test.js 
STATUS: 201
HEADERS: {"content-type":"application/json; charset=UTF-8","content-length":"91"}
{"_index":"logstash-2015.03.06","_type":"access_log","_id":"2","_version":1,"created":true}

예시로 nginx access_log로 했는데 실제 사용하는데는 이벤트나 구매내역등 실제 서비스로그를 RDBMS에서 주기적으로 가져와서 분석하는 용도로 사용함

추가적 node.js 라이브러리 및 Bulk insert 참고

elasticsearch Bulk insert(put) 대량 데이터 입력하기

출처 샘플 참고 사이트

http://www.hacksparrow.com/node-js-udp-server-and-client-example.html

1. UDP Server

1. var PORT = 7001;
2. var HOST = '127.0.0.1';
3. var dgram = require('dgram');
4. var server = dgram.createSocket('udp4');
5. server.on('listening', function () {
6. var address = server.address();
7. console.log('UDP Server listening on ' + address.address + ":" + address.port);
8. });
9. server.on('message', function (message, remote) {
10. console.log(remote.address + ':' + remote.port +' - ' + message);
11. });
12. server.bind(PORT, HOST);

2. UDP Client

1. var PORT = 7001;
2. var HOST = '127.0.0.1';
3. var dgram = require('dgram');
4. var message = new Buffer('TEST!');
5. var client = dgram.createSocket('udp4');
6. client.send(message, 0, message.length, PORT, HOST, function(err, bytes) {
7. if (err) throw err;
8. console.log('UDP message sent to ' + HOST +':'+ PORT);
9. client.close();
10. });

3. PHP UDP Client

1. <?php
2. $socket = socket_create(AF_INET, SOCK_DGRAM, SOL_UDP);
3. $in = 'test!';
4. var_dump (socket_sendto($socket, $in,strlen($in), 0,'127.0.0.1',7001));
5. socket_close($socket);
6. ?>