対象データの抽出

mysql -h 'YOUR_HOST'
  -u YOUR_USER \
  -pYOUR_PASSWORD \
  YOUR_DB_NAME \
  -e 'SELECT * FROM text ORDER BY RAND() LIMIT 50000' \
  > '~/tweets.tsv'

データのラベル付け

$ mysql -h 'YOUR_HOST' -u YOUR_USER -pYOUR_PASSWORD YOUR_DB_NAME

mysql> CREATE TABLE `pn_tweet` (
  `id` bigint NOT NULL,
  `user_id` bigint NOT NULL,
  `text` text,
  `created_at` datetime NOT NULL,
  `label` int,
  KEY `id` (`id`),
  KEY `idx_user_id` (`user_id`),
  KEY `idx_created_at` (`created_at`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

mysql> LOAD DATA LOCAL INFILE [ファイルパス] INTO TABLE pn_tweet;

処理内容

$ sudo pip install pandas

データの前処理部分サンプルコード

### 使用するライブラリ
import MySQLdb
import pandas.io.sql as psql
import pandas as pd
import numpy as np
import MeCab
from sklearn import svm
from sklearn.grid_search import GridSearchCV
from sklearn.feature_extraction.text import CountVectorizer


print "[INFO] ドキュメント取得"
tweets = psql.read_sql(
    "SELECT  text, label FROM pn_tweet",
    MySQLdb.connect(
        host    = "YOUR DB HOST",
        user    = "YOUR DB USER",
        passwd  = "YOUR DB PASSWORD",
        db      = "textdata",
        charset = 'utf8'
        )
    )

def wakati(text):
    tagger = MeCab.Tagger()
    text = text.encode("utf-8")
    node = tagger.parseToNode(text)
    word_list = []
    while node:
        pos = node.feature.split(",")[0]
        if pos in ["名詞", "動詞", "形容詞"]:
            lemma = node.feature.split(",")[6].decode("utf-8")
            if lemma == u"*":
                lemma = node.surface.decode("utf-8")
            word_list.append(lemma)
        node = node.next
    return u" ".join(word_list[1:-1])

print "[INFO] 分かち書き"
tweets['wakati'] = tweets['text'].apply(wakati)

### BoW (Term Frequency) 素性ベクトルへ変換
#     feature_vectors: scipy.sparse の csr_matrix 形式
#     vocabulary: 列要素(単語) 名
print "[INFO] 素性ベクトル作成"
count_vectorizer = CountVectorizer()
feature_vectors = count_vectorizer.fit_transform(tweets['wakati'])
vocabulary = count_vectorizer.get_feature_names()

機械学習の手法

サポートベクターマシンの概要

パラメータチューニング

学習部分のサンプルコード

### SVM による学習
print "[INFO] SVM (グリッドサーチ)"
svm_tuned_parameters = [
    {
        'kernel': ['rbf'],
        'gamma': [2**n for n in range(-15, 3)],
        'C': [2**n for n in range(-5, 15)]
    }
]
gscv = GridSearchCV(
    svm.SVC(),
    svm_tuned_parameters,
    cv=5,      # クロスバリデーションの分割数
    n_jobs=1,  # 並列スレッド数
    verbose=3  # 途中結果の出力レベル 0 だと出力しない
)
gscv.fit(feature_vectors, list(tweets['label']))
svm_model = gscv.best_estimator_  # 最も精度の良かったモデル
print svm_model

# SVC(C=64, cache_size=200, class_weight=None, coef0=0.0,
#     decision_function_shape=None, degree=3, gamma=0.0001220703125,
#     kernel='rbf', max_iter=-1, probability=False, random_state=None,
#     shrinking=True, tol=0.001, verbose=False)