“Qixin Wang 2016-03-07”版本间的差异

2016年3月10日 (四) 01:21的最后版本

Work done in last week

• NaN bug
• BLEU code
• Giga poem vectors
• 5 poem training

some samples:

烟 村 三 月 雨 / 霜 鸿 下 戍 局 / 船 中 采 艇 人 / 晚 欲 一 声 臾

驰 辉 入 朱 明 / 寂 寥 空 已 名 / 西 风 吹 桂 树 / 双 燕 共 雕 英

羯 尾 大 如 斛 / 蕃 衣 方 怒 污 / 金 箱 不 戏 笔 / 玉 剑 倚 阑 出

BLEU bug, first sentence choice

Plan to do this week

• 7 poem training
• 7&5 mix training
• test
• baselines
• IJCAI Songci Review

for HUILIAN Tech=

• patent modify:

form patent department:

1，主题应该修改为：一种基于循环神经网络算法的汉字随机组合输出方法。

2，尽量不要涉及诗歌，因为诗歌被公认为是一种文学创作，属于智力活动。

3，更多体现人工智能方面的特点，比如语义识别，综合分析，综合判断，大数据分析利用。

4，搭配硬件特征，比如语音输入输出模块，人机互动模块。

5，从技术角度解释如何体现随机性。

modify:

本发明利用RNN模型，可以在不改变模型结构情况下，通过改变限制条件，生成各种体文本，且生成文本与主题（用户输入的信息）紧密相关。

本发明可学习不同语料，从而生成不同语言风格的文本。

本发明可在不降低性能的前提下，生成多种与主题紧密相关的文本。

• BLEU problem:

BLEU decrease through the training process

0th_batch_model_poem5_10k_cost=88.4454.npz======== BLEU=0.465384615385

9th_batch_model_poem5_10k_cost=38.0762.npz======== BLEU=0.385714285714

18th_batch_model_poem5_10k_cost=4.04888.npz======== BLEU=0.32967032967

27th_batch_model_poem5_10k_cost=0.325413.npz======== BLEU=0.326923076923

36th_batch_model_poem5_10k_cost=0.111477.npz======== BLEU=0.330769230769

generation result:

0th:

十 月 霜 风 寒 / 清 香 满 水 天 / 不 知 春 色 深 / 一 夜 白 云 间

云 居 九 月 半 / 不 知 此 意 难 / 一 枝 无 处 见 / 何 似 白 头 天

江 雾 秋 楼 白 / 风 流 水 上 来 / 不 知 春 色 月 / 一 夜 雨 中 开

烟 村 三 月 雨 / 江 南 一 夜 虚 / 不 知 春 色 深 / 何 处 有 人 余

9th:

十 月 霜 风 寒 / 梅 花 晚 夜 眠 / 从 来 新 火 德 / 不 道 在 江 山

云 居 九 月 半 / 水 竹 与 晚 烟 / 此 间 无 事 日 / 何 处 觅 天 然

江 雾 秋 楼 白 / 春 城 暮 角 来 / 平 生 何 处 目 / 不 见 柳 枝 钗

烟 村 三 月 雨 / 竹 屋 临 水 舆 / 牛 羊 半 处 石 / 幽 鸟 不 知 渠

18th:

十 月 霜 风 寒 / 篱 边 菊 始 残 / 从 来 司 历 过 / 失 不 愁 重 关

云 居 九 月 半 / 与 竹 头 手 原 / 有 间 成 会 得 / 先 到 此 心 安

江 雾 秋 楼 白 / 云 峰 处 半 閒 / 倚 船 试 雨 看 / 新 月 上 庭 埋

烟 村 三 月 雨 / 叶 声 啼 杜 屿 / 寒 灯 夜 半 收 / 芦 黍 秋 江 屈

27th:

十 月 霜 风 寒 / 篱 边 云 浪 欢 / 何 如 天 地 雁 / 不 觉 负 阳 咸

云 居 九 月 半 / 花 竹 鹤 落 天 / 夜 深 人 影 摇 / 信 色 成 何 环

江 雾 秋 楼 白 / 汀 洲 下 觉 閒 / 衣 襟 开 客 子 / 太 趣 送 春 怀

烟 村 三 月 雨 / 道 人 殊 夜 须 / 信 知 音 是 出 / 先 尚 在 园 舆

36th:

十 月 霜 风 寒 / 雪 残 红 半 帆 / 美 人 欢 笑 起 / 宫 府 愁 多 泉

云 居 九 月 半 / 游 人 见 饮 泉 / 寥 寞 吾 走 却 / 春 至 唤 甘 竿

江 雾 秋 楼 白 / 山 藏 岸 日 閒 / 但 闻 竹 下 地 / 犹 作 雁 飞 来

烟 村 三 月 雨 / 道 人 殊 未 躯 / 却 零 黄 鸟 还 / 啼 过 楚 山 徐

• Broadcast speed up: 1.5 times faster