“Qixin Wang 2016-01-25”版本间的差异

2016年1月28日 (四) 01:37的版本

word vector size:200

hidden size:500

mlp hidden size:400

maxout size:300

adadelta 0.3

---

fast mode, added cut, no global, no pz

zgt:song, si, giga, update: (grid-9, grid-9, grid-17, grid-17)

psm:song, si, giga, update: (grid-15, grid-15, grid-13, grid-11)

---

with dropout & without maxout:

batch_all(zgt): grid-12

batch_all_go(zgt): grid-11

---

batch training code:

doing debug

---

int32 * float32 -> float64

float32 * float32 -> float32

fix n*bugs

added maxout

added update vectors

added dropout

deleted some long 224 iambic (length > 120)

mini_batch data parallel training

400k sentences per day (Iambic are longer than QA questions), up to 50X times faster! (now as faster as Bengio's code)

but still fast enough for the 15k song iambics......

finished iambic format training code&training

some results:

psm - 11 rhythm 3817 - 11 sig

碧 纱 微 露 纤 纤 玉 / 艳 妆 风 绿 知 窗 雨 / 双 倚 最 多 虚 / 情 宜 乌 夜 与 / 藕 花 空 井 缕 / 翠 袖 凄 凉 御 / 砧 响 月 明 渔 / 清 歌 数 枕 余

碧 纱 微 露 纤 纤 玉 / 砌 干 疏 影 双 蛾 羽 / 红 粉 井 蜂 琚 / 削 羞 新 样 局 / 髻 鬟 愁 按 曲 / 圆 扇 扬 纹 缕 / 魂 梦 醉 花 嘘 / 马 头 千 万 趋

碧 纱 微 露 纤 纤 玉 / 菱 花 疏 浸 鸳 鸯 侣 / 笑 语 争 盈 虚 / 倾 葵 与 脸 渠 / 梦 来 频 忆 句 / 彩 索 题 台 举 / 明 日 醉 魂 须 / 惜 郎 今 夜 娱

秋 风 湖 上 萧 萧 雨 / 苹 花 浪 断 新 凉 句 / 冷 近 卧 香 舆 / 东 篱 菊 艳 渠 / 却 莲 穿 火 绪 / 翠 字 薰 魂 郁 / 犹 记 踏 青 须 / 碧 溪 野 店 渔

秋 风 湖 上 萧 萧 雨 / 松 江 烟 外 山 花 缕 / 楚 客 有 情 于 / 思 频 独 倚 虚 / 芦 遥 相 望 域 / 声 断 寒 枫 玉 / 臣 旅 暮 归 欤 / 醉 乡 先 自 臾

秋 风 湖 上 萧 萧 雨 / 尊 前 未 数 潇 湘 句 / 烟 柳 动 微 徐 / 时 黄 相 遇 臾 / 碧 成 双 下 虑 / 无 计 看 芳 趣 / 门 外 借 诗 橘 / 自 愁 清 泪 于

玉 童 西 迓 浮 丘 伯 / 柳 丝 摇 曳 秋 无 锁 / 尺 岸 野 花 多 / 相 逢 成 短 波 / 人 生 求 不 墨 / 惟 有 余 妆 我 / 莫 似 太 春 玻 / 怕 来 三 住 磨

玉 童 西 迓 浮 丘 伯 / 年 时 弦 岭 天 然 我 / 闲 睡 小 微 波 / 月 仍 商 略 螺 / 听 声 齐 唱 坐 / 美 景 良 辰 过 / 酒 乐 两 壶 坡 / 与 君 须 记 多

玉 童 西 迓 浮 丘 伯 / 问 谁 寻 觅 神 无 火 / 香 处 芙 蓉 掇 / 风 国 山 岳 波 / 奇 行 超 暗 箨 / 青 镫 新 篁 陌 / 想 续 踏 洲 摸 / 游 泊 浪 迹 多

天 怜 豪 俊 腰 金 晚 / 可 长 萦 韵 新 能 限 / 云 住 有 余 番 / 不 堪 频 自 难 / 阿 谁 知 此 遣 / 解 即 归 来 暖 / 经 岁 洛 阳 贤 / 一 春 三 度 边

天 怜 豪 俊 腰 金 晚 / 歌 台 特 地 闺 房 盼 / 肯 似 太 真 闲 / 新 愁 浓 叶 慳 / 湿 楼 东 北 看 / 影 转 韶 华 管 / 九 曲 旧 西 园 / 酒 阑 波 送 栏

天 怜 豪 俊 腰 金 晚 / 肌 肤 骨 问 冰 霜 艳 / 香 染 藏 红 全 / 暗 人 今 夜 传 / 阳 光 高 挂 剑 / 皓 齿 欺 风 练 / 堪 笑 乐 年 难 / 华 堂 一 醉 仙

zgt - 11 rhythm - 11 sig

汤 泛 冰 瓷 一 坐 春 / 霓 旌 绛 扇 五 霞 深 / 直 须 烂 醉 烧 银 手 / 且 作 清 明 染 透 芬 / 秋 照 户 / 月 眉 真 / 功 名 余 举 酒 如 尘 / 不 将 天 上 都 无 路 / 曾 到 梁 魁 第 雨 人

汤 泛 冰 瓷 一 坐 春 / 双 鸳 短 舞 玉 声 身 / 谁 知 门 外 足 何 限 / 借 问 琵 琶 弦 细 闷 / 带 却 惹 / 风 微 尘 / 醉 骑 易 教 并 朝 人 / 独 将 华 晚 结 东 看 / 直 乞 与 公 煅 炼 真

汤 泛 冰 瓷 一 坐 春 / 红 尘 万 绪 上 层 森 / 夜 来 风 雨 薰 炉 去 / 争 掷 霓 裳 下 绛 人 / 银 汉 枕 / 璧 山 岑 / 金 莲 聊 媚 脸 匀 身 / 尊 前 白 首 东 流 醉 / 不 用 杨 花 作 晓 晨

节 去 蜂 愁 蝶 不 知 / 海 棠 次 第 雨 胭 脂 / 园 林 检 点 春 归 也 / 只 有 西 风 似 画 低 / 情 默 恨 / 惜 依 稀 / 可 堪 恰 好 梦 魂 衣 / 何 因 入 骨 山 遮 酒 / 恼 向 鸳 鸯 绿 里 时

节 去 蜂 愁 蝶 不 知 / 有 情 深 处 借 樵 低 / 恼 人 吹 雨 无 堪 恨 / 飞 上 楼 头 傍 复 之 / 莺 自 语 / 笑 天 齐 / 空 余 寒 墨 落 胭 脂 / 此 家 真 个 堂 前 路 / 又 是 东 风 日 月 移

节 去 蜂 愁 蝶 不 知 / 别 来 浑 抱 为 真 犀 / 人 间 有 此 花 无 也 / 飞 絮 因 风 吹 叶 诗 / 流 露 润 / 晓 霜 凄 / 夜 寒 谁 遣 暖 于 泥 / 钗 头 燕 引 金 丝 怨 / 莺 底 闲 思 乱 倚 啼

闻 说 君 家 有 翠 娥 / 披 襟 散 酒 怎 宽 得 / 为 公 玉 面 相 期 误 / 拚 意 从 登 一 醉 么 / 千 万 绪 / 两 三 馀 / 残 花 往 事 不 须 歌 / 风 生 百 计 愁 心 乐 / 应 见 湘 江 路 送 科

闻 说 君 家 有 翠 娥 / 依 稀 香 递 楚 天 珂 / 一 枝 斜 映 清 秋 影 / 摘 蕊 浓 苞 瘦 润 馀 / 欢 态 净 / 笑 孤 赊 / 玉 人 金 缕 半 云 遮 / 只 愁 画 角 楼 头 起 / 且 把 梅 花 太 甚 么

闻 说 君 家 有 翠 娥 / 怕 轻 歌 舞 绿 杨 遮 / 而 今 更 报 伤 心 远 / 零 落 佳 人 月 满 河 / 缘 底 事 / 伴 相 车 / 断 肠 芳 意 两 圆 么 / 几 时 别 倚 东 风 雨 / 春 色 天 浓 似 此 何

并 蒂 芙 蓉 本 自 双 / 倾 人 醉 遣 入 重 觞 / 风 流 不 在 谈 锋 胜 / 袖 手 无 言 味 最 长 / 情 未 老 / 似 横 塘 / 可 堪 恰 色 满 江 王 / 怜 才 明 月 清 阴 里 / 花 片 东 来 第 几 藏

并 蒂 芙 蓉 本 自 双 / 可 怜 清 晓 寄 生 凉 / 月 来 不 有 红 尘 恶 / 一 段 西 风 又 照 妆 / 牵 似 恨 / 酒 消 肠 / 只 因 老 了 是 谁 皇 / 重 分 后 夜 同 符 暮 / 否 个 京 华 早 好 黄

并 蒂 芙 蓉 本 自 双 / 片 人 千 里 且 飞 忙 / 何 时 不 奈 追 游 住 / 忽 把 凌 霄 志 广 章 / 下 月 最 / 玉 池 塘 / 非 关 清 晓 恐 来 方 / 当 年 更 有 瑶 台 老 / 一 笑 秋 光 照 可 霜