“Qixin Wang 2016-01-25”版本间的差异
第57行: | 第57行: | ||
---- | ---- | ||
+ | |||
+ | for 2.1 | ||
+ | |||
mini_batch data parallel training | mini_batch data parallel training |
2016年1月28日 (四) 05:17的版本
Work done in this week
word vector size:200
hidden size:500
mlp hidden size:400
maxout size:300
adadelta 0.3
---
fast mode, added cut, no global, no pz
zgt:song, si, giga, update: (grid-9, grid-9, grid-17, grid-17)
psm:song, si, giga, update: (grid-15, grid-15, grid-13, grid-11)
---
with dropout & without maxout:
batch_all(zgt): grid-12
batch_all_go(zgt): grid-11
---
batch training code:
doing debug
---
int32 * float32 -> float64
float32 * float32 -> float32
fix n*bugs
added maxout
added update vectors
added dropout
deleted some long 224 iambic (length > 120)
for 2.1
mini_batch data parallel training
400k sentences per day (Iambic are longer than QA questions), up to 50X times faster! (now as faster as Bengio's code)
but still fast enough for the 15k song iambics......
finished iambic format training code&training
some results:
psm - 11 rhythm 3817 - 11 sig
碧 纱 微 露 纤 纤 玉 / 艳 妆 风 绿 知 窗 雨 / 双 倚 最 多 虚 / 情 宜 乌 夜 与 / 藕 花 空 井 缕 / 翠 袖 凄 凉 御 / 砧 响 月 明 渔 / 清 歌 数 枕 余
碧 纱 微 露 纤 纤 玉 / 砌 干 疏 影 双 蛾 羽 / 红 粉 井 蜂 琚 / 削 羞 新 样 局 / 髻 鬟 愁 按 曲 / 圆 扇 扬 纹 缕 / 魂 梦 醉 花 嘘 / 马 头 千 万 趋
碧 纱 微 露 纤 纤 玉 / 菱 花 疏 浸 鸳 鸯 侣 / 笑 语 争 盈 虚 / 倾 葵 与 脸 渠 / 梦 来 频 忆 句 / 彩 索 题 台 举 / 明 日 醉 魂 须 / 惜 郎 今 夜 娱
秋 风 湖 上 萧 萧 雨 / 苹 花 浪 断 新 凉 句 / 冷 近 卧 香 舆 / 东 篱 菊 艳 渠 / 却 莲 穿 火 绪 / 翠 字 薰 魂 郁 / 犹 记 踏 青 须 / 碧 溪 野 店 渔
秋 风 湖 上 萧 萧 雨 / 松 江 烟 外 山 花 缕 / 楚 客 有 情 于 / 思 频 独 倚 虚 / 芦 遥 相 望 域 / 声 断 寒 枫 玉 / 臣 旅 暮 归 欤 / 醉 乡 先 自 臾
秋 风 湖 上 萧 萧 雨 / 尊 前 未 数 潇 湘 句 / 烟 柳 动 微 徐 / 时 黄 相 遇 臾 / 碧 成 双 下 虑 / 无 计 看 芳 趣 / 门 外 借 诗 橘 / 自 愁 清 泪 于
玉 童 西 迓 浮 丘 伯 / 柳 丝 摇 曳 秋 无 锁 / 尺 岸 野 花 多 / 相 逢 成 短 波 / 人 生 求 不 墨 / 惟 有 余 妆 我 / 莫 似 太 春 玻 / 怕 来 三 住 磨
玉 童 西 迓 浮 丘 伯 / 年 时 弦 岭 天 然 我 / 闲 睡 小 微 波 / 月 仍 商 略 螺 / 听 声 齐 唱 坐 / 美 景 良 辰 过 / 酒 乐 两 壶 坡 / 与 君 须 记 多
玉 童 西 迓 浮 丘 伯 / 问 谁 寻 觅 神 无 火 / 香 处 芙 蓉 掇 / 风 国 山 岳 波 / 奇 行 超 暗 箨 / 青 镫 新 篁 陌 / 想 续 踏 洲 摸 / 游 泊 浪 迹 多
天 怜 豪 俊 腰 金 晚 / 可 长 萦 韵 新 能 限 / 云 住 有 余 番 / 不 堪 频 自 难 / 阿 谁 知 此 遣 / 解 即 归 来 暖 / 经 岁 洛 阳 贤 / 一 春 三 度 边
天 怜 豪 俊 腰 金 晚 / 歌 台 特 地 闺 房 盼 / 肯 似 太 真 闲 / 新 愁 浓 叶 慳 / 湿 楼 东 北 看 / 影 转 韶 华 管 / 九 曲 旧 西 园 / 酒 阑 波 送 栏
天 怜 豪 俊 腰 金 晚 / 肌 肤 骨 问 冰 霜 艳 / 香 染 藏 红 全 / 暗 人 今 夜 传 / 阳 光 高 挂 剑 / 皓 齿 欺 风 练 / 堪 笑 乐 年 难 / 华 堂 一 醉 仙
zgt - 11 rhythm - 11 sig
汤 泛 冰 瓷 一 坐 春 / 霓 旌 绛 扇 五 霞 深 / 直 须 烂 醉 烧 银 手 / 且 作 清 明 染 透 芬 / 秋 照 户 / 月 眉 真 / 功 名 余 举 酒 如 尘 / 不 将 天 上 都 无 路 / 曾 到 梁 魁 第 雨 人
汤 泛 冰 瓷 一 坐 春 / 双 鸳 短 舞 玉 声 身 / 谁 知 门 外 足 何 限 / 借 问 琵 琶 弦 细 闷 / 带 却 惹 / 风 微 尘 / 醉 骑 易 教 并 朝 人 / 独 将 华 晚 结 东 看 / 直 乞 与 公 煅 炼 真
汤 泛 冰 瓷 一 坐 春 / 红 尘 万 绪 上 层 森 / 夜 来 风 雨 薰 炉 去 / 争 掷 霓 裳 下 绛 人 / 银 汉 枕 / 璧 山 岑 / 金 莲 聊 媚 脸 匀 身 / 尊 前 白 首 东 流 醉 / 不 用 杨 花 作 晓 晨
节 去 蜂 愁 蝶 不 知 / 海 棠 次 第 雨 胭 脂 / 园 林 检 点 春 归 也 / 只 有 西 风 似 画 低 / 情 默 恨 / 惜 依 稀 / 可 堪 恰 好 梦 魂 衣 / 何 因 入 骨 山 遮 酒 / 恼 向 鸳 鸯 绿 里 时
节 去 蜂 愁 蝶 不 知 / 有 情 深 处 借 樵 低 / 恼 人 吹 雨 无 堪 恨 / 飞 上 楼 头 傍 复 之 / 莺 自 语 / 笑 天 齐 / 空 余 寒 墨 落 胭 脂 / 此 家 真 个 堂 前 路 / 又 是 东 风 日 月 移
节 去 蜂 愁 蝶 不 知 / 别 来 浑 抱 为 真 犀 / 人 间 有 此 花 无 也 / 飞 絮 因 风 吹 叶 诗 / 流 露 润 / 晓 霜 凄 / 夜 寒 谁 遣 暖 于 泥 / 钗 头 燕 引 金 丝 怨 / 莺 底 闲 思 乱 倚 啼
闻 说 君 家 有 翠 娥 / 披 襟 散 酒 怎 宽 得 / 为 公 玉 面 相 期 误 / 拚 意 从 登 一 醉 么 / 千 万 绪 / 两 三 馀 / 残 花 往 事 不 须 歌 / 风 生 百 计 愁 心 乐 / 应 见 湘 江 路 送 科
闻 说 君 家 有 翠 娥 / 依 稀 香 递 楚 天 珂 / 一 枝 斜 映 清 秋 影 / 摘 蕊 浓 苞 瘦 润 馀 / 欢 态 净 / 笑 孤 赊 / 玉 人 金 缕 半 云 遮 / 只 愁 画 角 楼 头 起 / 且 把 梅 花 太 甚 么
闻 说 君 家 有 翠 娥 / 怕 轻 歌 舞 绿 杨 遮 / 而 今 更 报 伤 心 远 / 零 落 佳 人 月 满 河 / 缘 底 事 / 伴 相 车 / 断 肠 芳 意 两 圆 么 / 几 时 别 倚 东 风 雨 / 春 色 天 浓 似 此 何
并 蒂 芙 蓉 本 自 双 / 倾 人 醉 遣 入 重 觞 / 风 流 不 在 谈 锋 胜 / 袖 手 无 言 味 最 长 / 情 未 老 / 似 横 塘 / 可 堪 恰 色 满 江 王 / 怜 才 明 月 清 阴 里 / 花 片 东 来 第 几 藏
并 蒂 芙 蓉 本 自 双 / 可 怜 清 晓 寄 生 凉 / 月 来 不 有 红 尘 恶 / 一 段 西 风 又 照 妆 / 牵 似 恨 / 酒 消 肠 / 只 因 老 了 是 谁 皇 / 重 分 后 夜 同 符 暮 / 否 个 京 华 早 好 黄
并 蒂 芙 蓉 本 自 双 / 片 人 千 里 且 飞 忙 / 何 时 不 奈 追 游 住 / 忽 把 凌 霄 志 广 章 / 下 月 最 / 玉 池 塘 / 非 关 清 晓 恐 来 方 / 当 年 更 有 瑶 台 老 / 一 笑 秋 光 照 可 霜