神马文学网神经网络在线交流会(羽天)聊天记录 中国人工智能创业研发俱乐部 - 人工智能|神经网络|遗传算法|模式识别|机器视觉|创业|项目开发
来源：百度文库 编辑：神马文学网 时间：2024/04/24 23:41:36
神经网络在线交流会(羽天)聊天记录
[19:28] qianqian: 羽天 好呀
[19:29] feathersky: 呵呵 大家好呀 今晚和大家作个神经网络算法思想的交流 不知道有多少人感兴趣？
[19:30] liangzi198: 报道
[19:30] feathersky: 我需要二到三个人配合一下 不知道谁愿意？
[19:30] liangzi198: 报道
[19:31] featherskyToliangzi198: 呵呵 愿意配合吗？
[19:32] qianqian: 在的报道一下把等下就开讲拉 欢迎大家
[19:33] feathersky: 需要大家配合一下 我主要是以提问的方式来讨论神经网络
[19:33] qianqianTofeathersky: 需要怎么配合拉 我算一个吧
[19:34] liangzi198: 我刚刚入门 不行的.
[19:34] feathersky: 首先 大家认为一〇〇个臭皮匠 和 一个诸葛亮 谁厉害？
[19:35] hotowindToqianqian: 开始了吗？
[19:36] feathersky: 以及一万个散兵 和 五〇〇〇个有组织的兵 哪个厉害？
[19:36] qianqian: 三个就抵个诸葛亮拉 嘿嘿
[19:36] hotowind: 一〇〇个臭皮匠
[19:37] feathersky: 再来考虑一个军团 有个老大 下面几个大军师 每个军师下面有小幕僚 然后是最小的喽喽
[19:39] feathersky: 如果老大按大喽喽的决定作出行动 发现吃亏了 那老大就要应该把赞成这次行动的大喽喽扁一顿 反对的表扬一下
[19:39] qianqian: 在的朋友发言踊跃一点呢 谢谢配合
[19:40] feathersky: 然后大喽喽扁小喽喽 一级级下去
[19:40] liangzi198: 我一个问题,神经网络使用的范围广么?怎样将理论转化为应用
[19:41] feathersky: 也就是说只有赏罚分明 最后这个集团才能强大
[19:42] feathersky: 神经网络就相当于这个集团，赏罚分明 最后定形
[19:42] feathersky: 呵呵 等会再说liangzil98的问题 先将神经网络的思想
[19:43] qianqian: 这个和神经网络有啥关系呀
[19:44] feathersky: 呵呵 你把神经网络的输入比作小喽喽 几个小喽喽有一个大喽喽 几个大喽喽上有个更大的喽喽
[19:44] feathersky: 神经网络就相当于这个集团能作出正确决定
[19:45] feathersky: 输出是最大的老大
[19:45] feathersky: 这样想 能想明白吗？
[19:47] liangzi198: 是函数逼近的形式
[19:47] qianqian: 呵呵 还好呢 怎么就偶一个人在回答呀
[19:47] feathersky: 呵呵 看来没人能理解这个想法呀 那接下去我也很难展开了
[19:48] liangzi198: 样本输入来拟合一个函数,再进行测试
[19:48] feathersky: 我说得这个实际上就是我认为的神经网络的精髓部分
[19:48] liangzi198: 样本输入来拟合一个函数,再进行测试
[19:49] feathersky: 赏罚分明 就是反馈机制
[19:49] kukumalu: 但是输入的数据很难得到
[19:50] feathersky: 神经网络的功能 有很多一部分是因为协作的关系
[19:51] feathersky: 算了 既然大家对这个思想不感兴趣 那我就不深入这个方向了 就讲讲其他东西吧
[19:52] liangzi198: 很多的数据都是凭经验和试探得到
[19:53] feathersky: 现在来谈数据拟和 如果有三个点 我们要求出一条直线 那么就是求出两个参数
[19:53] kukumalu: 没有啊只是我资力太浅很多都不懂
[19:54] feathersky: 实际上也就是要求出 y=a*x+b 中的两个参数 在这里我们看到我们以及用这两个参数表示出来了一条直线的形式
[19:56] feathersky: NN 相当于一个直线拟和作用 由已知数据点来求直线方程
[19:57] liangzi198: 是的
[19:57] feathersky: 如果有三个参数 y=a*x*x+b*x+c 就可表示二次曲线 经过NN学习 求出二次曲线的形式
[19:58] feathersky: 这里有几个重点 一个是表现能力 例如只有三个参数 我们想表现出一个五次方程 便不可能
[19:59] liangzi198: 还有它的泛化能力
[20:01] feathersky: 这也是许多神经网络的出发点 函数空间 也就是中间层 可以有RBF BP 小波基 勒得让正交基 傅里叶基 等等
[20:02] feathersky: 用不同的基函数表示函数空间就有不同的表示方法
[20:03] feathersky: 如果本是二次方程 我们当然可以用三次方程表示 但是这样 尤其误差的原因 就使得三次方程的最高项不为零
[20:04] feathersky: 这时候 他的泛化能力当然是要弱于二次方程的
[20:04] feathersky: 输入是 m维向量 输出是n
[20:05] feathersky: NN 就是输入到输出的 函数的 一种表示方法
[20:05] liangzi198: 网络的优化应从何改进?
[20:06] feathersky: 例如大家都知道函数可以傅里叶展开 泰勒展开 或者有理多项式展开 来表示
[20:07] feathersky: 网络的优化也就是优化这个表达方式 学习算法
[20:10] feathersky: 简单点的也就是结构可以稍微改变一下 或者针对特殊问题作个特殊的表达方式 和学习算法
[20:10] feathersky: 例如RBF网络 必须样本是分成几大类的 才有效
[20:11] qianqian: 大家有什么不理解的可以提出来和羽天交流一下哦
[20:11] liangzi198: 都是围绕现有个几个改进的,能不能有新的算法
[20:11] feathersky: 如果样本和输入的对应关系 不存在简单聚类关系 那么RBF就不再优秀
[20:11] feathersky: 更先进的得涉及到我开始讲的那个深入以后才行
[20:14] feathersky: 简单的说 就是对给定的问题 通过某种规则 自组织的涌现出一个网络
[20:15] feathersky: 没人讨论了 那我就回答前面提到的几个问题好了
[20:17] feathersky: 我一个问题,神经网络使用的范围广么? 函数拟和或系统拟和的场所 都可以用到他
[20:18] feathersky: iangzi198: 我一个问题,神经网络使用的范围广么? 函数拟和或系统拟和的场所 都可以用到他
[20:18] cao: 波涛 20:16:26RBF有很多改进的方法,并不是简单的聚类,它最初的思想是来源用多个高斯函数对函数进行逼近!
[20:19] feathersky: 对 用多个高斯函数的加权来表达函数
[20:20] feathersky: 但是高斯函数本身的形状 就是一个聚类
[20:21] feathersky: 如果在一个高斯函数内有两个相差很大的输出 那么这个高斯函数基就不能用了
[20:22] caoTofeathersky: 波涛 20:21:54为什么把它理解为聚类呢?
[20:23] feathersky: 一维高斯函数的形状就是一个墨西哥帽子
[20:24] cao: 波涛 20:23:29现在已经有了改进的方法,可以用两个高斯函数来代替一个
[20:25] feathersky: RBF 中 一个样本一般只有一个到二个高斯基被激活 大部分是一个高斯基 反过来一个高斯基内的对应输出都差不多
[20:25] feathersky: 用两个高斯函数来代替一个 没有本质的区别
[20:26] feathersky: 也就是说有二个高斯基 最多有三类输入
[20:27] feathersky: 如果我取有理数对应一 无理数对应2 你就得用无穷多高斯基函数
[20:27] cao: 波涛 20:27:04每个高斯基的输出如果控制在某个域值呢怎么会出现很大的差别呢?
[20:28] feathersky: 或者我取最后一位有效数值为1的输出1 为2的输出2 为3的输出3 ... 你也要无穷多高斯函数
[20:29] feathersky: 都是一种用函数基来表示函数的方法 函数基的性质就决定了他表达的方式
[20:30] feathersky: 最简单的莫过于插值中 有不同的函数基 表达同一个n次函数
[20:32] wzytyasd: 这是涉及到了输入的连续和离散性问题,在实际中完全可以把连续的输入离散化啊!
[20:33] feathersky: 因为高斯基在边缘 要特别多 效果才能稍微好看一点
[20:35] feathersky: litian ： 前段时间我发现有人提出了样条权函数神经网络，结构完全变了 实际上也就是另一种表示方式而已
[19:28] qianqian: 羽天 好呀
[19:29] feathersky: 呵呵 大家好呀 今晚和大家作个神经网络算法思想的交流 不知道有多少人感兴趣？
[19:30] liangzi198: 报道
[19:30] feathersky: 我需要二到三个人配合一下 不知道谁愿意？
[19:30] liangzi198: 报道
[19:31] featherskyToliangzi198: 呵呵 愿意配合吗？
[19:32] qianqian: 在的报道一下把等下就开讲拉 欢迎大家
[19:33] feathersky: 需要大家配合一下 我主要是以提问的方式来讨论神经网络
[19:33] qianqianTofeathersky: 需要怎么配合拉 我算一个吧
[19:34] liangzi198: 我刚刚入门 不行的.
[19:34] feathersky: 首先 大家认为一〇〇个臭皮匠 和 一个诸葛亮 谁厉害？
[19:35] hotowindToqianqian: 开始了吗？
[19:36] feathersky: 以及一万个散兵 和 五〇〇〇个有组织的兵 哪个厉害？
[19:36] qianqian: 三个就抵个诸葛亮拉 嘿嘿
[19:36] hotowind: 一〇〇个臭皮匠
[19:37] feathersky: 再来考虑一个军团 有个老大 下面几个大军师 每个军师下面有小幕僚 然后是最小的喽喽
[19:39] feathersky: 如果老大按大喽喽的决定作出行动 发现吃亏了 那老大就要应该把赞成这次行动的大喽喽扁一顿 反对的表扬一下
[19:39] qianqian: 在的朋友发言踊跃一点呢 谢谢配合
[19:40] feathersky: 然后大喽喽扁小喽喽 一级级下去
[19:40] liangzi198: 我一个问题,神经网络使用的范围广么?怎样将理论转化为应用
[19:41] feathersky: 也就是说只有赏罚分明 最后这个集团才能强大
[19:42] feathersky: 神经网络就相当于这个集团，赏罚分明 最后定形
[19:42] feathersky: 呵呵 等会再说liangzil98的问题 先将神经网络的思想
[19:43] qianqian: 这个和神经网络有啥关系呀
[19:44] feathersky: 呵呵 你把神经网络的输入比作小喽喽 几个小喽喽有一个大喽喽 几个大喽喽上有个更大的喽喽
[19:44] feathersky: 神经网络就相当于这个集团能作出正确决定
[19:45] feathersky: 输出是最大的老大
[19:45] feathersky: 这样想 能想明白吗？
[19:47] liangzi198: 是函数逼近的形式
[19:47] qianqian: 呵呵 还好呢 怎么就偶一个人在回答呀
[19:47] feathersky: 呵呵 看来没人能理解这个想法呀 那接下去我也很难展开了
[19:48] liangzi198: 样本输入来拟合一个函数,再进行测试
[19:48] feathersky: 我说得这个实际上就是我认为的神经网络的精髓部分
[19:48] liangzi198: 样本输入来拟合一个函数,再进行测试
[19:49] feathersky: 赏罚分明 就是反馈机制
[19:49] kukumalu: 但是输入的数据很难得到
[19:50] feathersky: 神经网络的功能 有很多一部分是因为协作的关系
[19:51] feathersky: 算了 既然大家对这个思想不感兴趣 那我就不深入这个方向了 就讲讲其他东西吧
[19:52] liangzi198: 很多的数据都是凭经验和试探得到
[19:53] feathersky: 现在来谈数据拟和 如果有三个点 我们要求出一条直线 那么就是求出两个参数
[19:53] kukumalu: 没有啊只是我资力太浅很多都不懂
[19:54] feathersky: 实际上也就是要求出 y=a*x+b 中的两个参数 在这里我们看到我们以及用这两个参数表示出来了一条直线的形式
[19:56] feathersky: NN 相当于一个直线拟和作用 由已知数据点来求直线方程
[19:57] liangzi198: 是的
[19:57] feathersky: 如果有三个参数 y=a*x*x+b*x+c 就可表示二次曲线 经过NN学习 求出二次曲线的形式
[19:58] feathersky: 这里有几个重点 一个是表现能力 例如只有三个参数 我们想表现出一个五次方程 便不可能
[19:59] liangzi198: 还有它的泛化能力
[20:01] feathersky: 这也是许多神经网络的出发点 函数空间 也就是中间层 可以有RBF BP 小波基 勒得让正交基 傅里叶基 等等
[20:02] feathersky: 用不同的基函数表示函数空间就有不同的表示方法
[20:03] feathersky: 如果本是二次方程 我们当然可以用三次方程表示 但是这样 尤其误差的原因 就使得三次方程的最高项不为零
[20:04] feathersky: 这时候 他的泛化能力当然是要弱于二次方程的
[20:04] feathersky: 输入是 m维向量 输出是n
[20:05] feathersky: NN 就是输入到输出的 函数的 一种表示方法
[20:05] liangzi198: 网络的优化应从何改进?
[20:06] feathersky: 例如大家都知道函数可以傅里叶展开 泰勒展开 或者有理多项式展开 来表示
[20:07] feathersky: 网络的优化也就是优化这个表达方式 学习算法
[20:10] feathersky: 简单点的也就是结构可以稍微改变一下 或者针对特殊问题作个特殊的表达方式 和学习算法
[20:10] feathersky: 例如RBF网络 必须样本是分成几大类的 才有效
[20:11] qianqian: 大家有什么不理解的可以提出来和羽天交流一下哦
[20:11] liangzi198: 都是围绕现有个几个改进的,能不能有新的算法
[20:11] feathersky: 如果样本和输入的对应关系 不存在简单聚类关系 那么RBF就不再优秀
[20:11] feathersky: 更先进的得涉及到我开始讲的那个深入以后才行
[20:14] feathersky: 简单的说 就是对给定的问题 通过某种规则 自组织的涌现出一个网络
[20:15] feathersky: 没人讨论了 那我就回答前面提到的几个问题好了
[20:17] feathersky: 我一个问题,神经网络使用的范围广么? 函数拟和或系统拟和的场所 都可以用到他
[20:18] feathersky: iangzi198: 我一个问题,神经网络使用的范围广么? 函数拟和或系统拟和的场所 都可以用到他
[20:18] cao: 波涛 20:16:26RBF有很多改进的方法,并不是简单的聚类,它最初的思想是来源用多个高斯函数对函数进行逼近!
[20:19] feathersky: 对 用多个高斯函数的加权来表达函数
[20:20] feathersky: 但是高斯函数本身的形状 就是一个聚类
[20:21] feathersky: 如果在一个高斯函数内有两个相差很大的输出 那么这个高斯函数基就不能用了
[20:22] caoTofeathersky: 波涛 20:21:54为什么把它理解为聚类呢?
[20:23] feathersky: 一维高斯函数的形状就是一个墨西哥帽子
[20:24] cao: 波涛 20:23:29现在已经有了改进的方法,可以用两个高斯函数来代替一个
[20:25] feathersky: RBF 中 一个样本一般只有一个到二个高斯基被激活 大部分是一个高斯基 反过来一个高斯基内的对应输出都差不多
[20:25] feathersky: 用两个高斯函数来代替一个 没有本质的区别
[20:26] feathersky: 也就是说有二个高斯基 最多有三类输入
[20:27] feathersky: 如果我取有理数对应一 无理数对应2 你就得用无穷多高斯基函数
[20:27] cao: 波涛 20:27:04每个高斯基的输出如果控制在某个域值呢怎么会出现很大的差别呢?
[20:28] feathersky: 或者我取最后一位有效数值为1的输出1 为2的输出2 为3的输出3 ... 你也要无穷多高斯函数
[20:29] feathersky: 都是一种用函数基来表示函数的方法 函数基的性质就决定了他表达的方式
[20:30] feathersky: 最简单的莫过于插值中 有不同的函数基 表达同一个n次函数
[20:32] wzytyasd: 这是涉及到了输入的连续和离散性问题,在实际中完全可以把连续的输入离散化啊!
[20:33] feathersky: 因为高斯基在边缘 要特别多 效果才能稍微好看一点
[20:35] feathersky: litian ： 前段时间我发现有人提出了样条权函数神经网络，结构完全变了 实际上也就是另一种表示方式而已