您当前位置：首页 > 业界动态 > 互联网趋势与推荐系统的机会 跳过导航链接
    业界动态
    互联网趋势与推荐系统的机会
    发布日期：2011-01-11 12:15:48　浏览数：1796　来源：运友网
    先从Chris Anderson和Michael Wolff写的这篇文章谈起，web is dead. 其实我更推荐看这篇：The Web is Dead? A Debate. 这里面有Chris Anderson, Tim O’Reilly， 和John Battelle三人关于这篇文章中一些观点的争论。

    　　Chris Anderson认为web的流量逐年下降，并表达了web将死的担忧。这里要说明的一点是 web并不是internet，我们在中文语言环境中经常混淆二者，internet里还有很多web之外的服务，比如ftp, email, newsgroup, video, applications, Chris Anderson所说的web已死，是说video和applications抢走了web的流量，并不是说互联网已死，所以文章的标题是the web is dead, long live the internet, 我喜欢这个透着机灵的修辞手法。

    　　Tim O’Reilly对这个问题的回应是把互联网的应用分成front-end和back-end两层，front-end是web, app这些表示和逻辑层的东西，back-end是数据（包括用户关系），他的观点是front-end怎么变不重要，关键是back-end，也就是数据在什么地方；也就是web死不死不重要，关键是互联网所产生的网络效应已经深入人心，这个是不会改变的。这个有些似曾相识，七八十年代兴起的Enterprise Information Architecture这套理论的主要观点就是这些，早些时候我在做咨询和案例的时候也是有机会就向客户强调：It is the data, not processes, that define your business. 当然在企业里，流程的变动就意味着政治环境的变化，没那么容易。

    　　Tim O’Reilly的意思是web死就死吧，没什么大不了的；但Chris Anderson所担心的问题的背后，却更值得思考，也就是随着app store/market, Facebook, twitter的兴起，自由开放的互联网正在逐渐走向私有与封闭，这会带来怎样的后果？要讨论这个问题，先得说一点互联网的历史。

    　　虽然我们大多数同学接触个人电脑要早于互联网（至少是我这个年纪的国人），但实际上互联网的历史要远早于商用的个人电脑。六七十年代的互联网，是黑客的帝国，是真正开放、自由的环境，是精神上的乌托邦。所有有悖于自由与开放的价值观的行为，都是受到唾弃的。我忘了在哪本书上看到的，大概在七十年代的时候，一个小孩愤怒地在邮件列表里抱怨说，你们用了我写的软件，应该向我付钱。大家纷纷嘲笑他，因为大家都是自由共享自己的软件，包括源码，没人要钱，这小孩怕是想借此成为百万富翁吧。后来这小孩不是百万富翁，是亿万富翁，他叫Bill Gates. 软件的封闭和私有化成就了巨大的市场，以及若干商业帝国。

    　　web的兴起伴随着个人电脑市场的迅速膨胀，对于我们当今的互联网用户，很幸运的是web继承了早期互联网自由与开放的传统，而不是当时软件行业私有与封闭的市场规则，因此我们才有了今天多姿多彩的网络世界。早期的web是以信息的展示和共享为基础的，由于网络聚集的效应，很快web就成为了信息的海洋，如何有效的整理这些信息，就成了当时web服务的第一要务。Yahoo!的门户和分类目录是一种尝试，Yahoo!是一家伟大的公司，可惜它没有在合适的时间以合适的方式解决这个问题。

    　　彻底解决这个问题的是Google，Google的DNA里有早期互联网的黑客基因，可以不夸张的说，Google是这一自由开放精神的集大成者。Google说要整合全球信息，我们来看看它这样做的基础。它的魔力公式PageRank是超链接分析，这要求你的系统是开放的，这样它才能找到你，它要求信息自由流动，越自由越好，因此你不能附加条件，比如收费。因此，整个Google的生态体系就是构筑在自由与开放的基础之上的，反过来说，任何对这一基础的影响都将从根本上动摇Google这一体系的根基。

    　　越来越多的站点仅对注册用户开放，信息变成私有，这包括facebook和twitter。最近一段时间Google和facebook的摩擦无不是围绕着能否自由获得信息这一焦点进行的。并且，即便这些信息是开放的，由于SNS所构成的社会关系的存在，文本与信息之间的关系与公共空间（自由开放的web）不尽相同，在公共空间非常成功的超链接分析在这里未必有效。以目前的技术水平和实践经验，短期内看不到能够有效整理这部分信息的方法。另一方面，app store/market根本就不是以信息和超链接的形式存在的，这里是全新的战场。

    　　SNS和application的兴起从根本上动摇了Google的生态体系赖以存在的基础，一方面信息和系统不再是自由和开放的，另一方面信息本身也越来越多的被体验所替代。这个倾向伴随着web 2.0的壮大，尤其是最近一两年，已经可以称得上是趋势了。这背后，还有一股潮流，就是互联网的真实化，网络从第二人生慢慢变成第一人生，早期的纯精神领域的自由、开放的乌托邦，越来越世俗化，越来越融入真实生活。信息是真实生活的一部分，但生活不仅仅是信息。如何有效地整合私有的、带个人色彩的信息，如何迎接网络真实化，技术上还没有看到合适的答案。

    　　下面谈谈推荐系统，主要是个性化推荐系统。目前的推荐系统面临着两个重要的问题，先说技术上的。当前主流的推荐算法基本上是以统计学习为基础的，利用统计和机器学习的方法，最大限度的从数据中抽取信息，再用这些信息进行推断，进而形成对每个用户的推荐。这样做在数学上是自洽的，但实际应用过程中产生了很多问题。比如冷启动，在数据非常稀疏的情况下会放大噪声；比如随着数据的增长，越来越倾向于给出平庸的推荐；比如信息的维度单一，没有办法跟着用户一起成长；比如面对特性不同的数据集，需要花很大的力气来调节系统参数。所有这些问题，都造成了个性化推荐系统能够实际应用的场合受到很大限制，效果也很难衡量。

    　　纯粹从技术方面来看，这些问题是存在解决的可能的。目前我把推荐系统分成三个层次，第一层是Prediction，就是给你一个数据集，拿掉一部分，想办法用剩下的部分把拿掉的恢复起来。这部分工作是可以形式化，给出严格的定义，是个数学问题，也是目前研究的最透彻，解决的最好的。前几年的Netflix竞赛让我们看到了这里面的巨大潜力。这部分工作的意义是从数据形成信息。第二个层次是Forecasting, 把给你的数据集看成一个系统，预测这个系统下一步的变化。用上一个层次的方法也可以来做这一层的问题，但其中有两个重要的区别，一个是时间维度，一个是形成系统的是人，人的心理和社会环境因素的作用。这两个因素的作用是使这个层次的系统比上一个层次的复杂度高了很多，原来的方法可行，但未必有效。解决这个层次的问题，仅仅从给定的数据出发是不够的，需要整合其他数据，可能需要先验知识，甚至可能需要一点用户的认知和心理模型。目前商用的推荐系统都在或多或少的解决这个问题。这部分工作的意义是从信息形成知识。

    　　第三个层次是Recommendation，这个是真正意义的推荐。这个系统应该具备所推荐领域的知识，同时还要认识它的每一个用户。这个系统能够自我启动，同时能够生长和进化；这个系统是有记忆的，同时它还能够学习。这个系统没有严格的定义，同时它的基本技术架构可能也不会仅仅局限于目前流行的推荐系统的各种框架、技术和算法。这个说法有点让我们想起六七十年代人工智能最辉煌的时候的一些蓝图，那些蓝图没有一个能实现。后来人工智能领域用机器学习这个更低调的说法代替了那些听起来很有野心的目标，在实践中取得了非常大的成就。脚踏实地是非常好的态度，不过如果你总也不抬头的话，会慢慢忘了头顶上还有一片灿烂的星空。这部分工作的意义是从知识形成系统。

    　　推荐系统所遇到的问题，从技术角度来看都是有解决方案的，但是从其他角度来看，则未必。其中一个关键问题就是，个性化推荐，到底是一项技术，一个功能，还是一个产品？我们可以先看看从模式识别衍生出来的一些东西，比如指纹识别、人脸识别，可以很清楚的看到，这是一项技术，它可以作为一个功能存在，但不会是一个完整意义上的产品。我们可以再看看搜索，其实很早在文献检索领域，就有类似的技术，包括PageRank算法，也有相似的雏形。但互联网信息的膨胀使得搜索从技术、功能真正成为了产品，进而发展成了平台。那么个性化搜索呢，它是一项技术、一个功能，这毫无疑问，但能不能成为独立的产品，如果能，应该以什么样的产品形态而存在，能不能发展成平台，都很难说，至少目前没有办法回答。

    　　在未来的互联网，不是平台，就是平台的一部分。Google是自由开放的信息的平台，Apple是封闭的app的平台，Facebook是社会关系和私有信息的平台；twitter会不会成为平台不知道，microblogging是不是最终的产品形式也不清楚，电子商务会有平台，LBS一定会成长为平台，很可能是关于生活的平台，涵盖各种手持、车载、移动设备和基于地理位置的固定设备。当互联网的表现形式和内涵不在仅仅局限于信息，与生活高度融合时，会有各式各样的平台。在这里，暂时看不到个性化推荐跻身平台的前景，不过有一点可以肯定，未来的互联网，个性化推荐会是各个平台的标配。

    　　让我们回到Tim O’Reilly， 一个产品之所以能成为平台，一定有强大的back-end，数据是在他们手里的，这些数据包括元数据(meta data)，用户的基本信息、用户的行为、用户的偏好、用户的社会关系等等。同一领域的平台与平台之间的竞争，在前台是产品功能、用户体验，在后台则是数据的整合、处理，以及从数据形成信息、知识、系统的能力。特别是对于封闭的系统、私有的信息，社会关系、LBS，超链接分析并不能很好的适应这些应用，但个性化推荐可以给出更好的结果。

    　　未来的几年之内，我们一定会看到互联网领域令人激动的变化，个性化推荐从技术到产品，从系统到应用，一定会遇到一系列非常有挑战性的问题，也一定会有各种各样充满天才的解决方案等着我们去发掘。我希望在中国也是如此。




    本文地址：http://www.56856.cn/news/5864.htm
    推荐栏目：
    24小时点击量排行
    实用工具

版权所有:徐州运友网络通信股份有限公司 增值电信业务经营许可证:苏B2-20150077 苏ICP备05046738号
邮箱：xzyy56@163.com 电话：0516-87730925、0516-83702772