课题方向：大数据在金融、电子商务等行业的应用
指导老师：杨锡怡
文字编辑：林东吴
7月26日，站在上海银行大厦21楼宽敞的落地窗边，同学们遥望对面的上海环球金融中心，看到的是绵延繁荣两三千年后，在大数据的支持下，又绽放起全新活力的金融行业。
我们上科大的学生对于大数据技术的常用架构、算法都有一定的了解，但实际业务过程中都存在哪些权衡、技术与业务究竟如何对接，都是需要到产业的前沿去学习。因此我们在出发前都做足了功课，希望能更有针对性地汲取业界经验，了解产业界从数据源获取、数据清洗、分析到利用的实际过程与课堂上学到的有何不同。
这天上午，作为课题组带队的创管学院杨锡怡助理教授安排我们与上海银行负责大数据项目业务部分的一位经理进行交流。不得不赞叹金融行业人才济济，干净拔练的着装，映衬着这位经理对于业务的熟稔;内容丰富的分享，散发出多年经验带来的从容。“目前大数据项目为我们带来的主要是数据驱动的决策、征信的贷前贷后，以及不浪费客户耐心的精准营销。”他表示，银行是一个“数据孤岛”，比起BAT等数据巨头，他们对用户做画像有一定的难度。但业务上的需求其实并不高，对数据的主要展示需求也就是双维度的数据图表，以及排序的因变量等等，因此背后的处理手段也是非常基础常见的算法，而学术界的前沿技术反而因为效率不高、可解释性低下而难以使用，并不那么受业务人员欢迎。
讲解过程中，同学们不断针对当前内容提出问题，气氛轻松而学术。经理也对演示文稿上没有准备的内容作了许多延伸介绍，让同学们理解了银行是如何通过选择性购买外部数据源来跳出数据孤岛、以及数据最终是如何形成策略树自动化地落实到业务层面等等。介绍结束后，同学们问题的密集火力还持续轰击了很长一段时间，因此离开上海银行大厦的时候，心中都感到一种由衷的充实。
下午，同学们来到了上海银行的技术部。这里令人瞩目的正方体建筑就是他们的数据中心，有“进去就出不来、靠近就会迷路”的传说。杨老师为我们联系的技术部主管展示了应用在数据中心中的各项底层技术细节，例如如何通过数据拉链降低存储压力等，可以说在不涉密的条件下非常“干货”地分享了他这几年的经验。紧接着，结合技术部工作人员的讲解，同学们了解了上海银行在大数据方面的特征:求稳、数据干净、看重需求落地。在诸多信息的冲击下，走出会议室时，同学们都若有所思。
银行业作为古老的行当进入大数据的领域步子不会太大，作为产业实践的第一站十分合适。而同学们又开始期待起来:周四的携程之行，又会给我们增长多少“经验值”呢？
果不其然，7月28日周四的携程之行给了我们一个震撼的开场。携程展示出他们类似钟馗之眼的热点图，代表旅客的光点在全国各处流动，若流萤，若星轨，同学们啧啧称奇，直观地了解到他们在谈笑间默默承受了多大的访问量。
在展示热点图的监控室内，回答了同学们一些问题后，衬衫牛仔衣着休闲的负责人挥手让管理员切换出他们常用的切面视图：恒河沙数的访问被分解到集群中，经过精心埋点，监控者可以很快定位到需要修复的几个可能位置。60 : 9宽屏的中部显示着当前下线的slave，左侧则提示着一些服务器压力较大。在负责人带着大家从右到左踱步，介绍屏幕上各项指标时，一群工程师就在同学们身后的工位上紧张地进行修复作业。
当然，在同学们的逼问下，负责人也很坦诚地表示，目前工作量主要在集群运维上，系统智能化程度还不够高，大量Log被直接丢弃，问题的发现主要还是靠人工和经验。他们总结出“改动后很容易出问题”等看似浅显的经验，道理浅显，但正是这类经验在保证上线动作的工程化。
同学们从携程那流线型的办公楼鱼贯而出，此时已是中午，艳阳撒下大量光子，大多被直接丢弃在地上，少部分被同学们承接，却已热得令人发狂。饭后，同学们来到相隔一个街区的业务部，调研业务相关的技术。同学们很明显地感觉到，在业务需求的驱动下，这个部门对于数据的利用更有“大数据”的感觉。工作人员介绍说，通过使用Hadoop等大数据“全家桶”、DataX之类的救场工具，结合在一起后，整个系统虎虎生威。通过这套系统，携程明确了业务人员的KPI应该以哪几项数据为准、不同等级的业务人员如何分配给相应等级的客户，可以说，领导对他们的成果非常满意。
听完业务部的报告，同学们意识到，实际业务中很难见到需要非结构化数据的场景，就算遇到了，业务对于这类数据也是持不信任的态度。同学们的许多提问都指向这一点，因此业务部派来作报告的青年工程师明确地回答了这一点。其次，从业务需求出发开发的系统并不会利用到信息之间所有的关联，这对学院派思维的同学有一定的指导意义：不是做出来很高大上的系统，就必然是好的。
这两天的产业实践给了同学们很大的冲击。准备充分的那部分同学，看到了与他们想象中的“大数据”不一样的现实世界;对此行还比较懵懂的同学，则对什么是大数据不再陌生。杨老师为我们精心挑选了两家业务主导、技术跟进的公司，有她的良苦用心：技术很容易就能用课外时间熟练，业务却要用血和汗来交换。上科大的产业实践以业务开始，再以业务画上句号，其间点缀着的技术细节可能两年后同学们不再记得，但业务需求如何引入大数据、大数据又怎么反哺业务，这与“Design Thinking”“应用创新”遥相呼应的桥段，必然令同学们受用终生。
同学们与上海银行工作人员交流
同学们在携程了解公司发展历程
同学们在携程参观
同学们在携程合影
沪公网安备 31011502006855号