大规模函数型数据分析存储空间与计算效率问题取得进展
(资料图片仅供参考)
在大数据时代下,随着互联网、云存储等技术的高速发展,实际分析处理中遇到的数据规模越来越大。尽管大规模函数型数据可以给我们带来海量信息,但是其对计算资源有着更高的需求,所需的计算时间更长,这也极大地提升了计算成本,影响数据分析的时效性、可操作性。因此如何解决大规模函数型数据分析时,遇到的存储空间和计算效率等方面的难题是大数据时代下函数型数据分析的一个重要问题。
近日,针对上述问题,西安交通大学经济与金融学院青年教师刘华博士、上海财经大学统计与管理学院教授尤进红博士和加拿大西蒙弗雷泽大学教授Jiguo Cao博士进行了深入的研究。他们首次把子抽样思想应用到函数型数据分析,开发出适应于函数型广义回归模型的最优抽样方法Functional L-Optimality Subsampling(FLoS),以此来实现减少计算时间、克服内存不足等问题的目标。除此之外,作者还通过理论和一系列的数值模拟来说明了该抽样方法的准确性和有效性。
科研人员把提出的最优抽样方法FLoS用于分析器官移植数据案例,该数据收集了几十万名肾脏器官移植接受者在接受器官移植手术时的信息,并记录了这些移植手术接受者在术后每次随访的信息,因此其是一个数据量非常庞大的且包含函数型数据的数据集。他们想要用接受者术后的肾小球过滤率曲线来判断移植手术能否成功并且预估他们在术后的大致寿命。通过分析与对比,他们发现基于FLoS方法抽取到的最优子样本得到的抽样估计和全样本下的估计几乎完全一致,进一步验证了该最优抽样方法的准确性和有效性。
研究成果发表在JMLR.(图源JMLR网站)
近日,上述研究成果以《大规模函数型广义回归模型下的最优抽样方法FLoS》为题发表在机器学习和人工智能领域国际顶级期刊Journal of Machine Learning Research(简称JMLR)上。刘华是第一作者,西安交通大学经济与金融学院是第一署名单位。JMLR由麻省理工学院出版社出版,依托于麻省理工学院的计算机科学与人工智能实验室,是国际上公认的计算机领域顶级期刊之一。
关键词:
您可能也感兴趣:
为您推荐
青春猪头少年不做出门妹妹的梦 第一章 那一天的后续(5)
中和反应放热(中和反应)
“让村民群众有依靠”(党旗在基层一线高高飘扬)
排行
最近更新
- 大规模函数型数据分析存储空间与计算效率问题取得进展
- 第一届生态系统服务学术研讨会举行
- 日本强启核污染水排海 中国国家原子能机构连用三个“严重损...
- 河北正定:整修古城南城门楼
- 刚刚,国防部发布!
- 辽宁盘锦“1·15”重大生产安全责任事故调查报告公布
- 平桥区税务大厅地址及电话(平桥税务局电话)
- 彩龟的养殖方法和注意事项 彩龟的养殖方法和注意事项视频
- 「现场直击」中集车辆李贵平:在“星辰大海”中再建一个中集车辆
- 持续夯实主业,产业投资与科创并重,钱江生化二季度扣非净利...
- 美学有哪几个分类(美学有哪几种)
- led灯关了还微亮会费电吗 led灯关灯后有微亮是什么原因费电吗
- 菲利波·帕里兹(关于菲利波·帕里兹简述)
- 春雪食品:拟回购不低于1500万元且不超过2500万元公司股份
- 打抱不平什么意思 打抱不平
- 中国民航信息网络(00696.HK)上半年净利润12亿元 同比增加约171.0%
- 美女生日祝福唯美句子(句句不提生日 句句都是生日)
- 软件更新在哪里 软件更新在哪里更新
- 幼儿园大班教室布置平面图(幼儿园大班教室布置)
- 米果的做法窍门(米果的做法窍门视频)
- 威海汽车站到神雕山野生动物园怎么坐车(威海汽车站)
- “今年这柚子,保准靓!”
- 商务部8月24日召开例行新闻发布会
- 新炬网络:2023年半年度净利润约2523万元 同比增加12.23%
- 属羊女和属狗男相配吗,男属羊女属虎相配
- 调查研究要让职工群众“出题评卷”
- 货架又满了!京城商超食盐充足,市民无需恐慌
- 大湖股份(600257)龙虎榜数据(08-25)
- 万泰生物(603392)龙虎榜数据(08-25)
- 注意了!这些名字容易考上理想大学