目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中...目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(Mingant U Sp Ectral Radioheliograph,MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;(2)5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。展开更多
自主观测软件系统的设计与实现是天文望远镜自主观测的核心,近年来已经成为天文技术研究中的一个重要方向。在当前可用的自主观测系统中,远程望远镜系统第2版(Remote Telescope System 2nd version,RTS2)拥有较多优势从而成为国内天文...自主观测软件系统的设计与实现是天文望远镜自主观测的核心,近年来已经成为天文技术研究中的一个重要方向。在当前可用的自主观测系统中,远程望远镜系统第2版(Remote Telescope System 2nd version,RTS2)拥有较多优势从而成为国内天文技术界较为关注的系统之一。针对RTS2不提供远程访问控制功能的问题,深入分析RTS2中利用XMLRPC技术实现数据访问和功能调用的机制,实现了一个基于XML-RPC的望远镜自动控制终端系统原型,在不更改RTS2核心代码的基础上,通过其服务层提供的XML-RPC接口实现RTS2的应用扩展,并为后续工作中集成利用RTS2奠定了基础。展开更多
随着巡天观测计划的进行,传统的数据库技术无法满足海量天文数据的存储以及检索性能的需求。针对海量天文数据存储以及锥形检索的高并发、高性能问题,采用数据库中间件技术,当海量数据到达传统数据库存储阈值时,能够通过中间件技术以分...随着巡天观测计划的进行,传统的数据库技术无法满足海量天文数据的存储以及检索性能的需求。针对海量天文数据存储以及锥形检索的高并发、高性能问题,采用数据库中间件技术,当海量数据到达传统数据库存储阈值时,能够通过中间件技术以分库分表的形式存储到数据库集群,充分整合关系型数据库和分布式技术的优点。利用MySQL数据库集成动态索引工具(Dynamic Index Facility,DIF)插件,在分布式数据库中建立伪球面索引,能够满足海量天文数据锥形索引的需求。展开更多
我国新一代厘米—分米波太阳射电日像仪(Chinese Spectral Radio Heliograph,CSRH)已经进入了设备调试阶段,对数据系统的建设有迫切的要求。如何快速、可靠地实现数据的可信处理,实现一个可供调试及未来使用的数据处理系统是一项十分重...我国新一代厘米—分米波太阳射电日像仪(Chinese Spectral Radio Heliograph,CSRH)已经进入了设备调试阶段,对数据系统的建设有迫切的要求。如何快速、可靠地实现数据的可信处理,实现一个可供调试及未来使用的数据处理系统是一项十分重要的工作。以射电天文软件包CASA为对象,分析探讨了CASA混合软件开发模式和二次开发利用的可能性,系统阐述了利用Python开发前台,后台调用C++语言的混合编程方法,进而讨论分析了利用混合编程扩展CASA功能以满足太阳射电日像仪应用需求的方法。本方法具有较强的针对性,对我国其它天文新设备数据处理软件系统的开发具有一定的借鉴作用。展开更多
测量集(MeasurementSet,MS)是射电天文领域重要的文件格式,并逐渐成为射电天文数据存储、分析与共享的标准格式,得到越来越多的天文数据处理软件的支持,在阿塔卡玛大型毫米波天线阵(Atacama Large Millimeter Array,ALMA)、LOFAR等射电...测量集(MeasurementSet,MS)是射电天文领域重要的文件格式,并逐渐成为射电天文数据存储、分析与共享的标准格式,得到越来越多的天文数据处理软件的支持,在阿塔卡玛大型毫米波天线阵(Atacama Large Millimeter Array,ALMA)、LOFAR等射电望远镜系统中已经深入应用.但长期以来,测量集格式在国内应用较少,介绍了测量集格式的基本概念、目录结构和字段设计,在此基础上讨论了利用Python-casacore调用底层Casacore生成测量集文件的方法,将实现程序集成到射电天文模拟校准成像库(Radio Astronomy Simulation,Calibration and Imaging Library,RASCIL),生成仿真观测测量集文件,并利用CASA(Common Astronomy Software Applications)软件加以验证.所完成的测量集文件生成软件在满足平方千米阵工程桥接阶段工作需要的同时,也为其后续的成像、观测模拟和文件存储提供了重要支撑,对我国射电天文数据处理工作有较高的参考价值.展开更多
文摘自主观测软件系统的设计与实现是天文望远镜自主观测的核心,近年来已经成为天文技术研究中的一个重要方向。在当前可用的自主观测系统中,远程望远镜系统第2版(Remote Telescope System 2nd version,RTS2)拥有较多优势从而成为国内天文技术界较为关注的系统之一。针对RTS2不提供远程访问控制功能的问题,深入分析RTS2中利用XMLRPC技术实现数据访问和功能调用的机制,实现了一个基于XML-RPC的望远镜自动控制终端系统原型,在不更改RTS2核心代码的基础上,通过其服务层提供的XML-RPC接口实现RTS2的应用扩展,并为后续工作中集成利用RTS2奠定了基础。
文摘随着巡天观测计划的进行,传统的数据库技术无法满足海量天文数据的存储以及检索性能的需求。针对海量天文数据存储以及锥形检索的高并发、高性能问题,采用数据库中间件技术,当海量数据到达传统数据库存储阈值时,能够通过中间件技术以分库分表的形式存储到数据库集群,充分整合关系型数据库和分布式技术的优点。利用MySQL数据库集成动态索引工具(Dynamic Index Facility,DIF)插件,在分布式数据库中建立伪球面索引,能够满足海量天文数据锥形索引的需求。
文摘我国新一代厘米—分米波太阳射电日像仪(Chinese Spectral Radio Heliograph,CSRH)已经进入了设备调试阶段,对数据系统的建设有迫切的要求。如何快速、可靠地实现数据的可信处理,实现一个可供调试及未来使用的数据处理系统是一项十分重要的工作。以射电天文软件包CASA为对象,分析探讨了CASA混合软件开发模式和二次开发利用的可能性,系统阐述了利用Python开发前台,后台调用C++语言的混合编程方法,进而讨论分析了利用混合编程扩展CASA功能以满足太阳射电日像仪应用需求的方法。本方法具有较强的针对性,对我国其它天文新设备数据处理软件系统的开发具有一定的借鉴作用。
