Author Topic: BTS数据可视化  (Read 605 times)

0 Members and 1 Guest are viewing this topic.

Offline vianull

  • Jr. Member
  • **
  • Posts: 42
  • bts.ai team
    • View Profile
    • bts.ai
  • BitShares: vianull
BTS数据可视化
« on: December 07, 2018, 09:00:03 am »
亲爱的社区小伙伴:

我们是bts.ai的开发团队。基于对BTS长期的深度参与,我们发现社区中缺乏对数据进行可视化分析的工具,以至于海量的价值数据无人问津。为此我们希望实现一套数据可视化、API及数据导出方案,为社区的进一步完善做出贡献。目前我们发出了中英文两版BTS数据可视化需求调查问卷,呼吁社区参与进来,和我们一起建设更好的BTS。

BTS数据可视化需求调查

An Investigation for BTS Data Visualization Worker Proposal


有任何建议,也可以在本帖下回复,多谢!

bts.ai并非是个盈利项目。此番工作的工作量不小,为此我们也提出一个Worker,期待得到您的投票支持(Woker ID:1.14.135)Data Visualization:Investigation, Design and Implement





BTS Worker 提案 - 数据可视化:调研,设计和实现


背景

     Bitshares自问世以来已经稳定运行超过3年的时间,目前链上已累积了110W+账户,3k+用户发行资产(UIA),以及2亿+条账户历史数据。作为去中心化交易所,BTS确实借助于其高性能、高隐私性以及高灵活性取得了很大的成功,但是,目前也有一些不足之处需要改进。
     我们对目前市面的BTS区块链浏览器以及数据分析产品进行调研后,发现社区中缺乏一个有深度的资产数据、账户活动记录可视化分析工具,我们无法直观的甄别优质资产,也无法洞悉某个账户的历史行为,等等,这些宝贵的数据就像是一座金矿等待发掘。此外,一个基于全量历史操作记录的自定义导出工具对用户来说也是十分重要的,用户一方面可以将其历史操作数据备份到本地,另一方面可以按照自身需求进行额外的分析处理。
     对于开发者来说,一套完善的链上数据查询及统计结果API对其快速接入BTS链具有至关重要的作用,但是,目前社区中的API实现方案各异,没有一个统一的标准,而且,现有API方案并没有将内外盘的交易数据放在一起进行总体分析。
     我们提出本worker以期能够能够解决以上问题,为社区的进一步完善做出贡献。


目标
 
针对以上问题,我们提出并将实现一套数据可视化、API及数据导出方案,其主要涵盖以下几点:
1)明确的可视化需求。根据我们的理解,已经列出了十余项的可视化需求。用户需求是本worker 的出发点与目标。
2)丰富实用的 API 接口,涵盖传统与所有可视化需求的接口,同时满足更深层次、定制化的数据查询需求。
3)数据可视化Demo。基于上述API实现数据可视化的部分Demo案例,供社区使用。
4)开放的源码。该worker中涉及到的API及Demo源代码,均采用MIT协议对外开放,方便社区对其进行继续改进。


我们的方案
 
为实现上述目标,我们的方案是:
    1.调研可视化需求。
    从微信、论坛、Telegram 等多个渠道发起问卷。广泛收集并分析BTS用户对数据可视化的需求,并分析其合理性(目前已经整理的需求见“用户需求分析”)。
    2.数据的存储与采集方案
    a)选择合适的数据存储方案。 针对具体的可视化需求选用合适的数据方案,包括但不限于 ES Plugin , PostgreSQL做部分数据支撑。
    b)设计外部数据采集方案。对不同交易所集成对应的数据采集方式。再结合数据用途与各交易所差异性,在储存前尽量完善数据。
    3.设计并实现API接口。
    a) 传统的Bitshares API 接口,包含目前的基础功能
    b) 可视化的数据 API,包含所有本次要做的可视化功能
    4.实现可视化 DEMO
    实现可视化需求的 DEMO,主要使用 echart.js,个别可能会采用d3.js,为其他开发人员提供参考

1、用户需求分析

1.1、合并内外盘BTS交易数据(仅支持提供API的交易所)
区块链是一个去中心化的全球设施,但是目前大部分虚拟货币交易都在交易所中产生,这就导致交易数据极为分散,难以判断虚拟货币的真实交易数。通过导入外部交易所BTS交易对数据,可以综合分析内外盘的数据,并提供更有价值与可靠性的分析结果,我们将开发如下功能:

a、各大交易所及内盘每日交易量汇总


上图中以一些交易所为例,我们期望用堆叠柱状图显示不同平台的BTS的日交易量,这样普通用户可以分析出各个平台的日交易量和BTS总交易量之间的关系。

b、各大交易所及内盘交易对活跃度 (每秒交易数)


同样,上图中不同平台中每秒交易数可以反映出每天的交易活跃度,有利于普通用户选择交易所进行交易,同时也有利于分析出不同平台用户的交易喜好。
 
c、各大交易所及内盘历史价格展示


如上图所示,不同交易所BTS的价格对比可以显示出平台的价差和用户喜好,同样有利于普通用户选择交易平台。

d、各大交易所及内盘买卖单深度汇总图


我们计划合并不同平台中的买卖深度,这样可以很容易的看出当前市场BTS的交易总深度,有利于大额交易和普通用户的交易判断、平台分析。
 

1.2、资产数据可视化分析

智能资产和用户发行资产(UIA)是BTS的优势功能,但是目前存在垃圾资产过多,没有合适数据展示方式等问题,普通用户很难靠自己选择优质资产。我们计划对资产历史数据进行可视化分析,包括以下几个方面:

a、智能资产供应量vs 时间图


智能资产供应量随时间的变化程度会反应用户抵押情绪,而其它智能资产的供应量(比如bitCNY和bitUSD) 会对BTS社区的投票和策略产生极大影响,它与历史数据的对比对于交易本身也非常有意义。

b、支持BitCNY,BitUSD的爆仓价格vs抵押资产数目散点图


爆仓价格vs抵押数目散点图可以很显著的看出普通用户的抵押情绪,也就是当前的社区情绪,并且可以充分体现大玩家的带头作用,这项指标同样对社区投票和情绪有极大影响。

c、支持活跃地址数(当天参与交易地址数) vs 时间图
                    休眠地址数(30天未交易) vs 时间图
                    新增持仓地址数 vs 时间图


参与交易地址数的活跃与否反映了内盘用户对交易的热情程度,一定程度上也反映了市场对当前价格的活跃程度和社区人数,休眠地址数,新增持仓地址数同样也是非常重要的指标。
 
d、持仓地址排序

持仓地址是衡量资产分布非常重要的一个指标,中心化程度过高的资产有潜在的操盘风险。这里我们提供各种资产的持仓地址分析和账户对此资产的操作情况分析。
 
e、支持展示智能资产抵押量,借出量等


对智能资产抵押量,借出量等数据分析同样有利于多维度分析智能资产的抵押用户和目标用户,以及智能资产健康情况。


1.3、 账户分析

a、根据账户间的历史交易信息分析账户的关联账户

根据历史交易信息, 找出与该账户互动最为活跃的账户列表, 包括但不限于转账操作, 注册操作等

b、分交易类型的账户历史交易量统计, 包括不同交易类型交易量以及占比

对账户交易类型进行统计分析, 可以有效分析账户的操作偏好, 根据挂单量/成交量可以推断该账户是否为自动交易机器人等

c、账户某资产持有量随时间的变化曲线

分析账户资产的持仓情况, 可以看出该账户对此资产的偏好程度
 

1.4、交易数据可视化分析

我们计划首先引入外部交易所数据,然后从以下几个方面对其进行分析

a、交易对日交易量

b、与昨日相比的变化(交易量,最大交易,交易地址数)
 
c、大宗交易账户分析

分析一段时间内交易成交笔数,成交量较大账户列表.


1.5、见证人的喂价行为分析

见证人的喂价目前几乎没有可视化的监控,而喂价又是BTS经济生态中极为重要的一环,对智能资产有至关重要的作用,我们计划可视化各个见证人的喂价,和距离平均喂价的程度,以作为参考。

a、见证人喂价平均更新速度

见证人喂价更新速度是一些贴线玩家的必要参考数据,我们计划将这项数据作为表中的一个字段展示在页面上。

b、见证人喂价偏离真实喂价曲线


1.6、各节点的历史可用分析,及当前可用情况

从其可用性分析可以看出该节点的连接可靠性以及稳定程度


1.7、 数据导出

用户的链上操作记录有很多种不同类型,例如挂单,交易撮合,转账,投票等。一些用户希望能够提供根据时间区间,交易对,交易类型等关键字查询历史交易记录,并提供交易数据导出的功能来方便备份或者通过其他软件如Excel来进行分析。
基于需求,我们或用户就可以基于 BTS 的成交数据做更深层次的交易分析。 包括,某时间段内的交易概况; 某账号某资产的交易均价; 某账号的盈亏分析等等。


2、其他
 
结合社区意见,适当添加其他功能。

以上所有的数据的底层数据,都会由“我们的方案”章节中的开源项目支持。同时,以上具体功能可能会随着社区意见和开发进展调整。

负责团队: Bts.ai 团队

我们已经是一个较为成熟的团队,主要开发人员有着丰富网站开发经验,同时将在未来雇佣更多开发人员以加快开发速度。
联系我们:https://t.me/btsai

主要成员包括:
主要开发者: vianull, Chen188
设计: Zheng
数据分析师: tiancaomei
产品负责人: vianull
运维负责人: wukoo
测试负责人:jie


 

Offline finn-bts

  • Full Member
  • ***
  • Posts: 145
    • View Profile
Re: BTS数据可视化
« Reply #1 on: December 07, 2018, 01:42:00 pm »
主要是是现在bts价格太低了~整个worker预算走下来 需要支出不少bts吧

Offline ljk424

  • Full Member
  • ***
  • Posts: 168
    • View Profile
  • BitShares: ljk424
Re: BTS数据可视化
« Reply #2 on: December 07, 2018, 02:14:25 pm »
绝对要支持,社区真的需要这些功能,帮助成员更好的认识了解监督bts

Offline ioex

  • Newbie
  • *
  • Posts: 8
    • View Profile
Re: BTS数据可视化
« Reply #3 on: December 08, 2018, 04:06:28 am »
支持,我刚好也在做类似工作,希望有机会合作!

Offline vianull

  • Jr. Member
  • **
  • Posts: 42
  • bts.ai team
    • View Profile
    • bts.ai
  • BitShares: vianull
Re: BTS数据可视化
« Reply #4 on: December 11, 2018, 10:16:27 am »
主要是是现在bts价格太低了~整个worker预算走下来 需要支出不少bts吧

为避免BTS价格震荡,我们使用USD发布预算。此番工作的工作量确实不小..Worker中有资金规划,可以点击查看:BTS Worker Proposal - Data Visualization:Investigation, Design and Implement

Offline vianull

  • Jr. Member
  • **
  • Posts: 42
  • bts.ai team
    • View Profile
    • bts.ai
  • BitShares: vianull
Re: BTS数据可视化
« Reply #5 on: December 11, 2018, 10:17:05 am »
绝对要支持,社区真的需要这些功能,帮助成员更好的认识了解监督bts

感谢支持!

Offline vianull

  • Jr. Member
  • **
  • Posts: 42
  • bts.ai team
    • View Profile
    • bts.ai
  • BitShares: vianull
Re: BTS数据可视化
« Reply #6 on: December 11, 2018, 10:17:56 am »
支持,我刚好也在做类似工作,希望有机会合作!

 感谢支持!

Offline vianull

  • Jr. Member
  • **
  • Posts: 42
  • bts.ai team
    • View Profile
    • bts.ai
  • BitShares: vianull
Re: BTS数据可视化
« Reply #7 on: December 11, 2018, 10:20:35 am »
截至目前,问卷调查结果统计如下:

用户需求分析:超6成参与者表现出强烈的可视化需求

2018-12-06起,我们就BTS数据可视化需求在社区分别发起中英文问卷调查,经过对5天的数据进行统计,结果显示:社区普遍认可实现可视化的需求,大家关注点主要在交易数据,交易图表间数据联动,持仓大户账户监控等。

参与调查人员中,持仓量500W以上占6.8%,100-500W占10.2%,10-100W占42.4%,1-10W占28.8%,小于1W的占比11.9%。


1.BTS 交易数据(内盘+中心化交易所)

通过导入外部交易所BTS交易对数据,可以综合分析内外盘的数据,并提供更有价值与可靠性的分析结果,对于BTS交易数据可视化,经调查:67.8的人表示我们所列出的都有实现的必要,其中各大交易所及内盘每日交易量汇总及各大交易所及内盘历史价格展示收获更多关注。



2.资产数据可视化分析

智能资产和用户发行资产(UIA)是BTS的优势功能,但是目前存在垃圾资产过多,没有合适数据展示方式等问题,普通用户很难靠自己选择优质资产。对资产历史数据进行可视化分析,61%的参与调查者认为我们列出的几个方面都应包括在内,其中“支持BitCNY,BitUSD的爆仓价格vs抵押资产数目散点图”一项收获最多认可。



3.账户分析

根据账户分析,不仅可以方便对他人账户相关性、操作偏好、对某资产偏好等有所了解,也可以更了解自己,方便适当做出调整。其中59.3%的人认为我们所列需求都有必要,三种显示功能获得基本相同的支持率,



4.交易数据可视化分析

我们计划首先引入外部交易所数据,然后从所列三个方面对其进行分析,获得了62.7%的支持率。其中普遍认为对大宗交易账户进行分析很有必要。



5.见证人的喂价行为分析

见证人喂价作为BTS经济生态中极为重要的一环,对智能资产有至关重要的作用,调查结果也显示社区对可视化各个见证人的喂价呼声很高 ,见证人喂价的更新速度及偏离真实喂价程度都是社区迫切想要实现可视化的方面。



6.各节点的历史可用分析,及当前可用情况

社区普遍认可(86.4%)选择一个可靠的节点能从安全性及用户体验获得全方位的提升,从其可用性分析可以看出该节点的连接可靠性以及稳定程度.


7.数据导出


用户的链上操作记录有很多种不同类型,例如挂单,交易撮合,转账,投票等。大部分用户(91.5%)希望能够提供根据时间区间,交易对,交易类型等关键字查询历史交易记录,并提供交易数据导出的功能来方便备份或者通过其他软件如Excel来进行分析。基于 BTS 的成交数据,用户就可以做更深层次的交易分析。



调查结果表明,社区对BTS数据可视化需求呼声很高。后续如果有任何意见或建议,欢迎随时给我们反馈。

中文调查问卷: BTS数据可视化需求调查
英文调查问卷:  An Investigation for BTS Data Visualization Worker Proposal
« Last Edit: December 19, 2018, 07:49:58 am by vianull »