作者小头像 Lv.1
54 成长值

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

暂无数据
个人勋章
  • 活跃之星
成长雷达
0
54
0
0
0

个人资料

个人介绍

这个人很懒,什么都没有留下

感兴趣或擅长的领域

暂无数据

达成规则

发布时间 2019/09/10 11:15:10 最后回复 Lhosv 2020/08/09 23:31:30 版块 专业服务
6423 5 0
他的回复:
提问:1. GaussDB会对行业带来怎样的影响?2. GaussDB的三个云端的数据库怎么比较性能?我们都以DolphinDB作为benchmark。在三个云厂商上分别购买了他们的数据仓库服务,并且购买了相同类型的弹性计算节点用于部署DolphinDB。测试数据集也是相同的。3.可以比较一下这几个数据库和tidb吗反馈:关于数据库上云的一些看法:通过提供互联网接入的数据仓库功能,公共云提供商可帮助公司避开构建传统本地数据仓库所需的初始设置成本。此外,云中的这些企业数据仓库是完全托管的,因此服务提供商管理并承担提供所需数据仓库功能的责任,例如系统补丁和更新。云架构与传统的数据仓库方法有所不同。例如,在Redshift中,该服务通过要求您提供一个基于云的计算节点集群来运行,其中一些计算节点编制检索,而另一些执行这些检索。Google提供无服务器服务,这意味着Google会动态地管理机器资源的分配,并将这些决策从用户中抽离出来。云数据仓库的优化级别难以与本地部署的有限功率相匹配。列式存储(表个中的值按列而不是按行存储)可以根据需要运行的查询类型来满足更快的聚合查询。大规模并行处理也是一个重要的特性,通过使用多台机器协调大型数据集的查询处理,可显著提高速度。就云数据仓库的扩展性而言,和从云提供商那里获取更多资源一样简单。然而,本地部署的可扩展性非常耗时且成本很高,因此需要购买更多硬件。云计算中的安全性是一个棘手的问题,因为互联网上的数据传输太字节(terabytes)会带来严重的安全问题考虑,而且敏感数据也可能引起一些合规性问题。本地部署就避免了这样的担忧,因为企业控制着一切。总结云数据仓库的准入门槛低,有助于中小企业更容易访问数据仓库。此外,即使是最大型的企业也可以从较低的成本中受益,例如基础架构的持续管理和轻松的可扩展性。云数据仓库不是没有问题,比如潜在的安全问题,然而,益处大于弊端。传统的本地部署并没有完全被淘汰,但随着数据量和速度不断增长,而且云服务能更专业化地处理这些问题。随着越来越多的工作负载迁移到云中,越来越多的公司作为服务提供商进入市场,数据仓库的未来似乎在云中。
发布时间 2020/07/20 14:48:02 最后回复 bgsfzb z 2020/07/31 23:22:15 版块 人工智能
6708 34 0
发布时间 2019/09/10 10:29:01 最后回复 用户 2020/08/31 11:10:16 版块 专业服务
8605 6 1
他的回复:
如何进行需求结构化管理?1、 需求判断当我们收集到需求的时候就要判断该需求是不是伪需求,那么如何判断呢。我一般使用 用户——场景——需求,来判断。比如,教务老师想要在学生离开学校的时候给家长发送学生的离校通知。然后结合自己的产品定位以及该需求的使用频率大不大,我们目前的技术架构能否满足该需求,来判断该需求的优先级当我们确定我们要满足该需求,开发相应的功能,那么就把需求加入需求池。2、 需求池的管理需求池是对现有需求的汇总和统计,它的主要作用是帮助产品经理进行需求的管理和跟踪。每个公司对需求池的规范都不一致。之前我们公司没有需求池一说,都是产品经理根据自己的判断来进行,所以在工作中就造成了一些信息上的丢失,需要重复很多工作,造成了工作上的不便。所以我特地查找资料整理了一下,规范工作流程,方便自己及同事。3、 需求的跟进需求池中的需求在需求评审后会有一个开发计划,开发周期等,这时候合格的产品经理会通知提出该需求的人,通知他该需求的相关情况。这会给人一种你这个人非常靠谱的印象,且乐意再次给你提出相应的需求。当技术开发完成后也要进行验收,当该需求上线是最好再发一个通知,感谢相应付出的人,包括需求提出人和技术等,还需要告知运营,这不至于开发完相应的功能没人知道。
他的回复:
1.留下您对本次直播的疑问,不限技术,我们都将一一作答分享一些个人认为的数据仓库调优的方法吧① 修改Linux配置Linux 系统最大可打开文件数一般默认的参数值是 1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个 HBase 不可运行,你可以用 ulimit -n 命令进行修改,或者修改/etc/security/limits.conf 和/proc/sys/fs/file-max 的参数,具体如何修改可以去 Google 关键字 “linux limits.conf ”;②修改 JVM 配置修改 hbase-env.sh 文件中的配置参数,根据你的机器硬件和当前操作系统的 JVM(32/64位)配置适当的参数;③RegionServer 与 Zookeeper 间的连接超时时间。当超时时间到后,ReigonServer 会被 Zookeeper 从 RS 集群清单中移除,HMaster 收到移除通知后,会对这台 server 负责的regions 重新balance,让其他存活的 RegionServer 接管。这个 timeout 决定了 RegionServer 是否能够及时的 failover。设置成 1 分钟或更低,可以减少因等待超时而被延长的 failover 时间。不过需要注意的是,对于一些 Online 应用,RegionServer 从宕机到恢复时间本身就很短的(网络闪断,crash 等故障,运维可快速介入),如果调低 timeout 时间,反而会得不偿失。因为当 ReigonServer 被正式从 RS 集群中移除时,HMaster 就开始做 balance 了(让其他 RS 根据故障机器记录的 WAL 日志进行恢复)。当故障的 RS 在人工介入恢复后,这个 balance 动作是毫无意义的,反而会使负载不均匀,给 RS 带来更多负担。特别是那些固定分配 regions 的场景。④RegionServer 的请求处理 IO 线程数。这个参数的调优与内存息息相关。较少的 IO 线程,适用于处理单次请求内存消耗较高的 Big PUT 场景(大容量单次 PUT或设置了较大 cache 的 scan,均属于Big PUT)或 ReigonServer 的内存比较紧张的场景。较多的 IO 线程,适用于单次请求内存消耗低,TPS 要求非常高的场景。设置该值的时候,以监控内存为主要参考。这里需要注意的是如果 server 的 region 数量很少,大量的请求都落在一个 region 上,因快速充满 memstore 触发 flush 导致的读写锁会影响全局 TPS,不是 IO 线程数越高越好。压测时,开启Enabling RPC-level logging,可以同时监控每次请求的内存消耗和GC的状况, 最后通过多次压测结果来合理调节IO线程数。PB级数据实时查询架构该怎样设计而出呢?PB级数据仓库性能调优在调优过程中是否会影响到我们使用用户的信息?2.发表直播观后感时长45分钟,很合理,就跟我们平时上课时间差不多,我相信学校使用45分钟的上课时间是没有问题的,既不会让学生学习的时候感到太累,也不会让学生听起来感觉听不够,时间管理的很合理,不错。华哥在讲的时候讲的很细,基本所有的知识点都讲的很清楚,听得很清楚,学习起来就不会容易厌倦,在学习的时候还有互动抽奖环节,可以缓解学习中的紧张气氛,让我们学的很开心,这样也是很不错的。感谢华哥精彩的直播,也感谢支持人彩虹姐姐的主持和幕后所有工作人员的付出。期待下一期的课程学习以上