Google生产环境

Google生产环境

  • 硬件
    • 约10台物理机组成机柜Rack,数台机柜组成机柜排Row,多排机柜组成集群Cluster,多个集群组成数据中心Datacenter,多个相邻数据中心组成园区Campus
    • 自研交换机Jupiter,可以提供1.3Pb/s的交叉带宽
    • 覆盖全球的骨干网B4,基于OpenFlow构建,动态管理带宽优化网络连接
  • 集群管理系统Borg
    • 分布式集群操作系统,管理所有的任务,包括调度(如多实例分配在不同故障域)、资源分配、异常处理等等
    • Borg名称解析系统(BNS)为每个任务分配一个名字,任务之间通过BNS名字建立连接
    • 下一代开源集群管理系统Kubernetes
  • 存储
    • 最底层为D文件服务器,几乎运行在整个集群的所有物理服务器上
    • 在D之上的Colosus是一个覆盖整个集群的文件系统,它是GFS的改进版
    • 在Colosus之上有多个选择
      • NoSQL数据库Bigtable
      • Spanner
      • Blobstore
  • 网络
    • 覆盖全球的骨干网B4,基于OpenFlow构建,动态管理带宽优化网络连接
    • 集中化的控制器+普通的非智能交换组件(中心化路由计算方便解决流量迁移问题)
    • 全球负载均衡系统(GSLB)
      • 基于地理位置负载均衡DNS
      • 用户服务层面负载均衡
      • RPC负载均衡
  • 分布式锁Chubby(基于Paxos)
  • Borgmon监控告警
  • 软件设施:多线程,服务之间使用RPC通信(Stubby,开源实现gRPC)
  • 研发环境:共享同一个软件仓库、自动构建和测试
Feisky wechat
微信公众号订阅