华为云用户手册
-
NFS服务端安装 yum install nfs-utils -y 创建共享 在/etc/exports配置文件中添加以下内容,保存退出; /sfs-date/mnt-pro/lab 172.16.79.15/255.255.254.0(rw,sync,no_root_squash) 或者 /home 168.170.249.1/24(rw,sync,no_root_squash) 创建共享目录并给予写的权限 mkdir /home/ITP/share chmod o+w /home/ITP/share 启动NFS服务 systemctl restart rpcbind systemctl restart nfs-server(nfs) systemctl enable rpcbind systemctl enable nfs-server(nfs)
-
安装MQ 安装依赖项 Mq要求版本3.7以上,建议版本rabbitmq-server3.8安装基本依赖 yum install epel-release yum install unixODBC unixODBC-devel wxBase wxGTK SDL wxGTK-gl 安装erlang(通过安装包安装) rpm -ivh esl-erlang_24.1-1_centos_7_amd64.rpm 添加 mq 到你的系统 repository 列表中,执行 curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh | sudo bash yum安装mq yum install rabbitmq-server-3.8.26-1.el7.noarch 开启web控制台 rabbitmq-plugins enable rabbitmq_management 安装所需插件 rabbitmq-plugins enable rabbitmq_web_stomp rabbitmq-plugins enable rabbitmq_web_stomp_examples rabbitmq-plugins enable rabbitmq_delayed_message_exchange (需要将rabbitmq_delayed_message_exchange放到/usr/lib/rabbitmq/lib/rabbitmq_server-3.8.26/plugins下) 重启服务 systemctl restart rabbitmq-server.service 查看当前用户命令:rabbitmqctl list_users 创建用户:rabbitmqctl add_user admin 123456 将用户给于管理员权限:rabbitmqctl set_user_tags admin administrator 进入web页面设置 图1 设置1 图2 设置2 父主题: 实施步骤
-
安装 elk 解压node包 tar xvJf node-v12.18.1-linux-x64.tar.xz mv node-v12.18.1-linux-x64 node-v12.18.1 将node写入配置文件 vi /etc/profile #set for nodejs export NODE_HOME=/opt/node-v12.18.1 export PATH=$NODE_HOME/bin:$PATH source /etc/profile 安装elk启动依赖 npm install -g grunt-cli 创建elk用户 elasticsearch不能通过root用户启动,创建es用户 adduser es passwd es 给es用户赋予权限 chown -R es:root /elk/elasticsearch-7.16.2/* chmod -R 755 /elk/elasticsearch-7.16.2/* 修改对应配置文件 修改config elasticsearch.yml network.host = 自己 elasticsearch用户拥有的可创建文件描述的权限太低,至少需要65536, 处理办法: #切换到root用户修改 修改配置文件 vim /etc/security/limits.conf # 在最后面追加下面内容 es hard nofile 65536 es soft nofile 65536 #*** 是启动elk的用户 启动提示vma过少 max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量 处理办法: #切换到root用户修改 vim /etc/sysctl.conf # 在最后面追加下面内容 vm.max_map_count=655360 执行 sysctl -p 启动Elasticsearch bin/elasticsearch -d 启动logstash 修改配置文件logstash.conf nohup ./logstash -f ../config/logstash.conf & 启动Elasticsearch-head-master nohup grunt server & 需要将sys后台服务日志挂载至本服务器 父主题: 实施步骤
-
安装OpenOffice 根据OpenOffice包安装 解压,得到zh-CN目录。 进入zh-CN文件夹下的RPMS目录下,执行yum localinstall *.rpm安装必要的包 进入RPMS目下的desktop-integration,执行命令: rpm -ivh openoffice4.1.4-redhat-menus-4.1.4-9788.noarch.rpm 安装openoffice依赖启动项 yum install libXext.x86_64 yum groupinstall "X Window System" openoffice需要上传语言包(chinese.tar.gz为字体包) 能正常启动后需要kill掉,需要通过运行的jar去自启动。 Openoffice需要和resource-convert-3.5.0-SNAPSHOT.jar在同一台服务器。 成功验证: netstat -anp |grep 8100 有正常端口监测代表正常安装 父主题: 实施步骤
-
设置sonarqube 开机启动 使用root用户编辑/etc/rc.local文件,执行命令: # vi /etc/rc.local 加入: ## sonarqube su - heyuqiang -c '/home/heyuqiang/sonarqube/bin/linux-x86-64/sonar.sh start' 温馨提示: 第一次使用开机启动时需要为/etc/rc.local 文件赋权限 chmod +x /etc/rc.local chmod +x /etc/rc.d/rc.local
-
配置sonarqube $ cd /home/heyuqiang/sonarqube/conf $ vi sonar.properties sonar.jdbc.username=root sonar.jdbc.password=heyuqiang #----- MySQL 5.6 or greater # Only InnoDB storage engine is supported (not myISAM). # Only the bundled driver is supported. It can not be changed. sonar.jdbc.url=jdbc:mysql://192.168.1.181:3306/sonarqube?useUnicode=true&characterEncoding=utf8&rewrite BatchedStatements=true&useConfigs=maxPerformance&useSSL=false sonar.web.host=0.0.0.0 sonar.web.context=/sonar sonar.web.port=9000 保存以上配置(注意,要看看默认的 9000 端口是否已被占用)
-
启动和测试 切换到普通用户(heyuqiang)启动SonarQube Web Server $ /home/heyuqiang/sonarqube/bin/linux-x86-64/sonar.sh start 初次启动会自动建表和做相应的初始化 查看日志 $ tail -f /home/heyuqiang/sonarqube/logs/sonar.log 浏览器访问:http://192.168.1.180:9000/sonarqube/ 图6 启动服务 看到上图页面说明sonarqube服务启动了。
-
配置innodb_buffer_pool_size innodb_buffer_pool_size 参数值设置得尽可能大一点 这个参数主要作用是缓存 innodb 表的索引,数据,插入数据时的缓冲 默认值:128M,专用 mysql 服务器设置的大小:操作系统内存的 70%-80%最佳。 设置方法:my.cnf 文件[mysqld] 下面加入 innodb_buffer_pool_size 参数 # vi /etc/my.cnf [mysqld] innodb_buffer_pool_size = 256M 这里设置为 256M,因为不是专用的 MySQL 数据库服务器,还有很多其他的服务需要占用系统内存
-
配置 设置环境变量 编辑/etc/profile在文档最后追加以下内容: # vi /etc/profile ## set java environment JAVA_HOME=/usr/local/jdk1.8.0_291 JRE_HOME=/usr/local/jdk1.8.0_291/jre CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export JAVA_HOME JRE_HOME CLASS_PATH PATH 使配置文件生效: # source /etc/profile
-
进入课程 登录平台,单击右上角“学生工作台”。 图1 学生工作台 单击左侧“学校课程”或“企业课程”,学⽣可在该模块中学习相应的课程。 学⽣可使⽤教师提供的课程唯⼀编号加⼊相应的学校课程。 图2 学校课程 学校课程,账号需被加⼊班级⽅可使⽤。如您明确班级码可单击加⼊课程按钮输⼊班级码加⼊课程;如未加⼊课程且不明确班级码可联系授课教师或⻘软相关教师解决。 学⽣加⼊的课程会显示在课程⾸⻚,课程封⾯内容为课程的相应信息,单击课程名字即可进入课程,查看课程内容及课程内的所有资源。 图3 加入课程列表 图4 课程内容 单击“课程章节”,在线查看学习教师上传分享的课程资源,包括PPT和视频,均可单击在线观看学习。 图5 在线学习1 图6 在线学习2 单击“同学列表”,课程中可查看同学信息 图7 同学列表 父主题: 学生工作台功能
-
技术架构 区域教育云平台是面向学校师生和教育管理者的统一应用入口,提供通过手机或是PC端登录区域教育云平台,查看即时消息、待办等信息,可根据业务需求访问数字基座提供的原生应用和预集成的第三方应用。 图3 技术架构 区域教育云平台提供统一的教育应用市场,提供符合教育应用管理的完整教育应用管理流程,同时支持多个厂商的学校数字基座的对接,实现应用及开发者信息的同步,以及各个学校基座的基础信息的管理。 区域教育云平台提供市级/区级管理平台,对多个学校数字基座进行管理及数据服务,对外提供统一用户信息和认证对接服务; 区域教育云平台提供运行在Android/IOS/鸿蒙/Windows等操作系统端侧应用程序运行框架; 区域教育云平台-学校数字基座提供基础的办公应用:通讯录、应用管理、即时通信、日程管理、视频会议、待办、考勤、表单、云盘、知识、公众号等应用及服务; 区域教育云平台-学校数字基座提供组织中心、应用中心、消息中心、数据中心、物联中心; 组织中心提供统一身份管理能力:组织管理、权威的用户身份库管理及提供服务、身份管理审计,用户日志供查询; 应用中心提供统一认证与访问控制能力,实现单点登录和认证权限管理; 消息中心提供消息转发分发能力,支持多种消息发送,如:即时消息、短信、邮件等; 数据中心提供融合集成能力,包括API集成、数据集成、消息集成等,还提供教育业务模型管理、融合数仓服务、数据结构管理、数据回流管理、数据资产管理、数据标准管理等; 物联中心提供物联设备接入支持多网络、多协议和多模式,提供接入设备的管理、双向设备通信、制定规则、监控运维、物联感知数据管理等。 区域教育云平台系统主要包括三部分:教育应用市场、市/区级管理平台和学校数字基座。 教育应用市场包括教育应用市场Web门户、教育应用市场管理后台,与周边的关系如下: 图4 关系图1 教育应用市场Web门户端面向市级管理员、运营人员、区校管理员和开发者,提供统一的应用访问门户,通过Web门户访问浏览上架的教育应用相关信息。 教育应用市场Web管理后台面向市级管理员、运营人员、区校管理员和开发者,针对不同角色权限提供不同个人管理界面功能。支持面向逻辑统一的教育应用市场运营运维管理团队,支撑教育应用市场入口的系统配置、用户与组织的增删改管理等; 教育应用市场与消息通知服务集成实现对系统内容发送订阅短息消息,与对象存储实现应用管理相关的音视频、word等文件的存储管理,与数据管理服务集成实现与数据接口的申请、审批的统一管理,应用注册信息的统一发放。 教育应用市场与区级管理平台、学校数字基座集成实现应用的自上而下的分发、同步,和开发者信息的同步。 教育应用市场为第三方应用开发者,提供教育应用的注册、上架、发布等功能; 教育应用市场与第三方认证系统集成对接,实现用户的身份统一认证登录。 学校数字基座与周边的关系如下: 图5 关系图2
-
方案优势 统一工作台 面向用户提供统一入口,包括PC端、移动端等,供区校管理员、教职工、学生、家长等用户使用,基于角色的个性化资源、内容推荐,不同角色具有不同的权限、菜单、首页视图,实现千人千面。 开放应用生态 面向第三方应用提供易接入的标准化接口,实现应用注册、上架、审核、运营及监控,支撑区域建设标准化+学校个性化的应用生态,形成优质教育资源共建共享、衔接融通机制。 数字基座“五大中心”协同 “五大中心”包括数据中心、物联中心、应用中心、消息中心和组织中心。数据中心基于数据标准实现应用数据回流、数据融通和共享;物联中心解决所有物联设备的无缝连接,实现教学场景下的多设备统一调度和协同。“五大中心”协同赋能教学业务场景。 教育应用市场 人有我优,建设开放生态的教育应用市场生态,提供在线一站式低代码开发平台,实现对教育应用的在线快速开发、调试、上架、部署。
-
约束与限制 交付对象 华为云生态解决方案的产品构成中,既包含华为基础云资源,也可能包含华为的服务、软件、硬件,以及伙伴的服务、软件、硬件,对于上述具体的产品的交付,参见对应的产品交付指导书或者类似的文档,不在本文档描述的范围内。 本文档重点描述从解决方案整体的角度,如何组织、协调解决方案包含的各产品交付团队和人员,调用产品交付的能力,通过文档定义的交付流程和活动,完成整个解决方案的集成交付。 对于项目中出现的超出解决方案范围的华为或者第三方产品或服务,不在本解决方案集成服务范围内,建议由项目面向客户的总集负责集成交付。 解决方案集成交付和其中华为或伙伴的产品(服务、软件、硬件)的交付的关系参考下图。 图6 交付对象 服务范围 区域教育云平台基线解决方案配套的专业服务类别有交付、运维、辅助运营。其中交付部分,包含基线解决方案标准化交付、解决方案高级技术支持服务及PoC测试服务,本文档针对基线解决方案标准化交付进行描述,其中包含集成实施和项目管理两个领域。 区域教育云平台基线解决方案相关的服务全景和关系如下图所示。 图7 服务范围 使用对象 本文档面向的对象为华为公司内部负责区域教育云平台解决方案项目交付的组织、外部承接区域教育云平台解决方案集成交付的服务伙伴,以及上述组织内参与到项目交付中的角色,包括: 交付项目经理 PCM 生态合作经理 TD(项目技术总体负责人) 测试经理、测试设计工程师、测试工程师 实施经理 BA/SA SE 版本经理 其它参与项目交付的角色
-
方案架构 区域教育云平台是针对市/区/县教育局统筹建设的区域教育云平台,应用和能力区域集中建设,避免重复建设;建立统一应用标准和数据标准,实现优质教育资源多元供给和共享,为区域内学校构建数字教育资源服务体系。 图1 方案架构 区域教育云平台打造以“五大中心”为核心的基座,赋能创智教育提质升级,全面支撑教育数字化转型。采用平台与数据分离架构,数据本地化部署,区级数据库/数仓和学校数据库/数仓通过API接口提供数据服务,做到数据可用而不可得,实现数据安全应用服务。 统一工作台 统一门户面向用户提供统一入口,包括PC端、移动端等,供区校管理员、教职工、学生、家长等用户使用,基于角色的个性化资源、内容推荐,不同角色具有不同的权限、菜单、首页视图,实现千人千面,实现统一账号、统一组织、统一登录、统一授权。 开放应用生态 建设开放的区域应用生态,面向第三方应用提供易接入的标准化接口,实现应用注册、上架、审核、运营及监控,支撑区域建设标准化+学校个性化的应用生态,校级管理员可浏览、查找应用,订阅到工作台进行使用。应用包括区级应用、校本应用和第三方应用,为促进区域教育的优质化、均衡化发展,充分整合区内外优质教育资源,形成优质教育资源共建共享、衔接融通机制,基本满足全区中小学教育信息化教与学需求。 基础能力开放层 基础能力开放层包括API网关和低代码开发工具。API网关主要面向应用及开发者提供公共服务接口,如认证接口、标准数据接口、物联标准接口等,实现公共服务区域共享,减少重复建设。低代码开发工具提供了云上无码化、低码化的应用开发模式,屏蔽了技术的复杂性,无码工具协助教师托拉拽式创建问卷调查/活动报名等轻应用,自动生成统计结果,避免传统式文件收集方式,提效减负。低码工具提供的界面、逻辑、对象等可视化编排工具,以“拖、拉、拽”的方式来快速构建应用,从而实现所见即所得的快速应用开发和构建。 学校数据基座“五大中心” 学校数字基座是建设的核心和重点,包括数据中心、物联中心、应用中心、消息中心和组织中心等部分。 数据中心基于数据标准规范,提供教育数据从采集、存储、加工、分析、共享及可视化的全过程能力,并通过基座实现跨数据空间互联,实现教育数据在市、区、校之间的共享。物联中心解决所有物联设备的无缝连接,实现对物联感知设备统筹管理。应用中心实现应用浏览、查找应用,并订阅应用到工作台进行使用,同时支持应用管理、应用分组、应用授权等功能。消息中心实现用户按需推送各类消息和通知,并向上层应用提供消息通知的统一接口。组织中心建立统一组织用户体系,组织内进行权限角色管理、权限设置、管理员管理、应用授权,实现不同角色的用户权限管理。 运营运维体系和安全体系 为保障教育数字基座基更好的服务区域和学校,需要成立专门的运营运维团队,建设运营运维保障机制,能及时响应区域和学校的日常运维需求和应急响应需求,同时通过运营,不断优化应用和服务,支撑区域教育数字化转型。 建设完备的安全体系,建立从应用、数据、网络、存储、管理等端到端的安全防护体系,保障业务安全可靠运行。
-
应用场景 教育应用市场 按照教育应用管理要求,优化应用上架、审核、发布等流程,并针对待上架和已上架教育应用市场的应用,依据工信部、教育部和网信办等相关标准规范进行隐私合规和安全漏洞检测,并针对具体问题给出修复建议,确保教育应用符合监管合规要求。 学校数字基座-数据中心 基于数据标准规范,提供教育数据从采集、存储、加工、分析、共享及可视化的全过程能力。为用户提供教育数据共享、数据标准管理查询和应用数据回流。通过可视化的呈现方式为管理平台提供基础数据、应用使用情况等数据的汇总概览。 学校数字基座-物联中心 校园物联网是校园数字化的重要组成部分,当前物联网主要实现设备运行状态的监控和设备的控制,教育数字化转型要求按照“物联、数联、智联”原则,实现多个智能设备的连接与协同,支撑个性化教学、场景化教学。
-
数据库连接工具(在ops服务器上部署) 配置数据库源 sudo rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-3.noarch.rpm 安装数据库连接工具 sudo yum --enablerepo=mysql80-community install mysql-community-server --nogpgcheck 启动mysql服务 service mysqld start 图4 启动 查看root临时密码 grep "A temporary password" /var/log/mysqld.log 登录数据库 mysql -uroot -p"数据库密码" 修改数据库密码并授权 ALTER USER 'root'@'localhost' IDENTIFIED BY '数据库密码'; create user 'root'@'%' identified by '数据库密码' ; grant all privileges on *.* to 'root'@'%' with grant option ; flush privileges; 启动redis 图5 启动redis kubectl apply -f redis-1.yaml 进入容器检查redis redis-cli -h redis哨兵服务器的地址 -p 6379 -a 'redis的密码' info Sentinel
-
服务部署 修改配置文件 将本地的 user-center-admin.jar复制到的/rhCloud/sjzx/java下 将本地的 developer-center-0.0.1-SNAPSHOT.jar复制到的/rhCloud/kfzzx/java下 将本地的 organization-center-0.0.1-SNAPSHOT.jar复制到的/rhCloud/zzzx/java下 将本地的 permissions-center-0.0.1-SNAPSHOT.jar复制到的/rhCloud/qxzx/java下 将本地的 authentication-center-0.0.1-SNAPSHOT.jar复制到的/rhCloud/rzzx/java下 修改/rhCloud/qxzx/java/java.yaml、Dockerfile配置文件 修改/rhCloud/zzzx/java/java.yaml、Dockerfile配置文件 修改/rhCloud/kfzzx/java/java.yaml、Dockerfile配置文件 修改/rhCloud/sjzx/java/java.yaml、Dockerfile配置文件 修改/rhCloud/rzzx/java/java.yaml、Dockerfile配置文件 Dockerfile 图6 包名称 修改nginx配置 配置文件在/rhCloud/rzzx/nginx/nginx-configmap.yaml 配置文件在/rhCloud/qxzx/nginx/nginx-configmap.yaml 配置文件在/rhCloud/zzzx/nginx/nginx-configmap.yaml 配置文件在/rhCloud/kfzzx/nginx/nginx-configmap.yaml 配置文件在/rhCloud/sjzx/nginx/nginx-configmap.yaml 配置文件在/rhCloud/zhjy/nginx/nginx-configmap.yaml 图7 修改nginx配置 kubectl apply -f nginx-configmap.yaml 修改前端挂载目录 配置文件在/rhCloud/rzzx/nginx/nginx-pvc.yaml 配置文件在/rhCloud/qxzx/nginx/nginx-pvc.yaml 配置文件在/rhCloud/zzzx/nginx/nginx-pvc.yaml 配置文件在/rhCloud/kfzzx/nginx/nginx-pvc.yaml 配置文件在/rhCloud/sjzx/nginx/nginx-pvc.yaml 配置文件在/rhCloud/zhjy/nginx/nginx-pvc.yaml 图8 修改前端挂载目录 kubectl apply -f nginx-pvc.yaml 修改nginx.yaml项目配置文件 配置文件在/rhCloud/rzzx/nginx/nginx.yaml 配置文件在/rhCloud/qxzx/nginx/nginx.yaml 配置文件在/rhCloud/zzzx/nginx/nginx.yaml 配置文件在/rhCloud/kfzzx/nginx/nginx.yaml 配置文件在/rhCloud/sjzx/nginx/nginx.yaml 配置文件在/rhCloud/zhjy/nginx/nginx.yaml 图9 修改nginx.yaml项目配置文件 kubectl apply -f nginx.yaml 启动服务 以数据中心为例: 后端部署方式 cd /rhCloud/sjzx/java bash restart.sh 前端部署方式 将项目打好的包dist包放在对应目录下 cd /root/data/nfs kfzzx-nginx-web-pvc-8db0b2d4-bbe6-46c5-88a6-7e2363b1d033 qxzx-nginx-web-pvc-5d0ccd38-3f7d-4d45-90de-a85fcf78b955 rzzx-nginx-web-pvc-24131e74-ca7a-4634-81ec-47e3f71278a8 sjzx-nginx-web-pvc-69c8c590-8580-40e6-a70b-a8752c40f582 zhjy-nginx-web-pvc-7402ccbb-f828-4247-bc25-f07f9a1d5e5e zzzx-nginx-web-pvc-58e3122b-cbfd-4822-8328-716bccc8f27b 图10 前端部署方式
-
安装flannel网络插件 下载flannel插件 wget https://gitcode.net/mirrors/flannel-io/flannel/-/blob/v0.20.2/Documentation/kube-flannel.yml 修改字段 net-conf.json: | { "Network": "10.244.0.0/16", ####初始化master节点时设置一样就行 将ip段修改和上文初始化master节点一样即可 "Backend": { "Type": "vxlan" } } 发布网络 kubectl apply -f kube-flannel.yml 查看所有pod kubectl get pods -A 如果出现Running则表示正常,如果出现Init:0/1执行以下命令,修改 flannel 插件文件,这个版本比较低,高版本 k8s 尽量选择一些高一些的版本 flannel sed -i -r "s#quay.io/coreos/flannel:.*-amd64#lizhenliang/flannel:v0.12.0-amd64#g" kube-flannel.yaml
-
部署StorageClass 安装nfs yum install -y nfs-utils rpcbind 手动加载 NFS 共享服务时,应该先启动 rpcbind,再启动 nfs systemctl start rpcbind && systemctl enable rpcbind systemctl start nfs && systemctl enable nfs 查看 rpcbind 端口是否开启,rpcbind 服务默认使用 tcp 端口 111 netstat -anpt | grep rpcbind 创建共享目录,并授权 mkdir /root/data/nfs chmod 777 /root/data/nfs 编辑 exports 文件 vim /etc/exports /root/data/nfs *(rw,no_root_squash,sync) 保存退出 :wq 重新export一次 exportfs -rv 查看本机的共享目录 showmount -e cd /root kubectl apply -f storageClass.yaml 图3 查看
-
安装kubeadm,kubelet和kubectl(所有节点) yum install -y kubelet-1.21.3 kubeadm-1.21.3 kubectl-1.21.3 开机自启kubelet systemctl enable kubelet.service 启动k8S通过kubeadm安装出来以后都是以Pod方式存在,即底层是以容器方式运行,所以kubelet必须设置开机自启 systemctl start kubelet.service
-
安装docker、kubernetes(所有k8s节点) 安装前先卸载冲突的软件 yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine 安装docker cd docker && yum install -y *.rpm mkdir -pv /data/docker ln -s /data/docker/ /var/lib/docker 安装docker-compose cd ../docker-compose && yum install -y *.rpm 正常情况下docker和docker-compose就已经安装完成了 可通过查看docker确认是否安装成功 docker -v
-
初始化master节点(master节点) kubeadm init \ --apiserver-advertise-address=IP地址 \ --image-repository “镜像源地址”/ \ --kubernetes-version v版本号 \ --service-cidr= IP地址/12 \ --pod-network-cidr= IP地址/16 如果要重新初始化集群状态:kubeadm reset,然后再进行上述操作记得保存好最后的 kubeadm join的信息node节点加入集群需要token!!! 也可以利用kubeadm token create --print-join-command 利用kubeadm命令重新生成token,node 节点加入集群需要token
-
使用kubectl管理工具(master节点) mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config 查看是否成功,等待一会,同时可发现像etc,controller,scheduler等组件都以pod的方式安装成功 kubectl cluster-info
-
区级管理平台环境部署 配置要求: 硬件配置要求 服务器标准16C/32G内存,磁盘空间要求300G以上的存储空间。 内部服务器需要互通,防火墙关闭,SElinux关闭。 网络设备配置要求 内部服务器之间所有端口要求互通,带宽百兆以上,接入服务器需要有ELB或VIP。 存储设备配置要求 磁盘空间要求300G以上的存储空间。根目录下40G以上,挂载盘300G以上。 服务器设备的配置要求 服务器时间要求一致,端口要求互通。 部署工具 远程ssh工具:xshell。 浏览器:Chrome 96.0.4664.110。
-
操作指导 登录华为云官网。如果没有华为账号,请立即注册,相关操作请参见用户注册。注册后参考个人帐号如何完成实名认证或企业帐号如何完成实名认证完成个人或企业账号实名认证。选择“产品”,在菜单栏中选择“企业应用 应用平台”,单击“ROMA 资产中心 ROMAExchange”,进入ROMA Exchange官网页。申请购买ROMA Exchange。 用户申请购买后,系统会为用户部署一套ROMA Exchange实例,该套实例包括ROMA Exchange资产中心和运营管理平台。 单击“立即购买”。 图1 立即购买 单击“查看”,了解授权信息,同意后,单击“是”。系统进入ROMA Exchange的控制台。 如果用户之前授权过,则没有该步骤,可以忽略该步骤。 图2 授权 在ROMA Exchange的控制台页面上,单击“购买ROMA Exchange实例”。 图3 单击购买实例 在购买页面填入信息,勾选阅读并同意服务声明。用户还可以勾选到期后是否自动续费。 图4 填写信息 单击“立即购买”,系统进入订单页面。用户查看订单情况,并选择支付方式。 图5 查看订单情况 根据付款方式,单击“确认付款”或“去在线支付”,系统弹出如下提示信息,表示订单支付成功。系统自动在后台安装ROMA Exchange。 图6 支付 单击“返回ROMA资产中心控制台”,可以查看ROMA Exchange的安装状态。如下图所示,实例在“创建中”。 图7 查看 当“实例状态”变为“运行中”,说明实例已经安装好,可以使用。在正式使用ROMA Exchange前,请参考 单击页面右上角的“进入管理中心”,即可进入ROMA Exchange的运营管理后台。 单击页面右上角的“进入资产中心”,即可进入ROMA Exchange的前台资产中心。 单击页面上“资产中心”参数后面的,可以修改资产中心的域名,修改后单击“”提交。 图8 使用前1 图9 使用前2
-
背景信息 ROMA Exchange是基于AppCube开发的应用,部署依赖AppCube Runtime运行环境。 ROMA Exchange上的用户总数受AppCube规格里显示的用户数限制,用户总数包括部署ROMA Exchange的租户、该租户下创建的用户以及自行在ROMA Exchange资产中心前台上注册的用户、通过第三方接入ROMA Exchange的用户。 因此,购买ROMA Exchange时,会同步订购AppCube服务创建实例申请部署AppCube Runtime运行实例。 ROMA Exchange提供专业版规格,可以根据需要选择按月购买或按年购买。 按月:20万元/月,可以选择购买数个月。 按年:200万元/年,当前仅支持购买1年,一年的费用相比按月购买更优惠。
-
产品高级能力配置 租户必须拥有System Administrator Profile权限,才可以修改“产品高级能力配置”。 运营管理员权限需设置为“Developer Profile”, 共享管理员权限需设置为“SharedCenterOperation”权限。 具体权限的配置请参见“用户指南”的“在AppCube上创建用于运营管理的用户”章节和“在AppCube上创建共享中心的用户和授权”。 租户部署ROMA Exchange后,需要进行一些初始化配置。进入配置界面,在配置界面上,单击“产品高级能力配置”。单击每个参数后的了解参数说明,并请参考界面图配置。 图18 产品高级能力配置 配置完成后,单击“确定”。配置完成后,对于值为“否”的功能,ROMA Exchange门户portal和运营管理台受控的功能会被隐藏。
-
产品初始化配置 租户部署ROMA Exchange后,需要进行一些初始化配置。 进入配置界面,在租户管理员配置界面上,单击“安装升级配置”。 单击每个参数后的了解参数说明,并请参考下图和产品初始化配置说明表格进行配置。 图16 安装升级配置 图17 产品初始化配置说明 表3 产品初始化配置说明 字段 说明 如何配置 登录配置 登录账号类型 登录ROMA Exchange的账号类型。 在下拉框里选择。 公共配置 主题风格 ROMA Exchange的界面风格。 选中需要的风格。 信任域名 链接跳转时,信任域名不会有风险提示。 直接在文本框里输入,不同域名间用“;”隔离。 门户网站访问域名 门户网站的访问域名。 直接在文本框里输入。 通知管理 是否发送邮件 是否在业务相关操作给用户发送邮件。 单选。 如果配置为“是”,需要参考邮件的配置配置。 是否发送短信 是否在业务相关操作给用户发送短信。 单选。 如果配置为“是”,需要参考短信的配置配置。 存储服务 系统存储连接器类型 资产提供方上传资产时,需要保存资产的相关文件,因此需要用到存储。 直接在文本框里输入类型: OBS:OBS需要单独部署。推荐使用OBS。 MINIO:AppCube内置的存储服务。 系统存储连接器名称 系统存储连接器的名称。 请参考配置OBS存储功能里配置。 系统存储连接器桶名 系统存储连接器桶的名称。 请参考配置OBS存储功能里配置。 云搜索服务配置 配置云搜索地址 操作日志、资产的文档,如果同步到ES,查询性能更高。也可以不配置,内容存在本地。 公有云场景下,ROMA Exchange使用的云搜索服务的地址不能与AppCube相同。 请参考AppCube指导配置后,在这里配置。 直接单击字段后的文本框,填入云搜索服务的地址。还需要参考搜索服务配置配置。 用户管理 是否需要实名认证 用户是否需要实名认证才能拥有更高权限的功能。 说明: 该参数初始配置后,不建议中途修改,避免引发功能问题。 是:如果用户想订阅资产,需要认证为个人实名认证用户;如果用户想发布资产,需要认证为企业实名认证用户。 否:不需要认证即可订阅或发布资产。 如果是初次安装后配置,则配置完后,单击“一键配置”;如果是升级后配置,则配置完后,单击“一键升级”,增量更新。
-
门户页面页签名称配置 ROMA Exchange提供了门户页签名称的配置能力,用户可以根据业务需求自定义。配置方法如下:在APP Cube首页,单击“管理-系统管理-国际化 -翻译”,找到对应语言下的AppStore应用程序,双击翻译列输入新的值,保存后可以在门户首页看到效果。 ROMA Exchange提供了默认的页签名称“数字资产运营管理平台”,用户可根据需要自定义。 图19 门户页面页签名称配置1 配置效果图: 图20 门户页面页签名称配置2
-
根据业务需要配置其它系统参数 ROMA Exchange提供了很多系统参数,可以根据不同的业务场景设置系统参数值。系统参数说明及配置如下: 在APP Cube首页,单击“管理-应用管理-BO配置”,找到“Digital Store Service”这个BO,单击“DigitalStoreService”,进入Digital Store Service的“产品统一配置管理中心”界面。有少量的参数在APP Cube首页,单击“管理 系统管理 系统参数”。系统参数包括用户管理、商品管理、第三方系统集成、公共管理四类,用户可以根据自己的需要找到相应的系统参数并结合界面上的参数说明进行修改。 图21 根据业务需要配置其它系统参数
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- ...
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333
推荐文章