华为云用户手册
-
使用建议 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,为了确保数据一致性,会存在3s以内的单表级锁定。 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。 更多DRS对数据库的影响,可参考DRS对源数据库和目标数据库有什么影响。 数据对比 建议您结合数据对比的“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。
-
方案优势 本方案是针对通用数据处理与分析、智慧教育业务应用等推出的智慧教育云平台。它基于先进的大数据处理最佳实践进行构建,能够广泛地适用于各教育领域,如下图所示。 图1 全面发掘数据价值 本方案的关键价值体现如下: 统一的数据融合管理平台 作为一款能够实时采集处理任意数据的平台化工具,它可以帮助学校处理散布在各处的任意协议、内容、格式的异构数据,将分散的数据统一收集并存储管理为后续的数据分析做好基础准备。它提供开箱即用的数据采集和预处理工具,帮助客户可以敏捷地快速搭建分布式数据收集网络,并且确保海量高速数据的处理性能。 强大的工具化数据分析平台 在统一管理海量的各种数据基础之上,对上层提供开箱即用的GUI即席查询工具。在此之上用户使用数据查询DSL就可以直接进行灵活、高度定制化的数据查询工作。即席查询工具还提供了丰富的数据可视化功能以提供更有表现力的数据分析结果。 丰富的数据分析应用 为了适应更广泛的应用领域场景,应对不同层次的应用需求,提供丰富的、功能强大的数据API和应用开发体系规范。使得学校可以面向更深层次、更专业化的领域业务灵活构建更加匹配需求的数据分析应用。
-
方案部署架构 图1-平台部署架构 部署架构围绕前后端分离技术,前端采用渐进式前端技术框架vue+webpack+自研组件,要保证模式样式美观,多端统一,后端需要采用微服务架构为支撑,并采用流式消息驱动技术保证数据处理安全、及时、高效。集合大数据存储方案,可以支撑海量数据分布式存储分析,并可通过统一运维平台进行统一监控分析。 平台采用容器化、虚拟化技术支撑,平台的各个业务功能通过微服务化拆分为数十个的支持微服务,每一个微服务均是独立的单元,可以通过微服务的水平扩展形成功能内聚的服务群,满足高并发,高可用的应用要求。微服务架构比传统的应用程序更有效地利用计算资源,当平台的用户数量激增、微服务资源利用率达到瓶颈时,可以通过增加微服务的方式,进一步保障平台性能。当单个微服务出现问题,其他服务仍可继续工作,也可以通过集中微服务资源保障重点业务运行,满足平台对性能和稳定性的苛刻要求。
-
应用场景 为满足学校对业务过程处理的高追求和对市场需要的及时响应,出现了一系列以“快速满足需求”为中心的业务系统。然而,这些以“快速满足需求”为中心的业务系统,由于其业务特点的各异性,往往采用不同的技术实现、系统和数据规范,这不仅增加了教育信息化环境的复杂性、业务信息的不对称、不一致性、分散性和无全局性,还增加了运行和维护部门的负担,分散了学校关注支持新业务需求的精力。 因此,从全局规划角度出发的标准化和流程化工作应运而生,并且被提到了教育发展的战略高度。教育部门正不断实施各种信息采集、整理,建立公共数据开放机制,促进教育部门间数据交换,同时向社会开放数据,推动数据的开放和共享;而数据集成作为这些工作的基础设施,将起到支撑的作用。
-
etcd集群软件安装 表1 etcd集群软件安装 在master1上安装cfssl wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 mv cfssl_linux-amd64 /usr/local/bin/cfssl mv cfssljson_linux-amd64 /usr/local/bin/cfssljson 安装etcd二进制文件 # 创建目录 mkdir -p /data/etcd/bin # 下载 cd /tmp wget https://storage.googleapis.com/etcd/v3.3.25/etcd-v3.3.25-linux-amd64.tar.gz tar zxf etcd-v3.3.25-linux-amd64.tar.gz cd etcd-v3.3.25-linux-amd64 mv etcd etcdctl /data/etcd/bin/ 创建ca证书,客户端,服务端,节点之间的证书 Etcd属于server ,etcdctl 属于client,二者之间通过http协议进行通信。 创建目录 创建ca证书 生成客户端证书 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=client client.json | cfssljson -bare client - 生成server,peer证书 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=server etcd.json | cfssljson -bare server cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=peer etcd.json | cfssljson -bare peer 将master01的/data/etcd/ssl目录同步到master02和master03上 scp -r /data/etcd etcd2:/data/etcd scp -r /data/etcd etcd3:/data/etcd etcd systemd配置文件 vim /usr/lib/systemd/system/etcd.service 三台主机配置不一样用的时候把注释尽量删除 启动etcd集群 systemctl daemon-reload systemctl enable etcd systemctl start etcd systemctl status etcd
-
将worker节点加入集群 在master01上生成加入key kubeadm token create --print-join-command 在其他worker节点执行 ubeadm join master:6443 --token abcdef.0123456789abcdef \ --discovery-token-ca-cert-hash \ sha256:fb4e252253b55974edff65cb4765e9979f8785cd67a6ed41f87c83c6bcc3ac4a
-
系统信息收集及自检报告 表3 系统检查清单 名称 检查项目 检查记录 改善建议 Nginx 进程是否启动 正常 无 监听端口是否启动 正常 无 日志是否有正常访问记录 正常 无 页面访问是否正常 正常 无 应用程序 能否正常登录 正常 无 登录后是否按照角色显示不同权限菜单 正常 无 能否正常录入数据 正常 无 管理员能否正常查看信息 正常 无 日志监控 进程是否启动 正常 无 监听端口是否启动 正常 无 是否可以正常打开监控页面,查看日志监控情况 正常 无
-
系统状态检查 系统运行状态检查 K8s登录后,单击pod,教育云k8s同时运行18个pod,发布后需要对新发布的pod进行检查。如果是绿色,则视为健康;如果不是绿色,则视为不健康,需要对部署的应用进行检查。 表1 系统运行状态检查 检查内容 是否正常 备注 服务器cpu 是 / 服务器内存 是 / 网络资源 是 / 数据库运行状态 是 / nginx运行状态 是 / 系统告警信息检查 检查系统告警情况,无异常告警。 系统基本功能检查 登录系统,检查各模块基本功能是否正常。 表2 各模块功能检查列表 模块 功能模块 是否正常 备注 智慧教育数据中台 SaCa DataExchange 是 / SaCa DataQuality 是 / SaCa DataTransform 是 / SaCa DataCompare 是 / SaCa DataServices 是 / SaCa DataCatalog 是 / 智慧教育云平台-基础支撑平台 综合信息门户 是 / 统一身份认证 是 / 岗位角色平台 是 / 智慧教育云平台-校园管理平台 教学管理服务 是 / 校园日常服务 是 / 学生日常管理服务 是 / 综合素质评价系统 是 /
-
资源和成本规划 本节介绍解决方案实践中资源规划情况,包含以下内容: 资源和成本规划内容说明 表1 资源规划说明 维度 说明 资源规划 云计算资源见《表2-2 资源和成本规划》 涉及软件: Mysql: 5.7 Redis: 6.2 Mongo: 4.4 Kafka: 2.5.12 Zookeeper: 3.6 Nginx: 1.24 Fastdfs: 6.06 Activemq: 5.17.6 Kkfileview: 4.1.0 Minio: 最新版 server:3.3.1 Jdk: 1.8 成本规划 成本规划见《表2-2 资源和成本规划》 表2 资源和成本规划 云资源 规格 数量 VPC 网段选择172.16.0.0/16,其他采用默认配置 1 Subnet 网段选择172.16.0.0/24,其他采用默认配置 1 安全组 根据需要开通入方向3306、6379等端口 1 ECS 通用计算增强型 | c6.2xlarge.4 | 8vCPUs | 32GiB 系统盘 200G数据盘 3 CCE容器引擎 CCE Standard集群,非高可用,50个节点 1 CCE 节点 通用计算增强型 | c3.4xlarge.4 | 16 vCPUs | 64 GiB | 可用区1 6 OBS 标准存储单AZ存储包 | 5TB 1 RDS rds.mysql.x1.2xlarge.2 | 8 vCPUs | 16 GB(独享型) 1 NAT网关 小型 1 ELB负载均衡 共享型 1 EIP弹性公网IP 100M按需 2
-
修改配置文件,开启ssl认证 cat harbar.yaml hostname: harbor.talkedu.com http: port: 8080 https: port: 443 certificate: /data/harbor/ssl/harbor.talkedu.com.cert private_key: /data/harbor/ssl/harbor.talkedu.com.key harbor_admin_password: Talkedu@123 database: password: Talkedu@123 max_idle_conns: 100 max_open_conns: 900 data_volume: /data/harbor trivy: ignore_unfixed: false skip_update: false insecure: false jobservice: max_job_workers: 10 notification: webhook_job_max_retry: 10 chart: absolute_url: disabled log: level: info local: rotate_count: 50 rotate_size: 200M location: /var/log/harbor _version: 2.3.0 proxy: http_proxy: https_proxy: no_proxy: components: - core - jobservice - trivy
-
升级内核 脚本 --- - name: update kernel to 4.18 ##内核升级到4.18版本,内核软件包在部署文件目录内 hosts: all tasks: - name: copy kernel tar unarchive: src=/etc/ansible/test.tar.gz dest=/data/ - name: install kernel shell: yum -y install /data/test/* - name: set default kernel shell: grub2-set-default 0 && grub2-mkconfig -o /etc/grub2.cfg 执行脚本 ansible-playbook kernelUpdate.yaml 重启服务器 为保障安全,此步骤一台台服务器单独执行,执行命令为: shutdown -r now 重启后验证 ansible all -m shell -a "uname -r" 图2 重启后验证2 Figure2:
-
安装必要软件 脚本 --- - name: insatll docker-ce package ##配置镜像源为内网镜像仓库 hosts: k8s tasks: - name: scp install packages unarchive: src="/data/src/dockerkuber_yum.tar.gz dest=/data/" - name: install shell: yum -y install /data/dockerkuber_yum/* 执行脚本 ansible-playbook yumupdate.yaml
-
关闭防火墙、selinux 脚本 --- - name: stop firewalld selinux hosts: all tasks: - name: stop firewalld service ##关闭firewalld service: name=firewalld state=stopped enabled=no ignore_errors: TRUE - name: stop selinux shell: sed -i "s@SELINUX=.*@SELINUX=disabled@" /etc/selinux/config ignore_errors: TRUE 执行脚本 ansible-playbook stopSelinux.yaml
-
服务器规划及功能清单 表1 服务器规划及功能清单 序号 IP 主机名 部署描述 CPU 内存 数据盘 1 192.168.1.61 k8s-master1 k8s管理节点 8 16 200 2 192.168.1.195 k8s-master2 k8s管理节点 8 16 200 3 192.168.1.198 k8s-master3 k8s管理节点 8 16 200 4 192.168.1.207 k8s-node01 k8s工作节点 16 64 200 5 192.168.1.237 k8s-node02 k8s工作节点 16 64 200 6 192.168.1.235 k8s-node03 k8s工作节点 16 64 200 7 192.168.1.199 k8s-node04 k8s工作节点 16 64 200 8 192.168.1.191 k8s-node05 k8s工作节点 16 64 200 9 192.168.1.189 k8s-node06 k8s工作节点 16 64 200 10 192.168.1.57 k8s-node07 k8s工作节点 8 32 200 11 192.168.1.133 k8s-node08 k8s工作节点 8 32 200 12 192.168.1.127 k8s-node09 k8s工作节点 16 32 100 13 192.168.1.82 k8s-node10 k8s工作节点 16 32 100 14 192.168.1.156 k8s-node11 k8s工作节点 16 32 100 15 192.168.1.112 zk-01 Zookeeper 8 32 100 16 192.168.1.56 zk-02 Zookeeper 8 32 100 17 192.168.1.250 zk-03 Zookeeper 8 32 100 18 192.168.1.98 Mongodb Mongodb 8 32 100 19 192.168.1.99 R / 8 32 100 20 192.168.1.132 / / 8 32 100 21 192.168.1.3 harbor、rancher harbor 仓库 8 32 100 22 192.168.1.219 基础平台mysql 基础平台mysql 8 32 100 23 192.168.1.102 智慧校mysql 智慧校mysql 8 32 100 24 192.168.1.18 学习中心mysql 学习中心mysql 8 32 100 25 192.168.1.23 大数据mysql 大数据mysql 8 32 100 26 192.168.1.148 前置mysql 前置mysql 8 32 100
-
方案优势 本方案从具备以下几个优势: 产品优势 局校一体建设:本方案从局校整体做设计,既考虑区域共性需求,又兼容学校个性发展。 业务汇聚、数据汇聚:破除数据孤岛,通过统一的业务数据接入标准,实现教育业务数据的自动化汇聚。 千人千面门户:通过AI技术使用,让每个使用者都能获得贴合自己使用的应用环境、数据服务。 技术优势 云原生:以云原生技术为主的底层技术支持,是集微服务、容器化、DevOps、多云适配与多环境支持为一体的综合技术支撑平台。针对系统基座支撑能力提升+业务系统瘦身的营销场景,提升对大型组织高并发、大数据、复杂业务的支撑力;对系统进行统一模型改造,实现技术底层逻辑互通;解耦复杂系统,实现最小颗粒度的组件复用。 大数据平台:依据教育数据标准构建集数据采集、治理、分析与一体的教育数据治理平台,通过模块化、流程化的设计,让教育数据资产能便捷的归集、标准化的沉淀、安全的使用,通过数据应用分析套件,实现数据的可视化展示、自定义分析与查询、数据报告的自定义生成。为教育数据的增值服务提供支撑。 低代码定制平台:面向业务人员,提供一套完整的应用开发平台,实现包括需求、开发、测试、发布、实施、运维的应用全生命周期管理,同时实现一对一专属定制和标准应用产品的定制模式,充分融合致远在协同管理的实践与中台引擎能力,成为政企协同服务及管理创新与实践的加速器。 自研适配:全栈软件平台支持自研环境部署,公司具有自研适配中心,有整套自研迁移技术,能满足教育单位整体自研的要求。
-
应用场景 客户的痛点: 随着教育的发展,通过信息化、数据化、智能化推动教育高质量发展的要求越发迫切,教育的准确管理、教育的因材施教、个性学习、智能评价等多个维度的诉求越发需要结合应用系统、数据系统、智能化系统来实现,通过智慧教育云平台体系化的构建教育的数字底座、融合大数据、物联网、人工智能等先进技术,为教育的各层级、各参与者的需求进行适配,推动教育向高质量发展迈进。 痛点一:教育部门在信息化建设过程中,前期进行单点业务建设,造成信息化建设数据孤岛、用户多处应用登录,造成应用不便捷,数据无法互通。通过基础平台构建,打通统一认证能力,通过数据治理,形成数据共享服务。支撑应用的便捷使用,数据的互联互通。 痛点二:现有系统数据价值难以发挥,需要建立统一的数据标准,形成教育数据资产,为教育的正确决策提供数据支撑。提供基于国家基础教育信息标准,体系化构建教育资产目录,通过多样数据采集途径,一数一源,构建教育数据资产,为教育正确决策提供数据支撑。 痛点三: 区域建设面临应用汇聚、资源汇聚、数据汇聚的需求,希望通过统一的平台为各级教育管理员、教师、学生提供服务。通过智慧教育云平台汇聚应用、资源、数据,通过千人前面门户为各类人员提供相应服务。 痛点四: 基于数字政府要求、自研要求、安全要求,需要对信息化系统进行重构及新建。通过全栈自研产品及自研迁移能力,为教育局提供整体的数字化、自研智慧教育云平台建设。 痛点五:需要新型的技术能力,比如大数据、物联网等深度融入到教育信息化的发展中去,急需对教育的底层能力进行提升。以大数据、物联、区块链、AI等技术构建新型教育信息化底座,支撑教育业务的数字化转型。 痛点六:符合国家规范的解决方案,满足国家等保、分保、国密的规定,保障组织机构的安全运营。 通过本方案实现的业务效果: 智慧教育云平台围绕教育数字化转型,提供局校一体的数字化底座、业务平台、统一门户,为区域教育的智能治理、智慧教学、个性学习、智慧评价进行赋能。 通过大数据、AI、物联网、区块链等技术的深度融合,构建支撑区域教育数字化转型发展的数字化底座,支撑教育的学校管理、人事管理、教育教学、教育考试、教育督导、教育教研、学生学习、发展评价等各项教育业务的数字化转型发展,通过纵向业务层级数据贯通,横向业务数据融通,体系化的构建教育数字化新范式。 智慧教育云平台从局校一体构建,主要包含以下产品内容: 区域教育数字化底座(客户:教育局信息中心) 基础支撑平台:教育基础支撑平台,支持学生成长、教师发展、教育管理核心场景构建,各类应用随需而生。平台通过移动互联、区块链等技术优化管理引擎,具备技术开放、标准规范的平台接口,便捷接入软硬件环境来保障教育信息分层传递和教育场景动态实现,让教育平台成为有机整体,体现出育人功能。平台最终夯实教育信息化的基石,成为集成商应用整合的利器。 教育大数据平台:平台解决垂直应用与纵向应用系统之间数据“条块分割,标准各异”的问题, 通过数据治理能提升数据利用价值,促进大数据工具与教育管理、教学活动、诊断评价相结合,帮助用户挖掘诱因、规范办学、提升教育质量、提高服务效能。平台沉淀数据资产,方便科室管理与分析业务数据,形成“数入一源,数出一门”格局。 统一服务门户:门户作为各级用户登录平台统一入口,具备风格整体化一、聚合教育信息、展示应用特色、宣传教育工作成果功能。个人门户更注重专属定制,以服务卡片的形式区分管理者、教师、学生、家长、公众所涉及信息。支持IPV6,多端兼容,一次发布,处处能用。 教育数据治理与增值服务 局领导驾驶舱(客户:教育局信息中心):驾驶舱作为局领导、处(科)室针对人事管理、招生管理、教师工作、经费管理、资产管理、学业分析、双减工作、素质教育、教育改革等工作进行挂图作战。实现驾驶舱指标管理、模型研制、数据来源接入和多维数据计算,通过低代码形式完成仪表盘动态组装,实现所见即所得驾驶舱设计与使用体验。 学生成长档案(客户:教育局信息中心):通过对中小学学生基础数据、学业数据、体质数据、荣誉数据、综合评价数据的汇聚,形成6-18岁贯通式成长档案,为教育局与学校提供丰富的学生发展数据,提供便捷的学生档案在线查看。 教师发展档案(客户:教育局信息中心):通过对区域教师基础信息、专业发展、职业发展、年度考核、师德考核、荣誉等各类教师数据汇聚,构建教师发展档案,为教育局与学校提供教师发展数据,为教师群体精细化管理提供数据支撑。 教育服务地图(客户:教育局信息中心):面向社会提供地区公办中小学教育资源分布情况。游客可以查看到小学、初中、高中、九年一贯制、完全中学学校在地图位置,学校概括信息、教师基本信息、学生基本信息、办学条件信息。 教师职业生涯发展(客户:教育局人事科):以管理为重点,以专业为核心,以服务为宗旨的建设方针,内容包括全域数据可信教师信息库、教师评价、骨干带领。主要目的是推进教师职业能力评价改革,开拓教师准确评价与引入的新路径,支持教师工作决策,优化教师管理,教师个人发展进行目标引导,为国家教师管理服务改革带来新的视角和建设途径。 数据智能填报系统(客户:教育局信息中心):数据统一填报系统是专门针对教育局对学校进行数据收集场景而提供的数据采集应用,提供的从填报模板管理、填报过程监控、数据采集结果查询分析为一体的数据采集服务,满足科室日常数据统一、规范采集需求、降低学校重复上报数据问题、提升数据使用效能。 教师招聘系统(客户:教育局人事科) 实现教师招聘工作数字化,具备招聘信息发布、考生报名、信息筛选、信息审核功能。系统提供社会通道和名优通道,审核流程支持定制,招聘过程透明,促进招聘工作规范高效。 一站式教育督导与评价(客户:教育局督导科) 教育督导系统:系统以“发展性督导评估”理论为教育发展评价基础,以“以评促建”为目标,既满足定性评价、定量评价的要求,也可满足定性+定量评价的要求,系统应用于综合督导、挂牌督导、专项督导、过程性督导。实现督导指标、数据采集、督导报告业务闭环。系统广泛服务于学前教育、义务教育、普通高中、职业教育及成人教育等。 学校年度考核系统:系统以科室协同、局校协同方式,提升考核效率,实现年度考核材料统一上报,考核评分科室分工协同,学校及时查看,疑问反馈,快速汇总考核数据,生成考核排名,极大降低考核工作量,有效推动考核工作信息化、数字化。 荣誉颁证管理系统:为实现区域教育学校发展的整体情况反映,通过统一的电子荣誉证书管理,实现对区域内各学段学校荣获获取情况的信息收集,同时支持区域在线荣誉证书颁发存档,支持区域从荣誉发展维度反映各校教育发展状况。 教师研训一体平台(客户:教育局教科研中心) 教研系统:为促进区域教育均衡,提升教师课程设计与授课专业能力,系统提供名师工作室、在线集体备课、听评课、教学研讨、磨课、教研直录播、教研资源中心等功能。 互联网大赛系统:激励个人专业能力广泛提升,满足教研部门举办教师专业能力大赛需要,系统实现大赛活动组织、资源上报、专家遴选、线上审批功能,支持灵活定制评审量表。 资源征集与评优系统:激励资源共建共享,形成优质资源库,满足教研部门、名师工作室开展资源征集评优活动,系统实现征集活动灵活配置、选手推荐、资源上报、专家遴选、量表配置、匿名评审功能。将缩减活动组织周期。 教学直录播系统:系统从满足“平战结合”实际需求出发,既支持小班制教学研讨、视频会议等工作,也支持防疫期间实施较大规模线上授课,具备白板和学科工具,具有高压缩传输、低时延特点。 课堂AI分析系统:系统以“人工智能助推教师队伍建设”为建设理念,对接直录播设备,对课堂教学的音视频文件进行教学特征分析,从教学效果、课堂互动情况、教师课堂教学基本特征等方面进行分析,输出数据报告,对准确教研和教学指导提供数据支撑。 三个课堂:“专递课堂”实现跨地域、跨校同画面、同频上课;“名师课堂”实现直播和点播评课,沉积名师课程资源;“名校网络课堂”实现青年教师联合培养、教师课堂教学、“三新”改革研讨、生涯规划指导。有效弥合校际之间数字鸿沟,补地区教育短板。 校园管理系统(客户:教育局/学校信息中心) 打通学校、家庭之间的应用壁垒,拓展网络空间,构建面向师生、家长和社会大众等不同需求的人性化公共服务,涵盖公文流转、工作汇报、请假管理、设备报修、工资管理、场馆使用、物资申报、选课管理、学生选课、排课管理、社团管理、问卷调查、投票管理、班纪班风、学情分析、活动报名、活动打卡、周工作、学生日常表现评价、红领巾、学生实践等功能,支持功能定制与引入,打造完整统一、覆盖全面、应用深入、高效稳定的信息化系统。 学生德育系统(客户:教育局/学校信息中心) 系统坚持五育并举,以活动为载体,促进班主任、科任老师、家长参与活动,减轻教师在数据评价方面工作压力,发挥家校社协同育人,让学生在阶梯式成长激励中增强少先队员光荣感。 解决方案实践的应用行业推荐 本方案适合在省、市、区县教育局进行售卖,为区域教育构建整体智慧教育云平台。
-
优化kubernetes集群 关闭swap ansible k8smaster -m shell -a "swapoff -a && sed -ri 's/.*swap.*/#&/' /etc/fstab" 优化服务器内核参数 脚本 ##优化内核参数,文件k8s.conf、limits.conf在部署文件夹内 --- - name: config sysctl hosts: k8s tasks: - name: copy sysctl kernel argus copy: src=/etc/ansible/k8s.conf dest=/etc/sysctl.d/ - name: shell : sysctl --system - name: config limit copy: src=/etc/ansible/limits.conf dest=/etc/security/limits.conf 执行 ansible-playbook sysctl_config.yaml 验证 ansible k8smaster -m shell -a "sysctl --system" 开启ip_vs模块 脚本 ##k8s集群使用ip_VS模式,能大大提高性能,减少iptables规则数量 --- - name: start ipvs module hosts: k8s tasks: - name: shell : modprobe -- ip_vs && modprobe -- ip_vs_rr && modprobe -- ip_vs_wrr && modprobe -- ip_vs_sh && modprobe -- nf_conntrack_ipv4 执行脚本 ansible-playbook ipvs.yaml 验证 ansible k8s -m shell -a "lsmod | grep ip_vs" 图1 验证4 Figure4:
-
更新证书有效期10年 准备更新脚本 update-kubeadm-cert.sh ##此文件在部署文件内,kubernetes集群默认证书有效期为1年 执行脚本 bash update-kubeadm-cert.sh all ## 此脚本能更新除kubelet之外的所有证书 验证 kubeadm alpha certs check-expiration 图6 验证9 Figure9: 升级kubelet证书 ##在kube-controller-manager配置文件中,在command内添加最后两行,配置更新证书期限为10年,并开启证书自动轮转 vim /etc/kubernetes/manifests/kube-controller-manager.yaml - command: - kube-controller-manager - --experimental-cluster-signing-duration=87600h0m0s - --feature-gates=RotateKubeletServerCertificate=TRUE 重启kubelet服务 systemctl restart kubelet
-
部署ingress-nginx 提供对外访问入口,将此服务的80、443端口映射到主机上,访问时,通过该80、443端口,访问集群内所有服务。 准备安装清单文件 ingress-nginx.yaml ##此文件在部署文件内 应用清单文件 kubectl apply -f ingress-nginx.yaml 验证 kubectl get pods -n ingress-nginx 图7 验证10 Figure10:
-
将其余master节点和node节点加入集群 在master节点上执行 kubeadm join k8s.talkedu.com:6443 --token abcdef.0123456789abcdef \ --discovery-token-ca-cert-hash sha256:1df03bef705ad54fa693121e644d372d37d6b7e79a45058a999bc2d2ff590776 \ --control-plane --certificate-key 8bbe0725b691eff7ea4e92b4ef70a797ce3224a84e8ad8c02c42e70b32de3df0 ##此命令仅24小时内有效,过期需重新打印加入集群指令,执行命令为: kubeadm token create --print-join-command 在node节点上执行 kubeadm join k8s.talkedu.com:6443 --token abcdef.0123456789abcdef \ --discovery-token-ca-cert-hash sha256:1df03bef705ad54fa693121e644d372d37d6b7e79a45058a999bc2d2ff590776 ##此命令仅24小时内有效,过期需重新打印加入集群指令,执行命令为: kubeadm token create --print-join-command 验证 kubectl get nodes && kubectl get pods -A
-
服务器清单 表1 服务器清单 序号 IP 主机名 部署描述 1 192.168.1.61 k8s-master1 k8s管理节点 2 192.168.1.195 k8s-master2 k8s管理节点 3 192.168.1.198 k8s-master3 k8s管理节点 4 192.168.1.207 k8s-node01 k8s工作节点 5 192.168.1.237 k8s-node02 k8s工作节点 6 192.168.1.235 k8s-node03 k8s工作节点 7 192.168.1.199 k8s-node04 k8s工作节点 8 192.168.1.191 k8s-node05 k8s工作节点 9 192.168.1.189 k8s-node06 k8s工作节点 10 192.168.1.57 k8s-node07 k8s工作节点 11 192.168.1.133 k8s-node08 k8s工作节点 12 192.168.1.127 k8s-node09 k8s工作节点 13 192.168.1.82 k8s-node10 k8s工作节点 14 192.168.1.156 k8s-node11 k8s工作节点
-
安装job 用压缩工具打开jar包修改jar包配置文件 修改数据库地址 xxl-job-admin-2.3.0\BOOT-INF\application.properties 运行job jar包 nohup java -jar xxl-job-admin-2.3.0.jar & 成功验证: 访问浏览器:127.0.0.1:8912/xxl-job-admin/ 密码:admin 123456 父主题: 实施步骤
-
插件安装 图3 插件安装1 选择安装模式 鼠标单击左侧蓝色框安装社区推荐插件包Install suggested plugins Install plugins the Jenkins community finds most useful 安装插件,这一步安装插件受网络影响安装时间可能比较长,建议普通用户选择推荐安装; 右侧灰色背景框是插件可选框,可以理解为插件自定义选择安装,建议有一些经验的用户使用;本演示教程已经典安装模式为例。 图4 插件安装2 开始安装插件包,在右侧可以看到事实的安装日志。绿色对勾表示安装成功 创建Admin用户 这里先简单设置一个用户,后续的配置中会创建一个超级管理员账户。 图5 插件安装3 单击Save and Finish 完成用户创建。
-
注意事项 minio打包文件上传记得开启utf-8解码 nginx设置的上传文件大小调整(client_max_body_size 500m) 修改数据后需要清楚指定数据项缓存(邮箱开启sys_dictionary sys库)(调用sys服务的接口) 请redis接口/api/user/role/releaseRoleAuthCache/3 /api/user/role/releaseRoleAuthCache/4
-
验证是否好用 检查网关项目所有服务接口是否能正常访问 检查nacos的服务是否都正常切属于同组 转换服务,上传文档,视频,正常转换 websocrt 课堂教学可以正常进行 nginx配置文件: Minio服务器配置文件+前后端服务器配置文件 后台jar包启动方式: java -jar sys-service-3.4.0-SNAPSHOT.jar --spring.config.location[0]=./application.yml --spring.config.location[1]=./bootstrap.yml --spring.profiles.active=pro
-
部署jenkins.war 删除tomcat-tomcat8/webapps/ 里面所有项目文件 rm -rf /root/servers/jenkins-tomcat8/webapps/* 复制jenkins.war到/root/servers/jenkins-tomcat8/webapps/ 目录下 停止并重新启动tomcat服务 /root/servers/jenkins-tomcat8/bin/shutdown.sh /root/servers/jenkins-tomcat8/bin/startup.sh
-
启动jenkins安装程序 浏览器访问地址:http://server_ip:8080/jenkins运行jenkins安装程序。 首次访问jenkins需要提供超级管理员密码,超级管理员密码串在jenkins首次启动后会自动生成,存放在/root/.jenkins/secrets/initialAdminPassword 文件中。 图1 安装1 获取超级管理密码执行命令: cat /root/.jenkins/secrets/initialAdminPassword [root@localhost ~]# cat /root/.jenkins/secrets/initialAdminPassword 复制密码串并粘贴到Administrator password输入框内单击Continue 图2 安装2
-
完全卸载删除gitlab 停止gitlab gitlab-ctl stop 卸载gitlab(注意这里写的是gitlab-ce) rpm -e gitlab-ce 查看gitlab进程 ps aux | grep gitlab 终止第一个进程(就是带有好多.............的进程) kill -9 18777 终止后,在ps aux | grep gitlab确认一遍,还有没有gitlab的进程 删除所有包含gitlab文件 find / -name gitlab | xargs rm -rf
-
下载 安装并配置必要的依赖项 sudo yum install -y curl policycoreutils-python openssh-server sudo systemctl enable sshd sudo systemctl start sshd sudo firewall-cmd --permanent --add-service=http sudo systemctl reload firewalld curl -s https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.rpm.sh | sudo bash yum makecache sudo yum install gitlab-ce-14.10.4-ce.0.el7.x86_64
-
创建Access Token 浏览器打开页面:http://主机ip/profile/personal_access_tokens 图3 创建1 Name随便填写。过期时间不填默认永久有效,勾选所有权限,单击Create personal access token按钮生成token。 图4 创建2 单击Create personal access token按钮完成按钮置灰后,页面上方位置显示了新创建了access token。请复制保存,部署后端项目portal-web配置gitlab相关配置时使用。需要注意的是该页面只显示一次,如果没有及时保存可重新创建即可。
共100000条
- 1
- ...
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 94
- 95
- 96
- 97
- 98
- 99
- 100
- 101
- 102
- 103
- 104
- 105
- 106
- 107
- 108
- 109
- 110
- 111
- 112
- 113
- 114
- 115
- 116
- 117
- 118
- 119
- 120
- 121
- 122
- 123
- 124
- 125
- 126
- 127
- 128
- 129
- 130
- 131
- 132
- 133
- 134
- 135
- 136
- 137
- 138
- 139
- 140
- 141
- 142
- 143
- 144
- 145
- 146
- 147
- 148
- 149
- 150
- 151
- 152
- 153
- 154
- 155
- 156
- 157
- 158
- 159
- 160
- 161
- 162
- 163
- 164
- 165
- 166
- 167
- 168
- 169
- 170
- 171
- 172
- 173
- 174
- 175
- 176
- 177
- 178
- 179
- 180
- 181
- 182
- 183
- 184
- 185
- 186
- 187
- 188
- 189
- 190
- 191
- 192
- 193
- 194
- 195
- 196
- 197
- 198
- 199
- 200
- 201
- 202
- 203
- 204
- 205
- 206
- 207
- 208
- 209
- 210
- 211
- 212
- 213
- 214
- 215
- 216
- 217
- 218
- 219
- 220
- 221
- 222
- 223
- 224
- 225
- 226
- 227
- 228
- 229
- 230
- 231
- 232
- 233
- 234
- 235
- 236
- 237
- 238
- 239
- 240
- 241
- 242
- 243
- 244
- 245
- 246
- 247
- 248
- 249
- 250
- 251
- 252
- 253
- 254
- 255
- 256
- 257
- 258
- 259
- 260
- 261
- 262
- 263
- 264
- 265
- 266
- 267
- 268
- 269
- 270
- 271
- 272
- 273
- 274
- 275
- 276
- 277
- 278
- 279
- 280
- 281
- 282
- 283
- 284
- 285
- 286
- 287
- 288
- 289
- 290
- 291
- 292
- 293
- 294
- 295
- 296
- 297
- 298
- 299
- 300
- 301
- 302
- 303
- 304
- 305
- 306
- 307
- 308
- 309
- 310
- 311
- 312
- 313
- 314
- 315
- 316
- 317
- 318
- 319
- 320
- 321
- 322
- 323
- 324
- 325
- 326
- 327
- 328
- 329
- 330
- 331
- 332
- 333
- 334
- 335
- 336
- 337
- 338
- 339
- 340
- 341
- 342
- 343
- 344
- 345
- 346
- 347
- 348
- 349
- 350
- 351
- 352
- 353
- 354
- 355
- 356
- 357
- 358
- 359
- 360
- 361
- 362
- 363
- 364
- 365
- 366
- 367
- 368
- 369
- 370
- 371
- 372
- 373
- 374
- 375
- 376
- 377
- 378
- 379
- 380
- 381
- 382
- 383
- 384
- 385
- 386
- 387
- 388
- 389
- 390
- 391
- 392
- 393
- 394
- 395
- 396
- 397
- 398
- 399
- 400
- 401
- 402
- 403
- 404
- 405
- 406
- 407
- 408
- 409
- 410
- 411
- 412
- 413
- 414
- 415
- 416
- 417
- 418
- 419
- 420
- 421
- 422
- 423
- 424
- 425
- 426
- 427
- 428
- 429
- 430
- 431
- 432
- 433
- 434
- 435
- 436
- 437
- 438
- 439
- 440
- 441
- 442
- 443
- 444
- 445
- 446
- 447
- 448
- 449
- 450
- 451
- 452
- 453
- 454
- 455
- 456
- 457
- 458
- 459
- 460
- 461
- 462
- 463
- 464
- 465
- 466
- 467
- 468
- 469
- 470
- 471
- 472
- 473
- 474
- 475
- 476
- 477
- 478
- 479
- 480
- 481
- 482
- 483
- 484
- 485
- 486
- 487
- 488
- 489
- 490
- 491
- 492
- 493
- 494
- 495
- 496
- 497
- 498
- 499
- 500
- 501
- 502
- 503
- 504
- 505
- 506
- 507
- 508
- 509
- 510
- 511
- 512
- 513
- 514
- 515
- 516
- 517
- 518
- 519
- 520
- 521
- 522
- 523
- 524
- 525
- 526
- 527
- 528
- 529
- 530
- 531
- 532
- 533
- 534
- 535
- 536
- 537
- 538
- 539
- 540
- 541
- 542
- 543
- 544
- 545
- 546
- 547
- 548
- 549
- 550
- 551
- 552
- 553
- 554
- 555
- 556
- 557
- 558
- 559
- 560
- 561
- 562
- 563
- 564
- 565
- 566
- 567
- 568
- 569
- 570
- 571
- 572
- 573
- 574
- 575
- 576
- 577
- 578
- 579
- 580
- 581
- 582
- 583
- 584
- 585
- 586
- 587
- 588
- 589
- 590
- 591
- 592
- 593
- 594
- 595
- 596
- 597
- 598
- 599
- 600
- 601
- 602
- 603
- 604
- 605
- 606
- 607
- 608
- 609
- 610
- 611
- 612
- 613
- 614
- 615
- 616
- 617
- 618
- 619
- 620
- 621
- 622
- 623
- 624
- 625
- 626
- 627
- 628
- 629
- 630
- 631
- 632
- 633
- 634
- 635
- 636
- 637
- 638
- 639
- 640
- 641
- 642
- 643
- 644
- 645
- 646
- 647
- 648
- 649
- 650
- 651
- 652
- 653
- 654
- 655
- 656
- 657
- 658
- 659
- 660
- 661
- 662
- 663
- 664
- 665
- 666
- 667
- 668
- 669
- 670
- 671
- 672
- 673
- 674
- 675
- 676
- 677
- 678
- 679
- 680
- 681
- 682
- 683
- 684
- 685
- 686
- 687
- 688
- 689
- 690
- 691
- 692
- 693
- 694
- 695
- 696
- 697
- 698
- 699
- 700
- 701
- 702
- 703
- 704
- 705
- 706
- 707
- 708
- 709
- 710
- 711
- 712
- 713
- 714
- 715
- 716
- 717
- 718
- 719
- 720
- 721
- 722
- 723
- 724
- 725
- 726
- 727
- 728
- 729
- 730
- 731
- 732
- 733
- 734
- 735
- 736
- 737
- 738
- 739
- 740
- 741
- 742
- 743
- 744
- 745
- 746
- 747
- 748
- 749
- 750
- 751
- 752
- 753
- 754
- 755
- 756
- 757
- 758
- 759
- 760
- 761
- 762
- 763
- 764
- 765
- 766
- 767
- 768
- 769
- 770
- 771
- 772
- 773
- 774
- 775
- 776
- 777
- 778
- 779
- 780
- 781
- 782
- 783
- 784
- 785
- 786
- 787
- 788
- 789
- 790
- 791
- 792
- 793
- 794
- 795
- 796
- 797
- 798
- 799
- 800
- 801
- 802
- 803
- 804
- 805
- 806
- 807
- 808
- 809
- 810
- 811
- 812
- 813
- 814
- 815
- 816
- 817
- 818
- 819
- 820
- 821
- 822
- 823
- 824
- 825
- 826
- 827
- 828
- 829
- 830
- 831
- 832
- 833
- 834
- 835
- 836
- 837
- 838
- 839
- 840
- 841
- 842
- 843
- 844
- 845
- 846
- 847
- 848
- 849
- 850
- 851
- 852
- 853
- 854
- 855
- 856
- 857
- 858
- 859
- 860
- 861
- 862
- 863
- 864
- 865
- 866
- ...
- 867
- 868
- 869
- 870
- 871
- 872
- 873
- 874
- 875
- 876
- 877
- 878
- 879
- 880
- 881
- 882
- 883
- 884
- 885
- 886
- 887
- 888
- 889
- 890
- 891
- 892
- 893
- 894
- 895
- 896
- 897
- 898
- 899
- 900
- 901
- 902
- 903
- 904
- 905
- 906
- 907
- 908
- 909
- 910
- 911
- 912
- 913
- 914
- 915
- 916
- 917
- 918
- 919
- 920
- 921
- 922
- 923
- 924
- 925
- 926
- 927
- 928
- 929
- 930
- 931
- 932
- 933
- 934
- 935
- 936
- 937
- 938
- 939
- 940
- 941
- 942
- 943
- 944
- 945
- 946
- 947
- 948
- 949
- 950
- 951
- 952
- 953
- 954
- 955
- 956
- 957
- 958
- 959
- 960
- 961
- 962
- 963
- 964
- 965
- 966
- 967
- 968
- 969
- 970
- 971
- 972
- 973
- 974
- 975
- 976
- 977
- 978
- 979
- 980
- 981
- 982
- 983
- 984
- 985
- 986
- 987
- 988
- 989
- 990
- 991
- 992
- 993
- 994
- 995
- 996
- 997
- 998
- 999
- 1000
- 1001
- 1002
- 1003
- 1004
- 1005
- 1006
- 1007
- 1008
- 1009
- 1010
- 1011
- 1012
- 1013
- 1014
- 1015
- 1016
- 1017
- 1018
- 1019
- 1020
- 1021
- 1022
- 1023
- 1024
- 1025
- 1026
- 1027
- 1028
- 1029
- 1030
- 1031
- 1032
- 1033
- 1034
- 1035
- 1036
- 1037
- 1038
- 1039
- 1040
- 1041
- 1042
- 1043
- 1044
- 1045
- 1046
- 1047
- 1048
- 1049
- 1050
- 1051
- 1052
- 1053
- 1054
- 1055
- 1056
- 1057
- 1058
- 1059
- 1060
- 1061
- 1062
- 1063
- 1064
- 1065
- 1066
- 1067
- 1068
- 1069
- 1070
- 1071
- 1072
- 1073
- 1074
- 1075
- 1076
- 1077
- 1078
- 1079
- 1080
- 1081
- 1082
- 1083
- 1084
- 1085
- 1086
- 1087
- 1088
- 1089
- 1090
- 1091
- 1092
- 1093
- 1094
- 1095
- 1096
- 1097
- 1098
- 1099
- 1100
- 1101
- 1102
- 1103
- 1104
- 1105
- 1106
- 1107
- 1108
- 1109
- 1110
- 1111
- 1112
- 1113
- 1114
- 1115
- 1116
- 1117
- 1118
- 1119
- 1120
- 1121
- 1122
- 1123
- 1124
- 1125
- 1126
- 1127
- 1128
- 1129
- 1130
- 1131
- 1132
- 1133
- 1134
- 1135
- 1136
- 1137
- 1138
- 1139
- 1140
- 1141
- 1142
- 1143
- 1144
- 1145
- 1146
- 1147
- 1148
- 1149
- 1150
- 1151
- 1152
- 1153
- 1154
- 1155
- 1156
- 1157
- 1158
- 1159
- 1160
- 1161
- 1162
- 1163
- 1164
- 1165
- 1166
- 1167
- 1168
- 1169
- 1170
- 1171
- 1172
- 1173
- 1174
- 1175
- 1176
- 1177
- 1178
- 1179
- 1180
- 1181
- 1182
- 1183
- 1184
- 1185
- 1186
- 1187
- 1188
- 1189
- 1190
- 1191
- 1192
- 1193
- 1194
- 1195
- 1196
- 1197
- 1198
- 1199
- 1200
- 1201
- 1202
- 1203
- 1204
- 1205
- 1206
- 1207
- 1208
- 1209
- 1210
- 1211
- 1212
- 1213
- 1214
- 1215
- 1216
- 1217
- 1218
- 1219
- 1220
- 1221
- 1222
- 1223
- 1224
- 1225
- 1226
- 1227
- 1228
- 1229
- 1230
- 1231
- 1232
- 1233
- 1234
- 1235
- 1236
- 1237
- 1238
- 1239
- 1240
- 1241
- 1242
- 1243
- 1244
- 1245
- 1246
- 1247
- 1248
- 1249
- 1250
- 1251
- 1252
- 1253
- 1254
- 1255
- 1256
- 1257
- 1258
- 1259
- 1260
- 1261
- 1262
- 1263
- 1264
- 1265
- 1266
- 1267
- 1268
- 1269
- 1270
- 1271
- 1272
- 1273
- 1274
- 1275
- 1276
- 1277
- 1278
- 1279
- 1280
- 1281
- 1282
- 1283
- 1284
- 1285
- 1286
- 1287
- 1288
- 1289
- 1290
- 1291
- 1292
- 1293
- 1294
- 1295
- 1296
- 1297
- 1298
- 1299
- 1300
- 1301
- 1302
- 1303
- 1304
- 1305
- 1306
- 1307
- 1308
- 1309
- 1310
- 1311
- 1312
- 1313
- 1314
- 1315
- 1316
- 1317
- 1318
- 1319
- 1320
- 1321
- 1322
- 1323
- 1324
- 1325
- 1326
- 1327
- 1328
- 1329
- 1330
- 1331
- 1332
- 1333
- 1334
- 1335
- 1336
- 1337
- 1338
- 1339
- 1340
- 1341
- 1342
- 1343
- 1344
- 1345
- 1346
- 1347
- 1348
- 1349
- 1350
- 1351
- 1352
- 1353
- 1354
- 1355
- 1356
- 1357
- 1358
- 1359
- 1360
- 1361
- 1362
- 1363
- 1364
- 1365
- 1366
- 1367
- 1368
- 1369
- 1370
- 1371
- 1372
- 1373
- 1374
- 1375
- 1376
- 1377
- 1378
- 1379
- 1380
- 1381
- 1382
- 1383
- 1384
- 1385
- 1386
- 1387
- 1388
- 1389
- 1390
- 1391
- 1392
- 1393
- 1394
- 1395
- 1396
- 1397
- 1398
- 1399
- 1400
- 1401
- 1402
- 1403
- 1404
- 1405
- 1406
- 1407
- 1408
- 1409
- 1410
- 1411
- 1412
- 1413
- 1414
- 1415
- 1416
- 1417
- 1418
- 1419
- 1420
- 1421
- 1422
- 1423
- 1424
- 1425
- 1426
- 1427
- 1428
- 1429
- 1430
- 1431
- 1432
- 1433
- 1434
- 1435
- 1436
- 1437
- 1438
- 1439
- 1440
- 1441
- 1442
- 1443
- 1444
- 1445
- 1446
- 1447
- 1448
- 1449
- 1450
- 1451
- 1452
- 1453
- 1454
- 1455
- 1456
- 1457
- 1458
- 1459
- 1460
- 1461
- 1462
- 1463
- 1464
- 1465
- 1466
- 1467
- 1468
- 1469
- 1470
- 1471
- 1472
- 1473
- 1474
- 1475
- 1476
- 1477
- 1478
- 1479
- 1480
- 1481
- 1482
- 1483
- 1484
- 1485
- 1486
- 1487
- 1488
- 1489
- 1490
- 1491
- 1492
- 1493
- 1494
- 1495
- 1496
- 1497
- 1498
- 1499
- 1500
- 1501
- 1502
- 1503
- 1504
- 1505
- 1506
- 1507
- 1508
- 1509
- 1510
- 1511
- 1512
- 1513
- 1514
- 1515
- 1516
- 1517
- 1518
- 1519
- 1520
- 1521
- 1522
- 1523
- 1524
- 1525
- 1526
- 1527
- 1528
- 1529
- 1530
- 1531
- 1532
- 1533
- 1534
- 1535
- 1536
- 1537
- 1538
- 1539
- 1540
- 1541
- 1542
- 1543
- 1544
- 1545
- 1546
- 1547
- 1548
- 1549
- 1550
- 1551
- 1552
- 1553
- 1554
- 1555
- 1556
- 1557
- 1558
- 1559
- 1560
- 1561
- 1562
- 1563
- 1564
- 1565
- 1566
- 1567
- 1568
- 1569
- 1570
- 1571
- 1572
- 1573
- 1574
- 1575
- 1576
- 1577
- 1578
- 1579
- 1580
- 1581
- 1582
- 1583
- 1584
- 1585
- 1586
- 1587
- 1588
- 1589
- 1590
- 1591
- 1592
- 1593
- 1594
- 1595
- 1596
- 1597
- 1598
- 1599
- 1600
- 1601
- 1602
- 1603
- 1604
- 1605
- 1606
- 1607
- 1608
- 1609
- 1610
- 1611
- 1612
- 1613
- 1614
- 1615
- 1616
- 1617
- 1618
- 1619
- 1620
- 1621
- 1622
- 1623
- 1624
- 1625
- 1626
- 1627
- 1628
- 1629
- 1630
- 1631
- 1632
- 1633
- 1634
- 1635
- 1636
- 1637
- 1638
- 1639
- 1640
- 1641
- 1642
- 1643
- 1644
- 1645
- 1646
- 1647
- 1648
- 1649
- 1650
- 1651
- 1652
- 1653
- 1654
- 1655
- 1656
- 1657
- 1658
- 1659
- 1660
- 1661
- 1662
- 1663
- 1664
- 1665
- 1666
- 1667
- 1668
- 1669
- 1670
- 1671
- 1672
- 1673
- 1674
- 1675
- 1676
- 1677
- 1678
- 1679
- 1680
- 1681
- 1682
- 1683
- 1684
- 1685
- 1686
- 1687
- 1688
- 1689
- 1690
- 1691
- 1692
- 1693
- 1694
- 1695
- 1696
- 1697
- 1698
- 1699
- 1700
- 1701
- 1702
- 1703
- 1704
- 1705
- 1706
- 1707
- 1708
- 1709
- 1710
- 1711
- 1712
- 1713
- 1714
- 1715
- 1716
- 1717
- 1718
- 1719
- 1720
- 1721
- 1722
- 1723
- 1724
- 1725
- 1726
- 1727
- 1728
- 1729
- 1730
- 1731
- 1732
- 1733
- 1734
- 1735
- 1736
- 1737
- 1738
- 1739
- 1740
- 1741
- 1742
- 1743
- 1744
- 1745
- 1746
- 1747
- 1748
- 1749
- 1750
- 1751
- 1752
- 1753
- 1754
- 1755
- 1756
- 1757
- 1758
- 1759
- 1760
- 1761
- 1762
- 1763
- 1764
- 1765
- 1766
- 1767
- 1768
- 1769
- 1770
- 1771
- 1772
- 1773
- 1774
- 1775
- 1776
- 1777
- 1778
- 1779
- 1780
- 1781
- 1782
- 1783
- 1784
- 1785
- 1786
- 1787
- 1788
- 1789
- 1790
- 1791
- 1792
- 1793
- 1794
- 1795
- 1796
- 1797
- 1798
- 1799
- 1800
- 1801
- 1802
- 1803
- 1804
- 1805
- 1806
- 1807
- 1808
- 1809
- 1810
- 1811
- 1812
- 1813
- 1814
- 1815
- 1816
- 1817
- 1818
- 1819
- 1820
- 1821
- 1822
- 1823
- 1824
- 1825
- 1826
- 1827
- 1828
- 1829
- 1830
- 1831
- 1832
- 1833
- 1834
- 1835
- 1836
- 1837
- 1838
- 1839
- 1840
- 1841
- 1842
- 1843
- 1844
- 1845
- 1846
- 1847
- 1848
- 1849
- 1850
- 1851
- 1852
- 1853
- 1854
- 1855
- 1856
- 1857
- 1858
- 1859
- 1860
- 1861
- 1862
- 1863
- 1864
- 1865
- 1866
- 1867
- 1868
- 1869
- 1870
- 1871
- 1872
- 1873
- 1874
- 1875
- 1876
- 1877
- 1878
- 1879
- 1880
- 1881
- 1882
- 1883
- 1884
- 1885
- 1886
- 1887
- 1888
- 1889
- 1890
- 1891
- 1892
- 1893
- 1894
- 1895
- 1896
- 1897
- 1898
- 1899
- 1900
- 1901
- 1902
- 1903
- 1904
- 1905
- 1906
- 1907
- 1908
- 1909
- 1910
- 1911
- 1912
- 1913
- 1914
- 1915
- 1916
- 1917
- 1918
- 1919
- 1920
- 1921
- 1922
- 1923
- 1924
- 1925
- 1926
- 1927
- 1928
- 1929
- 1930
- 1931
- 1932
- 1933
- 1934
- 1935
- 1936
- 1937
- 1938
- 1939
- 1940
- 1941
- 1942
- 1943
- 1944
- 1945
- 1946
- 1947
- 1948
- 1949
- 1950
- 1951
- 1952
- 1953
- 1954
- 1955
- 1956
- 1957
- 1958
- 1959
- 1960
- 1961
- 1962
- 1963
- 1964
- 1965
- 1966
- 1967
- 1968
- 1969
- 1970
- 1971
- 1972
- 1973
- 1974
- 1975
- 1976
- 1977
- 1978
- 1979
- 1980
- 1981
- 1982
- 1983
- 1984
- 1985
- 1986
- 1987
- 1988
- 1989
- 1990
- 1991
- 1992
- 1993
- 1994
- 1995
- 1996
- 1997
- 1998
- 1999
- 2000
- 2001
- 2002
- 2003
- 2004
- 2005
- 2006
- 2007
- 2008
- 2009
- 2010
- 2011
- 2012
- 2013
- 2014
- 2015
- 2016
- 2017
- 2018
- 2019
- 2020
- 2021
- 2022
- 2023
- 2024
- 2025
- 2026
- 2027
- 2028
- 2029
- 2030
- 2031
- 2032
- 2033
- 2034
- 2035
- 2036
- 2037
- 2038
- 2039
- 2040
- 2041
- 2042
- 2043
- 2044
- 2045
- 2046
- 2047
- 2048
- 2049
- 2050
- 2051
- 2052
- 2053
- 2054
- 2055
- 2056
- 2057
- 2058
- 2059
- 2060
- 2061
- 2062
- 2063
- 2064
- 2065
- 2066
- 2067
- 2068
- 2069
- 2070
- 2071
- 2072
- 2073
- 2074
- 2075
- 2076
- 2077
- 2078
- 2079
- 2080
- 2081
- 2082
- 2083
- 2084
- 2085
- 2086
- 2087
- 2088
- 2089
- 2090
- 2091
- 2092
- 2093
- 2094
- 2095
- 2096
- 2097
- 2098
- 2099
- 2100
- 2101
- 2102
- 2103
- 2104
- 2105
- 2106
- 2107
- 2108
- 2109
- 2110
- 2111
- 2112
- 2113
- 2114
- 2115
- 2116
- 2117
- 2118
- 2119
- 2120
- 2121
- 2122
- 2123
- 2124
- 2125
- 2126
- 2127
- 2128
- 2129
- 2130
- 2131
- 2132
- 2133
- 2134
- 2135
- 2136
- 2137
- 2138
- 2139
- 2140
- 2141
- 2142
- 2143
- 2144
- 2145
- 2146
- 2147
- 2148
- 2149
- 2150
- 2151
- 2152
- 2153
- 2154
- 2155
- 2156
- 2157
- 2158
- 2159
- 2160
- 2161
- 2162
- 2163
- 2164
- 2165
- 2166
- 2167
- 2168
- 2169
- 2170
- 2171
- 2172
- 2173
- 2174
- 2175
- 2176
- 2177
- 2178
- 2179
- 2180
- 2181
- 2182
- 2183
- 2184
- 2185
- 2186
- 2187
- 2188
- 2189
- 2190
- 2191
- 2192
- 2193
- 2194
- 2195
- 2196
- 2197
- 2198
- 2199
- 2200
- 2201
- 2202
- 2203
- 2204
- 2205
- 2206
- 2207
- 2208
- 2209
- 2210
- 2211
- 2212
- 2213
- 2214
- 2215
- 2216
- 2217
- 2218
- 2219
- 2220
- 2221
- 2222
- 2223
- 2224
- 2225
- 2226
- 2227
- 2228
- 2229
- 2230
- 2231
- 2232
- 2233
- 2234
- 2235
- 2236
- 2237
- 2238
- 2239
- 2240
- 2241
- 2242
- 2243
- 2244
- 2245
- 2246
- 2247
- 2248
- 2249
- 2250
- 2251
- 2252
- 2253
- 2254
- 2255
- 2256
- 2257
- 2258
- 2259
- 2260
- 2261
- 2262
- 2263
- 2264
- 2265
- 2266
- 2267
- 2268
- 2269
- 2270
- 2271
- 2272
- 2273
- 2274
- 2275
- 2276
- 2277
- 2278
- 2279
- 2280
- 2281
- 2282
- 2283
- 2284
- 2285
- 2286
- 2287
- 2288
- 2289
- 2290
- 2291
- 2292
- 2293
- 2294
- 2295
- 2296
- 2297
- 2298
- 2299
- 2300
- 2301
- 2302
- 2303
- 2304
- 2305
- 2306
- 2307
- 2308
- 2309
- 2310
- 2311
- 2312
- 2313
- 2314
- 2315
- 2316
- 2317
- 2318
- 2319
- 2320
- 2321
- 2322
- 2323
- 2324
- 2325
- 2326
- 2327
- 2328
- 2329
- 2330
- 2331
- 2332
- 2333
- 2334
- 2335
- 2336
- 2337
- 2338
- 2339
- 2340
- 2341
- 2342
- 2343
- 2344
- 2345
- 2346
- 2347
- 2348
- 2349
- 2350
- 2351
- 2352
- 2353
- 2354
- 2355
- 2356
- 2357
- 2358
- 2359
- 2360
- 2361
- 2362
- 2363
- 2364
- 2365
- 2366
- 2367
- 2368
- 2369
- 2370
- 2371
- 2372
- 2373
- 2374
- 2375
- 2376
- 2377
- 2378
- 2379
- 2380
- 2381
- 2382
- 2383
- 2384
- 2385
- 2386
- 2387
- 2388
- 2389
- 2390
- 2391
- 2392
- 2393
- 2394
- 2395
- 2396
- 2397
- 2398
- 2399
- 2400
- 2401
- 2402
- 2403
- 2404
- 2405
- 2406
- 2407
- 2408
- 2409
- 2410
- 2411
- 2412
- 2413
- 2414
- 2415
- 2416
- 2417
- 2418
- 2419
- 2420
- 2421
- 2422
- 2423
- 2424
- 2425
- 2426
- 2427
- 2428
- 2429
- 2430
- 2431
- 2432
- 2433
- 2434
- 2435
- 2436
- 2437
- 2438
- 2439
- 2440
- 2441
- 2442
- 2443
- 2444
- 2445
- 2446
- 2447
- 2448
- 2449
- 2450
- 2451
- 2452
- 2453
- 2454
- 2455
- 2456
- 2457
- 2458
- 2459
- 2460
- 2461
- 2462
- 2463
- 2464
- 2465
- 2466
- 2467
- 2468
- 2469
- 2470
- 2471
- 2472
- 2473
- 2474
- 2475
- 2476
- 2477
- 2478
- 2479
- 2480
- 2481
- 2482
- 2483
- 2484
- 2485
- 2486
- 2487
- 2488
- 2489
- 2490
- 2491
- 2492
- 2493
- 2494
- 2495
- 2496
- 2497
- 2498
- 2499
- 2500
- 2501
- 2502
- 2503
- 2504
- 2505
- 2506
- 2507
- 2508
- 2509
- 2510
- 2511
- 2512
- 2513
- 2514
- 2515
- 2516
- 2517
- 2518
- 2519
- 2520
- 2521
- 2522
- 2523
- 2524
- 2525
- 2526
- 2527
- 2528
- 2529
- 2530
- 2531
- 2532
- 2533
- 2534
- 2535
- 2536
- 2537
- 2538
- 2539
- 2540
- 2541
- 2542
- 2543
- 2544
- 2545
- 2546
- 2547
- 2548
- 2549
- 2550
- 2551
- 2552
- 2553
- 2554
- 2555
- 2556
- 2557
- 2558
- 2559
- 2560
- 2561
- 2562
- 2563
- 2564
- 2565
- 2566
- 2567
- 2568
- 2569
- 2570
- 2571
- 2572
- 2573
- 2574
- 2575
- 2576
- 2577
- 2578
- 2579
- 2580
- 2581
- 2582
- 2583
- 2584
- 2585
- 2586
- 2587
- 2588
- 2589
- 2590
- 2591
- 2592
- 2593
- 2594
- 2595
- 2596
- 2597
- 2598
- 2599
- 2600
- 2601
- 2602
- 2603
- 2604
- 2605
- 2606
- 2607
- 2608
- 2609
- 2610
- 2611
- 2612
- 2613
- 2614
- 2615
- 2616
- 2617
- 2618
- 2619
- 2620
- 2621
- 2622
- 2623
- 2624
- 2625
- 2626
- 2627
- 2628
- 2629
- 2630
- 2631
- 2632
- 2633
- 2634
- 2635
- 2636
- 2637
- 2638
- 2639
- 2640
- 2641
- 2642
- 2643
- 2644
- 2645
- 2646
- 2647
- 2648
- 2649
- 2650
- 2651
- 2652
- 2653
- 2654
- 2655
- 2656
- 2657
- 2658
- 2659
- 2660
- 2661
- 2662
- 2663
- 2664
- 2665
- 2666
- 2667
- 2668
- 2669
- 2670
- 2671
- 2672
- 2673
- 2674
- 2675
- 2676
- 2677
- 2678
- 2679
- 2680
- 2681
- 2682
- 2683
- 2684
- 2685
- 2686
- 2687
- 2688
- 2689
- 2690
- 2691
- 2692
- 2693
- 2694
- 2695
- 2696
- 2697
- 2698
- 2699
- 2700
- 2701
- 2702
- 2703
- 2704
- 2705
- 2706
- 2707
- 2708
- 2709
- 2710
- 2711
- 2712
- 2713
- 2714
- 2715
- 2716
- 2717
- 2718
- 2719
- 2720
- 2721
- 2722
- 2723
- 2724
- 2725
- 2726
- 2727
- 2728
- 2729
- 2730
- 2731
- 2732
- 2733
- 2734
- 2735
- 2736
- 2737
- 2738
- 2739
- 2740
- 2741
- 2742
- 2743
- 2744
- 2745
- 2746
- 2747
- 2748
- 2749
- 2750
- 2751
- 2752
- 2753
- 2754
- 2755
- 2756
- 2757
- 2758
- 2759
- 2760
- 2761
- 2762
- 2763
- 2764
- 2765
- 2766
- 2767
- 2768
- 2769
- 2770
- 2771
- 2772
- 2773
- 2774
- 2775
- 2776
- 2777
- 2778
- 2779
- 2780
- 2781
- 2782
- 2783
- 2784
- 2785
- 2786
- 2787
- 2788
- 2789
- 2790
- 2791
- 2792
- 2793
- 2794
- 2795
- 2796
- 2797
- 2798
- 2799
- 2800
- 2801
- 2802
- 2803
- 2804
- 2805
- 2806
- 2807
- 2808
- 2809
- 2810
- 2811
- 2812
- 2813
- 2814
- 2815
- 2816
- 2817
- 2818
- 2819
- 2820
- 2821
- 2822
- 2823
- 2824
- 2825
- 2826
- 2827
- 2828
- 2829
- 2830
- 2831
- 2832
- 2833
- 2834
- 2835
- 2836
- 2837
- 2838
- 2839
- 2840
- 2841
- 2842
- 2843
- 2844
- 2845
- 2846
- 2847
- 2848
- 2849
- 2850
- 2851
- 2852
- 2853
- 2854
- 2855
- 2856
- 2857
- 2858
- 2859
- 2860
- 2861
- 2862
- 2863
- 2864
- 2865
- 2866
- 2867
- 2868
- 2869
- 2870
- 2871
- 2872
- 2873
- 2874
- 2875
- 2876
- 2877
- 2878
- 2879
- 2880
- 2881
- 2882
- 2883
- 2884
- 2885
- 2886
- 2887
- 2888
- 2889
- 2890
- 2891
- 2892
- 2893
- 2894
- 2895
- 2896
- 2897
- 2898
- 2899
- 2900
- 2901
- 2902
- 2903
- 2904
- 2905
- 2906
- 2907
- 2908
- 2909
- 2910
- 2911
- 2912
- 2913
- 2914
- 2915
- 2916
- 2917
- 2918
- 2919
- 2920
- 2921
- 2922
- 2923
- 2924
- 2925
- 2926
- 2927
- 2928
- 2929
- 2930
- 2931
- 2932
- 2933
- 2934
- 2935
- 2936
- 2937
- 2938
- 2939
- 2940
- 2941
- 2942
- 2943
- 2944
- 2945
- 2946
- 2947
- 2948
- 2949
- 2950
- 2951
- 2952
- 2953
- 2954
- 2955
- 2956
- 2957
- 2958
- 2959
- 2960
- 2961
- 2962
- 2963
- 2964
- 2965
- 2966
- 2967
- 2968
- 2969
- 2970
- 2971
- 2972
- 2973
- 2974
- 2975
- 2976
- 2977
- 2978
- 2979
- 2980
- 2981
- 2982
- 2983
- 2984
- 2985
- 2986
- 2987
- 2988
- 2989
- 2990
- 2991
- 2992
- 2993
- 2994
- 2995
- 2996
- 2997
- 2998
- 2999
- 3000
- 3001
- 3002
- 3003
- 3004
- 3005
- 3006
- 3007
- 3008
- 3009
- 3010
- 3011
- 3012
- 3013
- 3014
- 3015
- 3016
- 3017
- 3018
- 3019
- 3020
- 3021
- 3022
- 3023
- 3024
- 3025
- 3026
- 3027
- 3028
- 3029
- 3030
- 3031
- 3032
- 3033
- 3034
- 3035
- 3036
- 3037
- 3038
- 3039
- 3040
- 3041
- 3042
- 3043
- 3044
- 3045
- 3046
- 3047
- 3048
- 3049
- 3050
- 3051
- 3052
- 3053
- 3054
- 3055
- 3056
- 3057
- 3058
- 3059
- 3060
- 3061
- 3062
- 3063
- 3064
- 3065
- 3066
- 3067
- 3068
- 3069
- 3070
- 3071
- 3072
- 3073
- 3074
- 3075
- 3076
- 3077
- 3078
- 3079
- 3080
- 3081
- 3082
- 3083
- 3084
- 3085
- 3086
- 3087
- 3088
- 3089
- 3090
- 3091
- 3092
- 3093
- 3094
- 3095
- 3096
- 3097
- 3098
- 3099
- 3100
- 3101
- 3102
- 3103
- 3104
- 3105
- 3106
- 3107
- 3108
- 3109
- 3110
- 3111
- 3112
- 3113
- 3114
- 3115
- 3116
- 3117
- 3118
- 3119
- 3120
- 3121
- 3122
- 3123
- 3124
- 3125
- 3126
- 3127
- 3128
- 3129
- 3130
- 3131
- 3132
- 3133
- 3134
- 3135
- 3136
- 3137
- 3138
- 3139
- 3140
- 3141
- 3142
- 3143
- 3144
- 3145
- 3146
- 3147
- 3148
- 3149
- 3150
- 3151
- 3152
- 3153
- 3154
- 3155
- 3156
- 3157
- 3158
- 3159
- 3160
- 3161
- 3162
- 3163
- 3164
- 3165
- 3166
- 3167
- 3168
- 3169
- 3170
- 3171
- 3172
- 3173
- 3174
- 3175
- 3176
- 3177
- 3178
- 3179
- 3180
- 3181
- 3182
- 3183
- 3184
- 3185
- 3186
- 3187
- 3188
- 3189
- 3190
- 3191
- 3192
- 3193
- 3194
- 3195
- 3196
- 3197
- 3198
- 3199
- 3200
- 3201
- 3202
- 3203
- 3204
- 3205
- 3206
- 3207
- 3208
- 3209
- 3210
- 3211
- 3212
- 3213
- 3214
- 3215
- 3216
- 3217
- 3218
- 3219
- 3220
- 3221
- 3222
- 3223
- 3224
- 3225
- 3226
- 3227
- 3228
- 3229
- 3230
- 3231
- 3232
- 3233
- 3234
- 3235
- 3236
- 3237
- 3238
- 3239
- 3240
- 3241
- 3242
- 3243
- 3244
- 3245
- 3246
- 3247
- 3248
- 3249
- 3250
- 3251
- 3252
- 3253
- 3254
- 3255
- 3256
- 3257
- 3258
- 3259
- 3260
- 3261
- 3262
- 3263
- 3264
- 3265
- 3266
- 3267
- 3268
- 3269
- 3270
- 3271
- 3272
- 3273
- 3274
- 3275
- 3276
- 3277
- 3278
- 3279
- 3280
- 3281
- 3282
- 3283
- 3284
- 3285
- 3286
- 3287
- 3288
- 3289
- 3290
- 3291
- 3292
- 3293
- 3294
- 3295
- 3296
- 3297
- 3298
- 3299
- 3300
- 3301
- 3302
- 3303
- 3304
- 3305
- 3306
- 3307
- 3308
- 3309
- 3310
- 3311
- 3312
- 3313
- 3314
- 3315
- 3316
- 3317
- 3318
- 3319
- 3320
- 3321
- 3322
- 3323
- 3324
- 3325
- 3326
- 3327
- 3328
- 3329
- 3330
- 3331
- 3332
- 3333
- 3333
推荐文章