日志分类:网站技术架构

你知道YouTube的架构是什么吗

2008-03-04,星期二 | 分类:网站技术架构 | 106 views

阅读提示:YouTube发展迅速,每天超过1亿的视频点击量,但只有很少人在维护站点和确保伸缩性。

YouTube发展迅速,每天超过1亿的视频点击量,但只有很少人在维护站点和确保伸缩性。

平台

Apache
Python
Linux(SuSe)
MySQL
psyco,一个动态的Python到C的编译器
lighttpd代替Apache做视频查看

状态

支持每天超过1亿的视频点击量
成立于2005年2月
于2006年3月达到每天3千万的视频点击量
于2006年7月达到每天1亿的视频点击量
2个系统管理员,2个伸缩性软件架构师
2个软件开发工程师,2个网络工程师,1个DBA

Web服务器 全文阅读 »

高流量WEB2.0站点需要做的准备

2008-03-04,星期二 | 分类:网站技术架构 | 86 views

当互联网吵吵嚷嚷的进入2.0时代,当互联网的技术不再是那么高不可攀,当复制变成家常便饭,互联网热闹起来了

Myspace火了,中国冒出更多的myspace
Youtube刚刚起来,中国的视频网站就遍地开花
51拔地而起,中国出了无数的SNS
facebook则改变了中国站长的抄袭方式,不再学chianren了,校内火了
…….

当抄袭变成习惯,我想说的是,模仿,站长,你准备好了吗?

当投资和流量都不是问题的时候,我想说的是,您真的一帆风顺吗?

拿SNS网站来说,当匆匆上线的2.0,当一笔笔投资砸进去的时候,当流量上去的时候,您的困惑在什么地方? 全文阅读 »

Craigslist 的数据库架构

2008-03-04,星期二 | 分类:网站技术架构 | 110 views

Craigslist 绝对是互联网的一个传奇公司。

根据以前的一则报道:

每月超过 1000 万人使用该站服务,月浏览量超过 30 亿次,(Craigslist每月新增的帖子近 10 亿条??)网站的网页数量在以每年近百倍的速度增长。Craigslist 至今却只有 18 名员工(现在可能会多一些了)。
Tim O’reilly 采访了 Craigslist 的 Eric Scheide ,于是通过这篇 Database War Stories #5: craigslist 我们能了解一下 Craigslist 的数据库架构以及数据量信息。

数据库软件使用 MySQL 。为充分发挥 MySQL 的能力,数据库都使用 64 位 Linux 服务器, 14 块 本地磁盘(72*14=1T ?), 16G 内存。

不同的服务使用不同方式的数据库集群。 全文阅读 »

WikiPedia 技术架构学习分享

2008-03-04,星期二 | 分类:网站技术架构 | 83 views

维基百科(WikiPedia.org)位列世界十大网站,目前排名第八位。这是开放的力量。

来点直接的数据:

峰值每秒钟3万个 HTTP 请求
每秒钟 3Gbit 流量, 近乎375MB
350 台 PC 服务器(数据来源)

架构示意图如下:

全文阅读 »

几种主流的“跨服务器Session共享”方案讨论

2008-03-04,星期二 | 分类:网站技术架构 | 84 views

伴随网站业务规模和访问量的逐步发展,原本由单台服务器、单个域名的迷你网站架构已经无法满足发展需要。

此时我们可能会购买更多服务器,并且启用多个二级子域名以频道化的方式,根据业务功能将网站分布部署在独立的服务器上;或通过负载均衡技术(如:DNS轮询、Radware、F5、LVS等)让多个频道共享一组服务器。

shared-session1.png
OK,头脑中我们已经构思了这样的解决方案,不过进入深入开发后新的技术问题又随之而来: 全文阅读 »

从LiveJournal后台发展看大规模网站性能优化方法

2008-03-04,星期二 | 分类:网站技术架构 | 67 views

一、LiveJournal发展历程

LiveJournal是99年始于校园中的项目,几个人出于爱好做了这样一个应用,以实现以下功能:

  • 博客,论坛
  • 社会性网络,找到朋友
  • 聚合,把朋友的文章聚合在一起

LiveJournal采用了大量的开源软件,甚至它本身也是一个开源软件。在上线后,LiveJournal实现了非常快速的增长:

  • 2004年4月份:280万注册用户。
  • 2005年4月份:680万注册用户。
  • 2005年8月份:790万注册用户。
  • 达到了每秒钟上千次的页面请求及处理。
  • 使用了大量MySQL服务器。
  • 使用了大量通用组件。

二、LiveJournal架构现状概况

livejournal_backend.png 全文阅读 »

大型网站架构技术方案集锦[转]

2008-03-04,星期二 | 分类:网站技术架构 | 129 views

进入WEB2.0时代,各类标新立异的网站层出不穷,并且web 2.0所倡导的紧密用户交互性更是对网站开发水平提出更高要求,尤其在数据库的读写操作频率上,和web1.0相比瞬间死锁、系统崩溃是一触即发。如果仅仅通过优化你程序代码、采用优秀的MVC开放框架、优化数据库查询语句和索引等已经让开放人员略显心有余而力不足,此时必须从网站的全局架构、用户访问惯性上权衡分析,但是对于我们大多数技术人员恰恰缺少的就是这方面的经历。

程序编码是内功、系统架构 是武林秘笈,二者合并方可一统江湖^_^。

下面收集整理 网络讨论较广的几个网站架构经验谈: 全文阅读 »

从verycd的构建架构看应用

2008-03-04,星期二 | 分类:网站技术架构 | 86 views

今天在verycd上找资源,查看到关于网站的架构(本站基于以下开源技术构建)
URL:点击访问

这里罗列了八个软件,其实是架构一个网站的基本软件。
前面四个一下子就了解,是典型的服务器配置LAMP架构:linux apache mysql php。

点击在新窗口中浏览此图片
linux是当前服务器应用很广泛的操作系统,稳定可靠 全文阅读 »

浅析大型网站的架构

2008-03-04,星期二 | 分类:网站技术架构 | 73 views

一个小型的网站,比如个人网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系统 架构、性能的要求都很简单,随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术 更是涉及面非常广,从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求,已经不是原来简单的html静态网站所能比 拟的。
大型网站,比如门户网站。在面对大量用户访问、高并发请求方面,基本的解决方案集中在这样几个环节:使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。但是除了这几个方面,还没法根本解决大型网站面临的高负载和高并发问题。
上面提供的几个解决思路在一定程度上也意味着更大的投入,并且这样的解决思路具备瓶颈,没有很好的扩展性,下面我从低成本、高性能和高扩张性的角度来说说我的一些经验。
1、HTML静态化 全文阅读 »

Pages: Prev 1 2