Thinking in Linux…

阅读提示：YouTube发展迅速，每天超过1亿的视频点击量，但只有很少人在维护站点和确保伸缩性。

YouTube发展迅速，每天超过1亿的视频点击量，但只有很少人在维护站点和确保伸缩性。

平台

Apache
Python
Linux(SuSe)
MySQL
psyco，一个动态的Python到C的编译器
lighttpd代替Apache做视频查看

状态

支持每天超过1亿的视频点击量
成立于2005年2月
于2006年3月达到每天3千万的视频点击量
于2006年7月达到每天1亿的视频点击量
2个系统管理员，2个伸缩性软件架构师
2个软件开发工程师，2个网络工程师，1个DBA

Web服务器 全文阅读 »

当互联网吵吵嚷嚷的进入2.0时代，当互联网的技术不再是那么高不可攀，当复制变成家常便饭，互联网热闹起来了

Myspace火了，中国冒出更多的myspace
Youtube刚刚起来，中国的视频网站就遍地开花
51拔地而起，中国出了无数的SNS
facebook则改变了中国站长的抄袭方式，不再学chianren了，校内火了
…….

当抄袭变成习惯，我想说的是，模仿，站长，你准备好了吗？

当投资和流量都不是问题的时候，我想说的是，您真的一帆风顺吗？

拿SNS网站来说，当匆匆上线的2.0，当一笔笔投资砸进去的时候，当流量上去的时候，您的困惑在什么地方？ 全文阅读 »

Craigslist 绝对是互联网的一个传奇公司。

根据以前的一则报道：

每月超过 1000 万人使用该站服务，月浏览量超过 30 亿次，(Craigslist每月新增的帖子近 10 亿条??)网站的网页数量在以每年近百倍的速度增长。Craigslist 至今却只有 18 名员工(现在可能会多一些了)。
Tim O’reilly 采访了 Craigslist 的 Eric Scheide ，于是通过这篇 Database War Stories #5: craigslist 我们能了解一下 Craigslist 的数据库架构以及数据量信息。

数据库软件使用 MySQL 。为充分发挥 MySQL 的能力，数据库都使用 64 位 Linux 服务器, 14 块 本地磁盘(72*14=1T ?), 16G 内存。

不同的服务使用不同方式的数据库集群。 全文阅读 »

维基百科(WikiPedia.org)位列世界十大网站，目前排名第八位。这是开放的力量。

来点直接的数据：

峰值每秒钟3万个 HTTP 请求
每秒钟 3Gbit 流量, 近乎375MB
350 台 PC 服务器(数据来源)

架构示意图如下：

全文阅读 »

伴随网站业务规模和访问量的逐步发展，原本由单台服务器、单个域名的迷你网站架构已经无法满足发展需要。

此时我们可能会购买更多服务器，并且启用多个二级子域名以频道化的方式，根据业务功能将网站分布部署在独立的服务器上；或通过负载均衡技术（如：DNS轮询、Radware、F5、LVS等）让多个频道共享一组服务器。

一、LiveJournal发展历程

LiveJournal是99年始于校园中的项目，几个人出于爱好做了这样一个应用，以实现以下功能：

• 博客，论坛
• 社会性网络，找到朋友
• 聚合，把朋友的文章聚合在一起

LiveJournal采用了大量的开源软件，甚至它本身也是一个开源软件。在上线后，LiveJournal实现了非常快速的增长：

• 2004年4月份：280万注册用户。
• 2005年4月份：680万注册用户。
• 2005年8月份：790万注册用户。
• 达到了每秒钟上千次的页面请求及处理。
• 使用了大量MySQL服务器。
• 使用了大量通用组件。

二、LiveJournal架构现状概况

全文阅读 »

进入WEB2.0时代，各类标新立异的网站层出不穷，并且web 2.0所倡导的紧密用户交互性更是对网站开发水平提出更高要求，尤其在数据库的读写操作频率上，和web1.0相比瞬间死锁、系统崩溃是一触即发。如果仅仅通过优化你程序代码、采用优秀的MVC开放框架、优化数据库查询语句和索引等已经让开放人员略显心有余而力不足，此时必须从网站的全局架构、用户访问惯性上权衡分析，但是对于我们大多数技术人员恰恰缺少的就是这方面的经历。

程序编码是内功、系统架构 是武林秘笈，二者合并方可一统江湖^_^。

下面收集整理 网络讨论较广的几个网站架构经验谈： 全文阅读 »

今天在verycd上找资源，查看到关于网站的架构（本站基于以下开源技术构建）
URL：点击访问

这里罗列了八个软件，其实是架构一个网站的基本软件。
前面四个一下子就了解，是典型的服务器配置LAMP架构：linux apache mysql php。

linux是当前服务器应用很广泛的操作系统，稳定可靠 全文阅读 »

一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统 架构、性能的要求都很简单，随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术 更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的html静态网站所能比 拟的。
大型网站，比如门户网站。在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的Web容器。但是除了这几个方面，还没法根本解决大型网站面临的高负载和高并发问题。
上面提供的几个解决思路在一定程度上也意味着更大的投入，并且这样的解决思路具备瓶颈，没有很好的扩展性，下面我从低成本、高性能和高扩张性的角度来说说我的一些经验。
1、HTML静态化 全文阅读 »