a-blog cms + Varnish 触ってみる

2015年12月25日(金)

これは、 a-blog cms Advent Calendar 2015 の25日目の記事です。

2013年の今日と同じ25日にAdvent Calendar で a-blog cmsをリバースプロキシ（nginx）で高速化という記事を書いていました。

そこで今回は、Nginx と同じリバースプロキシ機能をもっている「Varnish」について調べてみたいと思います。

目標

ESIできるようにする
TTL をテンプレートから指定できるようにする
ログインコンテンツも部分キャッシュで利用できるようにする（途中で時間切れ...途中まで書きます）

環境

User Request --> Nginx:80 --> Varnish:6081 --> Nginx:8080 --> php-fpm:9000

最初は上の構成で動かしたかったのですが、うまく動かず時間もなかったので、以下のような環境で動かしています。フロントにNginxをおかず、Varnishを直で置いています。テストなのでよしとします。

User Request --> Varnish:80 --> Nginx:8080 --> php-fpm:9000

Varnishでキャッシュをし、キャッシュがなかった場合は、バックエンドのNginxにプロキシします。 Nginxは php-fpm と連動して a-blog cms を post:8080 で動かします。OS は CentOS。

ESI とは

今回の目的の一つである ESI（Edge Side Includes）はインクルードの一種なのですが、面白いとろころとして、そのインクルード毎にキャッシュを保持できるようになっているというところです。

ページを構成する要素を見てみると、タイトルヘッダーや、フッターなど更新頻度の少ないパーツや、ログイン情報を出力するパーツ、記事を更新するまで静的なパーツなど様々です。

特にログインするような動的サイトだとキャッシュが難しいです。もちろんページごとキャッシュはできません。そこで、このESIを使って、ログインしていても部分的にキャッシュをすることにより、パフォーマンス向上や負荷軽減につながります。

Varnishを動かしてみる。

とりあえずVarnishを動かしてみたいと思います。（環境はCentOS）

Post 80 で動かす

$ sudo vim /etc/sysconfig/varnish
DAEMON_OPTS="-a :80 \
             -T localhost:6082 \
             -f /etc/varnish/default.vcl \
             -S /etc/varnish/secret \
             -s malloc,256m"

起動

$ sudo service varnish start

設定ファイル

Varnishの設定を /etc/varnish/default.vcl にしていきます。まずは全体のコードを貼ります。

# Marker to tell the VCL compiler that this VCL has been adapted to the
# new 4.0 format.
vcl 4.0;

import std;

# Default backend definition. Set this to point to your content server.
backend default {
  .host = "127.0.0.1";
  .port = "8080";
}

sub vcl_recv {
  # Happens before we check if we have this in cache already.
  #
  # Typically you clean up the request here, removing cookies you don't need,
  # rewriting the request, etc.
  
  set req.http.Host = req.http.host;
  set req.http.X-Real-IP = client.ip;
  set req.http.X-Forwarded-Host = req.http.host;
  set req.http.X-Forwarded-Server = req.http.host;
  set req.http.X-Forwarded-For = client.ip;

  # GET以外はキャッシュしない
  if ( req.method != "GET" ) {
    return (pass);
  }

  # ttl を抜き出し
  if ( req.url ~ "(\?|&)ttl=" ) {
    set req.http.x-varnish-ttl = regsub(req.url, "^(.*)ttl=([^&]+)(.*)?$", "\2");
  }

  # ログイン中でESIなら cookieを削除してキャッシュ処理
  if ( req.http.Cookie && req.http.Cookie ~ "sid=" && req.http.x-varnish-ttl ) {
    set req.http.x-varnish-hash = regsub(req.http.cookie, "^(.* )?sid=([^;]+)(;.*)?$", "\2");
    set req.http.x-varnish-suid = regsub(req.http.cookie, "^(.* )?suid=([^;]+)(;.*)?$", "\2");

    set req.http.x-varnish-tmpcache = req.http.Cookie; # キャッシュを利用するためcookieを一時退避
    unset req.http.Cookie; # cookie を削除

    return (hash);
  }

  # 通常ログインのアクセスならキャッシュしない
  if ( req.http.Cookie && req.http.Cookie ~ "sid=" ) {
    return (pass);
  }

  unset req.http.cookie; # cookieを削除
  return (hash);
}

sub vcl_miss {

  # cookieを再セット
  if ( req.http.x-varnish-tmpcache ) {
    set req.http.Set-Cookie = req.http.x-varnish-tmpcache;
  }
  return (fetch);
}

sub vcl_backend_response {
  # Happens after we have read the response headers from the backend.
  #
  # Here you clean the response headers, removing silly Set-Cookie headers
  # and other mistakes your backend does.
  
  # ESI を有効化
  set beresp.do_esi = true;
  
  # TTL を設定
  if ( bereq.http.x-varnish-ttl ) {
    unset beresp.http.set-cookie;
    set beresp.ttl = std.duration(bereq.http.x-varnish-ttl, 1m);
  }
  
  # image 
  if ( bereq.url ~ "\.(png|gif|jpg)$" ) {
    unset beresp.http.set-cookie;
    set beresp.ttl = 1d;
  }
}

sub vcl_hash {
  
  # ログインユーザ毎にキャッシュを振り分け
  if ( req.http.x-varnish-suid ) {
    hash_data(req.http.x-varnish-suid);
  }
}

TTLをテンプレートから指定

TTL（time to live）とは、キャッシュの有効時間になります。TTLが短いと短時間でキャッシュがクリアされ、長いと長い間キャッシュを保持します。

このTTLをテンプレートから指定できると便利なので、その設定をしています。まず sub vcl_recv で正規表現でインクルードパスに指定されている ttlを抜き出し、後で利用できるように変数にセットします。

sub vcl_recv はリクエストが発生した時に最初に呼ばれるメインのサブルーチンになります。

if ( req.url ~ "(\?|&)ttl=" ) {
　　set req.http.x-varnish-ttl = regsub(req.url, "^(.*)ttl=([^&]+)(.*)?$", "\2"); # 正規表現でttlを抜き出しreq.http.x-varnish-ttlにセット
}

次に vcl_backend_response で TTLをレスポンスヘッダにセットしています。vcl_backend_response はバックエンド（a-blog cms）へアクセスして、そのレスポンスが帰ってきたときに呼ばれます。

if ( bereq.http.x-varnish-ttl ) {
  unset beresp.http.set-cookie;
  set beresp.ttl = std.duration(bereq.http.x-varnish-ttl, 1m);
}

この設定により、以下のようにインクルードを書くテンプレートからttlを指定できるようになり、開発が楽になります。

<body>
  <!-- ヘッダーは一週間キャッシュ -->
  <esi:include src="/include/header.html?ttl=1w">

  <div class="row">
    <div class="large-9 columns">
    <!-- Main Blog Content -->
    <!--#include file="/include/mainTop.html" -->
    </div>
    <div class="large-3 columns">
    <!-- サイドナビは1時間キャッシュ -->
    <esi:include src="/include/sidebar.html?ttl=1h">
  </div>
</div>
...

ログインユーザ毎にキャッシュ

ここは、時間がたりずまだできてません。。すいません。。

やろうとしている事は、ユーザ毎に別々のキャッシュを作らないといけないので、a-blog cmsのuidをハッシュキーにしてキャッシュをしようとしています。

ログイン中のユーザIDを Cookie にセットをして Varnish側で呼びだしてハッシュキーに利用したいのですが、a-blog cmsではログイン中のユーザIDはCookieにセットされないので、Hookを使ってユーザIDをセット出来るようにします。

public function afterBuild(&$res)
{
  if ( SUID ) {
    setcookie('suid', SUID, REQUEST_TIME + 604800, '/', COOKIE_HOST, COOKIE_USESECURE);
  } else {
    setcookie('suid', null, REQUEST_TIME - 1, '/', COOKIE_HOST, COOKIE_USESECURE);
  }
}

次に、Varnish の sub vcl_recv で Cookie にセットされている suid を抜き出し変数にとっておきます。

# ログイン中でESIなら cookieを削除してキャッシュ処理
if ( req.http.Cookie && req.http.Cookie ~ "sid=" && req.http.x-varnish-ttl ) {
  set req.http.x-varnish-suid = regsub(req.http.cookie, "^(.* )?suid=([^;]+)(;.*)?$", "\2"); # suidを取得

  set req.http.x-varnish-tmpcache = req.http.Cookie; # キャッシュを利用するためcookieを一時退避
  unset req.http.Cookie; # cookie を削除

  return (hash);
}

ここで、Cookieを削除しないとうまくキャッシュ処理が動かないので、Cookieを一時的に削除しているのですが、再セットがうまくいかず、キャッシュはできるのですが、セッションが切れてしまいます。まだうまく動いていないので今後調べてブログに書きます。。

次に現状だとユーザ毎にキャッシュが作られない（インクルードするパスが同じなら全て同じ内容）になってしまうので、ユーザ毎にキャッシュをつくる設定をします。

sub vcl_hash {
  # ログインユーザ毎にキャッシュを振り分け
  if ( req.http.x-varnish-suid ) {
    hash_data(req.http.x-varnish-suid);
  }
}

先ほどセットした x-varnish-suid を使いキャッシュを振り分けています。これでユーザ毎にキャッシュが作られるはずです！

というわけで...

中途半端で申し訳ないですが、ここまでで Advent Calendar の投稿とさせてください。。まだまだ、うまく動いていない部分や、キャッシュのクリア部分など、やる事はいっぱいあるので、少しづつ情報をだせたらと思います。

Varnishを始めて触った感触としては、いろいろ設定を行えば、大きな負荷軽減につながりそうです。ただうまくやらないと逆に重くなったりするので、これからいろいろ触ってみたいと思います。

a-blog cmsとの相性

a-blog cms単体ではページ単位のキャッシュで、クリアの仕方もブログ単位でごそっと消す方式なので、効率はあまり良くありません。

Varnishと組み合わせてる事で、うまいキャッシュ運用が出来るようになるはずですので、みなさんもいかがでしょうか？

以上になります! Merry Christmas!!

a-blog cms + Varnish 触ってみる

目標

環境

ESI とは

Varnishを動かしてみる。

設定ファイル

TTLをテンプレートから指定

ログインユーザ毎にキャッシュ

というわけで...

a-blog cmsとの相性

関連記事

a-blog cmsをリバースプロキシ（nginx）で高速化

a-blog cms テンプレート解体新書

Docker + a-blog cms

アウトライン生成ライブラリ、document-outliner をリリースしました

a-blog cmsでSVGを画像プレイスホルダーとして使う

Docker で作る a-blog cms ローカル開発環境

最新記事

カテゴリー

目標

環境

ESI とは

Varnishを動かしてみる。

設定ファイル

TTLをテンプレートから指定

ログインユーザ毎にキャッシュ

というわけで...

a-blog cmsとの相性

関連記事

a-blog cmsをリバースプロキシ（nginx）で高速化

a-blog cms テンプレート解体新書

Docker + a-blog cms

アウトライン生成ライブラリ、document-outliner をリリースしました

a-blog cmsでSVGを画像プレイスホルダーとして使う

Docker で作る a-blog cms ローカル開発環境

最新記事

カテゴリー

ハッシュタグ