尋常でないもふもふ

a software engineer blog

awslogsはpython2系依存なのでgolang実装のcwをつかう

aws golang tool python

AWS の Lambda や ECS の需要が増えたことにより、CloudWatch Logs の需要も増えてると思う。
でも AWS コンソールから CloudWatch Logs はとても見にくい。そこで awslogs を使ってる人が多いと思う。

🌋 awslogs の問題点

Python2系への依存、これが非常にだるい。Python は pyenv で 3 系いれてたりするし。

$ brew info awslogs
awslogs: stable 0.10 (bottled), HEAD
Simple command-line tool to read AWS CloudWatch logs

==> Dependencies
Required: python@2 ✔

🐾 Golang 実装の cw

www.lucagrulla.com

$ brew info cw
lucagrulla/cw/cw: stable 1.7.2
The best way to tail AWS Cloudwatch Logs from your terminal

バイナリ配布が得意な Golang 実装なので依存関係はゼロ。

📝 使い方

Homebrew からインストールできる。

$ brew tap lucagrulla/cw
$ brew install cw

-p で ~/.aws/credentials のプロファイルを指定可能。tail -f でリアルタイム監視できる。その後ろの第1引数で ロググループ名、第2引数で ログストリーム名 を指定。第3引数で日時指定を UTC で指定できる。

$ cw -p <my_aws_profile> tail -f <my-log-group> <my-log-stream-prefix> <start-time>
$ cw -p jnst tail -f /ecs/my-server ecs/my-server/**** 2018-10-01T08:10:10

TypeORMで本番運用を見据えたマイグレーション

typescript db

TypeScript で Node.js やる場合の O/R Mapper の選択肢は少ない。

メジャーっぽかったのと Nest.js で標準対応してるので TypeORM を使うことにしてみたが、どうも本番環境を想定した作りには至ってないように感じた。

✍️ TypeORM の機能

😇 ここがダメだよ TypeORM

使いにくいと感じたところ。

CREATE TABLE をマイグレーションで管理しにくい

TypeORM では CLI ツールが提供されており、マイグレーションを管理する仕組みがある。

$ yarn global add typeorm
$ typeorm -v
0.2.7

CLI ツールで sync すると自分が定義した Entity クラスがすべて CREATE TABLE されて DB 反映される。

$ typeorm schema:sync

ただしこの実行内容は migrations テーブルのようなもので管理されないため、再実行するたびに ALTER TABLE が実行されてしまう。本番環境でこのコマンドはちょっと使えない。
マイグレーションファイル側で CREATE TABLE を記述することもできるが、それだとテーブル定義が Entity クラスとの二重管理になってしまうし、そもそも文法覚えるのがだるい。
ORM という性質上、テーブルの中身と Entity クラスを自動マッピングしてくれるわけで、Entity クラスを作らないという選択肢はないしね。

CLI ツールで気軽に全テーブル削除できる

$ typeorm schema:drop

これだけで全テーブルが問答無用に削除される。明らかにテスト環境用のコマンドだけど、ターミナルのタブを別環境と間違えてしまい、うっかり本番環境で実行したりしそうで怖い。こういうのはデフォルトで --dry-run になってほしいが、DryRun のオプション自体がない。

🚑 本番運用のための対策

マイグレーションについては CREATE TABLE 含めてマイグレーションファイルで管理したい。
少しトリッキーかもだが下記方法で実現できた。

sync はローカル環境だけで行う

sync すると CREATE 文が出力されるのでコピーしておき、その内容をマイグレーションファイルにペーストする。

$ typeorm migration:create -n CreateUser
async up(queryRunner: QueryRunner): Promise<any> {
  await queryRunner.query('CREATE TABLE `users` (`id` int NOT NULL AUTO_INCREMENT, `created_at` datetime(0) NOT NULL DEFAULT NOW(), `updated_at` datetime(0) NOT NULL DEFAULT NOW(), PRIMARY KEY (`id`)) ENGINE=InnoDB');
}

async down(queryRunner: QueryRunner): Promise<any> { 
  await queryRunner.query('DROP TABLE IF EXISTS `typeorm_test`.`users`');
}

Entity クラスで synchronize: false にする

@Entity({name: 'users', synchronize: false})
export class User {
  @PrimaryGeneratedColumn()
  id: number;

  @CreateDateColumn({name: 'created_at', precision: 0, default: () => 'NOW()'})
  createdAt: Date;

  @UpdateDateColumn({name: 'updated_at', precision: 0, default: () => 'NOW()'})
  updatedAt: Date;
}

こうすれば以後 sync コマンドの対象外となり、本番環境で schema:sync と schema:drop を使う必要がなくなる。
マイグレーションはサーバ起動前に typeorm migration:run を実行すればトランザクション使ってテーブル生成やテーブル変更が行われるので、難しいこと考えなくても新しいサーバをデプロイするだけでよくなる。

package.json

サーバ起動は yarn start するだけでよい。prestart から自動実行される。

"scripts": {
  "prestart": "rm -rf dist && tsc && yarn db:migrate",
  "start": "node dist/main.js",
  "db:migrate": "typeorm migration:run",
  "db:rollback": "typeorm migration:revert",
}

🗽 まとめ

TypeORM は必要な機能すべて揃ってはいるが、ホスピタリティというか開発者が便利につかえるというところまでは手が回ってないという感じ。
Issue も520件くらい溜まっていて、その半分はレスがついていない。需要と比べて開発者がかなり不足しているようだ。

JavaScriptの日付処理でLuxonを使う

javascript typescript

今までは Moment.js 使ってたけどモダンに再設計された Luxon を使うことにした。

🤔 なぜ Luxon がつくられたか

Why does Luxon exist? に書いてある。

  • 作者は Moment.js のメンテナー
  • Moment.js を改善するアイデアを持っていたが良いコードベースではなかった
  • より明示的な API にしたかった
    • moment(Number) -> DateTime.fromMillis(Number)
    • moment(Date) -> DateTime.fromJSDate(Date)
  • 追加のデータファイルなしでタイムゾーンを扱いたかった
  • Intl API を使って国際化の仕組みを再考したかった

⏰ Moment.js に劣っていること

  • 最新ブラウザの機能を使うと古いブラウザのための互換性対応をしなければならずコードが煩雑になる
  • 国際化された文字列をコードベースに保持してない故にブラウザが対応するまでその機能を待たなければいけない可能性
  • Intl API のいくつかはブラウザ依存のため Luxon の動作もそれに依存する

特に Intl API は古いブラウザでは動作しないので、そこに対応する必要性の有無が Moment.js を使うか Luxon を使うかの分かれ道となっている。
Node.js で使うなら問題にならなそうだ。

🛠 インストール

$ yarn add luxon @types/luxon

🗞 TypeScript

import {DateTime} from 'luxon';

// now (string)
DateTime.local().toString();  // => 2018-09-20T14:13:12.954+09:00
DateTime.utc().toString();    // => 2018-09-20T05:13:12.961Z

// now (unixtime)
DateTime.local().toMillis();  // => 1537420392961
Date.now();                   // => 1537420392961

// format
const dt = DateTime.fromISO('2020-07-24T20:00:00');
dt.toUTC().toString();                 // => 2020-07-24T11:00:00.000Z
dt.toString();                         // => 2020-07-24T20:00:00.000+09:00
dt.toISO();                            // => 2020-07-24T20:00:00.000+09:00
dt.toHTTP();                           // => Fri, 24 Jul 2020 11:00:00 GMT
dt.toFormat('yyyy-MM-dd HH:mm:ss z');  // => 2020-07-24 20:00:00 Asia/Tokyo
dt.toSQL();                            // => 2020-07-24 20:00:00.000 +09:00
dt.toSQLDate();                        // => 2020-07-24
dt.toSQLTime();                        // => 20:00:00.000 +09:00